大数据技术在流域梯级水电企业的应用

王文斌，于远鹏

（雅砻江流域水电开发有限公司，四川省成都市 610051）

大数据技术在流域梯级水电企业的应用

王文斌，于远鹏

（雅砻江流域水电开发有限公司，四川省成都市 610051）

本文简要介绍了大数据技术的特点和相关背景，结合流域梯级水电企业生产、管理方面的问题，分析了大数据技术的一些典型应用场景，提出了流域梯级水电企业大数据应用平台的架构，以期其对解决目前水电企业发展中的问题具有建设性的意义。

大数据技术；流域调度；状态检修

0 引言

随着信息技术的不断发展，传统行业也能够生产出与大型电商企业同样数量级的数据。一方面，原始数据背后的巨大价值等待着人们去挖掘，另一方面，对于数据处理的难度也是制约这一进程的关键因素。大数据技术的出现，改变了人们认识客观事物规律的方法，即从以前的对事物由大到小的逐步剖析演变为将事物放到更大的环境中去寻找共性、特性与趋势。新一轮数字化浪潮已经到来，作为传统行业的水电企业如何把握住历史机遇，利用大数据技术将企业经营管理水平提高到一个新的高度，值得所有从业人员的思考。

1 大数据技术的背景

大数据是指由数量巨大、结构复杂、类型众多的数据构成的数据集合。大数据技术是指通过对数据进行整合计算、交叉分析，推导出趋势和知识的能力，简言之，从各种各样类型的数据中，快速获得有价值信息的能力。大数据有三个特性，可以概括为三“V”：一是规模性（Volume），依靠丰富的数据采集存储手段，目前数据的规模已经从GB级别、TB级别跃升到PB、EB、ZB级别，据国际权威机构研究显示，现在全球一年产生的数据量，比过去几千年产生的数据量还要大，现今世界上90%的数据量是在过去一年多里产生的；二是多样性（Variety），从日志、视频、图片到地理位置信息、企业生产数据等，数据不再是传统意义上的数字，诸如天气等因素都将成为数据采集的对象；三是高速性（Velocity），数据的时效性是很重要的，数据的采集和处理几乎是同时发生的，即延时很小，这需要先进的算法和分布式的计算架构，这一点也是大数据和传统的数据挖掘技术的本质区别。

2 国内外发展现状

单个数据的价值有限，但海量的数据累加，量变就会引起质变，这个准则在几乎所有行业都是通用的。

国内电商企业京东早在2011年就开始了大数据的相关工作。通过收集用户的购买习惯和购买能力，京东为每位用户做了用户画像，根据用户购买和浏览历史，用户的资料被细分成了包含年龄、学历、婚否、性别、收入、爱好等要素，按照系统预测向客户推送存在潜在需求的产品信息，同时针对地区的需求分析，优化每个区域中心仓库的库存结构。做到了预测销售和仓库自动补货，实现了按需向用户销售，按需向供应商订购。一个经典的闭环流程就是：京东从用户近期所购物品分析出用户即将出门旅游，其立即向用户推送了户外用品的信息，在用户下单后立即自动向供货商下单进行补货，同时通过保险合作者向用户推销短期旅途保险，甚至还能预测用户的目的地，提前推送景点门票的网购链接。通过强化大数据这一工具的应用，京东的销售额从2011年的210亿元增长到2014年的1000亿元。

美国通用电气公司（简称GE）在使用大数据上走在了世界的前列。GE是一家传统行业的公司，其产品涵盖了航空、医疗、能源等领域。过去，GE生产的航空发动机中的传感器只能发出警报，即：故障发生后才会在仪表盘上以警报灯显示。这类传感器包括：温度传感器、气压传感器和电压传感器，这些数据过去得不到重视，一般情况下，发动机只会保留三个平均值，分别是起飞、巡航和降落数据。从2010年起，GE在其新生产的航空发动机上大规模安装智能传感器，飞机飞行过程的全部基础数据都将会保存并上传至GE的全球数据分析中心，甚至飞机可以在飞行过程中实时地将传输数据到分析中心。依靠GE在全球航空市场的规模，GE建立了一个超大规模的工业物联网，通过分析海量数据，发动机的故障预测率接近70%，为客户节省了一大笔开支。

3 大数据技术在流域梯级水电企业应用的场景

水电行业是技术密集型行业，特点是设备种类多，自动化程度高，设备上安装了数量庞大的传感器，存储了海量的设备运行数据；同时，由于流域梯级水电企业要兼顾流域不同电站的运营维护，必然会产生大量的备品备件的流转信息，这些数据都为开展大数据分析的工作打下了坚实的基础。

3.1 流域梯级水电企业电力营销管理

流域梯级开发水电资源具有巨大的梯级补偿效益，多电站运营也会产生一些不确定因素，如：不同的电站电量消纳地区的不同导致的上下游水库水位消落不同步，这将削弱水库联合优化调度的优势；同时，由于电量消纳地区的经济变动，导致电力需求的变化，使得在电力需求高峰到来之前水库蓄水不足或者电力需求低谷到来前水库蓄水过多，都不利于优化发电的需求。

通过采集大量的电力消纳地区的经济指标，组成一个大数据集，预测一段时期以后目标地区的经济增长情况，依此推断出目标地区的电力需求信息，并且与流域历年水库消落数据联合来预测今后一段时间的发电情况，从而可以提前做好水库水位的准备工作，使流域发电综合耗水率降低，提高流域梯级补偿效益。

3.2 流域主辅设备状态检修

水轮发电机组长期频繁跨越振动区运行会导致机械损耗、固定连接件松动，给安全稳定运行埋下隐患。通过监测设备振动信号和分析倍频信号，可以判断出设备是否处于健康状态。但流域水轮机组种类繁多，运行工况不尽相同，如果以单一机组为目标来做设备健康分析，要对每台机组单独建立数学模型，将会耗费很大的人力、物力。

统计流域所有机组出现故障的时间点，提取这一时间点前后机组的振动数据变化，用大数据的聚类分析方法找出每台机组的特征参数，分析相同和不同类型的数据，相当于为每台机组画像，当机组运行参数出现这些故障特征值时，就可以预测机组处于将要出现故障的边缘，由此可提前采取防范措施，从而为机组故障诊断和开展状态检修打下基础。通过应用大数据技术，再结合具有故障诊断功能的专家系统，水电厂状态检修的应用场景如图1所示。

图1 水电厂状态检修应用场景Fig. 1 Application scenario of condition based maintenance in hydropower plant

3.3 流域梯级水库的优化调度

上文提到了利用预测电力销售情况来提前准备水库水位，而如何在当前来水情况下提前准备水库水位则要依靠对河流径流量的预测，否则会造成空库等不到来水或者满库被迫放水的情况。

河流历年的径流量是不同的，而且受天气等因素的影响较大。通过将流域历年气象预报、历年径流量信息、各电站发电流量信息等数据进行大数据分析，可以预测出流域各水库的蓄水起始时间点，对于预测产生的误差，可通过具有前馈的BP神经网络与基于Markov过程的模型进行联合优化而消除，并且预测期越长，其预测结果越接近多年实际径流量，最后结合各电站每年供电曲线优化出实际的蓄水起始时间，从而降低蓄水的时间成本，还能同时满足发电和防汛的需求。

3.4 流域备品备件管理及优化

流域各机组进入检修期的时间并不同步，而各机组由于各种原因需要更换的备品备件也不相同。遇到突发的故障需要更换零部件，由于备品没有足够的库存而采购会拉长机组的检修期，降低机组的并网时间。

将各机组历年更换的备品备件情况进行统计，按照需求数量和缓急程度梳理出各种备品备件的排行榜，依照优先级准备不同数量的备品，即：数量需求大的大量采购，各电站备品库都安排库存；数量需求小的按各电站出现故障的频率依次递减采购数量，对于数量需求极小的备品采购较小数量，存放于流域备品中心库。结合分析各机组出现故障的平均时间和故障类型，提前安排备品的出库和运输，从而可以实现在故障到来之前将备品送至现场，缩短备品的物流时间。

如果设备出现故障时相应备品数量不足，将延长设备的消缺时间，降低设备的可靠系数。建立面向备品供应商的采购平台，通过大数据分析工具，预测到备品即将出现短缺信息时，提前向供应商下单，从而缩短备品的采购时间。

3.5 企业文化管理及优化

企业文化对于企业发展有着重要的战略意义。企业文化的提炼和发展关系着企业未来的命运，关系着企业的战斗力和凝聚力。如何让企业文化深入员工心中则是企业文化管理的重中之重。

企业内网每天都会发布很多新闻，但不同新闻的点击率和阅读量都存在差距，甚至同一类新闻的点击率都相差巨大。

利用企业内网新闻网站抓取每位员工的点击和浏览记录，对每位员工的新闻阅读习惯和阅读领域进行大数据分析，为每个员工画像，要素可以包括：新闻类型、新闻的写作特点、新闻的焦点等，依照每位员工的画像为其推送感兴趣的新闻，同时通过搜集到的阅读点击数据来优化新闻的写作方法，可以实现每一篇新闻稿都是员工喜欢的类型和写作风格，这样可以在潜移默化中将企业的文化价值导向以员工喜闻乐见的方式传播下去，从而大大提高了企业文化的作用。

4 相关技术手段

4.1 大数据计算框架

要组建流域水电企业的大数据平台，需要将大量不同类型的数据收集在一起进行处理，各种数据对处理的延时敏感程度不同，尤其像机组状态数据对处理的实时性要求较高，这就要求平台的搭建应将系统响应时间最小放在第一位，同时由于随着数据的积累，数据文件的容量也将会越来越大，因此系统还要兼顾大容量数据文件的处理，目前行业内应用最广的是基于Hadoop的分布式计算框架。

Hadoop是以分布式文件系统为基础的一种高效并行计算框架，由于采用了开源结构，Hadoop能够显著地降低企业部署时的成本。Hadoop由数台x86架构的服务器组成计算节点，其中一台为管理节点，数据文件分散存放于各节点上，文件类型为Hadoop分布式文件系统（HDFS），该文件系统能够提供完全冗余功能，保障数据的安全；通过高效的调度机制实现数据的容错与超大规模的数据吞吐能力，利用Map/Reduce编程架构实现并行计算，降低大规模数据处理的复杂度，当数据文件增长到TB级别时仍能提供较强的并发处理能力。

4.2 存量数据的挖掘

企业在运营过程中会产生大量的数据，许多数据都在使用后沉淀到电子报表中，甚至是纸质文档里，其后果是产生了许多数据孤岛，掩盖了数据的价值。将存量电子表格的数据按照一定规则自动导入到大数据平台的文件存储系统中，同时改造企业获取信息的手段，将新增的数据导入HDFS中，努力消除数据孤岛，使数据在所有平台流动起来。

4.3 超大规模传感器网络的应用

设备的状态信号需要传感器的采集，目前机组安装的传感器数量有限，采集速率也不利于开展机组实时状态分析，改造机组的传感器网络，使用数量更多、反应更灵敏、检测更精确的传感器将成为搭建大数据平台的先决条件。

目前备品备件的存放还依赖于仓库管理人员手动清点后再录入仓库台账，其缺点是效率低、容易出错。采用物联网的思维，在每一个备品上贴上唯一的射频识别标签（RFID）识别码，可以精确定位到每一个备品的位置，出库和退库的状态都由系统自动录入，降低了人为操作的误差，同时结合流域各电站自建库和流域中心库的分布，可以极大地优化备品备件的管理模式。

4.4 异构数据分析软件

传统数据分析软件是采用定向识别后进行进行和知识发现的，存在处理流水过长的弊端，采用异构数据分析软件，可以根据分析目标发散式的识别数据，在识别的同时进行挖掘和分析，提高了分析效率，缩短了分析时间，增加了分析的实时性。

5 结论

通过大数据平台的搭建，企业可以实现各种数据的内部流动，并能基于外部因素对未来数据进行预测，平台结构如图2所示。

图2 流域梯级水电企业大数据应用平台架构Fig. 2 Platform architecture for big data application in cascade hydropower company

各子系统数据导入大数据平台后，通过算法规则生成具有参考价值的数据提供给企业决策层使用，同时当企业外部因素变动后，决策层可以通过改变算法规则来调整生成的数据，使之不断满足企业发展的需求。

德国在2013年提出了工业4.0的概念，即：继蒸汽机的应用、规模化生产和电子信息技术等三次工业革命后，人类将迎来以信息物理融合系统（CPS）为基础，以生产高度数字化、网络化、机器自组织为标志的第四次工业革命。中国在2015年“两会”期间提出了“互联网+”的概念，即充分发挥互联网在生产要素配置中的优化和集成作用，将互联网的创新成果深度融合于传统行业，提升实体经济的创新力和生产力，形成更广泛的以互联网为基础设施和实现工具的经济发展新形态。“互联网+”代表一种新的经济形态，推动了社会以用户创新、开放创新、大众创新、协同创新为特点的创新2.0，改变了我们的生产、工作、生活方式，也引领了创新驱动发展的“新常态”。

大数据作为一个具有极大潜力的载体工具，在融入了先进理念后将为企业运营提供极大的战略支撑作用。流域梯级水电企业在运营中产生的海量数据为开展大数据分析工作提供了坚实的物质基础，运用好这一工具，有利于企业增强自身竞争力，顺应当今社会万众创新的“新常态”，对提高我国经济实力和创新能力有着积极的作用。

流域梯级水电企业肩负着为国家提供优质清洁能源、优化能源结构的战略性任务，应用大数据技术，使之服务于国家能源战略。运用科学手段优化企业运营、提高企业精细化管理的水平将成为“经济新常态”下的企业愿景。

[1] 白晟，李荣香.大数据应用发展及挑战[J].赤峰学院学报（自然科学版）.2016，14：20-21.

[2] 陶雪娇，胡晓峰，刘洋.大数据研究综述[J].系统仿真学报.2013，S1：142-146.

[3] Thomas Sandholm，Kevin Lai.MapReduce optimization using regulated dynamic prioritization[J]. ACM SIGMETRICS Performance Evaluation Review.2009，1：299-310.

2016-04-30

2016-05-20

王文斌（1985—），男，中级工程师，主要研究方向：电力市场改革、大数据应用等。E-mail：wangwenbin@ylhdc.com.cn

于远鹏（1974—），男，中级工程师，主要研究方向：水电站运营管理。E-mail：yuyuanpeng@ylhdc.com.cn

The Application of Big Data Technology in Cascade Hydropower Company

WANG Wenbin，YU Yuanpeng
（Yalong River Hydropower Development Company，Chengdu 610051，China）

A brief introduction to the characteristics and background of the big data technology with the problems in production and administration of cascade hydropower company was presented，by analyzing some typical application scenarios of big data technology，a framework of big data application in cascade hydropower company was proposed by which to resolve growth problems of cascade hydropower company in a constructive way.

big data technology； river scheduling； condition based maintenance

TM622

A学科代码：470.4047

10.3969/j.issn.2096-093X.2017.03.012