基于大数据的风电生产运营监控系统设计与实现

尹 诗，迟 岩，王其乐，王寅生，何 伟

(中能电力科技开发有限公司，北京 西城 100034)

TK 89

A

2096-2185(2017)05-0060-05

10.16513/j.cnki.10-1427/tk.2017.05.010

基于大数据的风电生产运营监控系统设计与实现

尹 诗，迟 岩，王其乐，王寅生，何 伟

(中能电力科技开发有限公司，北京 西城 100034)

随着风力发电机组装机规模不断扩大，风电企业对生产运营及设备管控提出了更高的要求。为更客观地评价风电企业运营管控状况，各大运行商相继建立了风电生产运营监控中心，以实现对下辖风电企业进行精细化管理。传统风电生产运营监控系统以实时数据库作为底层数据存储，以单台硬件作为系统后台计算资源；但是，伴随着计算指标，尤其数据存储的增加，传统的数据存储架构已满足不了当前系统建设的需要。提出基于大数据的风电生产运营监控系统设计架构，并在此基础上实现风电生产运营监控、经营管控指标计算等功能。国内某大型风电运营商已应用该系统，实现了每年600 TB的秒级风机数据存储，形成了适合风电企业发展需要并具有扩展能力的数据中心。

风电大数据；监控中心；生产运营；经营管控；Hadoop技术

0 引言

风电生产运营监控系统实现了集团企业范围内的风电机组、升压站、测风塔等风电场设备运行数据远程监视、故障实时报警、自动报表统计、实时数据分析、运行指标对比、日常运行管理等功能。

文献[1]主要介绍了生产指标实时监控、对标及分析一体化管控平台，构建了集团级发电企业生产调度管理、实时监控等系统；文献中未涉及利用大数据分布式技术建立风电生产运营监控系统。

文献[2]利用风电机组实际运行数据，对风电机组的风特性、功率特性等性能指标进行了分析与评价；但是未涉及基于Hadoop的风电大数据平台设计。

文献[3]将风电机组运行状态监测评估与数据采集与监视控制(supervisory control and data acquisition，SCADA)系统相结合，利用风电机组实际运行数据，对风电机组的风特性、功率特性等性能指标进行了分析与评价；但未涉及大数据风电生产运营监控系统设计。

图1 基于Hadoop的风电大数据平台设计Fig.1 Big data platform design of wind farm based on Hadoop

1 基于Hadoop的风电大数据平台设计

Hadoop是一个分布式系统基础架构，由Apache基金会开发，被互联网厂商广泛应用于解决结构化和非结构化海量数据存储及计算分析问题；特别是Spark基于多次迭代的算法运行效率极其快速，且整个架构基于比较廉价的x86标准硬件。Hadoop中含NoSql数据库HBase，抛弃了关系数据库复杂的关系操作、事务处理等功能，仅提供简单的键值对(Key，Value)数据的存储与查询，具有高扩展性和高性能。互联网领域诞生的Hadoop技术为工业领域大数据平台提供了解决方案。基于Hadoop的风电大数据平台设计如图1所示[6-8]。

1) 原始数据收集。

各风场产生的秒级数据首先通过数据中心连接各风场的专线传输至数据中心实时数据库集群。数据包含风电机组数据、升压站数据、测风塔数据、关口表数据、机组故障录波数据和AGC/AVC数据。

2) 原始数据持久化。

Kafka集群负责将信息持久化，保证数据不丢失，另外Kafka集群还担负了数据源的负载均衡和HA。

3) 数据处理。

该系统采用WDD35D4角位移传感器作为摆杆的实时姿态检测与反馈装置。WDD35D4角位移传感器采用3.3V电压供电，只有一根信号输出线，由该信号线输出角位移传感器的实时电位值[4]。采用Stm32f103上集成的ADC外设直接测量传感器的电位值，将ADC1的通道10(PC0)配置成模拟输入模式，采用DMA方式将采集到的电位值周期性地存放到指定内存位置，在需要使用该变量时将其取出。摆杆与角位移传感器的转轴连接，系统通过实时测出的电位值，与摆杆处于平衡位置时的电位值进行比较，算出实时偏差并将其传入PID控制器，控制电机纠正偏差，形成一个负反馈系统。

实时流计算Spark Streaming集群负责从Kafka集群获取数据，进行解码、数据清洗、转换、合并计算和输出至实时处理集群文件系统。

4) 数据存储。

实时流计算Spark Streaming集群按设定周期向实时查询HBase集群、关系型数据库Oracle、分布式文件系统HDFS输出数据。

5) 数据扫描。

统计分析工具从分布式存储扫描数据进行统计分析。

6) 数据导出。

从生产环境中抽取探索分析环境的数据。

全开放架构(方案1)和实时数据库(方案2)两种风电大数据平台方案的对比结果如表1所示。

综上分析，方案1是现有大数据平台开源架构，社区生态系统完善，有丰富第三方工具包可选择，技术支持可选择任意大数据平台提供商。方案1的架构已经在互联网、典型、银行等行业大规模商用。

数据服务中心主要存储各个风场共计约10 000台风机的100点、500点秒级和10 min数据。数据通过Spark Streaming集群接收处理分别转移至列式数据库、分布式文件系统和关系型数据库。

热数据主要以100点数据为主，数据采集频度为秒级和分钟级。秒级数据存储在HDFS中，提供MapReduce和Spark运行业务分析模型和批量处理作业；秒级数据储存在HBase中，业务人员依据RowKey查询；分钟级数据和统计结果数据存储在Oracle中，业务人员通过SQL进行查询。故障点前后10 min的500点数据也作为热数据，用于故障分析。

冷数据主要以400点等全量分钟级数据和秒级数据进行集中存储，以方便以后扩展使用。

2 基于大数据平台的风电生产运营监控系统设计

为保障生产设备安全可靠运行，提高设备管控能力，促进安全生产专业化管理水平的提升，提高生产数据处理与分析能力，实现安全生产集约化管理，建立现代、新型的安全生产管理体系，融入集团公司一体化管理信息化平台，风电企业运营商提出了“数据整合，专业管理，集中值守，融入平台”风电生产运营监控系统。基于大数据平台的风电生产运营监控系统功能模块的设计如图2所示[9]。

2.1实时监控类

集控中心的实时数据来自大数据平台，实现更全面、更准确的现场运营监控，展示实时性聚焦类数据，分为4个方面： 1)全国监控数据，即风速、功率、实时出力比、发电量(日、月、年累计)、可利用小时、故障停运情况；2)(列表监控)省级、场级、单机监控数据，即容量、风速、温度、功率、机组运行状态、发电量(年、月累计)、年可利用小时、年计划完成率；3)实时出力比，即省级实时出力比、全国实时出力趋势；4)实时预警类数据，即停机报警、故障停机报警、通讯中断报警、功率变化速率报警、限电超限报警和异常情况申诉报警等。

2.2经营管控类

主要是结合规划发展、计划经营、安全生产分别在前期规划管控、市场营销和生产运维方面不同侧重的管控要求，建立一整套全新的经济运行管控指标，即测风管理指标、计划容量分析指标、对标管理指标、电量差异率指标、限电比例指标、损失电量占比指标、风功率预测准确度指标、电量完成进度指标、设备可利用率、能量可利用率、故障损失时间、不可用时间、场用电率和设备可靠性指标(故障率、MTBF、MTTR)。

表1 风电大数据平台方案对比Table 1 Comparison of big data platform schemes of wind farm

图2 基于大数据平台的风电生产运营监控系统功能模块设计Fig.2 Function module design of wind power production operation monitoring System based on big data platform

2.3技术支撑类

主要是提供给现场一线员工能够独立使用的设备性能及运维管理工作指导分析的技术支持系统，有效能分析系统、备品备件管理系统、运行数据分析系统、技术监督管理系统和远程状态检测系统，未来将扩展采用大数据挖掘手段研发出来的新的系统模型。

2.4运行管理类

针对目前外界对龙源电力不同的报表需求，实现一次性填报数据，自动生成不同需求下的报表：1)各类生产报表(日报、月报、季报、年报、各类汇总报表)；2)设备台账统计类信息(按照机型、容量、台数这3个报表需求，统计不同厂家品牌部件的分布情况)。

数据存储模块采用列存储Parguet实现列存储：可在数据加载时直接转换为Parquent列存储(Storm中完成)；或者落地HDFS后，周期性批量转为Parquent格。因此100个数据点和500个数据点在没有冗余的情况下，可实现相同的访问速度。

针对所存储的全量数据，数据分析采用Map/Reduce和Spark分布式计算框架进行并行计算，基于Hadoop Yarn框架对分析任务进行统一管理与调度。同时，支持Matlab和R等语言和统计工具；此外，HDFS中的数据会定期执行2个批量任务：

1) 数据汇总。从HDFS定期运行M/R或者Spark程序，汇总10 min级数据到Oracle数据库。

2)数据统计汇总和报表生成模块主要包括各种数据统计分析应用及应用的开发运行环境。此系统基于10 min汇总数据架设，支持多种分析应用程序开发环境，包括Spark R、Python、Java、Matlab。

系统支持Tableau可视化和BI工具，用户可轻松定制各种报表，其数据源支持Oracle数据库和文件。

2.5数据分析挖掘

大量后台作业、KPI计算迁移到大数据平台。大数据平台内置常用的数据挖掘算法，并通过大规模并行计算能力提高分析师的数据验证过程。搭建基于Python的机器学习算法环境，并在单机算法基础上搭建适合集群大数据处理的算法环境。支持的算法包括numpy、scipy、scikit-learn和H2O，可进行故障报警分析、功率曲线分析、单机性能分析和风资源分析等[10]。

2.6设备健康度评估

基于风电场运行维护的历史数据及实时数据，建立大数据风机预测与健康管理模型；通过概率统计数据对老旧风机及关键部件进行健康状态分析，预测其剩余寿命；最后给风机及关键部件的寿命评估提供理论指导。采用可行性与准确性较高的PHM为数据驱动技术，主要包括了人工智能方法和统计数据驱动的方法，通过机器学习拟合设备性能变量的演化规律，进而通过外推到失效阈值实现设备健康度的评估。

3 大数据平台应用数据交互设计

大数据平台提供应用数据接入功能，本文通过Sqoop与外部应用的主流传统数据库进行数据互通，实现数据接入。Sqoop主要用来在Hadoop和关系数据库中传递数据，通过Sqoop可方便地将数据从关系数据库导入到HDFS，或者将数据从HDFS导出到关系数据库[11-13]。

支持的数据库包括IBM DB2、Oracle、Greenplum、MySQL、vertica等。

Sqoop架构非常简单，其整合了Hive、Hbase和Oozie，通过MapReduce任务来传输数据，从而提供并发特性和容错。利用JDBC标准接口访问数据，所以可兼容几乎所有的数据库类产品。

大数据平台提供应用数据输出功能，外部应用程序需要获取大数据平台中存储的数据时，推荐使用2种方式：直接访问分布式文件系统的文件操作接口或以JDBC/ODBC方式连接Hive访问计算结果数据[14]。

4 结论

基于大数据平台的风电生产运营监控系统以风电运营大数据平台作为底层存储、计算框架，实现风电企业实时监控、自动报表统计、实时数据分析、运行指标对比、日常运行管理等功能。基于Hadoop开源大数据平台架构，能够解决大容量实时数据存储，Map/Reduce和Spark分布式并行计算框架能够解决单台服务器计算资源的瓶颈。

风电大数据平台的建设，打通了风电企业数据中心建设各个环节，实现了风电实时运行数据的全量采集、接收、存储和管理。形成了适合企业发展需要并具有扩展能力的数据中心，为集团大数据长期建设打下了坚实基础，并逐步挖掘与提升了企业的数据价值。

[1] 国家电投集团内蒙古能源集团有限责任公司. 集团级电力生产指标实时监控、 对标及分析一体化管控平台的研发与应用[R]. 呼和浩特: 国家电投集团内蒙古能源集团有限责任公司, 2013.

[2] 汪喆. 基于大数据分析的风电机组运行状态监测评估[D]. 北京: 华北电力大学, 2016.

WANG Zhe. Based on large data analysis of wind turbine operation monitoring and evaluation[D]. Beijing: North China Electric Power University, 2016.

[3] GUO Peng, INFIELD D, YANG Xiyun. Wind turbine generator condition monitoring using temperature trend analysis[J]. IEEE Transactions on Sustainable Energies, 2012, 3(1): 124-133.

[4] 中国电机工程学会. 中国电力大数据发展白皮书[R]. 北京: 中国电机工程学会, 2013.

[5] 孙大为, 张广艳, 郑纬民. 大数据流式计算: 关键技术及系统实例[J]. 软件学报, 2014, 25(4): 839-862.

SUN Dawei, ZHANG Guangyan, ZHENG Weimin. Big data

flow calculation: key technology and system instance[J]. Journal of Software, 2014, 25(4): 839-862.

[6] SAAVEDRA-MORENO B, SALCEDO-SANZ S, PANIAGUA-TINEO A, et al. Seeding evolutionary algorithms with heuristics for optimal wind turbines positioning in wind farms[J]. Renewable Energy, 2011, 36(11): 2838-2844.

[7] XU D P, ZHANG X F, LIU Y B. Overview of relevant control problems of wind turbines[J]. Electric Power, 2005, 38(4): 70-74.

[8] XIAO Yunqi, JIA Pengxiao. A novel optimum power fuzzy control strategy for doubly-fed wind turbine[C]//Proceedings of 8th ICCA, Xiamen, 2010.

[9] XIAO Yunqi, LÜ Yuegang. Pitch-controlled wind turbine synchronized cutting-in control and modeling-simulation[C]//Proceedings of WCICA, Bejing, 2012.

[10] WANG Wei, LIU Jizhen, ZENG Deliang, et al. An improved coordinated control strategy for boiler-turbine units supplemented by cold source flow adjustment[J]. Energy, 2015, 88: 927-934.

[11] TAN Wen, MARQUEZ H J, CHEN Tongwen, et al. Analysis and control of a nonlinear boiler-turbine unit[J]. Journal of Process Control, 2005, 15(8): 883-891.

[12] YANG Xiyun, GUO Peng. Petri net model and reliability evaluation for wind turbine hydraulic variable pitch system[J]. Energies, 2011, 4(6): 978-997.

[13] LIU Xiangjie, JIANG D, LEE K Y. Quasi-min-max fuzzy MPC of UTSG water level based on off-line invariant set[J]. IEEE Trans. on Nuclear Science, 2015, 62(5): 2266-2272.

[14] LIU Xiangjie, KONG Xiaobing. Nonlinear model predictive control for DFIG-based wind power generation[J]. IEEE Transactions on Automation Science and Engineering: Regular Paper, 2014， 11(4)：1046-1055.

WindPowerOperationManagementandControlCenterBasedonBigData

YIN Shi, CHI Yan, WANG Qile, WANG Yinsheng, HE Wei

(Zhongneng Power-tech Development Co., Ltd., Xicheng District, Beijing 100034, China)

With the larger scale of installed wind power operators, wind power enterprises of production operation and equipment control get higher requirements. To better control the objective evaluation of the wind power enterprises operation, each enterprise has set up wind power production operation monitoring center to administer wind power enterprises to carry out fine management. Traditionally, wind power production operation monitoring system takes real time database as the underlying data store, and a single hardware as the system background computing resource. However, with the calculation index, especially the increase of data storage, the traditional data storage architecture has already can’t satisfy the need of the construction of the current system. This paper proposes the wind power production operation monitoring system design framework based on big data, and on this basis to realize the wind power production operation monitoring, wind power management control indicators, and other functions. The system has been applied in a large wind power operator in China, realized the data storage of fan per second of 600 TB per year, and formed a data center which is suitable for the development of wind power enterprises and has the ability to expand.

big data of wind farm; monitoring center; production operations; management and control; Hadoop technology

国家能源自主创新和能源装备专项项目

Project supported by National Energy Independent Innovation and Special Projects of Energy Equipment

尹 诗

2017-07-02

尹 诗(1988—)，男，硕士，工程师，研究方向为风电企业信息化，yinshi@clypg.com.cn。迟 岩(1973—)，男，学士，高级工程师，研究方向为风电企业管理；王其乐(1982—)，男，硕士，工程师，研究方向为风电信息化；王寅生(1986—)，男，博士，工程师，研究方向为运营大数据；何 伟(1982—)，男，硕士，工程师，研究方向为风电企业信息化。

(编辑 谷子)