基于数据标准化的风电数据治理体系应用研究

赵兴安

(大唐可再生能源试验研究院有限公司，北京市 西城区 100052)

0 引言

随着新一代信息技术的创新驱动发展，我国工业互联网发展迅速，但同时工业互联网面临着数据孤岛、数据标准不统一、数据安全风险等数据治理问题[1-4]，需有效提升数据治理的规范化水平。目前国内外各大发电集团和风机厂商均已开展新能源大数据平台建设[5]，在平台运行过程中积累了大量的生产数据和经验数据，随着数据共享以及决策的需求，以及数据使用范围的扩大，在使用过程中存在大量数据问题[6-8]。中国大唐集团新能源监控与大数据中心于2020年底投入运行，截止目前已累计接入风电机组13 000多台，光伏发电容量300多万kW，实时采集测点600多万条，每天处理数据量达300 多亿条[9]。为确保大数据中心的数据质量以及所需生产指标的准确计算，需对采集的数据持续进行数据治理，保证数据的完整性、有效性和一致性，为各风电场后续优化提供基础。

随着大数据技术和智能化技术的发展，数据治理技术逐步渗透到电力企业。文献[10]提出电力企业数据治理不能仅采用技术手段，应根据实际情况，制定数据治理实现目标，成立专业组织，健全保障机制及治理体系，持续开展数据治理。文献[11]提出了一种电力企业实时数据治理框架解决方案，可为企业数据治理工作提供数据连通、数据建模、数据运行和数据服务等方面的功能。文献[12]提出一种基于数据全生命周期管理的电网企业数据治理方案，通过部署数据技术支撑平台、规范数据资源管理、制定数据管理规范、构建元数据质量管控体系等，从数据全生命周期的各环节把控数据质量，解决数据多口径差异问题。文献[13]针对电力大数据的治理问题，设计了适用于电力企业的相关数据治理体系，有效提高电力企业的精细化管理和科学决策水平。文献[14]针对电力企业风电设备可靠性指标数据中存在的质量问题，建立企业风电设备可靠性评估模型，并对治理前后的相关指标数据结果进行对比分析，说明数据治理的必要性和有效性。

本文针对发电企业建立的企业级数据中心在风电数据价值挖掘、数据质量提升以及管理落实过程中存在的问题，依据中国大唐集团新能源监控与大数据中心中间层数据接收、存储规范及现有应用系统特性，提出一种基于数据标准化的风电数据治理体系，通过建立集团级新能源生产数据标准化体系，固化在云端平台，以统一和规范的数据采集规约和协议，将数据采集至边缘计算服务器，打通系统各个环节和各个业务的交互，实现数据统一的管理和数据之间的共享。

1 风电数据治理架构

本文在借鉴通用数据治理框架[15-16]的基础上，结合风电大数据领域的数据源、数据特点及业务场景等核心要素，搭建针对风电大数据领域的数据治理架构，如图1所示，其核心内容包括数据标准、数据质量管理、数据全过程周期管理、数据安全等，此外还需要有规章制度和组织机构的保障，以及数据管理的流程和IT 技术平台的支撑。

图1 风电数据治理架构Fig.1 Wind power data governance architecture

围绕风电数据治理架构，明确各级主体单位在数据治理中的职责，对风电数据建立标准，统一数据治理流程，搭建数据治理平台，编制数据治理相关制度，建立数据治理组织，逐步建立完整的数据治理管理体系，为企业数据质量的提升奠定基础。

2 风电数据质量管理

数据质量管理不仅要保障数据的完整性、准确性、及时性以及一致性，而且还包括问题追踪和合规性监控[17-18]。本文从评估、指标、对象三个维度对风电数据质量进行管理，如图2所示。最终通过数据覆盖率、数据完整率、数据有效率、通信正常率和数据一致率5个指标实时掌握数据质量的整体状态，定位数据质量较差的区域、风场、机组。

图2 风电数据质量管理Fig.2 Wind power data quality management

2.1 数据质量指标

2.1.1 数据覆盖率

数据覆盖率指实际采集的数据元素对预期采集数据元素的覆盖程度。单台风电机组的数据覆盖率为

式中:A为单台风电机组数据覆盖率;M为实际采集数据点数量;N1为标准化采集点表规范要求数据点数量。

2.1.2 数据完整率

数据完整率指特定采样时间范围内和所有期望属性上采集非空值数据元素数情况。单台风电机组的数据完整率为

式中:B为单台风电机组数据完整率;L为空值点数;N2为标准点数(以10 min为1个数据点进行计算，每天144个数据点;T为采集数据时间;S为采集风机数量，S=1。

2.1.3 数据有效率

数据有效率指特定采样时间范围内和所有期望属性上采集有效数据元素情况。单台风电机组的数据有效率为

式中:C为单台风电机组数据有效率;K为无效数据点数，主要包括空值、错误、不刷新等。

2.1.4 通信正常率

通信正常率指特定采样时间范围内通信状态正常下数据元素数情况。单台风电机组的通信正常率为

式中:D为单台风电机组通信正常率;P为风机与平台中断通讯时长;Q为标准通讯时长(以秒为单位进行计算)。

2.1.5 数据一致率

数据一致率指多个系统内相同测点数据值保持一致的数据元素情况。单台风电机组的数据一致率为

式中:E为单台风电机组数据一致率;R为多个系统内相同测点、同一时标、同一时刻数据值保持一致的元素个数;U为预期数据元素数量。

式(1)—(5)为单台风电机组的数据质量指标计算方法，若计算平台整体、区域集控、单一风场或同一机型等情况，则为

式中:X为平台整体、区域集控、单一风场或同一机型数据质量指标情况;n为指定风电机组数量;F(i)为第i台风电机组的数据质量指标(数据覆盖率、数据完整率、数据有效率、通信正常率或数据一致率)。

2.2 数据质量等级划分

目前平台将数据质量衡量指标精度等级划分为优、良、中、差，并根据不同等级对所采集的数据进行评价，详见表1。

表1 数据质量精度等级划分Tab l e1Classification of data quality accuracy

3 风电数据标准化

风电数据标准化是数据治理体系的基础，是保障、改进和提升数据质量的重要措施。通过对29个风机厂家，累计155种机型的数据进行综合分析，参考国家标准和行业标准，结合业务系统现状，制定每种机型唯一标准的点表和映射逻辑，规范统一两级中心风电数据接入方式、状态映射逻辑、设备测点点表、事件信息等，建立风电生产数据质量标准化体系，如图3所示。区域集控中心同步开展风电数据标准化建设，保证上送数据统一规范。

图3 新能源生产数据标准化体系Fig.3 New energy production data standardization system

3.1 采集方式标准化

受限于主控通讯协议不对外开放、集控厂家技术水平不同、区域集控功能需求不同等原因，风电机组数据采集方式较多，本文对行业内典型机型数据采集方式进行总结，详见表2。

表2 风电机组数据采集方式Table 2 Wind turbine data collection method

平台形成一套有体系、有标准的采集方式，各区域集控统一采用可编程逻辑控制器(programmable logic controller，PLC)直采或数据采集与监控系统(supervisory control and data acquisition，SCADA)服务器转发的方式，按照标准化采集点表，实现风电数据标准化采集，屏蔽不同机组底层数据差异、通讯协议差异，使采集的数据全面、准确、稳定，为机组数据分析、故障诊断等提供先决条件。

3.2 测点点表标准化

3.2.1 测点标准化

新能源监控与大数据中心目前共计接入29个厂家、155种机型。由于主控、变桨、变流器等硬件和软件版本不同，集控厂家数据接入技术差异，机组定制化升级及改造等原因，同种机型点表测点数量、点名等差异性较大，平台接入配置映射版本高达348种，如图4所示。

图4 平台已接入机型和配置映射版本数量Fig.4 Number of connected models and configuration mapping versions of the platform

基于以上情况，以中国大唐集团风电数据采集测点及编码技术规范为基础，按照机型技术路线，制定直驱、半直驱和双馈机型通用点表，明确影响指标计算测点(基采点)以及影响平台各项功能应用测点(必采点)范围，规范测点名称及映射关系，见表3，各区域集控按照标准化点表，实现风电数据的全量采集与转发。

表3 标准化点表Table 3 Standardization point table

续表

3.2.2 通道标准化

为保证各区域集控上送的风电数据频率满足集团大数据监控平台的要求，各区域集控通过104规约进行数据转发。在2002版标准104规约的基础上，通过将遥测数据的信息体地址范围进行扩展解析，为4 001H～6 000H，即最多可接收8 192个遥测数据。单个104转发通道的数据量按照表4进行转发。

表4 单个104转发通道数据量Table 4 Data volume of a single 104 forwarding channel

单个104转发通道的数据量转发规则为:

(1) 单通道转发遥测(8 192)、遥信(16 384)、遥脉(512)点，单通道机组数量不超过33台。如果转发通道测点数超过上述要求，应另开转发端口通道，并将一部分机组更换到另一个转发端口通道调整。

(2) 同一台机组的所有测点必须在同一个通道里面。每台机组的所有测点，应集中转发。在制作转发点表时，应对每台机组中预留不少于40个备用测点。

(3) 转发点表调整应在不影响原有测点数据的原则下进行调整。

3.3 风机状态标准化

3.3.1 状态映射统一

平台基于IEC61400标准，规定了手动停机、故障停机、环境待命、正常发电、降出力运行、技术待命、电网故障、维护状态和未知状态9种标准状态定义，本文对以上9种标准状态的详细工况进行了说明，详见表5。各区域集控按照9种标准状态将不同机型的风机状态转发大数据平台。

表5 标准状态工况定义表Table 5 Definition of standard conditions

为提高状态判定的准确性，在此基础上通过增加桨叶角度、有功功率、遥信信号等辅助判据，形成各机型标准状态映射判断逻辑推荐表。本文给出以下示例供参考。

(1) 一维映射。

某型号机组定义了16种不同的状态，且16种状态均可映射至9种标准状态，此时，对于标准状态的判断，应直接选择进行一维映射。其状态映射关系详见图5。

图5 一维映射示例图Fig.5 Example diagram of one-dimensional mapping

(2) 二维映射。

某些型号机组状态数量小于9种标准状态，此时应使用机组事件来辅助进行机组状态的映射。二维映射示例详见图6。

图6 二维映射示例图Fig.6 Example diagram of two-dimensional mapping

如图6所示，厂家状态为“停机”，机组事件为“电网电压超高”，此时的标准状态应判定为“电网故障”;机组事件为“环境温度高”，标准状态应判定为“环境待命”;机组事件为“变桨安全链触发”，标准状态应判定为“故障停机”;机组事件为“塔底急停按钮动作”，标准状态应判定为“维护状态”。

(3) 状态辅助判定功能。

由于厂家提供的机组状态以及机组事件信息的完整性不足，即使在进行了二维映射之后，仍有部分标准状态无法进行映射时，应根据需要增加状态辅助判定。例如在厂家状态为“待机”时，如果此时机组的实际风速大于切入风速，则此时机组的标准状态会被判定为“技术待命”，反之，则会被判定为“环境待命”。状态辅助判定示例详见图7。

图7 状态辅助判定示例Fig.7 Example of state auxiliary determination

3.3.2 通讯状态统一

平台规定机组标准通讯状态为通讯正常、数据中断、未接入和停运机组，并进一步规定通讯中断的二级通讯状态，数据中断的原因应识别通讯链路故障、源数据卡死、机组断电，从机组到平台通讯链路中各段节点的中断状态。本文针对平台的标准通讯状态定义进行了说明，详见表6。

表6 通讯状态定义表Table 6 Definition of communication status

3.4 事件信息标准化

同一机型事件等级、部件系统类别、中文描述应规范统一。平台将事件等级分为故障、告警、信息三类，其中故障会导致风机停运，告警和提示则不会导致停机，各区域集控按照分类标准，明确事件等级。事件描述采用中文描述，规定并统一机组部件系统共17种类别，包括主控系统、偏航系统、变桨系统、变桨机构、变流系统、叶片、发电机、齿轮箱、联轴器、机械制动、主轴、塔架/基础、安全链节点、防雷系统、消防系统、通讯系统、SCADA 系统，事件信息按照类别归类并分析。

4 风电数据治理实践

依据制定的标准点表等规范，作为标准要求严格执行，通过5个数据质量指标掌控数据质量整体状态，定位质量异常。自上而下成立数据治理组织机构、明确相应责任人，落实工作职责。建立健全业务界面分工及信息报送方式，保证工作信息及时沟通和交流，积极推动工作的有效落实。定期开展数据质量验收工作，实施循环治理、巩固治理成效。

4.1 收资信息及配置检查

大数据中心统一导出大数据平台配置的映射点表，主要为风机测点、风机厂家状态、风机事件相关信息以及与转发测点映射关系表，按照风电场、解析方式等进行汇总整理，发送至区域集控，集控数据治理人员核对下发文件正确性，并对不符合数据标准化体系的风机数据按照相关要求进行重新配置，保证风机数据按照风电数据标准化体系要求进行采集与传输。

4.2 测点覆盖率检查

依据平台标准化测点映射表，对集控中心上报的风机点表和升压站点表中的必要测点进行核对检查，集控中心转发大数据平台测点必须满足指标所需测点及必要测点要求。考虑到不同厂家、机型或主控系统等的差别，部分机组未采集到的数据点需进行加装传感器补全。

4.3 数据一致性核对

数据一致性指风场SCADA 系统、集控侧监控平台及大数据平台测点数据一致。每个风电场每个机型每个主控版本抽测3台(首、尾、中间各1台)，进行测点一致性核查;升压站选定每个升压站，进行测点一致性核查。选定设备的全部必采点、基采点(不包含风机状态、风机事件测点)。对同一时标下的、集控平台与大数据平台的测点数据进行核对，同一时标下风场SCADA系统、区域集控与大数据平台的数据值保持一致，即可认为相应测点在2个系统内的数据一致性完好。此外，部分测点数据实时变化趋势并不明显，采用一定时间周期内的统计结果数据进行核对，如场站发电量、风机发电量等。

4.4 采样数据完整性和有效性检查

使用平台采样数据质量监控模块进行分析采样数据的完整性和有效性，对采样数据完整率和有效性偏低的机组进行分析与治理。通过平台导出历史数据，查找不合格数据的时间段，并查看同一时间段风机所处的状态和事件，综合分析问题原因，经实际运行与总结，可能的原因有通讯中断、数据未正常转发，数据长时间死数、数据值不合理等因素，需要通过查看数据接收与数据转发端的通讯状态，数据源侧转发数据的合理性的手段进行问题排查。

4.5 风机事件检查

核查大数据平台配置表与收资表是否一致，如不一致查找原因并解决问题，更新收资表或重新配置;将大数据平台整理后的收资表反馈至区域集控，核对大数据平台与集控中心显示记录的风机事件一致性;区域集控根据核对情况修改，做好收资表变更记录，并上报收资表及记录;将最终风机事件代码表在平台中进行配置。

4.6 风机状态检查

核查大数据平台配置表与收资表是否一致，如不一致查找原因并解决问题，更新收资表或重新配置;将大数据平台整理后的收资表、风机状态映射说明文件反馈至区域集控，核查风机状态映射关系是否正确;区域集控核对大数据平台与集控中心显示记录的风机状态一致性，保证每种机型每个主控版本的风机9种状态全状态核对;区域集控根据核对情况修改，做好收资表变更记录，并上报收资表及记录;将最终风机状态码表在平台中进行配置。

4.7 问题跟踪闭环

针对以上数据治理排查出的问题，对问题进行整理汇总，按照以下问题分类:测点覆盖率、测点一致性、风机事件、风机状态、收资信息、其他问题。在风电场问题排查结束后，根据问题清单，制定明确的处理计划和解决方案，并在问题清单中相关位置处进行标注，定期进行进度跟踪直至相关的问题完成闭环。

5 数据治理效果

平台建设、运行过程中大数据中心始终开展风电数据治理工作，于2021年8月开展“大数据平台数据治理百日攻坚行动”，采用基于数据质量标准化体系的风电数据治理体系后，数据质量提升效果显著，详见图8。

图8 2021年6月至2022年5月份平台整体数据质量指标月均情况Fig.8 Monthly average of overall platform data quality indicators from June 2021 to May 2022

由图8可见，2021年8月前采用常规数据治理方法虽有较好改善，但数据完整率、数据有效率低于80%，通信正常率低于90%;2021年8月采用本文所述的风电数据治理体系后，2021年12月达到较高水平，此后数据完整率为90%±2%，数据有效率约在85%±2%范围内，通信正常率在95%±2%。

6 结论

本文提出一种基于数据质量标准化体系的风电数据治理体系，并在大唐集团新能源监控与大数据中心进行了部署实施，初步形成了完整的风电数据治理体系，包括一个完整的数据治理平台及辅助保障措施，制度、管理规范和技术标准，有效保障数据治理。目前数据质量问题能够随时掌握、及时发现，缺陷数据能够得到及时修正;数据治理问题及处理情况可追溯、恢复。通过建设的数据标准化体系，有效提升新能源监控与大数据中心风电数据质量，为其他企业级新能源数据中心数据治理提供一套可参考的实际案例。