电网实时数据中台设计与研究

王 震，杨 涛，葛士辉，郎济莹

（山东鲁软数字科技有限公司 山东 济南 250000）

0 引言

当前，能源电力发展面临着保障安全可靠供应，加快清洁低碳转型、助力实现“双碳”目标的重大战略任务。电网企业以建设中国特色能源互联网企业为目标，打造企业中台，实现能力共享、数据共享，支持快速应用搭建，推进高质量发展［1］。 同时，加快构建新型电力系统，提升可观测性、可描述性和可控制性，实现系统数据共享和数字化透明电网。

经过多年发展，电网企业已建成调度自动化、配电自动化、用电信息采集等覆盖各个电压等级的采集测控系统，以及订单管理系统、生产管理系统、营销业务应用等覆盖各环节业务的信息系统，基本能够满足传统电网安全运行、生产管理和客户服务的需要。 然而，与新型电力系统全环节透明化［2］要求相比，还存在很多不足［3］。 在采集系统建设方面，电网企业尚未实现感知层终端、通道、安全防护等资源统一规划和管理［4］，存在跨专业重复建设和“一数多源、一数多采”的现象，各专业仅开展采集数据逻辑和数据流转等前置服务建设，未考虑其他专业数据需求；在采集数据共享方面，存在接口调整代价高和时效性不足等问题，无法满足各专业高即时性业务需求［5］。

电网企业“十四五”数字化规划旨在提升数据实时处理能力，实现分钟级数据同步和亿万级数据计算能力，支持准实时业务场景。 通过构建流批一体化实时处理能力，融合实时和离线数据，满足动态多源异构数据需求。 针对新型电力系统建设的实时数据应用需求，统筹内外资源，开展基于企业中台的实时数据共享技术研发与应用［6］。优化数据流转和共享方式，解决时效性和共享服务能力问题，全面提升数据中台的实时数据共享支撑能力。

本文通过实时数据计算和基于Open API 实时数据共享系统功能模块化研究，建立电网实时数据中台，并以此为技术底座搭建实时数据共享服务中心。 该平台对于数据实时采集、处理并通过服务实现高速共享，可满足各专业实时数据计算、存储、共享等业务应用需求。 实时数据中台为调度、设备、营销等专业提供高速实时数据共享服务，形成可复制、可推广的实时数据中台产品，向其他能源行业相关企业推广应用，助力新型电力系统“源网荷储”协同互动。

1 流批一体

实时数据中台采用Flink 组件实现数据的流批一体计算，适应不同时效性需求。 流式计算适用于高时效性、低延迟性业务场景，如实时数据分析等。 批量处理适用于对数据时效性不高的业务场景，如天报表、年报表等。

Flink 的核心应用程序编程接口（ application programming interface， API），最初针对特定场景设计，尽管应用程序编程接口／结构化查询语言已实现流处理和批处理的统一API，但底层API 仍需选择DataStream API 和DataSet API。 为此，将这两种API 合并成统一API 带来以下优点：（1）作业可自由切换执行模式，无需重写代码；（2）可复用同一作业处理实时和历史数据；（3）流和批可共用connector，轻松实现流批混合执行。

2 Open API

在互联网时代，开放平台通过提供开放API，将网站服务封装为易识别的数据接口，使第三方开发者无须改变源代码就能够增加功能或使用资源。 实时数据中台基于Open API 提供实时数据共享发布功能，统一管理数据并对外提供服务调用和消息订阅，提高系统的灵活性和可扩展性，推动创新应用的快速发展。

3 中台设计

3.1 中台架构设计

如图1 所示，中台架构分为数据接入层、数据缓存层、共享服务层和应用层。 具体为：（1）数据接入层将主网调度、配电自动化和用采系统等源端系统量测数据接入中台，支持MySQL、MongoDB、Kafka、API 等类型数据接入。（2）数据缓存层使用Kafka 等，用于缓存数据，实现在高并发下，能够最大程度降低对数据库服务器的压力。 （3）共享服务层根据配置规则处理数据，并通过API 和消息队列对外提供服务。 共享服务层包括数据计算、数据存储、对外服务三个模块，实现数据去重、解析、映射和关联计算，支持多种数据存储方式，提供Open API、Rest API 和SDK等服务方式。 （4）应用层是由实时数据中台服务对象组成，包括调度、营销和配电等业务系统应用。

图1 中台架构设计

3.2 中台功能设计

中台统筹各专业实时数据共享应用需求，包含从数据源端接入到中台的数据计算以及数据共享的全流程功能。具体来说，实时数据中台主要包括实时数据共享服务、数据运营管理、数据资产管理和数据仿真与孪生等功能。 下面介绍每个功能的功能项及功能项描述。

3.2.1 实时数据共享

实时数据共享服务是实时数据中台的基础，包含数据接入、数据计算、数据存储、数据分析、数据对外共享五块功能。 具体功能设置如表1 所示。

表1 实时数据共享功能项

3.2.2 数据运营管理

该功能目的在于建立数据管理全流程闭环一体化运营能力，实现精细化运营管理。 具体实现功能如表2所示。

表2 数据运营管理功能项

3.2.3 数据资产管理

该功能旨在构建数据资产分析展示模块，实现数据服务的便捷查询和灵活获取。 具体功能如表3 所示。

表3 数据资产管理功能项

3.2.4 数字仿真与孪生

基于仿真技术实现数据质量校验和数据补齐，同时为各应用提供仿真校验服务；融合实时数据与仿真模型，为数字孪生电网建设提供基础支撑。 具体功能如表4 所示。

表4 数字仿真与孪生功能项

4 应用实践

以实时数据中台为基础，构建企业级实时数据共享服务中心。 该中心实时汇聚新型电力系统全环节采集的量测数据，提供高实时数据和高性能算力服务，支持各专业的实时共享共用。 实时数据共享服务中心的功能截图如图2 所示。

图2 实时数据共享服务中心部分截图

4.1 典型场景简介

4.1.1 分布式光伏精益化管理

实时数据中台汇聚电网全环节的曲线数据，提供分布式光伏数据服务。 地市调度系统利用量测数据进行分布式光伏在线观测、功率预测、安全监控等应用，推动新能源精益化管理。

4.1.2 新一代应急指挥灾情监测

实时数据中台为新一代应急提供主网开关变位信息、设备状态事件、停电事件等实时监控告警信息，并结合高级空间分析能力，支持灾损恢复和灾情监测模块。

4.1.3 配网故障定位抢修

实时数据中台通过配电自动化系统、用采系统和95598 等数据源，获取准实时的电气运行数据、台区停复电事件和停送电计划信息。 利用这些数据进行综合分析，以支持供电服务开展主动抢修业务。 通过紧密配合标准化流程，实现故障处置并协同运转电网，实现高效抢修和优质服务的目标。

4.2 典型场景应用示例

以分布式光伏精益化管理应用为例介绍基于企业级数据共享服务，场景功能放在“透明电网”一级菜单设置下。 平台内应用截图如图3 所示。

图3 平台应用截图

在数据接入准备阶段，需要映射用采系统与配电系统化系统中的数据，并实现物联采集、模型标准、数据存储和计算服务的统一模式。 接入实时数据中台后，获取用户的曲线类数据和事件类数据。 同时，通过数据中台实时获取分布式光伏用户台账类数据。

接入原始数据后，对数据进行加工，实现去重、过滤、关联等操作，转变为可应用的“熟数据”。

实时数据共享服务提供近三天的分布式光伏量测数据共享，采用列式存储和数据总线，满足低延迟、高吞吐量的要求，并将超过三天的数据按需归档至数据中台。

完成上述步骤后，实现数据共享服务。 利用实时数据中台进行分布式光伏数据加工处理和分析，通过API、应用集成和消息订阅服务发布计算结果，实现数据一次计算多次共享，提高处理效率和数据获取速度。

4.3 成效对比分析

平台实现70 万＋分布式光伏数据的实时接入与共享，时延控制在10 s 左右（未使用中台前约40 s）。 试点区域智能电表采集至调度业务应用总时延可控制到1 min（未使用中台前约3 min）。 大批量获取数据场景下，如某市县电量平衡计算，获取90%以上分布式光伏用户数据耗时4.5 min（未使用中台前约10 min）。 三类场景的成效对比如图4 所示。

图4 成效对比

通过图4 可见，实时数据中台的应用带来了显著的时间成效提升。 光伏数据接入和调取时延缩短至使用中台前的1／4，电表信息采集到调度应用时延缩短至使用中台前的约1／3，电量平衡业务计算时延缩短至使用中台前的约1／2。 实时数据中台采用流批一体的计算方式，确保低延时的数据处理，并通过高速的服务发布方式为应用端提供快速调用的API。 相较于未使用中台前，时间成效提升超过200%。

5 结论

本文基于流批一体和Open API 技术，利用现有数据中台搭建了高效的企业级实时数据共享服务。 通过对典型应用场景的分析，相较于原有共享模式，该平台提升了200%以上的效率。 研究成果可为调度、设备、营销等专业提供高速实时数据共享服务，并形成可复制、可推广的实时数据中台产品。 推广应用将助力新型电力系统实现“源网荷储”的协同互动。