基于全局日志投递的数字电网全链路监控及中台服务优化

陈禹旭，任昊文，黄焯恒

(南方电网数字电网研究院有限公司 平台安全分公司，广东 广州 510663)

随着我国经济的快速发展，电网数据的规模与维数日益增长。同时，我国售电侧的市场改革也在同步进行中，竞争越来越激烈[1]，传统电网面临更多的挑战。在数字化时代，电力作为传统产业，也应在生产资料、数据信息等要素方面进行数字化。通过产业升级手段，让传统物理电网逐步向数字电网转型。数字电网就是以电网数据为核心，依赖数字化平台构建出数字化的电网服务，实现平台赋能和业务创新，是目前电网创新建设的新思路、新模式。当前电力企业的电网积极向数字电网方向升级，但由于电网中各个业务的应用系统相对独立，往往缺乏统一的标准规范，在运营和功能实现上通常参差不齐，在系统层面没有统筹规划，造成业务模块之间的业务协同不是十分有效。在转型过程中，数据作为重要的生产资料，越来越多地体现出经济价值，被运用到新的商业模式中，数据中台也因此产生。数据中台服务可以作为电力企业重要的系统支撑[2]，构成各种业务的全覆盖监测功能。中台的概念源于芬兰游戏公司Supercell，并且由阿里巴巴对其进行概念延伸，成为企业数字化转型的重要一环。数据中台服务通常与边缘计算进行协同，结合起来对电网终端采集到的数据进行部署和智能监测，承担计算压力并将其分配给边缘侧[3]。在数字电网的新形态下，通过中台服务全链路监控可以有效引导企业进行数据的聚合与复用，有效赋能前端业务应用和业务的灵活调整。本文将数据中台的数据处理能力与电网日志信息的投递相结合，减轻在电网全链路监控中的计算压力，提升数据监控的能力。

1 全链路数据监控概述

1.1 数据采集开发流程

全链路的数据监控包括数据采集、数据开发、数据存储、数据回流以及数据展示[4]。数据采集就是对电网数据进行ETL操作。ETL操作就是指抽取(Extract)、转换(Transform)、加载(Load)三个部分，几乎所有电网数据的采集过程都依赖上述操作，对于电网数据多为日志信息的收集和汇总；对于网络数据的采集，则会采用Apache Nutch等。而电网数据的开发是比较重要的环节。利用实时流处理工具、机器算法工具对数据进行批处理[5]，对数据背后的信息进行挖掘。然后，对海量的异构数据进行存储，无论是结构化数据还是非结构化数据，都需要进行数据分类与识别，从而进行有效的数据存储。其次，数据回流的作用就是将处理后的数据反馈给系统，由门户系统进行使用和处理。同时，为了系统的高效运行，数据在回流到非分布式数据库的过程中会用到分布式集群的计算方法。数据展示是将计算后的电网数据可视化，通过屏幕或者App进行可视化功能的实现。该流程的具体描述如图1所示。

图1 全链路监控的数据处理优化流程

1.2 边缘计算

边缘计算的含义是指在网络的边缘侧紧邻人、物或者数据端进行资源利用，是实现计算、存储、应用等核心功能融合的新型网络架构[8]。边缘计算具有十分明显的优势，在网络边缘侧可以直接提供服务，有助于使计算资源的利用率达到最大化。上述功能可以满足用户对海量数据的低时延、大数据量的需求，有效减少回程链路的负载，提高共享服务的能力。

边缘计算与传统的计算体系结构具有明显差异，尤其不同于分布式的云计算体系[9]，边缘计算网络综合了上述两种网络结构的优点，既包含资源的高聚合性、管理的简单性、低网络依赖性和高可扩展性，又具备对网络的低依赖性和较高的资源利用率，其框架包含设备域、网络域、数据域和应用域[10]，具体地如图2所示。

在应用域上实现电网数据全周期的管理，包括业务数据的可视化处理功能和设备运营方式的实现[11]。而数据的收集与互操作则依赖数据域上的功能来实现，并且充分考虑数据的隐私性和安全性，对数据进行有效、合理的分析。网络域作为数据实时连接与网络安全的重要支撑，承载起数据聚合和数据连接的任务[12]。设备域则用来掌握设备安全与操作系统，利用通信网络，依靠传感器、电表采集终端等设备，能够为数字电网设备实现实时智能应用提供有力的支撑。

图2 边缘计算体系结构图

2 数据中台服务

2.1 数据中台功能架构

数据中台依于企业级的业务能力，将电力企业的核心业务能力划分为各种服务中心，基于某种共性服务构建服务处理功能[13]，通常采用微服务的架构，在中台的共享服务中心下建设多个微服务中心，电网中的各类微服务应用可以调用中台的微服务。而数据中台的能力相对比较复杂，通常包括电网数据的接入、云资源的存储、电网数据的分析、电网数据服务、数据资产的管理与运营，其功能架构图如图3所示。

图3 数据中台功能架构图

2.2 数据流转架构

数据中台主要用于汇聚各类资源数据，业务中台则用来接收数据，形成共享业务数据，并作为计算结果进行反馈，对业务数据进行操作，主要是反馈给数据中台的贴源层，用以数据分析。数据中台的设计技术架构如图4所示，其主要由数据服务调度、分析层、共享层、贴源层和数据资产管理组成。贴源层的设计目的是容纳源端数据的接入功能，将各类内外部数据进行汇总，汇总的方式多种多样，主要包括批量接入和实时接入。而共享层可以实现数据的存储和整合，遵循SG-GIM的模型，对贴源层的数据进行存储与整合，在形成资产域的过程中，需要完成对数据的整合处理。分析层则以业务为导向，对共享层提供的数据进行加工，形成报表分析、算法模型等数据产品。

图4 技术架构

数据中台存储的电网数据日志量较为巨大，每日产生的数据日志信息包含了常见的电网故障信息、电能情况以及对应的时间、IP地址、运行环境信息。同时包含设备日志操作信息，包括各类操作参数等等。数据中台的投递策略也是依靠数据共享能力实现，常见的日志投递功能是将原始的电网日志信息通过网络输送到特定的地址或设备，对原始数据进行进一步处理，实现降低网络负载，轻量化中台的数据业务开销的目的。数据流转策略如图5所示，让大颗粒度的业务数据逐步向细粒度转变，并且将数据与应用分离，以实现中台服务，并利用日志投递的方式实现数字电网核心业务，从而实现整体的架构。

图5 数据流转演进策略

中台服务的开发是基于接口语法定义的格式，通过对接口的有效定义，有助于在开发中对设备信息进行描述与处理。而基于日志投递的系统接口，保证智能电表监控终端在系统命令触发下完成对应的监控与分析动作。接口需要符合一定的格式，在中台服务开发中，首先要对设计的各类日志投递的接口进行定义，具体如表1所示。

表1 接口定义

全链路监控的模式是对某个设备的控制行为。在应用层，借助本地通信技术建立与采集终端之间的通信。依照要求对全局日志进行投递，捕获链路异常情况，以实现功能。在这个过程中，平台采用规则引擎比对的方式对电网数据进行管理与识别，在达到某函数的触发条件时就会实施计算命令。本地函数的计算过程和计算结果统一由平台的计算引擎进行归一化管理。函数名称作为重要的计算规则调用参数被计算引擎采纳，从而完成函数的启动程序，直至结果的最终实现。交互协议的设备升级的消息格式如表2所示。

通常情况下，传统服务器中的数据块都是内容庞大的，数据链路上的数据传输十分拥堵，大量的资源被占用，且资源利用率十分低下。并且，传统方式会采用原始数据块进行完整比对，既可能造成数据污染，又会给数据校验工作带来麻烦，影响监控效率。因此，在数据中台优化中，采用MD5校验码来完成比对工作。它是一种典型的大文本信息摘要的应用，具备防篡改功能。首先，可将全局日志投递的数据采集速度视为恒定，为了考虑数据块的大小对校验码传输与比对次数的影响，既要保证每次数据量传输的效率，又要减少校验码的生成与传输次数过多的问题。可将投递的日志数据块容量设置为1 M。其监测方式是在服务器上首先计算出数据块A的md5校验码Amd5，将校验码和数据块的特征量和偏移量同时投递到计算平台。根据特征量与偏移量的共同提示信息，搜索出对应的下一数据块B的信息。然后，同样地，对数据块B计算md5校验码Bmd5。通过比较校验码Amd5与校验码Bmd5是否相同来确认是否成功完成了日志投递。在实现日志投递后，就会进行跳转投递，并开始使服务器处理下一数据块。

表2 交互协议中全链路监控的消息格式

3 实验验证

3.1 全链路监控的业务场景实现

本项目的全链路监控技术的实测现场布设于南网某电力公司。依照上述开发过程，在实际应用中进行全链路的监控时，运维人员在前端界面点击发送指令，链路就开始执行自检操作，监控的反馈结果即时通过日志投递方式在界面显示。主站运行的页面如图6所示。

图6 电网主站运行的全链路监控场景界面

日志系统不仅会完整记录每台设备下执行的每次历史操作与其操作结果，而且每次监测链路间的详细通信情况都会被展示，异常节点能够直观显示。同时，通过与传统的全链路监测方法进行比对测试，测试24小时内两种监控捕获的链路异常情况，测试结果如图7所示。红色折线图为本文实现的方式，蓝色折线图为传统电网的监测手段，不依赖于数据中台服务。通过实验数据结论可以得出本文设计的全链路监控方法的可行性和有效性，对于异常的监测预警准确性更高。

图7 链路监控对比图

4 结 论

针对中台服务全链路监控的功能进行分析，在阐述了全链路监控的研究现状之后，针对中台服务中的关键技术——边缘计算技术进行展开，阐述了基于日志投递的全链路监控的实现流程，对其中的电网数据流转处理过程进行设计。然后展开对整个数据和业务中台的设计，并对其中的重点投递接口模块进行分析和实现。最后，对实现全链路监控的中台服务进行实验验证，说明该数据中台具有对业务场景的监控管理功能。并与传统电网监控的方式进行对比，说明基于日志投递功能的全链路监控中台服务的可行性和准确性。在未来的研究中，提高日志投递的快速算法能力是十分重要的研究方向，将是后续研究的重点。