基于数据中台的数据全链路监控研究与应用

徐敏，洪德华，王鹏，孙佳丽

（国网安徽省电力有限公司信息通信分公司，合肥230041）

0 引言

全球进入互联网和数字经济时代，新的生产关系和经济形态正在形成[1-2]。以“大云物移智”为代表的新一代信息通信技术发展日新月异，已成为传统产业升级和新型业务发展的关键驱动力[3-4]。互联网作为一种新的生产消费模式，其应用领域正在从消费互联网向产业互联网快速拓展[5-6]。数据作为一种新的生产资料，其应用价值不断孕育新的业务模式和商业模式。互联网和数据日益成为价值再造的核心要素与经济发展的新动能[7-8]。

数据中台是公司重要基础支撑性平台，近年来电力企业建成数据中台，初步构建了数据全链路监测分析体系，但是在数据监测的效率、监测的覆盖度等方面有待进一步提升[9-10]。本文重点研究数据中台的全链路监控体系，突破片面的数据监测技术，构建全链路覆盖的监测能力，推动形成覆盖数据全生命周期的全链路监测解决方案，全面提升经营决策、运营管理、业务拓展和客户服务等方面的支撑能力。

1 现状分析

数据服务的运行状态数据的测量获取方法可分为主动和被动两种形式。被动监测主要方式是由网络设备记录通过该设备的如数据包、错误、流量等数据，周期性地发送给管理站，存储到数据库或直接分析。主动监测主要方法是由管理员或管理控制设备主动向网络设备请求监测数据或向网络中发送探针来主动获取数据。

数据中台与边缘计算协同的大数据监测分析要将数据中台与边缘计算结合起来，协同处理来自智能感知终端不断产生的新数据，协同部署和支撑数据监测分析应用，将数据中台的数据处理和监测分析应用承担的计算压力分配给各边缘侧，减轻数据中台的计算压力，提高数据监测分析的能力。

2 数据全链路监控方案

数据全链路额是指对系统数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。

2.1 总体架构

根据电力企业两级贯通要求，主要是实现两级同构、异构数据中台之间数据的监控，通过统一交换平台实现批量数据传输和实时数据横纵向的贯通。横向完成本级业务系统数据传输，纵向实现总部和二级平台之间数据交换。数据监测的总体架构如图1 所示。

图1 数据监测架构

2.2 监测流程

数据传输过程中，当现有网络系统出现故障时，网络可能出现阻塞、丢包问题，前端传感器采集的数据将无法完整准确地传输至服务器端。这种情况下会严重影响数据链路监控的准确性。为了应对这一问题，提出一种数据旁路捕获和同步方法。在该方法中，首先基于网卡混杂工作模式实现数据的旁路捕获，其次基于校验值对比法实现旁路数据库和主数据库的数据同步。数据旁路捕获过程无需停机，也不影响现有的网络拓扑和工作状态，有利于数据链路的安全稳定运行。旁路数据库和主数据库的数据同步基于校验值的对比，无需直接传输原始数据，显著降低了旁路数据库和主数据库之间的通信量，监测流程如图2 所示。

图2 数据旁路捕获及同步流程

旁路数据实时采集状态数据，网关在将量测数据转发至主服务器时，旁路服务器也能够通过数据旁路捕获到这些数据。与出现故障的通信网络不同，新增设的数据旁路通道是无故障的，能够保障网关转发的数据及时准确地传输到旁路服务器上。此后，将旁路服务器和主服务器上的数据进行分块，并逐块比较其校验码。当旁路服务器和主服务器上同一数据块的校验码不同时，表明主服务器上接收到的数据是有误的。此时，将旁路服务器上的数据块发送至主服务器上，并覆盖主服务器上对应数据块，从而实现数据同步。

2.3 捕获方法

在数据旁路捕获及同步过程中，旁路服务器对得到的数据包进行解析、过滤和重组。首先旁路服务器对得到的数据包进行解析，得到数据包的目的地址及对应数据；其次，旁路服务器对数据包进行过滤，得到与主服务器有相同目的地址的数据；旁路服务器分析与主服务器有相同目的地址的数据，获取其应用层协议类型、分片和偏移信息，以及应用数据；旁路服务器根据分片和偏移信息对应用数据进行重组，得到重组后的数据。旁路捕获流程如图3 所示。

图3 数据旁路捕获流程

2.4 数据同步

由于通常状况下，主服务器上大部分数据块是完整准确的，为了降低旁路服务器和主服务器之间的数据通信量，并提升数据块比对的效率，在本方法中将基于校验码而不是原始数据块进行比较。在所述主服务器上，根据应用数据特征量和偏移量搜索到第一数据块对应的第二数据块，并生成第二校验码；将第二校验码与第一校验码进行比较，如果相同，则轮询下一数据块，直至遍历旁路服务器上的全部数据块；如果不同，则通知旁路服务器将第一数据块发送至主服务器替换第二数据块，轮询下一数据块，直至遍历旁路服务器上的全部数据块。数据同步过程如图4 所示。

图4 数据同步流程

由于量测数据的采集速度可视为恒定，数据块越小，校验码生成、传输和对比的次数越多，但数据同步的时延越小，需要传输和同步的原始数据量越小；数据块越大，校验码生成、传输和对比的次数越少，但数据同步的时延越大，需要传输和同步的原始数据量越多，在本项目中设置的数据块大小为1M。数据同步流程步骤如下：

步骤1：在旁路服务器上，对数据块A 计算md5 校验码Amd5；

步骤2：旁路服务器将数据块A 的md5 校验码，以及用于确定数据块位置的应用数据特征量和偏移量发至主服务器；

步骤3：主服务器依据数据特征量和偏移量搜索对应的数据块B

步骤4：计算数据块B 的md5 校验码Bmd5；

步骤5：如果数据块B 的md5 校验码Bmd5 与数据块A 的md5 校验码Amd5 相同，则跳转至步骤8；

步骤6：如果数据块B 的md5 校验码Bmd5 与数据块A 的md5 校验码Amd5 不同，则通知旁路服务器将数据块A 发送至主服务器；

步骤7：用数据块A 覆盖数据块B；

步骤8：通知旁路服务器处理下一数据块。

3 实验验证

本文依托国网安徽电力公司数据中台进行测试验证，模拟验证数据全链路监测的流程，通过与传统的基于日志的全链路监测方法进行比对测试，测试24 小时内两种监测捕获的链路异常情况，测试结果如图5所示。

图5 实验验证

图中柱状体代表传统基于日志的全链路监测方法监测的链路异常数量，折线代表本文设计的基于旁路的数据链路异常监测方法监测的链路异常数量，通过实验数据结论可以分析得出本文设计的全链路监测方法的可行性和有效性。

4 结语

针对当前电力企业数字化转型的需要，本文提出了基于数据中台的数据全链路监控方案，给出了数据监控的总体架构，阐述数据链路监测流程，设计了链路异常捕获以及数据同步方法，通过实验验证了基于数据中台的数据全链路监控的可行性和有效性。