基于海量数据的智能配电网监测系统设计

鲍永胜， 孙洁， 金鑫

(国网银川供电公司， 宁夏， 银川 750000)

0 引言

随着智能配电网的发展，智能配电网在数据采集、分析和整理方面需求量加大。目前对电力系统的配电网监测成为配电网发展主要障碍，电力系统的持续扩大对电力系统的安全运行、系统控制带来难度[1]。电力系统智能化的发展使配电网具有较好的自愈性，一定程度下可抵抗外界的攻击，对分布式电力和再生性能源有很好的支持作用。

大城市的智能配电网发展迅速，在同一个城区内会同时产生海量数据，对这些海量数据实现实时监测的难度极大，我国一些学者也对此展开了研究。罗慧等[2]对基于大数据平台的智能配电网状态自动监测系统进行了研究，在大数据平台下，设计总体框架结构,通过信息交互总线集成相关配电业务，分析硬件结构和软件功能。根据系统硬件结构监测网络状态，对接口文件进行可视化处理，查看设备线路异常信号，通过该信号确定配电网出现异常的位置。但该系统没有考虑数据量极大的情况，当出现海量数据时自动监测效率是否能达到理想状态。张稳等[1]对基于海量数据的配电网运行分析系统架构与技术实现展开了分析，该系统集成电网地理信息、营销业务应用和配电自动化等系统数据，采用改进的机器学习算法和薄弱点辨识方法，扩展了目标配电网数据相关性分析、故障风险等级预测和薄弱点辨识的功能，从而指导配电网的运维检修。该系统虽考虑了海量数据下的配电网运行，但没有考虑到监测对海量数据下的智能配电网监测的效率不高。为了解决以上出现的问题，本文设计了一种考虑海量数据的智能配电网监测系统，提高海量数据下的监测效率，有利于相关部门有针对性地提出相应技术和管理手段进行配电网运维检修工作，提高现有配电网分析系统的科学性和实用性，为最终实现配电网运行分析的信息化、智能化、精益化奠定基础。

1 基于海量数据的智能配电网监测系统设计

1.1 系统架构设计

由于配电网运行过程中产生了海量数据，智能配电网监测系统采用云存储技术实时监测设备状态，其需要基于智能配电网的视频数据、图片数据等状态数据。文章采用云存储技术基于Hadoop框架实现智能配电网监测系统设计，系统的架构如图1所示。该系统采用Master/Slave架构实现智能配电网数据的管理，将海量数据划分成几个数据块，将数据块保存到不同的数据节点中[3]。云存储管理技术的集群系统存在一个以Namenode命名空间以及多个Datanode数据节点，前者的作用是对配电网海量数据进行管理和分割，后者实现配电网数据的处理。

本研究所设计的考虑海量数据的智能配电网监测系统逻辑架构如图2所示。

图2 基于Hadoop的智能配电网监测系统逻辑架构

本研究所设计的智能配电网监测系统通过HDFS软件架构保存配电网上出现的海量数据，提高了数据的安全性。系统架构使用的Master/Slave 架构，将系统中的随机一个节点设置成Namenode，它作为云存储服务主节点控制系统的元数据，完成执行文件的访问以及控制，对Datanode数据节点数据实施打开以及关闭等处理[3]。数据节点Datanode能够响应Namenode申请，完成数据块以及文件的过滤、启动和停用。文章设置数据存储文件的大小是64 MB，向Datanode数据节点中保存冗余数据，将数据块存储到3个数据节点Datanode中，实现云存储技术的数据冗余以及自主修复功能，提升智能配电网数据的安全性。

系统将MapReduce当成海量配电网数据并行编程模型的运算框架。通过任务分解以及结果汇总，利用MapReduce技术框架操作海量数据集，完成智能配电网海量数据的并行运算，同任务数据结果实施映射分解以及汇总处理。MapReduce编程模型通过Pig语言简化开发程序。文章通过配电网私有云平台实现智能配电网监测，增强网络传输效率及配电网的监测质量。

1.2 MapReduce 监测模块设计

MapReduce 技术框架包括Map(映射)以及Reduce(化简)两个过程，Map 函数完成关键字到新键值间的映射，基于新键值组为子任务实现查询提供服务，完成任务映射，执行子任务；Reduce能够对键值间的映射关系实施翻转，融合子任务，对任务进行并行运算。任务并行运算能够产生大量的临时操作文件，本研究所设计系统通过云计算能力，增强海量配电网数据的操作以及检测性能，对智能配电网中的海量数据进行高效控制[3]。

本研究所设计系统包括上层及下层，上层完成数据的分析以及采集，通过绝缘子信息、断路器以及电流、电压传感器采集配电网信息。MapReduce 模型将应用分割成不同并行运行的子任务，该模型可存储异常的配电网信息设备数据，同时对配电网信号进行变换处理。数据预处理、特征采集以及信号变换等过程构成不同的子任务，各子任务基于时间段划分成不同的子过程，完成子过程后实施反向处理[4]，对结果进行融合操作，得到最终配电网分析结果，完成智能配电网状态的准确监测。

MapReduce实施查询功能分为三步骤，其中数据读取功能实现由用户进行设定。

(1) 将用户输入的时间信息转化为指令，同时开始MapReduce查询流程。

(2) 数据经过Map和Reduce处理后，从本研究所设计系统中进行数据提取和读取。

(3) 从HBase中得到所需数据后，将得到的数据导入文件管理系统HDFS中，再采用MapReduce对HDFS中的数据进行读取。

1.3 海量数据的标准化预处理

在数据经过MapReduce模块并行运算后，对其进行标准化预处理，其预处理硬件结构如下。

1.3.1 预处理系统电路结构图

智能配电网监测系统数据预处理的总体电路设计结构用图3描述。系统采用电流、电压传感器获取配电网的电流以及电压信号，将这些信号输入信号调理电路，并对信号实施汇总操作，将操作结果反馈到模数变换器变换成数字信号后传输到单片机中，单片机基于数字信号实现配电网信号监测的人机处理以及配电网信号的数据呈现[5]，并进行上位机与下位机的信号交互。

图3 系统电路结构图

1.3.2 传感器节点电路的设计

传感器可测量配电网电流。传感器将测量的电流信号转化为数字信号，数字信号再通过传感网络导入到汇聚节点。图4为传感器节点结构图，包括电源、电流传感器、信号处理电路和汇聚节点。电流传感器将智能配电网系统中的交流强电流转化成弱电流，电流传感器是智能配电网监测系统中的基础监测设备。电流传感器除了可以对强电流起到弱化作用外，还能防止由于强电流影响对低压信号进行监测带来猛烈变化的问题。选择高效电流传感器可加快智能配电网电流的检测和转化速率，降低配电网监测中的失误，保证电力系统的正常运行[6]。因此，本研究所设计系统采用LEM公司的RT500型号的电流传感器，该型号传感器具有安装速度快、传感性能好和测量精度高的特点。利用CC1110处理器实现节点与电路的通信处理。

图4 传感器节点结构框图

1.3.3 信号处理电路的设计

由采用的RT500电流传感器的技术参数可知，其输出的电压与被监测的电流呈现一种微分关系，存在高谐波分量和90°的相位差。为使本研究所设计智能配电网监测系统对电流监测结果更加准确，需要对电流传感器信号输出进行标准化处理使其成为标准信号。信号处理过程的好坏关系到本研究所设计系统监测能力的强弱，图5为传感器信号处理电路，该信号处理电路包括补偿电路和相移电路等。

图5 传感器信号处理电路

1.4 GUI实现流程

图6为本研究所设计的智能配电网监测系统数据处理流程图。

图6 MapReduce Jobl和MapReduce Job2

2 并行处理流程

为了使数据格式与云存储下的数据格式相同，需要对海量数据进行预处理，即对数据格式做合理的转换[7-8]。使用本研究所设计系统进行配电网监测时，首先要实现用户的数据查询。图7为用户查询模块GUI流程图，其用户界面处理流程：① 向用户提供系统查询时间，方便数据查询；② 判别用户数据输入正确性；③ 网关验证，对输入指令的处理即数据拆分；④ 实施MapRedce数据查询；⑤ 数据查询结果利用同步方式和异步方式实现数据查询；⑥ 数据界面显示数据查询结果。

图7 用户查询模块GUI流程图

3 实验分析

实验为了检测本研究所设计的基于海量数据的智能配电网监测系统的性能，采用本研究所设计系统对某城市用电高负荷区的海量数据下的智能配电网进行实验监测。

3.1 系统运行结果展示

配电网历史数据查询结果如图8所示。

图8 监控历史曲线

综合分析图8中的各项结果，能够看出本研究所设计系统是一种有效的智能配电网监测系统，能够呈现配电网历史数据以及远程数据检索结果。配电网远程数据检索结果可通过图9所述的检索界面进行查询。

图9 检索界面

3.2 实验结果分析

实验对本研究所设计系统运行结果进行客观评估，检测本研究所设计系统功能是否可以正常运行，满足用户的正常需求。查找系统漏洞，监测系统的可靠性。采用系统的绩效关系集合和绩效模型，改正在实验过程中出现的系统漏洞，使系统功能更加完整。系统软件测试主要采用黑盒测试法，结果如表1所示。

表1 本研究所设计系统软件测试结果

3.2.1 软件测试结果

分析表1中的结果可知，本研究所设计系统软件各项功能运行正常，能够实现智能配电网的准确监测。

3.2.2 客观检测结果

实验为检测海量数据对本研究监测系统的影响，对不同数据量进行多次实验以降低偶然性，以传统Oracle系统[9]作为实验对比系统，表2为不同数据量下传统Oracle系统和本研究系统的数据扩展性用时结果的平均值。图10为传统Oracle系统和本研究所设计系统的数据处理时间折线图。

表2 不同系统的数据量扩展实验耗时比较

图10 数据处理时间

从表2可知，在处理10万条数据的时候，2个系统所用时间相差极小，在处理50万条数据的时候，2个系统所用时间相差不大，但随着海量数据的产生，在处理500万条以上数据时，本研究所设计系统处理数据的效率优势显著优于Oracle系统，说明相对Oracle系统，本研究所设计系统在处理智能配电网海量数据监测时，数据处理能力较强，处理数据的速度更快、耗时更短。

分析图10可知，采用本研究所设计的配电网监测系统处理海量数据的时候，效率明显高于传统Oracle系统。表明本研究所设计的监测系统对于海量数据的处理具有较高的效率。

4 总结

本研究所设计的基于海量数据的智能配电网监测系统，采用Master/Slave架构完成配电网数据的管理，将MapReduce当成配电网数据并行编程模型的运算框架，完成智能配电网海量数据的并行运算，提高了智能配电网的监测效率。实验结果表明，本研究所设计系统相对于传统Oracle系统在面对海量数据处理时，优势表现明显，监测处理的数据更多，效率更高。但在以后的研究中，也应对一些其他学者研究的新系统做更加全面的对比，优化本研究所设计系统构架，确保处于行业领先水平。