PDMiner平台的主动配电网安全监测系统

常成

摘要：

主动配电网系统结构复杂、DG渗透率高、负荷波动大、控制要求严格，运行数据信息呈现出大量、高速、多样和价值的特点。针对主动配电网大数据处理的问题，依据云计算理论，采用数据挖掘技术和分布并行计算方式，建立了一套PDMiner大数据挖掘平台的主动配电网安全监测系统模型。分别研究了系统对历史数据和实时故障数据的处理。研究表明该系统通过对历史数据的处理可进行风险区域划分、制定规划方案、运行状态评价，通过对故障数据的处理可进行故障分析与处理，并为配电网安全改造提供依据。通过仿真算例验证了该系统的工作效果。

关键词：

大数据；云计算；数据挖掘；主动配电网；自愈控制

DOI：10.15938/j.jhust.2017.02.012

中图分类号： TM612

文献标志码： A

文章编号： 1007-2683（2017）02-0061-06

Abstract：

Active distribution network system has the characteristics of complex structure， high DG permeability， large load fluctuation， strict control requirements. The data information of operation has the characteristics of high volume， high speed， diversity and value. For active distribution network data processing， according to the theory of cloud calculation， using the data mining technology and distributed parallel computing method， establishing an active distribution network security monitoring system model based on PDMiner large data mining platform. The processing of historical data and real time fault data are studied respectively. Research results show that the system by processing of historical data for risk zoning， development planning， operation state evaluation， by processing of fault data for fault analysis and processing， providing the basis for the distribution network security. The result of the system is verified by the simulation example.

Keywords：big data； cloud computing； data mining； active distribution network； selfhealing control

0引言

隨着配电网架构的日趋复杂和智能电网技术的飞速发展，配电网运行数据呈现出规模性、多样性、价值性和快速性的特点[1]，已经从TB级跃升为PB级，电力大数据的概念也应运而生。电力大数据在电网运行监测、故障诊断与恢复和分布式发电选址定容等方面有着广泛的应用。

主动配电网（active distribution networks）于2008年国际大电网会议（CIGRE） C6.11研究组提出后已经在世界各地建立示范工程并投入建设实施[2]。主动配电网由于高渗透率DG接入、负荷波动和网架结构复杂等因素，使得对于配电网数据处理的难度显著增大，尤其是在主动配电网的安全评估和故障诊断方面，若不能有效地对运行和故障数据进行处理，将严重影响配电网的安全、可靠性，这也成为主动配电网实现自愈控制的关键环节。基于云计算的数据挖掘技术能够实时并迅速的将配电网中有价值的数据信息提取出来，显著提高了数据处理的效率。目前，将数据挖掘技术用于配电网运行控制和故障诊断已经取得了一定的研究成果。文[3]研发了一种基于多源异构数据环境的配电网故障信息统计分析系统，通过数据挖掘手段可从不同的业务系统中提取到反映配电网运行状态的目标数据，极大地提高了配电网的运营效率和管理水平。文[4]将数据挖掘技术应用在主动配电网的全景信息展示系统中，能够为配电网运行检修科学决策提供可靠的数据依据。

本文在云计算并行分布式大数据挖掘平台PDMiner的基础上研发了一套主动配电网故障监测系统。该系统安装在主控中心，在配电网正常运行时能够对实时采集的数据和已有的历史数据进行筛选、分类和对比，通过对数据的分析处理可以划分出风险区域、等级；在配电网发生故障时，能够快速、准确的提取到有价值的故障数据，建立故障信息数据库，为运行检修人员制定故障预防和故障恢复策略提供了合理的依据。

1配电网云计算

云计算（cloud computing）采用分布式网络存储（distributed network storage）技术和并行效用计算（parallel and utility computing）方式[5]，其核心思想是将分散的数据资源聚集在由大量分布式计算机构成的资源共享池中，各应用系统可根据需要随时获取相关数据存储和服务信息[6]。云计算是实现大数据应用的关键技术，两者密不可分。

大量分布式电源的引入和用户端负荷的复杂多变性使得传统配电网难以应对庞大的数据资源，无法确保配电网运行的安全性和可靠性。智能配电网和主动配电网打破了传统电网被动控制模式，不仅在运行控制和网络优化方面变得主动化、智能化，也在数据处理方面引入了云计算技术使其更加高效化、精确化。“电力云”概念一经提出，便得到了行业内的广泛认可，国家电网公司也就此制定了云计算技术研究框架，将其应用在软硬件资源配置和数据中心建设等方面。配电网云计算对配电网内部的计算和存储资源进行有效整合，显著提高了电网的交互、处理能力。

配电网的数据主要来源于用户端、电力企业和外部数据3类[7]，3类数据彼此相互制约、相互联系，共同组成了配电网数据资源库。但是，在对主动配电网进行事故预防、安全评估、故障诊断和决策制定等方面也面临着数据的准确性和价值性问题。因此，需要建立以数据挖掘为关键技术的配电网数据在线处理系统。

2配电网大数据挖掘平台

目前的数据分析系统普遍采用的是双层数据架构（double data structure，DDS），即以数据融合技术为核心的处理外层和以数据挖掘技术为核心的处理内层[8]。数据挖掘技术是根据人为的需要通过统计学观点和人工智能搜索算法从大数据库中提取出有价值的、准确的数据信息。

常用的数据挖掘方法有集中式计算、分布式计算和并行计算[9]。集中式计算仅利用一台计算机系统，难以适应大数据环境，处理效率低，不能提供丰富的图形用户界面[10]。与其相对的分布式计算将计算任务分配到不同的计算机中进行，具有很强的资源共享和平衡计算负载能力[11]。并行计算具有更高的计算效率，通过流水线技术和多处理器并发技术实现在计算时间和空间上的并行[12]，可同时执行多指令运算和解决多离散问题，显著缩短了运算时间[13]。分布计算和并行计算是目前最广泛使用的数据挖掘算法。

PDMiner是一种基于并行分布式系统架构Hadhoop的大数据挖掘平台，利用其框架内部的HDFS和MapReduce进行数据的存储和运算处理[14]，其中HDFS是建立在大型集群的大数据存储文件系统，可用于对大数据文件的可靠存储[15]，MapReduce为分布式程序设计模型，使程序具有超大集群的适应能力，为大数据提供了准确高效的并行计算方法[16]。PDMiner主要由UI、MapReduce和HDFS三部分组成，具有异构性、强容错性、高效性和可靠性等优点。PDMiner的总体框架结构如图1所示。

HDFS是基于流式的数据访问方式，可对数据源中的数据进行分布式存储[17]。MapReduce为PDMiner平台提供了完备的并行计算系统[18]，可以很好地处理决策树算法的并行问题，提高了算法的执行效率。并行ETL系统可对数据源中的数据进行抽取（extract）、转换（transform）和加载（load）[19]，经过清洗和重构后的数据再通过并行数据挖掘子系统进行并行计算，主要采用并行关联规则、并行分类和并行聚类3种算法[20]。UI包括工作流子系统和用户接口子系统，用户可通过该环节建立所需的数据挖掘任务，算法选择模块中包含ETL数据预处理、分类、聚类和关联规则4种[21]。用户接口子系统为配电网运行监视人员提供了良好的数据交互界面和结构展示界面，监视人员可对算法的参数进行设置，运算的结果也可通过界面快速、清晰的反馈给监视人员。

3配电网大数据分析平台

主动配电网系统是一种高维非线性的复杂系统，其内部的数据量主要包含电力流、业务流、故障流。主动配电网的大数据分析平台包括大数据分析处理模块、大数据存储模块、大数据调度模块。

数据处理模块主要完成数据提取、数据挖掘、数据清理等任务，是进行大数据计算分析的核心部分，涉及数据分析和数据处理技术。数据分析的关键是并行化处理的数据挖掘技术，将原始数据信息经提炼、加工后转变为知识流，以对数据的进一步处理进行科学决策，在PDMiner平台上使用的是MapReduce。数据处理是对数据进行运算，可分为分布式运算、内存运算和流处理运算，PDMiner平台以分布式运算作为主要的数据运算方式，较适合主动配电网数据采集领域的大规模数据源。

大数据存储模块依赖于高效的分布式存储方式，可将有价值的历史数据信息保留下来为配电网运行规划和优化改造提供可靠依据，关键技术为数据集成管理技术，PDMiner平台的数据集成管理采用基于NoSQL数据库的分布式存储技术[22]，通过将多应用系统的数据源合并来创建一个多功能的应用进程。

數据调度模块与数据库进行实时交互，可根据需要调取数据库中的数据信息，运行监视人员可随时掌握配电网的实际运行状况。PDMiner为监视人员提供了良好的人机界面和交互功能，这归功于先进的数据展现技术，包括历史流展现、空间信息流展现和可视化应用。

各模块的工作维持和相互配合需要操作系统软件和硬件服务器的支撑。主动配电网大数据分析平台的总体架构如图2所示。

基于PDMiner平台的主动配电网安全监测系统主动配电网异于传统配电网，复杂的拓扑结构、高渗透率的DG接入和间歇性、随机性变化的负荷都使得配电网的事故发生率大大提高，而主动配电网又对自愈控制体系有着严格的要求，需要配备一套安全监测和保护控制系统。

传统配电网使用的是基于SCADA/EMS的配电网数据在线采集与监视系统。然而在面对电力大数据环境时，该系统无法准确、高效的进行数据提取、数据挖掘、数据整合等流程，不仅对于配电网保护难以实现选择性、速动性和灵敏性，并且无法根据数据资源库中的历史信息对配电网进行安全评估和改造规划。配电网大数据分析平台的引入为解决此问题提供了很好的手段。

将PDMiner大数据挖掘平台配置在主动配电网数据在线采集与监视系统中，建立一套针对主动配电网的安全监测系统。该系统采用分层分布式的控制方式，由数据源层、算法模型层、数据分析与处理层、安全评估与故障处理层和业务应用层组成，如图3所示。数据源层是主动配电网输入到该系统中的数据来源，主要是用户端数据、电力企业数据和外部数据，系统可根据需要从3种数据库中提取相应的历史和实时数据信息。算法模型层为配电网各安全监测任务提供算法引擎，包括故障诊断与隔离、故障分析、风险区域划分、系统运行评价和系统优化策略，可使其在进行并行计算时调用相应的算法函数进行针对性处理。数据分析与处理层为PDMiner大数据挖掘平台，是进行数据分析与处理的核心设备。安全评估与故障处理层根据分析后的故障数据信息建立相应的数据库。业务应用层根据数据库中的数据信息对故障进行处理和制定系统优化方案。故障诊断与隔离模块可将故障区段快速隔离出配电网；故障分析模块可根据相应的算法理论判断出故障相、故障类型、故障原因和测定出故障距离，这两个模块为配电网故障处理与供电恢复提供了可靠的依据。系统改造与规划部分中的风险区域划分与识别模块可在配电网正常运行下按照风险等级划分出不同区域；系统运行状态评价模块对配电网系统的实时运行状况进行安全评估，并通过人机交互界面展现给监控人员；系统优化方案制定模块为配电网安全系统升级改造提供了最佳方案。

基于PDMiner平台的主动配电网安全监测系统在配电网系统正常运行时可根据历史数据信息划分出配电网的风险区域，对各区域的风险状况进行评估。当配电网某处发生故障时，系统可对采集到的故障信息进行提取、挖掘、清理和加工，并根据数据分析处理报告了解到故障的相关信息，为故障处理提供依据，并可根据该数据信息制定出配电网改造与规划方案。其具体工作流程如图4所示。

5仿真研究

分别选取单机IEEE33标准测试系统和New England10机39节点标准测试系统进行仿真分析。将基于PDMiner平台的主动配电网安全监测系统配置在两种主动配电网系统的主站控制中心。

如图5所示的含有高渗透率DG的IEEE33主动配电网系统，选取贵州某地区2013年用户负荷情况、光伏电站DG出力情况和配电网故障情况的历史数据信息作为源数据，将其输入到PDMiner平台的安全监测系统中。根据事故发生率和配电网运行状况将主动配电网系统分为7个区域，各区域的故障发生率按从大到小排列为区域1、区域2、区域3、区域4、区域5、区域6、区域7，根据各区域的历史故障信息数据可得到主动配电网运行的总体评价报告和最佳优化方案，比如事故高发区域1中的80%的故障是由自然因素雷击造成的，故应重点改造防雷装置。若要兴建医院、政府机关等一类负荷场所，应优先考虑安全性高的区域，如区域7。主要涉及安全状况评估、重点改造方向、新建设施建议、DG选址定容、配电网规划等方面。

当配电网某处发生故障时，如母线4、5间距离4母线10km处。PDMiner接收到馈线上的数据采集装置（如FTU）采集到的实时数据信息，然后对其进行挖掘处理，对得到的有价值的数据信息进行故障分析，其分析结果如表1所示。〖HJ5mm〗〖FL）〗〖HJ〗

现将故障数据输入到未使用PDMiner平台的SCADA/EMS的配电网数据采集与监视控制系统中，可得到的故障分析和处理结果如表2所示。

由表2可知，SCADA/EMS对于数据的处理效果远不及PDMiner平台的安全监测系统。开关动作时间长，故障测距结果误差大，所直接得到的故障信息匮乏，大部分信息的获得要靠运检人员的经验、翻阅相关事故报告和现场巡视，不能为检修人员提供科学合理的故障处理措施，也延长了供电恢复的时间。

如图6所示为含有高渗透率DG的New England10机39节点主动配电网系统，选取甘肃某地区2013年用户负荷情况、风电场DG出力情况和配电网故障情况的历史数据信息作为源数据，将其输入到PDMiner平台的安全监测系统中。此时可将该系统划分成6个风险区域，编号原则同IEEE33系统，即区域6安全性最好，区域1故障率最高。

PDMiner根据相关故障历史数据制定出各区域和整个配电网的规划改造方案、运行评价报告等，具体涉及内容同IEEE33系统。现令故障发生在区域2距离22母线15km处，再分别对PDMiner平台安全监测系统和SCADA/EMS系统的故障分析和处理结果进行对比，如表3和表4所示。

由表3和表4可知，PDMiner平台安全监测系统可为监控中心提供有关New England系统的完备故障信息，故障隔离时间和故障测距精度都比SCADA/EMS系统要高很多。

6结语

主动配电网系统结构复杂、DG渗透率高、负荷波动大、控制更加主动化、智能化，需要具备较强的大数据分析处理能力。结合配电网云计算和大数据挖掘技术，提出设计一套PDMiner平台的主动配电网安全监测系统。该系统可根据数据源输入的历史数据对配电网运行状态进行评估，划分出风险区域并提供最优规划方案。配电网故障时可提取到价值性高的故障信息数据，快速、准确的切除故障并对故障进行相关分析，制定出合理的故障处理方案和安全改造策略。该系统进一步完善了SCADA/EMS的性能，监控中心可随时掌握配电网的运行状况，并极大的方便了检修人员对于故障的处理，为配电网安全系统升级改造、配电网规划设计提供了有力的科学依据。

参 考 文 献：

[1]张东霞，苗新，刘丽平，等. 智能电网大数据技术发展研究[J]. 中国电机工程学报，2015（1）：2-12.

[2]赵波，王财胜，周金辉，等. 主动配电网现状与未来发展[J]. 电力系统自动化，2014（18）：125-135.

[3]宋杰，谢海宁，杨增辉，等. 基于多源异构数据挖掘的配电网故障信息统计分析[J]. 电力系统保护与控制，2016（3）：141-147.

[4]刘俊勇，黄媛，刘友波，等. 基于数据挖掘的主动配电网全景信息展示系统[J]. 供用电，2015（9）：13-17.

[5]林闯，苏文博，孟坤，等. 云计算安全：架构、机制与模型评价[J]. 计算机学报，2013（9）：1765-1784.

[6]邓维，刘方明，金海，等. 云计算数据中心的新能源应用：研究现状与趋势[J]. 计算机学报，2013（3）：582-598.

[7]劉科研，盛万兴，张东霞，等. 智能配电网大数据应用需求和场景分析研究[J]. 中国电机工程学报，2015（2）：287-293.

[8]李德仁，张良培，夏桂松. 遥感大数据自动分析与数据挖掘[J]. 测绘学报，2014（12）：1211-1216.

[9]宛婉，周国祥. 基于并行抽样的海量数据关联挖掘算法[J]. 合肥工业大学学报（自然科学版），2013（8）：933-937.

[10]应毅，任凯，刘正涛. 基于云计算技术的数据挖掘[J]. 微电子学与计算机，2013（2）：161-164.

[11]焦润海，王景兵，林碧英. 配电网高级应用分布式计算平台通信架构设计[J]. 电力系统自动化，2013（22）：66-72.

[12]潘巍，李战怀. 大数据环境下并行计算模型的研究进展[J]. 华东师范大学学报（自然科学版），2014（5）：43-54.

[13]黄伟，庞琳，曹彬，等. 基于数据级任务分解的配电网分布式并行计算平台[J]. 电网技术，2014（4）：1103-1108.

[14]何清，庄福振，曾立，等. PDMiner：基于云计算的并行分布式数据挖掘工具平台[J]. 中国科学：信息科学，2014（7）：871-885.

[15]廖彬，于炯，张陶，等. 基于分布式文件系统HDFS的节能算法[J]. 计算机学报，2013（5）：1047-1064.

[16]宋杰，刘雪冰，朱志良，等. 一种能效优化的MapReduce资源比模型[J]. 计算机学报，2015（1）：59-73.

[17]孟祥萍，周来. 基于hadoop云平台的智能电网HDFS资源存储技术研究[J]. 电测与仪表，2014（19）：24-30.

[18]刘义，景宁，陈荦，等. MapReduce框架下基于R-树的k-近邻连接算法[J]. 软件学报，2013（8）：1836-1851.

[19]宋杰，郝文宁，陈刚，等. 基于MapReduce的分布式ETL体系结构研究[J]. 计算机科学，2013（6）：152-154.

[20]杨来，史忠植，梁帆，等. 基于Hadoop云平台的并行数据挖掘方法[J]. 系统仿真学报，2013（5）：936-944.

[21]张鹏，王桂玲，徐学辉. 云计算环境下适于工作流的数据布局方法[J]. 计算机研究与发展，2013（3）：636-647.

[22]申德荣，于戈，王习特，等. 支持大数据管理的NoSQL系统研究综述[J]. 软件学报，2013（8）：1786-1803.

（编辑：温泽宇）