基于深度强化学习的通信网故障智能感知与预警模型研究

缪巍巍，吴海洋，陈 鹏，李 伟，蒋春霞，朱鹏宇

(1.国网江苏省电力有限公司信息通信分公司，江苏 南京 210008)

(2.南京南瑞信息通信科技有限公司，江苏 南京 210008)

电力系统安全稳定地运行依赖于电力设备通信网的感知和预警。电力设备包括变压器、断路器、母线、隔离开关等[1]，随着发电容量的增加，电力设备结构日趋复杂，元件数量不断增多。电力通信网的研究始于20世纪70年代，以断路器3状态模型为主[2]。20世纪90年代，罗伊·比林顿引入了广域(n+2)状态的马尔科夫模型，将其应用在发电厂可靠性算法中。电力通信网的功能主要体现在保证电网运行的高效率和高供电质量。目前，电力通信网的智能算法处于起步阶段，建立一套完善的电力通信网故障感知预警模型已成为当下迫切需要解决的问题。

1 深度学习算法

1.1 深度学习算法分类及网络结构

深度学习算法种类繁多，多层感知机模型、深度神经网络模型和递归神经网络模型是最为常见的三类算法模型，依据这三类模型可以衍生出更多的算法[3]。三类模型所对应的神经网络分别为深度信念网络(deep belief network，DBN)、卷积神经网络(convolution neural networks，CNN)和递归神经网络(recurrent neural network，RNN)。一般地，DBN模型由若干层受限玻尔兹曼机器(restricted Boltzman machine，RBM)堆叠而成[4]，受限玻尔兹曼机器的网络结构相对简单，通常由两层网络组成。卷积神经网络的功能以语音分析和图像识别为主，其结构相对简单，以权值共享的方式实现。卷积网络表达输入输出的关系，在本质上是一种输入到输出的映射[5]，其网络结构图如图1所示。递归神经网络是一种具有反馈结构的神经网络[6]，其主要功能是用于处理时序数据，结构如图2所示，包含输入层、输出层以及隐藏层。

图1 卷积神经网络结构图

图2 递归神经网络结构图

1.2 深度强化学习

对于深度强化学习(deep reinforcement learning，DRL)，强化学习属于深度学习的子领域之一，是利用试错法与奖励激励去训练智能体的动作策略。神经网络是深度学习算法的重要组成部分，在深度强化学习神经网络结构分析中，将可见单元i，j和隐含单元vi，hj都假设为二值变量(只能取0或1)，即i,j,vi,hj∈{0,1}。基于能量定义的受限玻尔兹曼机网络的能量定义如式(1)所示。

(1)

式中：E(v,h|θ)为受限玻尔兹曼机网络的能量，用于表征系统的稳定性，即准确率；Wij为链接权重，主要用来表征隐含层与可见层的关系；ovi和ohj分别表示第i个可见单元vi和第j个隐含单元hj的偏置。此时(v,h)的联合概率分布P(v,h|θ)如式(2)所示。

(2)

(3)

1.3 基于深度学习算法的电力通信网络

网络结构的特征矩阵是评估电力通信网故障的基本矩阵[8]，通过分析电力设施的关联关系，实现对电力设施的情况分析。在线路上安装智能数据采集终端，当电力网络出现故障或电力元件发生大幅度变化时，智能数据采集终端采集各类电力故障数据，然后将数据上报。故障点的定位采用网络端点的异常电流数值进行分析判断，某端点出现异常电流就说明该端点发生了故障。利用故障感知模型对网络结构中的预警信息进行分类处理[9]，过滤掉不必要的信息，保留有价值的预警信息。为了构建故障特征参数与故障的关系映射[10]，一般采用人工查询的方式获知电力故障和对电力故障进行分析。如图3所示，诠释了如何基于深度学习模型利用电力通信网来获取故障数据和感知故障点。

图3 基于深度学习算法的电力通信网络

1.4 电力通信网故障风险的分析方法

信息系统风险预警是信息通信技术的重要组成部分，对系统风险预警一般采用关联分析方法[11]。关联分析方法是对若干看似毫不相关的事件进行关联分析，寻找事件之间隐藏的关联关系，依靠脚本编程对网络故障风险进行挖掘，并对可能的风险给出合理的应急方案。关联分析流程如图4所示，对电力通信网的全局状况进行分析，并做出正确的判断，对故障风险采取相应的安全措施，从响应处理程序库中选择正确的处理程序来执行。

图4 关联分析流程

2 仿真与结果分析

2.1 仿真条件

选取某市电力公司的通信网对深度强化学习模型进行仿真验证。经过调查发现，共有4 000多台通信网络传输设备运行在该电力公司中承担数据传输任务，包括误码率、光功率、故障记录、工作年限等数据。对实际采集的电力通信网络子拓扑中的告警数据进行预处理后，将数据按照一定的比例(训练集∶验证集=8∶2)分为训练集和验证集，并确保将关键性的样本数据分配给训练集。仿真试验基于Python编程语言和TensorFlow人工智能算法库。

2.2 仿真结果分析

模型的训练基于单核CPU计算机完成，模型训练过程中的迭代次数均为5 000次，不同故障定位算法对故障的感知准确率对比如图5所示。已有的算法为主动故障定位算法(AA)、贪婪故障定位算法(GA)和模糊故障定位集合算法(FA)，各算法对故障智能感知性能对比见表1。

图5 不同故障感知算法的准确度

从表1可以看出，深度强化学习算法的故障感知准确率在95%以上，与已有的故障感知算法相比具有更高的准确率、更小的定位时延，具有较为突出的应用表现。

表1 故障智能感知性能对比表

3 结束语

电力系统的稳定对于经济的发展至关重要。本文首先介绍了电力通信网系统的组成，然后利用深度强化学习算法对采集的电力通信网络子拓扑中的告警数据进行仿真，结果显示深度强化学习算法相比于其他算法具有更高的准确率，其对故障的智能感知效果优于其他算法。以后在分析主接线故障时，将对电力系统中厂站接线与电力通信网的关系进行深入的研究。