基于深度置信网络的电网故障类型辨识

杨雯，尹康涌，鲍奕宇，尹项根，徐彪

(1.国网江苏省电力有限公司检修分公司，江苏 南京 211106；2.强电磁工程与新技术国家重点实验室(华中科技大学)，湖北 武汉 430074；3.国网江苏省电力有限公司电力科学研究院，江苏 南京 211103)

0 引言

现有电网故障分类方法主要有工频量和暂态量2种。工频量分类方法易受接地电阻、系统运行方式的影响；暂态量分类方法利用行波[1—2]和故障暂态量[3—4]等，能有效摆脱工频因素限制。许多学者将新兴的数据分析方法与暂态量选相方法相结合，提出了基于模糊理论[5— 6]、分形理论[7—8]、小波变换[9—10]、人工神经网络(artificial neural networks，ANN)[11—12]等的故障类型辨识方法。其中ANN等人工智能方法由于其在非线性映射、自学习和自适应、泛化和容错等方面的优势而备受关注。文献[13]利用提升小波和神经网络构造了小波神经网络故障识别模型；文献[14]提出多小波包系数熵和ANN相结合的输电线路故障分类方法。

随着电力大数据的发展，反映设备状态的数据越来越大，以ANN为代表的浅层学习方法主要存在以下缺陷：(1) 对复杂数据分布的映射能力有限且可能出现“维数灾”；(2) 太依赖于信号处理技术和人工诊断经验，在故障特征不明显或者出现复杂连锁故障时容易漏判或误判，无法满足现代大电网的诊断需求。

深度学习的发展为解决上述问题提供了机遇。作为其典型代表，深度置信网络(deep belief network，DBN)具有良好的数据特征提取和映射能力[15—17]，可以通过多隐层网络从原始数据中学习，特别适用于求解复杂的高维分类问题[18]。目前已有DBN应用于文本表示[19]、音频分类[20]、发动机故障诊断[21]、电力系统暂稳分析[22—25]等。

文中提出基于DBN的电网故障类型辨识方法，以故障录波信息为数据基础，直接以故障发生后的各相电流/电压以及零序电流/电压作为网络输入，从原始时域信号中自动学习和提取故障状态特征，从而实现故障类型的辨识。针对DBN模型数据重构能力、逐层特征提取结果以及实际案例进行对比分析论证，可知该模型具有良好的故障特征提取能力，在数据降维过程中能保持数据原本的特征，与ANN模型相比其识别准确率更高，具有良好的应用前景。

1 DBN

1.1 限制波尔兹曼机及其学习过程

DBN由多个限制波尔兹曼机(restricted boltzmann machine，RBM)堆叠而成，RBM的结构及学习过程是DBN的重要基础[15]。

RBM是一种可通过输入数据集学习概率分布的随机生成神经网络。如图1所示，RBM模型由可视层v={v1,v2,v3,…,vI}∈{0,1}和隐含层h={h1,h2,h3,…,hJ}∈{0,1}构成，其中I和J分别为可视层和隐含层神经单元的数目。对应的可视层和隐含层单元的阈值分别为a={a1,a2,a3,…,aI}和b={b1,b2,b3,…,bJ}。相同层的神经单元相互独立，不同层的神经单元全连接，可视层神经单元vi与隐含层神经单元hj间通过权重wji连接。

图1 RBM模型的基本结构Fig.1 Basic structure of the RBM model

因此，v和h给定时，RBM的能量函数为：

(1)

由此可得到隐含层单元和可视层单元之间的联合概率分布为：

(2)

可由此推导得可视层向量v的独立分布为：

(3)

RBM的学习目标是让RBM网络表示的分布尽可能地拟合输入数据，通过调节网络结构参数，使概率p(v)达到最大。用θ={ai,bj,wji} 表示网络的结构参数，对式(3)进行极大似然估计即可求得网络的结构参数。参数求取过程中需采用交替吉布斯采样法从训练样本中进行采样。详细的交替吉布斯采样处理流程及完整的RBM学习算法可以参见文献[15]。

1.2 DBN结构及其训练过程

完整的DBN由底层的堆叠RBM和顶层的分类器组成，底层的堆叠RBM完成复杂数据的学习和特征提取，顶层的分类器实现整个模型结构参数的微调和数据的分类。图2是一个六层的DBN基本结构，由最底层RBM的可视层接收输入数据，依次通过4个堆叠RBM和1个分类器实现数据的特征提取和分类。

图2 DBN的基本结构Fig.2 Basic structure of the DBN

传统人工神经网络的训练方法已完全不适用于深度网络结构的学习和训练，Hinton教授针对深度网络的训练难题，提出将DBN的训练划分为2个阶段：无监督的逐层预训练和有监督的微调[15]，如图3所示。

图3 DBN训练流程Fig.3 Training process of DBN

DBN的无监督逐层学习过程可理解为多个单独的RBM学习过程，即首先将无标签的数据输入RBM1的可视层，通过RBM1的正向映射，得到隐含层单元h1，然后利用h1重构可视层单元的状态，并通过重构数据和原始数据的误差更新RBM1的结构参数。RBM1的学习过程完成后，把RBM1的隐含层单元h1作为RBM2的可视层单元，继续RBM2的学习过程。通过RBM的逐层堆叠，整个网络可以有效地从原始故障数据中逐层提取特征，快速高效地实现对复杂数据的映射和表达。

完成无监督的预训练过程后，需要在DBN模型的最顶层添加标签数据，对整个网络的参数进行有监督的微调。该过程一般采用误差反向传播(back propagation，BP)算法，通过自上而下误差传输和积累过程，实现对整个网络全局误差最小化的搜索，从而对整个网络的参数进行调整。有监督的微调过程使DBN网络的特征提取更贴合标签数据的类别属性，可以有效提高DBN网络分类的准确率。

2 基于DBN的电网故障类型辨识

2.1 故障类型编码

考虑电网的10种典型故障：单相接地故障(AG、BG、CG)，两相短路故障(AB、BC、AC)，两相短路接地故障(ABG、BCG、ACG)以及三相故障(ABC)，依次对其进行编码，如表1所示。

表1 故障类型编码Table 1 Coding for power grid fault types

2.2 故障样本形成

以图4所示IEEE 39节点系统为例，在PSCAD环境下搭建仿真模型并获取故障样本。图4中元件备注如下：B为母线；L为线路；L1817为母线B18与母线B17之间的线路，依此类推。

图4 IEEE 39节点系统Fig.4 IEEE 39-bus system

为尽可能地丰富故障样本集，文中还考虑不同过渡电阻、不同负荷水平、不同故障初相角、不同故障位置等多种因素的影响。为此，在对线路L1817进行故障设置获取测试样本集时，除了10种故障类型，还考虑了以下设置：(1) 接地过渡电阻分别取0 Ω，20 Ω，100 Ω，300 Ω；(2) 相间过渡电阻分别取0 Ω，2 Ω，10 Ω；(3) 线路L1817全长100 km，故障分别设置在距母线B18端5 km，35 km，65 km，95 km处；(4) 母线B18上的负荷分别取30%，80%，100%，120%的额定负荷；(5) 故障初相角以A相电压为参考，自0°～360°之间每隔30°取一值，共12组。

综合不同故障类型、过渡电阻、负荷情况、故障位置、故障初相角等因素的组合，共获得11 520个典型样本。

实际电力系统中故障录波器记录的信息主要包括线路两端ABC三相电流和三相电压，以及零序电流和零序电压的采样值。传统浅层学习方法须先从中提取时域、频域、小波域等故障特征，再利用分类器进行故障分类。为了克服浅层学习方法对信号处理技术和人工诊断经验的依赖，文中方法不经过其他特征提取，直接取故障后一周波内各相电流/电压以及零序电流/电压采样值作为DBN模型的特征量输入。为避免电流量和电压量不同量纲和数量级别的影响，对电流采样值和电压采样值分别进行线性归一化处理。

仿真测试模型的采样频率设为3 000 Hz，系统频率是60 Hz，因此每周波的采样点为50，每个样本800个点，共形成11 520个800维的高维样本空间。

2.3 模型参数设置

由于输入样本的维数决定输入层的节点数，故障类别数决定输出层的节点数，因此DBN模型输入节点数设为800，输出节点数设为10。

RBM可视层和隐藏层的节点数目不仅影响着DBN模型的训练时间和计算效率，也影响着模型的分类准确率。节点数过低时，无法提取有效特征；节点数过高时，模型的计算量又将大大增加[13]。为了使DBN模型在对故障样本数据进行特征提取和表达的同时，有效降低数据维数和模型计算量，文中DBN模型采用六层结构，并将模型中4个隐含层的节点数分别设置为400，200，100，50。经过逐层压缩，最终形成50维特征向量进行分类。

以正态随机分布初始化DBN模型的权重w并进行归一化处理，阈值a，b初始化为0。

逐层预训练阶段，将学习率和学习动量分别设为0.1和0.5，预训练过程中最大迭代次数设为150次。反向微调阶段使用BP算法，最大迭代次数设为100次。

2.4 基于DBN的故障类型辨识流程

文中随机选取每个故障类型样本的70%作为训练集，对DBN模型参数进行训练，剩余的30%作为测试集对DBN模型的性能进行分析和测试。基于DBN的故障类型辨识流程如图5所示，步骤如下：(1) 采集原始故障数据样本，进行归一化处理后按7∶3分为训练集和测试集；(2) 建立多隐层的DBN模型，并初始化网络模型参数；(3) 利用训练集中的无标签样本，对DBN模型底部的堆叠RBM进行逐层预训练；(4) 在DBN模型顶层添加Softmax分类器，对故障类型状态进行编码，确定输出层节点数；(5) 利用有标签的样本，使用BP算法对预训练后的DBN模型的整个网络参数进行有监督微调，使网络性能趋近全局最优；(6) 保存训练好的DBN模型，并利用测试集中的数据样本对其性能进行测试，输出故障类型辨识结果。

图5 基于深度置信网络的故障类型辨识方法Fig.5 Fault type identification based on DBN

3 DBN模型故障特征提取能力分析

3.1 DBN网络的数据重构能力

DBN模型顶层分类器仅承担分类和识别的功能，其强大的特征提取能力主要取决于底层堆叠RBM的学习过程。如果将模型中DBN正向无监督学习过程看作由堆叠RBM进行逐层编码的过程，则反向逐层解码的过程可以看作是对DBN模型的输入数据进行重构的过程。因此通过比较原始输入数据与重构数据的差异，就可以有效分析DBN模型对数据的映射和表达能力。

在DBN中，激活函数sig(x)=1/(1+e-x)通常用来描述隐含层和可视层单元的激活概率。假设网络的输入数据为x，则可将DBN网络的编码函数定义为：

f(x)=sig(b+wx)

(4)

相应的解码函数为：

g(x)=sig(a+wTx)

(5)

分别将样本数据输入到无监督学习后以及反向微调后的DBN网络中，将获得的重构数据与原始输入数据进行对比，如图6所示。

图6 输入曲线与重构曲线的对比Fig.6 Comparison between the input curve and the reconstruction curve

对比图6(a)和(b)可知，未微调的DBN网络重构结果与原始数据存在较大偏差，而微调后，重构曲线基本与原始曲线重合，说明DBN模型训练的反向微调过程可以降低重构曲线与原始曲线的误差，更有利于网络的特征提取和表达。

从图6(b)可以看出，经过微调的DBN网络可以较好地重构原始输入曲线，原始输入数据经过堆叠RBM逐层的特征提取，虽然数据维度有所降低，但依然能够作为原始曲线的特征表达，在一定程度上说明DBN网络具有良好的特征提取能力和保持数据特征的能力。

均方根误差(root mean square error，RMSE)表示重构数据与原始输入数据差值的平方根，可用ERMSE表示，计算如下：

(6)

失真度(data distortion，DD)表示重构数据与原始输入数据的差异大小，文中采用相对均方差值来定义失真度，可用EDD表示，计算如下：

(7)

表2为输入数据和重构数据差异的定量评估结果，经过BP算法微调后的DBN网络均方根误差和失真度均比未微调的重构网络小，进一步说明了DBN模型训练中微调过程的必要性。

表2 差异评估指标差异评估指标Table 2 Difference assessment indexs

3.2 DBN模型的逐层特征提取结果

由于原始故障数据和DBN模型逐层提取的故障特征维数都比较高，不利于直接进行观察和对比，因此文中采用主成分分析法从高维故障特征中提取前3个主成分(分别为PC1，PC2,PC3)，并在三维坐标轴中显示出来。利用DBN模型从原始输入数据中逐层提取故障特征的可视化结果，如图7所示。

图7 DBN模型的逐层特征提取结果Fig.7 Layer-by-layer feature extraction results of DBN

图7中，输入层中10种故障类型的数据信号裹挟在一起，无法进行区分和鉴别。经过堆叠RBM对输入数据逐层学习和提取之后，同一故障类型的特征逐渐靠拢和聚集，不同故障类型的特征向外发散，并渐渐分离开，通过DBN模型输出层的分类器后，10种故障类型的状态特征已被完全区分开。可以看出，基于DBN的故障类型辨识方法摆脱了对信号处理技术和人工诊断经验的依赖，无需繁杂的故障特征提取过程，却能够自适应地从原始故障数据中逐层地进行学习，并有效地提取故障特征，且随着模型结构的加深，故障特征的区分性越来越突出。

4 DBN模型故障类型辨识结果分析

4.1 仿真案例辨识结果

为了评价文中方法对故障测试集的辨识效果，首先介绍故障类型辨识的评价标准。表3为经典的二维故障分类矩阵H2。

表3 二维故障分类矩阵Table 3 Two-dimensional fault classification matrix

在故障分类矩阵的基础上，用单一识别准确率(single accuracy rate，SAR)表征在某一故障类型下的所有样本中，被正确识别的样本数所占的比例，可用ASAR表示，计算如下：

(8)

总体准确率(overall accuracy rate，ACR)表征在所有样本中故障分类正确的样本数目所占的比例，可用AACR表示，计算如下：

(9)

将上述故障分类矩阵扩展到10种故障类型，并使用训练后的DBN模型对故障仿真测试集进行测试，得到输电线路的故障分类矩阵为：

对其结果进行评估，各指标计算结果如表4所示。可以看出，不管是总体准确率AACR还是单一故障类型的识别率ASAR均达到95%以上。故障样本集考虑了不同故障位置、故障初相角、过渡电阻以及系统带不同负荷等多种因素，说明DBN模型能够有效地从各种复杂工况中提取故障特征并进行分类识别，具有良好的适应性。

表4 仿真案例辨识结果Table 4 Identification results of simulation case %

4.2 实际案例辨识结果

以图8所示的某区域电网实际故障为案例进一步说明DBN模型的可行性和有效性。

图8 某区域电网的部分接线Fig.8 Schematic network of a regional power grid

分别构建网络中输电线路的DBN模型，由于实际电网的故障样本较少，此次训练样本来自该系统的PSASP故障仿真数据，测试样本来自故障信息系统中5次短路故障的故障录波实际数据，DBN模型的辨识结果如表5所示。

表5 实际案例辨识结果Table 5 Identification results of real fault cases

可以看出，文中方法能够准确识别实际电网中输电线路的故障。虽然仿真所得故障样本与实际系统之间存在一定的差异，但仿真样本考虑了不同过渡电阻、负荷大小、故障时刻、故障位置等的影响，而经过训练的DBN模型依然能够对实际电网中的故障类型进行准确辨识，进一步证明了DBN模型强大的学习能力与泛化能力。

4.3 与ANN模型的对比分析

为了进行对比分析，文中构建了2组ANN模型对故障仿真样本进行学习和测试。ANN1采用与DBN一致的800-400-200-100-50-10六层结构，而ANN2则采用800-400-10的单隐层结构，2个ANN的训练方式均采用BP算法，与DBN的有监督微调过程一样，最大迭代次数设为100次。3种模型均在配置2.3 GHz双核处理器，2 G内存的计算机上利用Matlab编程实现，为了避免算法偶然性和随机性的影响，取10次结果中AACR指标的平均值作比较。模型的识别结果及性能对比如表6所示。

表6 不同方法的结果对比Table 6 Comparison of results from different method

从识别准确率来看，DBN模型比ANN1模型高。根据实验设置，DBN模型与ANN1模型采用相同的网络深度和网络结构，有监督的训练过程也相同，而两者的辨识结果和辨识性能却展现出很大的差别，说明DBN模型的逐层预训练过程有效优化了模型的网络参数，能够为有监督的微调过程提供一个较好的初值。而ANN1模型的参数却采用随机初始化的方法，并在初始化之后直接采用BP算法进行训练，模型很容易收敛到局部最小值，因而识别准确率较低。

此外，DBN模型与ANN2模型相比识别准确率也更高，这说明浅层的ANN2模型难以从复杂数据特征中有效提取高层次特征，而DBN模型的深层结构能够从原始输入数据中逐层提取故障特征，将原始的800维特征逐层抽象成50维特征，再利用softmax分类器进行分类，可以克服浅层神经网络对复杂数据学习和映射能力的不足，获得比浅层结构更好的识别和分类效果。

从ANN1和ANN2的比较结果可以看出，单纯增加模型层数，利用传统的模型训练方法并不能有效提高故障类型辨识的准确性。这也进一步反映了DBN模型及其训练方法在分类特征提取方面的优越性。

从模型性能来看，DBN模型由于增加了逐层预训练的学习过程，其平均训练时间与具有同样结构的ANN1模型相比较长，但两者对样本的平均分类时间差别不大。而ANN2模型与ANN1相比层数少，因此其模型训练及分类时间相对而言最短。然而，由于DBN模型训练过程是离线完成的，保存模型参数后应用于故障类型识别，因此不会对模型在线应用的时效性产生影响。

综合识别准确率和模型性能来看，在保障识别准确率的情况下，DBN模型的性能最好，平均仅需0.021 s即可实现故障类型的判别，能够满足在线故障诊断的要求。

5 结语

文中将深度学习应用于电网故障诊断中，提出了基于DBN的电网故障类型辨识方法，以故障录波信息的各相电流/电压及零序电流/电压作为原始输入，从故障类型编码、样本数据获取、模型参数设置、网络学习等各方面给出了电网故障类型辨识的完整流程，最后通过DBN网络的数据重构能力、逐层特征提取可视化结果以及故障类型辨识结果分析模型的性能。IEEE 39节点仿真系统算例和电网实际故障案例表明基于DBN的电网故障类型辨识方法具有良好的故障特征提取能力，在数据降维过程中能保持数据原本的特征，且辨识结果不受过渡电阻、故障时刻、故障位置、负荷大小等因素的影响，与传统ANN模型相比识别准确率更高。

下一步的主要工作是研究网络层数、隐含层节点数量、学习率、学习动量等对网络训练速度、回归效果、识别效果的影响，就如何确定DBN网络结构及参数给出经验，并将文中提出的故障类型辨识方案集成到现有电网故障诊断系统中，为在线调度提供辅助决策支持。