基于深度自编码网络的电力变压器故障诊断

石 鑫 ，朱永利，宁晓光 ，王刘旺，孙 岗 ，陈国强

（1.华北电力大学 控制与计算机工程学院，河北 保定 071003；2.国家电网公司，北京 100031）

0 引言

电力变压器是电力系统中最重要的设备之一，它的运行状况直接关系到整个电力系统的安全稳定运行，一旦发生故障必将引起局部甚至大面积的停电，这势必会造成巨大的经济损失。随着传感器技术、微电子技术、计算机技术及应用数学的高速发展，对电力变压器实施在线监测已经成为可能，而如何利用在线监测数据进行准确的故障诊断变得尤为重要。

电力变压器油中溶解气体分析（DGA）不受外界电场和磁场的影响，易于带电和在线实现，已经成为油浸式变压器故障诊断的一种有效方法［1-4］，并在此基础上形成了特征气体法、三比值法和Rogers法等 传 统 方 法［5］，以及人工神经网络（ANN）［6-7］法、支持向量机（SVM）［8-9］法和极限学习机（ELM）［10］法等人工智能方法。然而传统算法存在缺编码、编码界限过于绝对等主要缺陷［5］；ANN法存在着收敛速度慢、易产生震荡、易陷入局部最优等问题［6-7］；SVM法本质上属于二分类算法，在多分类问题上存在构造学习器及分类效率低的缺点，而且核函数的选择和参数的确定比较困难［8-9］；ELM法训练速度快，但是稳定性比较差［10］。

2006年，Hinton教授提出了深度学习DL（Deep Learning）的思想，开辟了深度学习在学术界和工业界应用的浪潮［11］。深度自编码网络DAEN（Deep Auto-Encoder Network）是深度学习方法的一种，它通过构建具有多隐含层的机器学习模型对训练样本进行逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类更加容易，最终提升分类的准确性。与人工规则构造特征的方法相比，该方法更能够刻画数据的丰富内在信息，是目前国际上机器学习研究的热点领域［12-16］，但尚未见其应用于变压器故障诊断方面。

鉴于此，本文首先构建了分类深度自编码网络模型，并用典型的分类数据集对其分类性能进行了分析验证。然后，结合电力变压器在线监测油色谱数据特征及故障类型，提出了基于分类深度自编码网络 CDAEN（Classified Deep Auto-Encoder Network）的变压器故障诊断新方法。该方法利用工程现场的大量无标签样本进行预训练，优化模型参数，加之少量有标签样本进行微调，可以有效解决变压器故障分类问题，提高故障诊断准确率。最后，通过工程实例对该方法进行了验证，并与基于BP神经网络（BPNN）和SVM的故障诊断方法进行了对比分析。

1 深度自编码网络

深度自编码网络也称栈式自编码网络，它是由多层自编码器AE（Auto-Encoder）堆叠而成的神经网络，结构上与传统多层神经网络没有区别，训练时采用逐层训练的方法，即将前一层的输出作为下一层的输入依次训练，有效解决了传统神经网络训练方法不适用于多层网络训练的问题，整个深度自编码网络的训练分为预训练和微调2个阶段。

1.1 预训练

预训练的过程实质上就是初始化网络参数的过程，采用逐层无监督特征优化算法，需要初始化的网络参数是层与层之间的连接权值及各层神经元的偏置值。以1层AE为例，其网络结构如图1所示。

1个基本的AE可视为1个3层的神经网络结构，即输入层、隐含层和输出层，其中输出层与输入层规模相同。从输入层到隐含层是编码过程，从隐含层到输出层是解码过程。设f和g分别表示编码和解码函数，则2个过程可分别表示为式（1）和式（2）：

其中，Sf和Sg通常取为sigmoid函数；W为输入层与隐含层之间的权值矩阵，为隐含层与输出层之间的权值矩阵，通常取为WT；p和q分别为隐含层和输出层上的偏置向量。为了下文表示方便，将AE的参数记为 θ，即 θ=｛W，p，q｝。

图1 AE结构Fig.1 Structure of AE

假设训练样本集 S ＝｛x（1），x（2），…，x（N）｝，预训练AE的过程实质上就是利用S对参数θ进行训练的过程。为此，首先需定义1个训练目标，即解码后的y应与输入x尽可能地接近，这种接近程度可以通过重构误差函数 L（x，y）来刻画，L（x，y）定义为：

基于重构误差函数，针对训练数据集S，损失函数如式（4）所示。然后利用梯度下降法对损失函数进行极小化，就可以得到该层AE参数θ。

一层AE训练完成之后，将其隐含层单元的输出向量作为下一层的输入，对下一层AE进行训练，依次迭代，直至最终完成整个深度自编码网络的训练。

1.2 微调

由上述预训练过程可知，在训练各层AE参数时，会固定其他层参数保持不变。因此，如果想得到更好的结果，可以在预训练完成之后，利用有标签数据集，通过BP算法同时调整整个深度自编码网络的所有层参数以达到全局最优，这个过程即是微调。预训练完成之后的微调会比直接在随机化的初始权重上使用BP算法训练效果要好，因为后者往往易陷入局部最优。

2 分类深度自编码网络

2.1 分类深度自编码网络模型

本文构建了分类深度自编码网络模型，它的前部由若干层AE堆叠而成，最后增加1层代表期望输出变量的分类层，框架如图2所示。这里的分类器通常选用Softmax分类器，它是Logistic分类器在多分类问题上的推广，在给出分类结果时还会给出结果的概率，适用于非线性多分类问题。

图2 分类深度自编码网络模型Fig.2 CDAEN model

分类深度自编码网络用于多分类问题时，训练过程与深度自编码网络一样，分为预训练和微调2个阶段。预训练主要是采用无标签样本或去标签样本作为网络的输入，通过BP算法完成前部若干层AE参数的初始化；微调则是通过标签样本对包括分类层在内的整个网络参数进行调整，使得网络的判别性能达到最优。

2.2 分类深度自编码网络分类性能测试

采用本文构建的深度自编码网络对典型分类数据集 Iris、Synthetic、Fourclass、Diabetes 进行分类，网络参数W、a、b初始化为服从高斯分布的随机较小数值，初始学习速率p设为0.1，网络更新速率系数设为0.01。

表1给出了分类深度自编码网络对不同数据集的分类情况。从表1中可以看出，分类深度自编码网络对不同数据集均具有较高的平均分类正确率，表明分类深度自编码网络模型适用于问题的分类。

表1 CDAEN对不同数据集分类情况Table 1 Classification by CDAEN for different datasets

3 基于分类深度自编码网络的变压器故障诊断方法

3.1 选取样本数据

为避免样本集偏斜，同时又能保证得到足够多的样本，可以选取多个工程现场记录的相同型号变压器发生故障前后较短一段时间内的油色谱在线监测数据，这些数据均是无标签数据，包含正常数据和故障类或近似故障类数据，可以用作预训练样本。对于微调阶段所采用的少量标签样本，可以通过搜集相同型号故障变压器测试实验数据获得。

3.2 选取特征变量

根据工程现场油色谱在线监测数据特点，选取H2、CH4、C2H6、C2H4、C2H2这 5 种特征气体 的 含量值作为分类深度自编码网络的输入。由于油中溶解气体分析数据差异比较大，为了减小输入数据的差值，降低计算误差，采用式（5）对各气体含量进行标准化处理，以提高诊断正确率。

其中，为标准化后气体的含量值（i=H2，CH4，C2H6，C2H4，C2H2）；xo为气体原始含量值；xmean为训练集或测试集x中该类气体含量的均值；xstd为x中该类气体含量的标准差值。

3.3 变压器状态编码

变压器故障诊断是多分类任务，诊断结果可以分为正常、中低温过热、高温过热、局部放电、低能放电和高能放电6种类型，下面依次对其进行编码，如表2所示。

表2 变压器状态编码Table 2 Status codes of transformer

3.4 基于分类深度自编码网络的变压器故障诊断模型

基于分类深度自编码网络的变压器故障诊断模型见图3，模型的输入为油色谱在线监测的5种特征气体含量值（经标准化处理），最终经顶层Softmax分类器后的输出为相应样本分别属于不同状态的概率值，概率值最大的状态即为诊断的最终结果。

图3 基于CDAEN的变压器故障诊断模型Fig.3 Transformer fault diagnosis model based on CDAEN

3.5 基于分类深度自编码网络的变压器故障诊断方法的实现

基于分类深度自编码网络的变压器故障诊断方法实现过程如下：

a.选取样本数据和特征变量，对样本数据进行标准化处理后按一定比例将其分为训练集和测试集；

b.对变压器状态进行编码；

c.建立基于分类深度自编码网络的变压器故障诊断模型；

d.初始化变压器故障诊断分类深度自编码网络模型参数为服从高斯分布的较小随机数值；

e.采用训练集中的无标签样本通过BP算法对模型底部AE层进行预训练；

f.采用训练集中的标签样本通过BP算法对整个网络进行调优；

g.保存训练好的网络，并对其进行测试。

4 工程实例分析

本文选用保定市某变压器厂多个工程现场实测的同一型号变压器发生故障前后某段时间内的油色谱在线监测数据，通过DBSCAN算法对其进行聚类，平衡选取各簇样本数据共1500条作为预训练集，另用工程现场搜集到的300组相同型号故障变压器测试实验数据按2∶1比例分别用作微调集和测试集。对于基于分类深度自编码网络的变压器故障诊断方法，网络参数W、a、b初始化为服从高斯分布的随机较小数值，初始学习速率p设为0.1，网络更新速率系数设为0.001，最大迭代次数为1500次，根据实测数据进行了如下测试。

a.不同AE层数下的故障诊断情况。

分别测试了AE层数为0～10时故障诊断平均正确率，结果如图4所示。从图4中可以看出，AE层数为3层时，故障诊断平均正确率已经很高，此后随着AE层数增加，正确率增长缓慢。实际训练时，随着AE层数的增加，训练时间呈线性增长，综合考虑故障诊断效果和训练时间2个因素，下文的测试中选取AE层数为3层。

图4 不同AE层数时的故障诊断结果Fig.4 Results of fault diagnosis for different AE layers

b.不同预训练集时的故障诊断情况。

分别测试了预训练集为 100、500、1 000、1 500时故障诊断情况，结果如表3所示。从表3中可以看出，随着预训练集的增大，变压器故障诊断平均正确率也不断上升，这表明基于分类深度自编码网络的变压器故障诊断方法的预训练过程是极其重要的，是提高故障诊断正确率的有效保障。

表3 不同预训练集时的故障诊断结果Table 3 Results of fault diagnosis for different quantities of pre-training set

对于基于BPNN和SVM的变压器故障诊断方法，只能采用标签样本进行训练，本文测试了不同训练集时故障诊断情况，结果如表4所示。表中，str和rl分别为BPNN最大训练迭代次数和学习速率，C和γ分别为SVM规则化系数和核函数参数，这些参数的初始值均由实测数据经大量实验确定。

表4 不同训练集时基于BPNN、SVM变压器故障诊断结果Table 4 Results of fault diagnosis based on BPNN and SVM，for different quantities of training set

通过表3和表4的故障诊断结果对比可知，本文提出的基于分类深度自编码网络的变压器故障诊断方法和基于BPNN、SVM的故障诊断方法相比，故障诊断正确率更高。测试中，发现基于分类深度自编码网络的变压器故障诊断方法诊断平均正确率会随着训练集的增大不断增高，但增长趋势逐渐变缓；基于BPNN和SVM方法的诊断平均正确率在训练集超过200时基本保持不变，不适用于大数据量样本的训练，可扩展性差。

5 结论

a.构建了分类深度自编码网络模型，并对其分类性能进行了分析，典型数据集测试表明，分类深度自编码网络适用于多分类问题。

b.提出基于分类深度自编码网络的变压器故障诊断方法，可以采用无标签样本对网络进行预训练，克服了BPNN、SVM方法无法利用无标签样本训练的缺点，提高了工程现场无标签样本的利用率。

c.工程实例分析表明，基于分类深度自编码网络的变压器故障诊断方法随着预训练集增大，故障诊断平均正确率增高，该方法适用于大量样本的训练，可扩展性好，与BPNN、SVM方法相比，故障诊断平均正确率更高，可以更好地满足工程需要。

致 谢

本研究受到国家电网公司浙北—福州特高压输变电工程专项研究经费资助，特表感谢！

［1］TANG W H，WU Q H.Condition monitoring and assessment of power transformers using computational intelligence［M］.New York，USA：Springer-Verlag Press，2011：97-102.

［2］朱德恒，严璋，谈克雄，等.电气设备状态监测与故障诊断技术［M］. 北京：中国电力出版社，2009：10-25.

［3］尹金良，朱永利，俞国勤.相关向量机及其在变压器故障诊断中的应用［J］. 电力自动化设备，2012，32（8）：130-134.YIN Jinliang，ZHU Yongli，YU Guoqin. Relevance vector machine and its application in transformer fault diagnosis ［J］.Electric Power Automation Equipment，2012，32（8）：130-134.

［4］赵文清，朱永利，张小奇.应用支持向量机的变压器故障组合预测［J］. 中国电机工程学报，2008，28（25）：14-19.ZHAO Wenqing，ZHU Yongli，ZHANG Xiaoqi.Combinational forecast for transformer faults based on support vector machine［J］.Proceedings of the CSEE，2008，28（25）：14-19.

［5］王致杰，徐余法，刘三明，等.电力设备状态监测与故障诊断［M］.上海：上海交通大学出版社，2012：41-53.

［6］徐文，王大忠，周泽存，等.结合遗传算法的人工神经网络在电力变压器故障诊断中的应用［J］. 中国电机工程学报，1997，17（2）：109-112.XU Wen，WANG Dazhong，ZHOU Zecun，et al.Application of artificial neural network combined by genetic algorithm in fault diagnosis of power transformer［J］.Proceedings of the CSEE，1997，17（2）：109-112.

［7］周建华，胡敏强，周鹗.基于共轭梯度方向的CP-BP算法在变压器油中溶解气体诊断法中的应用［J］.中国电机工程学报，1999，19（3）：41-45.ZHOU Jianhua，HU Minqiang，ZHOU E.On the application of CP-BP algorithm for DGA-NN diagnosis in power transformer［J］.Proceedings of the CSEE，1999，19（3）：41-45.

［8］肖燕彩，朱衡军.基于最小二乘支持向量机的电力变压器故障诊断［J］. 电力自动化设备，2007，27（9）：48-50.XIAO Yancai，ZHU Hengjun.Power transformer fault diagnosis based on least square support vector machine［J］.Electric Power Automation Equipment，2007，27（9）：48-50.

［9］尹金良，刘玲玲.代价敏感相关向量机的研究及其在变压器故障诊断中的应用［J］. 电力自动化设备，2014，34（5）：111-115.YIN Jinliang，LIU Lingling.CS-RVM and its application in fault diagnosis of power transformers［J］.Electric Power Automation Equipment，2014，34（5）：111-115.

［10］遇炳杰，朱永利.加权极限学习机在变压器故障诊断中的应用［J］. 计算机工程与设计，2013，34（12）：4340-4344.YU Bingjie，ZHU Yongli.Transformerfaultdiagnosisusing weighted extreme learning machine ［J］.Computer Engineering and Design，2013，34（12）：4340-4344.

［11］HINTON G E，SALAKHUTDINOV R R.Reducing the dimensionality of data with neural networks［J］.Science，2006，313（5786）：504-507.

［12］BENGIO Y，LAMBLIN P，POPOVICI D，et al.Greedy layer-wise training of deep networks［J］.Advances in Neural Information Processing Systems，2007，19：153-160.

［13］VINCENT P，LAROCHELLE H，BENGIO Y，etal.Extracting and composing robust features with denosing autoencoders［C］∥Proceedings of the 25th International Conference on Machine Learning.Helsinki，Finland：［s.n.］，2008：1096-1103.

［14］ERHAND，BENGIO Y，COURVILE A，et al.Why does unsupervised pre-training help deep learning？ ［J］.Journal of Machine Learning Research，2010，11：625-660.

［15］RIFAIS，VINCENT P，MULLER X，etal.Contractiveautoencoders：explicit invariance during feature extraction［C］∥Proceedings of the 28th International Conference on Machine Learning.Bellevue，WA，USA：［s.n.］，2011：833-840.

［16］胡昭华，宋耀良.基于Auto-encoder网络的数据降维和重构［J］.电子与信息学报，2009，31（5）：1189-1192.HU Zhaohua，SONG Yaoliang.Dimensionalityreduction and reconstruction ofdata based on Auto-encodernetwork ［J］.Jorunal of Electronics&Information Technology，2009，31（5）：1189-1192.