基于通道注意力与残差卷积神经网络的变压器故障诊断

王陈恩，蔡涌烽，谢振华，殷 豪

(广东工业大学 自动化学院，广州 510006)

0 引 言

电力变压器在电力系统中扮演着十分重要的角色，变压器的正常运行与电力系统的稳定、安全运行直接关联。因此，有效的故障诊断方法具有非常重要的现实意义[1]。

油浸式变压器在故障状态运行时，油中会产生大量的气体，处于正常运行状态的变压器，随着运行时间的增长，也会产生少量的气体[2]。发生不同的故障时，不同气体的含量也会有差异，根据这一特点，油中溶解气体分析技术(dissolved gas analysis，DGA)[3]成为目前故障诊断、检测方法的基础。随着计算机技术的发展，越来越多的机器学习方法应用到故障诊断中来。传统的罗杰斯比值法、三比值法、四比值法[4]等，存在分类简单、比值过于绝对、对部分故障识别准确率低等问题。目前，应用于变压器故障诊断的机器学习方法主要包括支持向量机(support vector machine, SVM)[5]、卷积神经网络(convolutional neural networks，CNN)[6]、深度信念网络(deep belief network, DBN)[7]、BP神经网络(back propagation，BP)[8]、概率神经网络[9]和极限学习机[10]等。

文献[11]在概率神经网络诊断模型中引入智能算法，优化训练过程中的超参数，但该网络参数变化对结果影响较大，若陷入局部最优，需要迭代多次才能跳出局部最优。文献[12]改变传统卷积神经网络的输入方式，将输入气体含量由十进制改为二进制输入，诊断精度和实时性均优于传统的DBN和SVM等诊断方式。文献[13]在传统卷积神经网络诊断模型的基础上采用了深度神经网络，使得网络在学习过程中，可以获取更多的有益信息，但网络深度的加深导致层间损失增大，影响模型的诊断性能。文献[14]提出了卷积孪生网络的变压器诊断方法，克服了传统卷积神经网络诊断准确率不高的问题，但卷积网络并行的存在会延长诊断时间。文献[15]在传统DBN诊断模型中，引入正则化，有效提升了模型的泛化能力。文献[16]构建了基于BP神经网络的SVM故障诊断方法，有效克服了SVM诊断准确率不高的问题。文献[17]在传统的BP神经网络中引入了多层残差(Residual，Res)，建立了7个残差网络堆叠的残差BP诊断模型，通过对模型结构的改变，有效提升了诊断的准确性。

但上述的诊断方法还存在着诊断精度不足，传统卷积神经网络诊断模型未考虑通道差异性的问题。目前，通道注意力(squeeze-and-excitation，SE)[18]在图像、文本处理等方面展现了强大的性能。文献[19]将通道注意力首次应用于机器人的云端故障诊断系统，提出了SE-CNN诊断模型，采用SE模块挖掘机器人诊断系统中通道间的关系，并取得了较好的诊断性能。文献[20]将SE模块引入稠密度神经网络中，结合对抗网络，将模型应用在不平衡样本的变压器故障诊断中。在卷积运算过程中，一些无效的信息也会参与计算，而通道注意力能够有效地削弱无效信息。

针对以上问题，该文提出了基于通道注意力机制与残差卷积神经网络(SE-Res-CNN)的变压器故障诊断模型。在传统的卷积神经网络的变压器诊断模型中引入通道注意力机制和残差网络。通道注意力自适应调整卷积通道的权重，增强有益信息，提高诊断的精度。残差网络的引入使得变压器诊断模型能够学习网络层间的差异信息。同时，跨网路层的连接方式，使得信息可以被重复利用，提高信息的利用率。通过试验表明，该文提出的SE-Res-CNN能够有效地提高变压器故障诊断的准确性并具有良好的稳定性。

1 SE-Res-CNN变压器故障诊断模型

图1为变压器油色谱数据采用t-SNE聚类后的状态分布图。从图中可以看出，放电故障与过热故障存在明显的区分界限，但相同类型的故障程度不存在明显的界限，极易混淆。以上分布情况的存在抑制着变压器故障诊断精度的提升。

图1 变压器状态分布Fig.1 Transformer state distribution

针对变压器故障诊断精度不足和传统卷积神经网络诊断模型未考虑通道差异性的问题，该文提出了基于通道注意力机制与残差卷积神经网络(SE-Res-CNN)的变压器故障诊断模型。

在电力变压器运行时，由于变压器发生故障或者绝缘层的老化，会产生多种气体。该文选用变压器油色谱数据中的乙炔(C2H2)、乙烯(C2H4)、乙烷(C2H6)、甲烷(CH4)和氢气(H2)作为特征气体，变压器的常见故障有高温过热、中温过热、低温过热、高能放电、局部放电和低能放电。将变压器油色谱数据中的特征气体归一化后构成三维张量作为模型的输入，对应的7种状态作为模型的输出。

1.1 卷积神经网络

该文的变压器故障诊断模型是以卷积神经网络诊断模型为基础。卷积神经网络是一种具有前馈功能的深度神经网络，对变压器特征信息的提取具有非常优异的能力。传统卷积网络的变压器诊断结构如图2所示[21]。

图2 卷积网络结构图Fig.2 Structure of CNN

诊断模型的输入为同一时间变压器油中溶解气体构成的三维张量x。在经过多个卷积核提取特征后，形成多个不同的特征通道，体现为溶解气体与变压器运行状态的耦合关系。

卷积层的核心即是卷积核，卷积核在卷积层中不断滑动提取溶解气体的特征信息。同时，通过加深卷积网络的深度，获取更深层次的特征。卷积层输入与输出的关系如式(1)所示：

Y=f(T*x+b)

(1)

式中：x为输入；Y为输出；b为偏置；T为卷积运算的卷积核；f()为非线性的激活函数。

在卷积层后加入激活函数，可以使得网络具备非线性学习的能力。选用线性整流函数(rectified linear unit, ReLU)作为激活层的激活函数，式(2)即为ReLU激活函数。

ReLU(Y)=max(0,Y)

(2)

在卷积网络中通过卷积核挖掘溶解气体与变压器运行状态的关系，经过前端多次卷积激活操作后，再输出为一个20×5×1的溶解气体特征张量xc进入通道注意力模块和残差网络。

1.2 通道注意力

传统的卷积神经网络变压器故障诊断模型未考虑气体特征在不同卷积通道对诊断结果带来的影响。为此，该文在诊断模型中引入了通道注意力机制。通道注意力机制能自适应调整不同卷积通道的权重，增大有益信息的权重，削弱无效的信息，达到提高变压器诊断精度的目的。

为了充分挖掘诊断模型中不同的通道特征信息，将卷积层输出的溶解气体张量xc作为通道注意力的输入，通过注意力提取溶解气体在不同通道间的耦合关系。通道注意力的结构如图3所示。

图3 通道注意力结构图Fig.3 Structure of Squeeze-and-Excitation

通道注意力机制主要包含挤压、激励和注意3部分[22]，式(3)、式(4)和式(5)分别为挤压、激励和注意对应的计算式：

(3)

s=δ(VUf(VDz))

(4)

(5)

1.3 残差网络

传统卷积神经网络变压器故障诊断模型中，随着网络深度的加深，网络存在着过拟合和泛化能力降低的问题，残差网络的使用能够在一定程度上削弱这一问题[23]。

图4为该文所用残差网络的基本结构。操作步骤如下：

图4 残差网络结构图Fig.4 Structure of residual network

1)卷积层1经卷积运算F1(x)=f(T1*x+b)得到F1(x)。

2)卷积层2经卷积运算F2(x)=f(T2*F1(x)+b)得到F2(x)。

3)再计算2个卷积网络层间的差异信息H(x)，H(x)的计算式如式(6)所示：

H(x)=F1(x)-F2(x)

(6)

溶解气体特征张量F1(x)、F2(x)经过残差运算后，诊断模型的学习对象由原本的恒等映射，转化为残差H(x)的学习。最后将残差H(x)输出到卷积层充分挖掘溶解气体与变压器运行状态间的关系。

1.4 SE-Res-CNN模型

该文提出的SE-Res-CNN变压器诊断模型结构如图5所示。

图5 SE-Res-CNN结构图Fig.5 Structure of SE-Res-CNN

在SE-Res-CNN模型中，变压器的油中溶解气体信息，经过卷积层、通道注意力、残差网络提取信息后，再一次进入卷积层充分挖掘溶解气体与变压器运行状态间的耦合关系，最后进入Softmax分类器，得到各个运行状态的概率。根据Softmax分类器确定的概率得出变压器的运行状态，完成变压器的故障诊断。

在该文采用的SE-Res-CNN模型中，通过多次测试，设置参数如下：设置6层卷积层，每一层的卷积核数目均为20，卷积核大小为1×1，步长为1。模型的损失函数采用交叉熵损失函数(categorical_crossentropy)，使用Adam梯度下降优化算法，学习率0.02，迭代次数设置为500次。

该文所提变压器故障诊断模型的完整流程图如图6所示。首先，对变压器数据做出必要的预处理，剔除记录不完整的数据，再将油中溶解气体数据做归一化处理，并对变压器的运行状态做编码处理。然后，将处理好的数据分割为训练集和测试集，训练集用来建立最终的模型，测试集用来测试模型的诊断性能。最后，根据诊断模型输出的故障状态概率，确定变压器的故障状态。

图6 故障诊断流程图Fig.6 Flow chart of fault diagnosis

2 变压器故障诊断试验分析

2.1 数据预处理

该文数据来源于变压器监测数据、权威数据库IECT10数据集[24]和文献[25]，去除重复数据后的790组离散型数据。

由于不同变压器油中溶解气体含量数值差异较大，为减小这种差异对诊断模型的影响，对各状态的气体含量做出归一化处理，归一化如式(7),归一化后的气体含量数值均在[0,1]上。

(7)

将归一化后的数值构成一个形状为1×5×1的三维张量s作为模型的输入，如式(8)所示：

x={c(C2H2),c(C2H4),c(C2H6),c(CH4),c(H2)}

(8)

式中：c(X)为气体X对应浓度归一化后的值。

变压器的常见故障状态有高能放电、局部放电、低能放电、高温过热、中温过热和低温过热。由于故障状态不能直接作为模型的训练标签，对字符标签的处理方式有多种，该文选用了较为常用的One-Hot编码，编码如表1所示。

表1 变压器故障类型Table 1 Types of transformer fault

为减小数据分布对结果的影响，在建立模型前对数据做均匀化处理，即在每个状态内，将数据顺序进行随机排序。同时，再在每个状态内抽取约20%的数据作为测试集，共随机抽取150组测试集，640组训练集，如表2所示。训练集在用于建立模型前随机打乱顺序。

表2 训练集与测试集分类Table 2 The number of training and test set classifications

2.2 试验对比分析

对同一组变压器油色谱数据采用BP、DBN、CNN、SE-CNN、Res-CNN和SE-Res-CNN等6种不同的诊断模型进行诊断，并对故障诊断结果做出对比分析。采用的准确率评价指标如式(9)所示。

(9)

式中：acc为准确率；N为测试集的数量；Nerror为误诊数量。

图7为不同卷积层数下训练集的误差率，图7显示卷积层在5层与6层时，误差率均较低。通过多次对比试验表明，卷积层数为6层时模型诊断的稳定性优于5层，最终确定卷积层数为6。对比模型参数设置可参考文献[7-8]，并适当调整后确定。

图7 卷积层数与误差率关系Fig.7 Relationship between the number of convolutional layers and the error rate

图8为SE-Res-CNN、SE-CNN、Res-CNN、CNN和BP诊断方法的训练损失图。从图中可以看出，模型 SE-Res-CNN的训练损失低于BP、CNN、Res-CNN和SE-CNN的训练损失，在训练500轮左右，损失曲线趋于平稳，表现出较好的稳定性。SE-Res-CNN的训练损失相比于其他4种，整体的训练损失也最低。

图8 训练损失对比Fig.8 Comparison of training loss

表3为 SE-Res-CNN、SE-CNN、CNN、DBN、Res-CNN和BP诊断模型在表2所述测试集上重复次试验的诊断情况。从表中看出，含有通道注意力的SE-CNN诊断模型精度高于不含通道注意力的Res-CNN和CNN模型，可见通道注意力在卷积网络中，能够有效提高模型的诊断精度。

从表3中得出，该文所提出的诊断方法的平均准确率最高，达到了95.07%，相比于SE-CNN、Res-CNN、CNN、DBN和BP的诊断精度分别提高了2.94%、2.61%、3.4%、12.54%和10.14%。在多次重复性的试验中，SE-Res-CNN诊断模型的单次准确率均在93%以上，准确率均高于其他4种诊断模型。可见，通道注意力、残差网络和跨网络层连接方式的同时使用，能够有效地提高故障诊断精度。

表3 不同模型的诊断准确率Table 3 Diagnostic accuracy rates of different models 单位：%

图9为SE-Res-CNN诊断结果的混淆矩阵，纵坐标表示变压器的实际状态，横坐标为模型诊断的状态，主对角线为诊断结果与真实状态一致的数量，非主对角线为误诊数量，图中颜色越深表明该状态诊断准确率越高。可以看出，SE-Res-CNN诊断模型具有很高的诊断准确度，在同类型的过热或放电故障中，也具有较高的准确率，表明模型能够有效识别同类型易混淆的故障。

图9 SE-Res-CNN的混淆矩阵Fig.9 Diagnosis confusion matrix of SE-Res-CNN

图10为不同诊断模型下，变压器不同故障状态的诊断结果。从图中可以看出，变压器处于不同的典型故障状态时，该文所提模型均能够有效提升诊断的准确性。

图10 不同状态诊断结果Fig.10 Diagnosis results of different states

图11为不同诊断模型重复20次试验诊断结果的分布情况，图中绿点为均值所在位置，黄色虚线为中位数。从图中可以看出，该文所提模型的诊断精度在95%左右浮动，浮动范围小于其他诊断模型，即诊断稳定性优于其他诊断模型。

图11 诊断结果精度分布图Fig.11 Diagnosis result accuracy distribution

3 结 语

针对传统的变压器故障诊断方法准确率不高和传统卷积神经网络变压器故障诊断模型未考虑卷积通道差异性的问题，该文提出了SE-Res-CNN故障诊断模型，并通过试验验证做出对比分析，所得结论如下：

1)通道注意力机制在卷积神经网络的不同通道赋予不同的权重，能够使卷积网络更为细致地获取油中溶解气体与变压器运行状态的内在关系。同时，残差的使用能获取网络层之间的差异信息，使得网络的训练损失更低，进一步提升了诊断模型的性能。

2)在模型中引入通道注意力机制和残差网络后，与BP、CNN、 SE-CNN和Res-CNN的深度学习方法相比，诊断的准确率得到了有效提升。

3)通过试验对比分析表明，该文所提出的 SE-Res-CNN诊断模型诊断性能好，且具有较好的稳定性。