基于域对抗迁移卷积神经网络的小样本GIS绝缘缺陷智能诊断方法

王艳新 闫 静 王建华 耿英三 刘志远

（电力设备电气绝缘国家重点实验室（西安交通大学） 西安 710049）

0 引言

气体绝缘组合电器（Gas-Insulated Switchgear,GIS）作为输变电系统中的关键设备，其可靠运行是整个电力系统安全、稳定的重要保障[1,2]。为确保GIS可靠运行，一系列的监测和诊断方法被用于GIS绝缘监视和故障诊断[3]。以数据驱动的GIS绝缘缺陷诊断方法主要包括两个方面：①以先进的信号处理手段构造合理的故障表征信息并提取关键特征；②通过模式识别方法进行缺陷分类[4]。然而，传统诊断方法，如支持向量机[5]、人工神经网络[6]等窄模型由于难以获得故障样本与故障信息之间的非线性表示而受到掣肘。

随着人工智能技术的飞速发展，深度学习方法，尤其是卷积神经网络因其强大的特征提取和分类能力，被应用于GIS绝缘缺陷诊断中，并取得了一定的突破[7-10]。然而，目前的方法都建立在海量样本的前提下，并且假设训练和测试样本满足同一概率分布。对现场运行中的GIS而言，一方面难以获得海量缺陷样本，另一方面数据不断被收集导致训练和测试集不满足同分布假设，导致现有的故障诊断方法的现场应用受到掣肘。

作为一种新颖的人工智能方法，迁移学习旨在通过将某个领域或任务上学习到的知识（源域）应用到不同但相关的领域（目标域）中，能够有效解决数据量小和样本不满足同一概率分布的问题[11]。基于特征的迁移学习由于能够找到源域和目标域相同的特征潜在空间，在变压器智能保护[12]和电机轴承故障诊断[13]等领域取得了良好的效果。

受基于特征的迁移学习的启发，本文提出了一种新颖的域对抗迁移卷积神经网络，用于小样本GIS绝缘缺陷诊断。为提取优异的故障特征，构建了自动寻优卷积神经网络（Convolutional Neutral Networks, CNN），解决了现有卷积神经网络手动构建复杂的难题。然后，通过迁移学习实现源域训练模型在目标域的应用。此过程中，在卷积中引入对抗训练，通过最小-最大二人博弈来学习类别差异和域不变特征，实现小样本下的GIS绝缘缺陷诊断。在域对抗训练中引入两个领域分类器进行决策边界和域空间的匹配，实现了两个域下更合适的特征匹配。因此，该方法能够学习到可迁移的判别特征，从而进行准确、鲁棒的GIS绝缘缺陷诊断。

1 域对抗迁移卷积神经网络

1.1 域对抗迁移学习

域对抗迁移学习作为一种有效减小边缘分布差异的迁移学习方法，近年来受到广泛的关注[14]。受生成对抗网络启发，域对抗迁移学习通常由特征提取器Gf、域签别器Gd和标签预测器Gy三个部分组成。Gf的目的是学习域不变特征表示，以迷惑Gd。而Gd则试图区分源域样本和目标域样本的特征。构造Gy对不同类别的对象进行分类。域对抗训练通过零和博弈过程，减少了源域和目标域的分布差异。

具体来说，给定GIS局部放电信号x及其缺陷类别y，Gf首先将输入映射为一个高级特征表示，Gf的参数为θf。然后，将提取的特征表示分别输入Gy和Gd，其中参数为θy的Gy输出每个输入GIS局部放电信号的预测标签，参数为θd的Gd用来判断每个样本属于源域还是目标域。最后，目标损失函数计算式为

式中，Ly和Ld分别为Gy和Gd的交叉熵损失；ns和nt分别为源域和目标域样本数；xi为第i个样本；Ds、Dt分别为源域、目标域样本集；di为第i个样本的预测标签；yi第i个样本的实测标签。

1.2 卷积神经网络构建

1.2.1 传统卷积神经网络

作为最受欢迎的深度网络之一，卷积神经网络由于强大的特征提取和分类能力而被广泛应用[15]。其主要由卷积-池化模块和全连接-分类决策模块组成。

（1）卷积-池化模块

卷积-池化模块主要包括卷积层和池化层。卷积层操作可以描述为

式中，R为池化区域；为池化输出。

（2）全连接-分类决策模块

在堆叠了多个卷积池化模块后，将全连接层和Softmax回归应用于网络末端以进行分类任务。全连接层的操作描述为

式中，αl为输入；为第l+1层输出；和分别为第l层的权重矩矩阵和偏差矩阵。

1.2.2 轻量级卷积神经网络

由于源域特征提取和分类器性能直接影响目标域下的诊断准确率，为此需要探寻源域下高精度卷积神经网络。针对传统卷积神经网络由于网络参数过大而无法训练的问题，提出采用深度可分离卷积代替传统卷积[16]，在保证分类精度的同时尽可能缩减网络参数。与传统卷积相比，深度可分离卷积先将每一个通道单独进行卷积即深度卷积操作，然后通过1×1卷积再将几个输出结合到一起即逐点卷积操作。深度可分离卷积示意图如图1所示。经过计算，深度可分离卷积的计算量约为传统卷积的1/C，其中C为卷积核个数[16]。因此采用深度可分离卷积计算量相对于采用传统卷积构建的神经网络计算量明显缩减。这种新型卷积操作可以将更大的网络部署到低容量硬件上，提高现有硬件的使用效率。

图1 深度可分离卷积示意图 Fig.1 Schematic diagram of depth separable convolution

1.2.3 网络自搜寻构建

考虑到目前卷积神经网络多是通过多次手动试探后构建的，过程繁琐且难以保证所构建网络为GIS绝缘缺陷诊断的最优模型。为减轻工作量，提取不同粒度的局部放电特征，有效提升模型的辨识能力，本文提出自搜寻构建方法，以保障卷积神经网络在性能指标和硬件资源花销上均达到最优。同时，引入线性瓶颈操作和残差结构来提升模型的性能[17]。

本文以分解式层次化搜寻法[18]在源域数据上自动搜寻构建卷积神经网络。首先，将卷积神经网络分解为基本元素块；然后，自动搜索每个块的特定组成和结构，如卷积运算的类型、卷积核的大小以及是否存在残差运算等；最后，搜索块之间的特定连接。鉴于计算资源有限，必须在每个块搜索过程中仔细平衡卷积核的大小和使用数量。图2给出 了用于GIS绝缘缺陷诊断的卷积神经网络。考虑到搜索过程的复杂性，模型一经确定便不再更改。其中，Conv为卷积，Pool为池化，DWConv为深度可分离卷积，BN为批归一化，FC为全连接，ReLU为激活函数，DSRConv为残差轻量级卷积单元。

图2 GIS绝缘缺陷诊断的卷积神经网络 Fig.2 Convolutional neural network for diagnosis of GIS insulation defects

1.3 对抗训练策略

为实现海量样本下训练的优异性能的GIS绝缘缺陷诊断模型在现场复杂小样本下部署和应用，本文提出了一种新颖的域对抗迁移学习策略以实现模型迁移。所提出的域对抗卷积神经网络如图3所示。该诊断框架由一个基于深度卷积网络的特征提取器、一个域判别器和两个标签分类器组成，分别进行两种极大-极小对抗博弈。

图3 域对抗卷积神经网络 Fig.3 Domain adversarial convolutional neural network

1.3.1 域对抗适应策略

为实现目标域下更准确的绝缘缺陷诊断，本文所构建的域对抗迁移学习策略由域空间对抗适应和决策边界对抗适应两部分组成。其中域空间对抗适应实现源域和目标域的特征空间变换以实现特征空间的对齐，从而达到域匹配。决策边界对抗适应用于将源域和目标域的分类决策边界进行变换，以尽可能实现二者的逼近。

对域空间对抗适应而言，将域鉴别器添加到深度网络的顶部以构建二人博弈游戏。其中训练域鉴别器Gd用以区分提取的特征是来自源域还是目标域，而特征提取器Gf的目的是匹配源域和目标域之间的特征分布，并欺骗鉴别器。同时，训练了两个分类器以实现对源数据的低误差分类。

为此，域空间适应的优化对象可以描述为

式中，C1和C2分别为两个分类器；θC1和θC2分别为两个标签预测器参数；λ为两种损失之间的权衡参数。

区别于传统域对抗迁移学习，本文的域对抗迁移卷积神经网络通过两个标签预测器来促进后续的分类决策边界特征分布的适应。为此，模型参数可由式（6）和式（7）优化获得。

对分类边界对抗适应而言，两个分类器C1、C2和特征提取器通过零和博弈过程，对决策边界附近的目标样本进行域适应，以提升目标域下的分类准确度。具体来说，由于两个分类器C1和C2的初始化参数不同，导致二者虽然都能够对源域实现准确的分类，但二者的性质不尽相同，为此两个分类器在目标域上的差异可以体现出目标样本与决策边界的差距。在这个博弈游戏中，损失函数为

式中，Edis为分类器之间的差异；disL为两个分类器之间的交叉熵损失。

基于上述目标函数，通过以下优化获得模型的最优参数。

1.3.2 训练策略

本文所提出的对抗训练方案，通过对特征提取器进行优化，以最大程度地减少GIS绝缘缺陷分类损失Ec，并同时最大化域分类损失Ed。域鉴别旨在最小化Ed，更新分类器以最小化Ec。因此，网络训练问题分别表述为式（6）、式（7）、式（10）、式（11）。在每个训练批次中，参数更新为

式中，αc、αdis和αd分别为Ec、Edis和Ed的惩罚系数；δ为学习率。

2 基于域对抗迁移卷积神经网络的GIS绝缘缺陷智能诊断

本文提出了新颖的域对抗卷积神经网络用于小样本下的GIS绝缘缺陷诊断，其架构如图4所示。由于标记的目标数据不足以训练出可靠的诊断模型，因此将与目标数据更匹配的源数据迁移以解决目标问题。本文提出的域对抗迁移卷积神经网络主要包括三个步骤：特征提取、参考迁移和域对抗训练。

图4 GIS绝缘缺陷诊断框架 Fig.4 GIS insulation defect diagnosis framework

本文所提出的域对抗卷积神经网络的整个诊断过程可以总结如下：

（1）分别收集具有海量标签的源域样本和GIS绝缘缺陷目标样本，并将样本划分为训练集和测试集。

（2）在给定源域数据下，通过监督训练最小化式（10）和式（11）来更新特征提取器和分类器。然后将训练的权重参数迁移到目标域，以增强特征 学习能力。

（3）在给定源域和目标域数据下，可以通过优化式（5）中的相应目标函数来更新鉴别器和目标域特征提取器。

（4）重复步骤（3）的训练过程，特征提取器逐渐在源域和目标域之间生成一致的数据分布，直到达到迭代次数或损失函数达到阈值为止。

（5）在测试阶段，可以将目标域测试数据输入特征提取器进行深度特征提取，然后分类器进行绝缘缺陷分类。

3 仿真及实验

3.1 对抗训练策略

3.1.1 源域样本构建

作为GIS绝缘缺陷的主要表现形式，局部放电的出现会进一步加剧GIS设备老化[19]。为了获得海量源域表征样本以学得满意的可迁移特征，本文采用时域有限差分（Finite Difference Time Domain, FDTD）仿真来获取海量局部放电样本[20-21]。GIS局部放电仿真模型如图5所示。在激励源设置上，本文将实际采集到的局部放电信号导入库中作为激励源，并选取自由金属颗粒（记为0类缺陷）、金属尖端（记为1类缺陷）、悬浮电极（记为2类缺陷）和绝缘子气隙（记为3类缺陷）四类典型缺陷构建海量源域数据。

图5 GIS局部放电仿真模型 Fig.5 GIS partial discharge simulation model

GIS仿真模型内导体外径为106mm，外壳内径为320mm，腔体总长为7 288mm，左右两侧以及T分支结构都有圆形封装盖板。在软件中选取网格剖分尺寸为20mm×20mm×20mm，共计471×91×143个元胞，仿真步长设置为38.52ps，仿真时间长度设置为150ns。仿真过程中，通过调整传感器位置来获取四类缺陷下的局部放电信号各2 500组，记为数据集A。四类缺陷下的局部放电仿真信号如图6所示。

图6 四类缺陷下的局部放电仿真信号 Fig.6 Partial discharge simulation signal under four types of defects

3.1.2 目标域样本构建

为了验证本文所提出的方法在目标域下的GIS绝缘缺陷诊断性能，通过一段GIS腔体来模拟真实GIS局部放电。实验接线原理如图7所示。其中无晕工频试验变压器额定电压为250kV，额定容量为50kV·A。实验过程中的特高频传感器型号为PDUG2，检测带宽为300~1 500MHz，负载阻抗为50Ω，灵敏度为-90dBm，平均有效高度为11mm，模拟带宽为2GHz。通过实验获取了自由金属颗粒、金属尖端、悬浮电极和绝缘子气隙四类缺陷各200组数据用于目标域绝缘缺陷诊断，记为数据集B。四类缺陷下的局部放电实验信号如图8所示。

图7 实验接线原理 Fig.7 Experimental wiring schematic diagram

同时，为了进一步验证本文提出的方法在现场GIS绝缘缺陷上的诊断结果，本文以现场积累的局部放电样本作为目标域。通过对现场收集的数据进行打标签、归一化、降噪等预处理，最终收集可用于诊断的四类缺陷共200组，其中0、1、2和3类缺陷分别为60、60、40、40组，记为数据集C。

3.2 小样本GIS绝缘缺陷诊断

为了验证本文所提出的域对抗迁移卷积神经网络在小样本下的绝缘缺陷诊断性能，本文以数据集A作为源域，以数据集B和C作为目标域建立了两个迁移实验。同时以Pytorch为框架，在配备GeForce RTX 2060 GPU、Intel i7-8700 CPU和16 GB RAM的计算机上进行了模型训练。与自搜寻卷积神经网络（ASCNN）相同层数的传统卷积神经网络（CNN），手动构建的MobileNet（MN）、LeNet和AlexNet被用作特征提取器与本文ASCNN进行对比[22]。在目标任务下，本文选择无迁移训练（源域和目标域分别记为SD和TD）、级联微调迁移训练（FTTL）[23]、最小化最大平均差异迁移训练（MMD）[24]、传统域对抗训练（TDATL）以及本文所提出的域对抗训练（DATL）进行迁移实验以进行对比。在实验过程中，重复实验10次取平均值以减小网络初始化过程中随机误差的影响。不同方法下的平均准确率如图9和图10所示。

图8 四类缺陷下的局部放电实验信号 Fig.8 Partial discharge experimental signal under four types of defects

图9 实验数据下不同方法的平均准确率 Fig.9 Average accuracy of different methods under experimental data

从图9和图10中可以看出，在源域上ASCNN的诊断精度达到了99.15%，相对手动构建的LCNN、LeNet、AlexNet、CNN分别高出了1.1%、31.75%、 33.7%和76.65%，其诊断性能提升明显。在迁移学习后ASCNN的准确度仍然明显高于其他手动构建的网络，验证了网络在源域下的特征提取和分类性能将直接影响目标域。

图10 现场数据下不同方法的平均准确率 Fig.10 Average accuracy of different methods under field data

另外，DATL在实验室GIS绝缘缺陷识别上具有最高的识别准确率，达到了99.35%，相比于直接训练提升了13.95%。DATL在现场GIS绝缘缺陷诊断上的精度达到90.35%，明显高于其他方法。与无迁移策略相比，本文所提出方法的绝缘缺陷诊断精度提升52.92%，可见DATL在更小样本集下的优势明显。虽然所有迁移策略都对提升GIS绝缘缺陷诊断准确率有一定帮助，但DATL准确率提升空间最大。与FTTL相比，域适应迁移策略的诊断准确率提升明显，可以看出域适应的广阔空间。同时可以看出FTTL在每个迁移任务中表现较差，这表明传统的迁移学习方法由于缺乏相应的域适应层，只考虑源域和目标域之间的概率分布，不适合处理复杂的传输任务。对比LeNet、AlexNet和ASCNN，在采用迁移策略时，深层结构的特征学习能力强于浅层结构，因为深层结构可以有效地从故障样本中提取不变特征，这为后续的故障识别提供了强有力的支持。

图11给出了FTTL、MMD、TDATL和DATL诊断精度的箱线图。从图11中可以看出，FTTL、MMD和TDATL的中位数位置、四分位间距框的位置与高度低于DATL，其不稳定性大于DATL，所以DATL的性能优于FTTL、MMD和TDATL。从实验数据（B）和现场数据（C）诊断结果来看，随着样本量的减小，测试的稳定性变差。在实验数据下，采用深度域对抗卷积神经网络的最大诊断准确率可达到100%，在现场数据下，采用深度域对抗卷积神经网络的准确率达到90%左右，且波动范围很小。

图11 不同方法预测精度的箱线图 Fig.11 Box plots of prediction accuracy of different methods

图12和图13给出了实验室和现场GIS绝缘缺陷诊断的混淆矩阵。可以看出，在受限小样本数据下，本文所提出的域对抗卷积神经网络仍能实现可接受的诊断准确率，尤其是在现场数据下每一类缺陷的诊断准确度均超过85%，而采用FTTL策略难以获得满意的结果。在未采用迁移学习时，在现场更小样本下，卷积神经网络几乎全部识别为同一类缺陷，此时卷积神经网络的特征学习能力很差。与MMD策略相比，本文所提出方法在每一类缺陷下的识别率均有所提升，尤其是针对三类缺陷。为此，通过本文所提出的DATL能够极大地改善小样本下的诊断准确率，为现场实际GIS绝缘缺陷识别提供了有力的技术支撑。

图12 实验数据下GIS绝缘缺陷诊断的混淆矩阵 Fig.12 Confusion matrix of GIS insulation defect diagnosis under experimental data

为更直观地证明所提方法的有效性，采用t-分布邻域嵌入（t-distribution Stochastic Neighbor Embedding, t-SNE）算法[25]，将深度卷积神经网络的最后一层全连接层的特征维度降至二维并以散点图形式表示出来。图14和图15给出了采用ASCNN下源域SD、目标域TD、采用MMD和DATL下的可视化结果。

图13 现场数据下GIS绝缘缺陷诊断的混淆矩阵 Fig.13 Confusion matrix of GIS insulation defect diagnosis under field data

图14 实验数据下不同方法的t-SNE可视化结果 Fig.14 t-SNE visualization results of different methods under experimental data

从图14和图15中可以看出，对于实验室和现场数据，在未采用域适应迁移学习时，所有的类特性混叠在一起而没有明显的边界划分，也就意味着 此时无法实现类别的分离。通过域适应迁移学习后，同一类别标签的实验室和现场局部放电信号被聚类在一起，具有明显的分类边界，并与源域具有近似的划分空间。同时可以看出DATL各状态特征类内的间距很小，类间的间距较大，除个别样本存在混 叠外，其他样本均可较好地区分开。进一步证明所提出的方法应用于GIS绝缘缺陷诊断时可获得较高的分类准确率。

图15 现场数据下不同方法的t-SNE可视化结果 Fig.15 t-SNE visualization results of different methods under field data

4 结论

针对传统以海量样本训练的智能诊断方法难以在现场复杂工况和小样本下部署应用的问题，本文提出了新颖的域对抗迁移卷积神经网络用于受限小样本下的GIS绝缘缺陷诊断，并在多个数据集下进行了验证。本文的主要结论如下：

1）采用网络自搜寻构建方法获得了ASCNN，与其他手动构建的网络相比，不仅提升了源域下的诊断精度，而且明显提升了同一迁移策略的目标域下的诊断准确率，表明其可以有效地从故障样本中提取不变特征，为后续的故障识别提供了强有力的支持。

2）迁移学习的引入使海量样本下训练的诊断网络能够部署到现场小样本下，显著提升了现场复杂工况和小样本下的诊断精度，为目前海量数据下构建的各种诊断网络的现场应用提供了有效途径。

3）本文所提出的域对抗迁移训练策略可大幅度提高小样本下的诊断准确率，混淆矩阵结果表明，其对沿面放电诊断准确率的提升效果最为明显。在域对抗训练中引入两个领域分类器进行决策边界的域对齐，能够实现更合适的特征对齐。

4）与其他方法相比，本文方法在故障数据量较少的情况下，具有更强的鲁棒性和有效性，现场小样本下的GIS绝缘缺陷准确率达到90%以上，说明域对抗迁移卷积神经网络在现场小样本GIS绝缘缺陷诊断中具有显著的优势和广阔前景。