对抗一致性约束的无监督域自适应绝缘子检测

李梅玉，李仕林，赵明，方正云，张亚飞，余正涛

1.云南电网有限责任公司电力科学研究院，昆明 650217；2.昆明理工大学国土资源工程学院，昆明 650500；3.昆明理工大学信息工程与自动化学院，昆明 650500；4.昆明理工大学云南省人工智能重点实验室，昆明 650500

0 引 言

绝缘子是一种能够耐受电压和机械应力的特殊绝缘器件，在架空输电线路中应用广泛。由于输电线路长期暴露在外，绝缘子极易受到侵蚀而发生爆片或老化。绝缘子一旦发生故障，将引起输电线路供电中断，影响电网的安全运行和居民的正常生活。为降低绝缘子故障导致的安全隐患，需要定期对架空输电线路进行巡检，因此，从巡检图像中快速有效地检测出绝缘子，对其进行定位和缺陷分析就显得尤为必要。

目前电网中使用的绝缘子主要分为玻璃绝缘子和复合绝缘子两类，如图1所示。从外观上看，两种绝缘子在颜色和形状上差异较大，造成特征空间中两种绝缘子域偏移较为严重。大多数情况下，仅能得到单一类型的绝缘子样本，用其训练得到的模型部署到其他类型绝缘子检测任务时，会由于不同类型绝缘子之间存在的域偏移而导致检测性能急剧下降。

图1 电网中使用的两类绝缘子Fig.1 Two types of insulators used in the power grid((a)glass insulator；(b)composite insulator)

无监督域自适应目标检测方法是一种广泛用于跨域检测、识别的方法，在训练过程中使用源域有标注的样本和目标域无标注的样本，通过学习一种域不变(或域对齐后)的特征表示，可以有效缓解由于域偏移造成的性能显著下降。这类方法大致可分为基于风格迁移的无监督域自适应目标检测方法(Yang等，2020；Kim等，2019b；Inoue等，2018)和基于自训练的无监督域自适应目标检测方法(RoyChowdhury等，2019；Kim等，2019a；Zhang等，2020)两类。

基于风格迁移的方法通常将源域已标注的图像风格迁移至目标域图像下，然后利用迁移后已标注的图像对模型进行有监督训练，这种方式可以降低不同风格带来的域偏移对性能的影响。然而输电线路巡检图像尺寸较大且背景复杂，如果利用图像生成的方法将源域图像迁移至目标域下容易产生模型崩塌。因此这类方法难以直接应用到无监督域自适应绝缘子检测任务中。基于自训练的方法一般是对目标域数据进行伪标签预测，之后将伪标签与目标数据相结合以有监督的形式训练模型。这类方法极其依赖标签预测的准确性，而输电线路巡检图像中背景复杂、杂物繁多，这些噪声会对标签的预测产生不利影响，利用有噪声的伪标签结合绝缘子数据对模型进行训练容易降低模型的识别能力，不利于模型部署。

受Goodfellow等人(2014)提出的生成对抗网络思想的启发，本文设计了一个基于对抗一致性约束的无监督域自适应绝缘子检测算法来提取不同类型绝缘子共有且具有鲁棒性的特征信息，从而使模型具有域自适应性。具体地，输入不同类型绝缘子图像到特征提取器，将得到的特征分别输入到两个不同的分类器，将分类器输出的分类结果与对应的绝缘子类型进行类别约束，目的是使特征提取器能提取不同类型绝缘子独有的特征信息。在对抗过程中，本文方法提出引入一个额外的分类网络，用于将源域与目标域中不同类型的绝缘子特征分到同一类别下，从而使模型能提取不同绝缘子共有的鲁棒性特征。与有监督的绝缘子检测方法(赵振兵 等，2019；程海燕 等，2017；姚春羽 等，2012；Tao等，2020)不同，本文提出的方法不需要目标域样本的标签就能在跨域绝缘子检测任务中获得较好性能，而且采用的YOLO-V3(you only look once V3)特征提取网络不需要候选框预测和筛选机制，提高了检测速度。总的来说，本文主要贡献如下：1)提出一种基于对抗一致性约束的无监督域自适应绝缘子检测算法，利用两个具有差异的分类网络对绝缘子进行类别约束，提取不同类型绝缘子的私有特征，通过一种对抗分类策略使模型学习到绝缘子共有的特征，提高了模型对不同类型绝缘子识别的鲁棒性。2)本文方法不同于其他有监督绝缘子检测算法，训练集中只有一种类型的有标签样本，在无监督的条件下能对不同类型绝缘子进行跨域检测，更加适用于现实部署，降低了对不同类型绝缘子的误检率。3)提出的模型是一个基于YOLO-V3的端到端的模型，不需要额外的候选框计算和筛选机制，在一定程度上提升了模型的训练效率。

1 相关工作

1.1 基于深度学习的目标检测算法

随着深度学习的不断发展，基于卷积神经网络的目标检测算法表现突出、效果优异，成为流行的目标检测方法。Krizhevsky等人(2017)在图像与卷积核之间进行卷积操作提取物体的高维特征，提高了模型的泛化能力。Redmon等人(2016)提出YOLO目标检测算法，将输入图像划分成若干网格，每个网格分别进行坐标回归和类别回归，然而由于划分网格数量较多，在回归计算过程中效率低下，同时因为网格会由于图像中存在若干不同尺寸的物体或者物体彼此有重叠时产生错误的预测结果，泛化能力较差。为解决该问题，Redmon和Farhadi(2018)在原始YOLO算法上进行改进，提出YOLO-V3目标检测算法，通过添加多尺度预测机制将聚类后得到的锚点分配给不同尺度的检测框，降低了误检率，并且在网络最后输出3种不同尺度的深度特征和分类概率，提高了模型对同类且不同尺寸物体检测的泛化能力。然而对于绝缘子检测任务而言，不同类型的绝缘子外观差异较大。在缺乏某一类绝缘子样本标注的情况下，直接将YOLO-V3应用到跨域绝缘子检测任务时，会由于域偏移导致性能急剧下降。本文提出的基于对抗一致性约束的绝缘子检测算法的目的是在无监督条件下赋予模型提取不同类型绝缘子鲁棒性特征的能力，从而使模型能更好地识别不同类型的绝缘子。

1.2 无监督域自适应目标检测算法

Zhu等人(2017)提出的循环一致性生成对抗网络在图像风格迁移任务上取得了巨大成功。在目标检测领域，一些研究者尝试利用基于风格迁移的方法进行无监督跨域目标检测(Yang等，2020；Kim等，2019b；Inoue等，2018)。风格迁移主要是将源域的图像风格迁移至目标域，同时保留源域标签信息，利用迁移后的图像结合源域标签重新训练模型，以此减轻不同风格的域偏移对模型性能造成的影响。Inoue等人(2018)将源域的真实场景图像通过循环一致性网络生成具有卡通风格的图像，并利用生成后的图像对模型进行微调。然而对于输电线路巡检图像而言，其具有尺寸较大、背景复杂和目标物繁多等特点，利用循环一致性网络进行不同风格图像的生成会产生大量噪声，利用这些有噪声的图像重新微调网络会导致其性能急剧下降。

基于自训练的无监督域自适应目标检测算法(RoyChowdhury等，2019；Kim等，2019a)利用有标注的源域数据进行预训练，通过预训练模型对目标域数据进行伪标签的预测，利用目标域数据结合伪标签重新对模型进行微调。Kim等人(2019a)通过SSD(single shot MultiBox detector)(Liu等，2016)检测得到难样本，通过背景得分正则化帮助网络提取难样本具有鉴别性的特征来减少域偏移，以更加准确地对目标域样本进行伪标签预测。在这类方法使用的样本中，所要识别的目标在图像中占比较大，所以易于提取目标物的特征。对于输电线路巡检图像而言，绝缘子仅在图像中占有很小的比例，不利于进行伪标签预测，而且图像中目标物繁多，容易对特征提取造成干扰，所以很难将自训练的无监督域自适应方法直接应用到绝缘子检测任务中。不同于上述方法，本文提出一种利用对抗训练的方法提取不同类型绝缘子共有且具有鲁棒性的特征，减小绝缘子外观差异对数据分布的影响，增强了模型在复杂背景下对绝缘子的识别能力。

2 本文算法

在缺少目标域样本标签的情况下，为了提高模型对复杂输电线路图像中目标域绝缘子的检测能力，本文提出一种基于对抗一致性约束的无监督域自适应绝缘子检测算法，算法流程如图2所示。该算法将YOLO-V3目标检测网络(Redmon和Farhadi，2018)作为主体框架，使用DarkNet-53(Redmon和Farhadi，2018)作为特征提取主干网络。具体而言，预训练阶段分别输入有标签的源域样本和无标签的目标域样本到YOLO-V3网络中提取特征，将得到的两组特征分别输入到两个分类网络W1和W2，通过类别标签约束两个分类网络能对不同类型的绝缘子提取相应的独有特征。

图2 本文算法流程Fig.2 The flow chart of the proposed algorithm

对抗一致性学习过程如图3所示，输入源域和目标域的样本到YOLO-V3网络中提取特征，将得到的两组特征图同时输入到一个初始化的分类网络W3，通过交叉熵训练W3使之不能正确区分两类绝缘子。然后固定W3，训练主干网络使两组特征的分类结果到同一个标签下，使网络能提取不同类型绝缘子具有的一致性和鲁棒性特征。

图3 对抗训练流程图Fig.3 The flow chart of adversarial training((a)the first stage；(b)the second stage)

2.1 绝缘子特征提取

坐标回归需要将预测的中心点和尺度与真实的中心点和尺度做约束。对预测的中心点的约束具体表示为

(1)

(2)

Lbox=Lbox_wh+Lbox_xy

(3)

除了对预测结果进行坐标约束，还要对其进行类别约束，具体为

(4)

(5)

LYOLO-V3=β1Lbox+β2Lcls+β3Lobj

(6)

本文采用Redmon和Farhadi(2018)提出的超参数设置，将β1、β2、β3设为1。应用式(6)能够对绝缘子进行初步检测，为提取不同类型绝缘子私有特征奠定了基础。值得注意的是，本文方法在训练过程中仅使用源域的绝缘子坐标标签，将其和模型预测的坐标进行回归约束，不使用任何目标域绝缘子的坐标标签。

2.2 绝缘子一致性特征提取

通过利用YOLO-V3中的坐标回归、分类回归和置信度回归，模型已经具有对绝缘子特征的初步提取能力。然而在缺乏目标域绝缘子标签的情况下，由于输电线路图像中背景复杂，目标物种类繁多，如果不增强绝缘子特征的鲁棒性将会造成误检率过高，影响模型部署。为解决此问题，提出一种在无监督条件下通过对抗训练提取绝缘子一致性特征的方法。具体地，在预训练阶段设计了两个不同的分类网络W1和W2，分别将其应用到源域绝缘子和目标域绝缘子的分类任务上，通过对分类结果的类别进行约束使模型提取到不同类型绝缘子的私有特征。对于源域绝缘子而言，上述过程可表示为

(7)

(8)

对两个分类网络的结果分别进行绝缘子的类别约束，可以使特征提取网络E提取源域绝缘子和目标域绝缘子各自私有的特征，然而这种特征并不具有鲁棒性。在复杂输电线路图像中，应当使模型能够提取绝缘子鲁棒性的特征，利用这种特征对不同类型的绝缘子能进行正确定位，提高模型的检测能力。通过预训练阶段两个分类网络对各自类型绝缘子进行的类别约束，网络能够提取不同类型绝缘子各自私有的特征，然而这种特征提取能力不能部署到跨域绝缘子识别任务中，因为两种绝缘子间的外观差异会造成检测性能下降。为能提高跨域绝缘子检测性能，在对抗阶段(图3)提出了一种对抗一致性约束来提取绝缘子一致性特征的方法。具体地，增加一个额外的分类网络W3，将两种绝缘子的特征输入到该网络中，通过交叉熵单独训练W3使之将复合绝缘子特征和玻璃绝缘子特征判断为不同类。具体为

(9)

(10)

式中，ui表示两种绝缘子属于同一类别的标签。利用这一方法，可以促使特征提取网络提取不同类型绝缘子具有一致性的特征，在无监督的条件下提高模型的检测能力。最后，整合所有损失函数为

(11)

式中，β、λ1、λ2、λ3分别为各项损失函数对应的权重参数。在后面的实验中，会对每个参数进行讨论，展示不同参数下模型的性能，从而选取适用于模型的最优参数。本文算法流程如下：

定义：编码器E和3个分类器W1，W2，W3。

输出：最优模型E*。

1)图像预处理，将图像缩放为416×416×3。

2)for eachk∈[1,n] do：

(3)通过式(3)(7)(8)分别训练E，W1和W2；

end for。

3)for eachk∈[n,m] do：

(3)通过式(9)训练W3；

end for。

4)for eachk∈[m,p] do：

(3)通过式(3)(10)训练E；

end for。

3 实验结果及分析

3.1 数据集和评价指标

实验所用的数据集共有4 113幅不同类型的绝缘子图像，其中2 416幅包含玻璃绝缘子，1 697幅含有复合绝缘子，样例如图4和图5所示。在这些样本中，每个数据集都分成训练集和测试集，训练集占总样本的2/3，测试集占1/3。这些图像大多数都是无人机在输电线路巡检过程中拍摄的，还有一部分是相机和手机拍摄得到。由样例可以看出，巡检图像背景复杂多变，绝缘子尺度大小不一，光照等各不相同，这些因素使得数据集样式丰富，数据分布广泛。

图4 数据集中玻璃绝缘子样例Fig.4 The example of glass insulators in dataset

图5 数据集中复合绝缘子样例Fig.5 The example of composite insulators in dataset

在标注工作中，用Label-Img软件对图像中的绝缘子进行人工标注，标注格式与流行数据集PAS-CAL VOC(pattern analysis,statistical modeling and computational learning visual object classes)(Evering-ham等，2010)相同，标注信息存储在“.xml”文件中。标注样例如图6所示。

图6 标注样例Fig.6 The example of annotation

为了充分体现模型的鲁棒性和对比实验的科学性，采用常见的平均精度均值(mean average precision,mAP)作为评估指标。

3.2 实施细节

采用YOLO-V3目标检测网络(Redmon和Farhadi，2018)作为基础框架。该框架使用DarkNet-53作为特征提取网络，图像尺寸统一缩放为416×416×3输入到该网络中，网络最后的3组残差块分别输出了3个不同尺度的图像特征，将这些特征输入到3个并联的下采样过程，最终得到13×13×18、26×26×18、52×52×18这3个不同尺度的特征图。使用深度学习平台Pytorch搭建YOLO-V3网络3个分类网络，其中3个分类网络结构相同，均由2个全连接层组成，第1层输入维度是3 042，第2层输入维度为64，输出维度均为1。DarkNet-53和3个分类网络均采用随机梯度下降法进行优化，对于DarkNet-53，设置其学习率为0.005，动量为0.937。3个分类网络的学习率设置为0.000 1，动量设为0.9。在训练过程中，将训练的迭代次数设为100，批次大小设置为16。目标损失函数中的4个参数β、λ1、λ2、λ3在复合绝缘子跨域到玻璃绝缘子任务中设置为0.1、3、3、1，在玻璃绝缘子跨域到复合绝缘子任务中设置为1、3、3、10。

3.3 实验对比

目前，绝缘子检测任务没有公共的数据集，所以无法在已公开的数据集上进行对比。一些较为先进的绝缘子识别方法(赵振兵 等，2019；Tao等，2020)采用的数据集中绝缘子类型单一，无法满足跨域的绝缘子检测和识别。此外，这类方法均在有监督的条件下进行训练，无法直接与它们的结果进行对比。由于缺少基于域自适应的跨域绝缘子检测方法，本文的对比方法采用较为成熟的目标检测方法与无监督域自适应目标检测方法，在无监督条件下进行对比实验。这些对比方法包括YOLO(Redmon等，2016)、YOLO-V3(Redmon和Farhadi，2018)、Faster-RCNN(region convolutional neural networks)(Chen等，2018)、Aug-FPN(augmentational feature pyramid network)(Guo等，2020)和Pisa-RCNN(Cao等，2020)。在实验中，首先进行玻璃绝缘子到复合绝缘子的跨域检测任务(glass→composite)，在该任务中仅使用玻璃绝缘子的标签信息，复合绝缘子的标签不可用，实验结果如表1所示。可以看出，本文方法的平均预测精度远高于YOLO (Redmon等，2016)目标检测算法，且优于基于Faster-RCNN改进的Pisa-RCNN和Aug-FPN算法。这类方法没有考虑物体的域间差异，不能促使模型提取域不变的特征，因而在跨域绝缘子检测任务上性能不佳。对于基础框架YOLO-V3(Redmon和Farhadi，2018)目标检测网络，本文算法在其基础上，将mAP提升了11.5%，说明本文算法确实增强了模型提取绝缘子鲁棒性特征的能力。

表1 玻璃绝缘子到复合绝缘子实验结果Table 1 The experimental result of glass→composite

同样，在复合绝缘子到玻璃绝缘子(composite→glass)的跨域检测任务中，仅使用复合绝缘子的标签信息，不用玻璃绝缘子的标签信息，实验结果如表2所示。可以看出，本文算法优于其他对比方法。平均预测精度与glass→composite任务相比较低，主要原因是训练样本数量相差较大，用于训练的复合绝缘子样本数量比玻璃绝缘子少约700幅，样本不平衡导致了检测结果相差较大。

表2 复合绝缘子到玻璃绝缘子实验结果Table 2 The experimental result of composite→glass

为了更好地展示本文算法的优越性，对绝缘子检测任务进行可视化展示，复合绝缘子和玻璃绝缘子检测结果分别如图7和图8所示。可以看出，在具有复杂背景干扰的输电线路图像中，模型仍然能够对不同类型的绝缘子进行准确识别和定位。

图7 复合绝缘子检测可视化结果Fig.7 The visualization results of composite insulators detection

图8 玻璃绝缘子检测可视化结果Fig.8 The visualization results of glass insulators detection

同时，为了证明本文方法具有较强的应用推广能力，用COCO(common objects in context)数据集(Lin等，2014)对本文方法进行有监督训练，并在测试集上进行测试。表3为本文方法与Libra R-CNN(Pang等，2019)和Grid-R-CNN(Lu等，2019)方法的实验结果对比。可以看出，在常规的图像检测任务中，本文方法仍然表现出较好的性能。

表3 COCO数据集实验结果Table 3 The experimental results on COCO dataset

3.4 消融实验

本文方法是在YOLO-V3基础上进行的改进，所以为了凸显改进后的模型相较于原始网络的优越性，进行了消融实验。

表4 玻璃绝缘子到复合绝缘子消融实验结果Table 4 The ablation study of glass→composite

在将复合绝缘子作为有标签的源域、玻璃绝缘子作为无标签的目标域的使用中，与glass→composite实验设置相同，β、λ1、λ2、λ3分别设置为0.1、3、3、1，实验结果如表5所示。可以看出，在YOLO-V3的基准识别率17.0%的基础上，差异分类模块和对抗一致性分类模块分别将mAP提高了2.8%和6.4%。

表5 复合绝缘子到玻璃绝缘子消融实验结果Table 5 The ablation study of composite→glass

从上述实验可以看出，本文方法在不同目标数据集的跨域绝缘子检测任务上都能够提高模型性能，充分说明了本文算法能够避免输电线路复杂背景的影响，在无监督的条件下促使模型提取不同类型绝缘子具有的鲁棒性特征。

3.5 参数分析

在式(11)中，差异分类和对抗一致性在整体损失函数中的权重分别为β、λ1、λ2、λ3。本节通过分析权重参数，讨论4项损失函数对模型整体性能的影响。在此过程中，分析其中一项损失函数的作用时，其他项的权重设置为最优值，以便观察该项权重对整体性能的影响。

图9为参数β对mAP值的影响。可以看出，β分别取值为1和0.1时，glass→composite和composite→glass两个任务取得了最优结果，mAP分别为55.1%和23.4%。在两个跨域任务中，β对整体性能的波动相较其他3个参数影响较小，反映出YOLO-V3缺乏对检测不同类型绝缘子的自适应能力。

图9 β参数分析Fig.9 The parameter analysis of β

λ1是对源域绝缘子类别约束的权重，其参数分析结果如图10所示。可以看出，将其设置为3时，在两个不同的任务上mAP都达到了最大值，分别为55.1%和23.4%。通过对源域绝缘子进行类别约束使模型提取属于源域绝缘子的特征，为后续对抗训练提取不同绝缘子具有一致性的特征奠定了基础。

图10 λ1参数分析Fig.10 The parameter analysis of λ1

λ2是对目标域绝缘子类别约束的权重，参数分析结果如图11所示。可以看出，当λ2为3时，两个任务的性能都达到了最优值，在glass→composite和composite→glass上mAP分别达到了55.1%和23.4%。由于λ1和λ2对应的损失函数都是对不同类型绝缘子进行类别约束，所以结果具有相似性。

图11 λ2参数分析Fig.11 The parameter analysis of λ2

λ3控制模型提取绝缘子一致性特征的能力，对增强模型的鲁棒性、提升模型性能具有重要作用。对其参数分析的结果如图12所示。由结果可以看出，在复合跨玻璃的目标检测中，λ3为1时，对应项对模型性能的贡献最高，mAP达到23.4%。在玻璃跨复合的任务中，模型最高性能对应的λ3值为10。所以，对不同的跨域任务，设定不同的λ3以获取最优的性能。两个任务中最优性能对应的λ3不同，主要是因为数据集样本不均衡所致，用于训练的复合绝缘子样本数量比玻璃绝缘子少约700幅图像，所以对样本数据少的任务该项权重不宜过大。

图12 λ3参数分析Fig.12 The parameter analysis of λ3

4 结 论

为提高输电线路巡维中的绝缘子检测效率，降低人工标注成本，提出一种对抗一致性约束的无监督域自适应绝缘子检测算法。该方法对源域样本与目标域样本的网络预测结果与对应的绝缘子类别进行约束，使模型能够提取到不同类型绝缘子独有的特征。在对抗学习过程中引入一个额外的分类器用于将源域中绝缘子特征与从目标域中预测到的目标物特征分到同一类别下，从而使模型能提取不同类型绝缘子共有的鲁棒性特征。该方法减小了不同类型绝缘子间存在的域差异，提高了模型的泛化性能。在实验部分，本文与目前先进的无监督域自适应目标检测算法进行了对比，结果证明了本文所提算法的优越性，同时在主流数据集COCO上的实验结果展示了本文算法的可扩展性。消融实验中，通过对比改进前后模型的性能，证明了本文方法的有效性。参数分析中，通过改变超参数观察该方法对整体性能的影响，从而选取了最优的参数。然而本文方法还需要有标签的源域样本对模型进行训练。在未来的工作中，将进一步研究不同类型绝缘子之间特征的差别，探索无需标注样本就可以识别不同类型绝缘子的方法。