基于增强特征金字塔和可变形卷积的绝缘子缺陷检测

张晶焯， 佘楚云， 伍国兴， 肖黎， 赖振宇， 齐冬莲

(1. 深圳供电局有限公司，深圳 518001；2. 浙江大学电气工程学院，浙江 杭州 310027)

0 引言

绝缘子广泛应用于高压架空输电线路、发电厂和变电站等电力系统场景，起到母线和电气设备绝缘及机械固定的作用[1—2]。绝缘子的功能完整是电网安全稳定运行的必要前提。然而，绝缘子大多安装在室外，长期暴露在自然环境下,容易产生局部破损、自爆缺失、悬挂异物等问题[3—6]。常规巡检中，一般通过人工目视判断绝缘子是否异常，存在效率低、巡检周期长等问题。视频监控系统、智能巡检机器人和无人机巡检等技术的发展使基于图像处理的绝缘子缺陷检测成为可能[7—10]。

基于图像的绝缘子缺陷检测算法一般由绝缘子定位和缺陷识别2部分组成。其中，绝缘子定位算法已得到广泛研究[11—13]，并取得了不错的定位效果。现有的缺陷识别算法以识别绝缘子自爆缺失为主。例如，基于直方图统计和空间序列关系的特征检测算法[14]，基于缺陷图像和标准图像异或操作的缺陷定位算法[15]，基于轮廓和欧式距离的自爆缺陷检测算法[16]等。但上述绝缘子定位算法需要人为设计图像特征，对复杂背景的抗干扰性较差。而后续缺陷识别算法严重依赖于绝缘子轮廓提取或前景分割效果，无法应对局部破损、裂纹等情况，且往往只适用于特定场景，难以快速地大规模应用。

深度学习理论在计算机视觉领域的快速发展和广泛应用给绝缘子的缺陷识别提供了新的思路[17]。与传统图像处理技术相比，基于深度学习的算法不需要人为设计特征且具有更强的特征提取能力，可从大量图像数据中自动学习人类难以观测的图像特征，并同时适用于多类场景。以快速区域卷积神经网络(faster regional convolution neural net works,Faster RCNN)、单次检测网络(you only look once,YOLO)、单发检测器(single shot detector,SSD)为代表的检测算法逐渐被应用于绝缘子缺陷检测中[18—21]，并取得了不错的表现。但是，上述算法一般只利用了最后一层或几层特征用于绝缘子的定位和缺陷识别，缺少低层特征和高层特征之间的信息融合，在拍摄距离较远、缺陷区域较小等情况下效果不佳。此外，基于深度学习的检测算法一般采用矩形框表示被检测的物体位置，由于拍摄角度和绝缘子自身特点，矩形框内绝缘子像素的比例较低，存在较大的背景干扰，不利于特征提取。

针对上述问题，文中提出一种基于增强特征金字塔和可变形卷积的绝缘子缺陷识别方法：在网络结构上，以已有特征金字塔网络(feature pyramid network,FPN)[22]为基础，增加增强的自底而上的路径，实现不同维度、不同路径特征的充分融合，提高小目标检测精度；在特征提取上，采用可变形卷积网格(deformable convolutional networks,DCN)[23]代替普通卷积，通过自适应改变采样点，增大模型感受野，降低背景的干扰。最后，利用多场景采集的多类绝缘子图片对该方法进行效果验证，并将实验结果与采用已有方法得到的结果进行对比分析，表明使用该方法可明显地提升性能。

1 增强特征金字塔

1.1 自底而上的路径

经典的检测网络一般采用直筒型的特征提取模式，从输入图片到最后一层特征图，通过步长为2的卷积或池化操作，逐步降低特征图的分辨率大小，形成自底而上的路径，即特征金字塔。低层的特征图空间分辨率较大，具有更精确的位置信息，但提取的图像语义信息较弱，噪声干扰更多；而高层的特征图经过更多的卷积操作，具有更强的语义信息，但空间分辨率较小，位置信息逐渐丢失，不利于精确定位。文中定义所有宽高为1/2k原图大小的特征图中的最后一层为Ck，得到由{C2,C3,C4,C5}组成的自底而上的路径，如图1所示。其中，Ck与Ck+1之间一般由多个卷积(conv)、激活函数(ReLu等)和批归一化层(BN)等组成，由选取的基础网络的具体结构确定。

图1 增强特征金字塔结构Fig.1 Structure of enhanced feature pyramid

1.2 自顶而下的路径

结合上述低层特征和高层特征的优点，FPN网络[15]在原有的自底而上路径的基础上，增加一个自顶而下的路径，实现高低层特征融合。首先，直接对C5进行1×1卷积操作得到P5；接着，对高层的特征图Pk+1进行步长为2的最近邻上采样，产生与Ck相同分辨率的特征图，其具有更强的语义信息，有助于分类任务；对低层的特征图Ck进行1×1的卷积操作，产生与Pk+1相同通道数的特征图，其具有更精确的位置信息，有助于坐标回归任务；最后，将这2个新的特征图进行逐像素相加，得到特征图Pk。考虑计算效率，最终得到由{P3,P4,P5}组成的自顶而下的路径。

1.3 增强的自底而上的路径

上述自顶而下的路径使得低层的特征图在保持原有位置信息的同时，能够获取更强的语义信息，从而提升模型对小目标物体的检测性能。但是，这种自顶而下的路径一般经过几十甚至上百个卷积层操作，不利于信息传递和训练时的梯度回传。因此，增加一个增强的自底而上的路径，缩短信息流动的路径，同时将低层准确的位置信息进一步融入到新的特征图中，进一步加强对小目标物体的检测，提升模型整体性能。

具体来说，P3直接用于后续预测，即L3。接着，对低层的特征图Lk-1进行步长为2的下采样，产生与Pk相同分辨率的特征图；对高层的特征图Pk进行1×1的卷积操作，产生与Lk-1通道数相同的特征图；然后将2个新的特征图进行逐像素相加，得到特征图Lk，用于最终的预测。最终得到由{L3,L4,L5}组成的增强的自底而上的路径。

2 可变形卷积

绝缘子长条状的外形特点和多变的拍摄角度使得常规的矩形框表示形式下，绝缘子有效信息的像素比例较低，特征提取过程受到较大的背景干扰，如图2(a)，(b)所示。因此采用可变形卷积代替常规卷积，增强模型的特征提取能力，几种卷积方式见图2(c)—(e)。

图2 可变形卷积Fig.2 Illustration of deformable convolutions

一般情况下，卷积神经网络采用普通卷积操作，如图2(c)所示(以3×3卷积为例)。普通卷积以滑动窗口的形式在输入特征图x上的规则网格G内进行采样操作，例如：G={(-1,-1),(-1,0),…,(0,1),(1,1)}，代表步长为1的3×3卷积的采样网格。

输出特征图y上的每个位置l0计算如下 ：

(1)

式中：ln为第n个点的采样偏移量；x(·)为特征图对应位置的值；w(·)为卷积核对应位置的权重。

对于可变形卷积，采样网格G中的每个点增加偏移量{Δln|n=1,…,N},N=|G|，则式(1)修改为：

(2)

通过自适应学习上述偏移量，模型可以根据输入样本中绝缘子的形态，动态调整采样点的位置，间接增大了模型的感受野。

由于每个点的偏移量一般是小数，因此须采用双线性插值计算得到每个浮点坐标的像素值。显然，普通卷积和空洞卷积是可变形卷积的特例，而可变形卷积往往具有更强的特征提取能力。

3 整体方案设计

3.1 基础网络

选取ResNet[24]残差网络作为绝缘子缺陷检测模型的基础网络，其特点是采用跳跃连接的结构，解决了网络太深导致的模型退化问题。同时上述结构有利于训练过程中的梯度反向传播，在图像分类、目标检测等计算机视觉基础任务中得到广泛应用。考虑算法推理速度和识别性能，分别选取ResNet-18和ResNet-101作为基础网络。

3.2 头部预测结构

分别选取Faster RCNN和YOLOv3 2类不同的头部预测结构，如图3所示。其中，Faster RCNN采用两阶段检测思路，借助区域推荐网络(region proposal network,RPN)筛除大量无用的候选框，实现稀疏预测；YOLOv3采用一阶段检测，直接在多个特征图上设置密集的锚框，借助密集预测达到与Faster RCNN相当的性能。

图3 头部预测结构Fig.3 Structure of head prediction

3.3 算法整体流程

文中提出的基于增强特征金字塔和可变形卷积的绝缘子缺陷识别算法的整体流程如图4所示。

图4 整体流程Fig.4 Overall process

3.4 绝缘子缺陷数据集

采集的绝缘子图像覆盖变电站、铁路接触网、高压输电线等多个场景，包含瓷绝缘子、玻璃绝缘子等多种类型。采用人工标注的方法对收集到的绝缘子图片进行处理。

由于带缺陷的绝缘子图片数量远少于正常绝缘子，文中采用一系列数据增强操作进行正样本扩充，包括：随机旋转、水平翻转、“复制-粘贴”策略、随机裁剪、“擦除”策略等。此外，为增强模型的泛化能力，在训练过程中加入随机噪声、随机光照和对比度等操作。最后，得到共5 560张绝缘子缺陷图片，按照2∶1∶1的比例，划分为训练集、验证集和测试集。

4 实验结果

首先在公开的COCO数据集上对搭建的模型进行预训练，然后用预训练好的模型权重初始化绝缘子缺陷检测模型，再用制作好的训练集进行训练，并在验证集上评估对比不同模型的性能。文中所有实验均采用随机梯度下降法训练绝缘子缺陷检测模型，初始学习率0.005，迭代次数40 000次，在第30 000次和第35 000次时学习率降为原来的1/10。

采用平均精确率(average percision,AP)来评价模型性能的优劣。在固定交并比(intersection over uni on,IoU)阈值下，计算不同召回率下的平均准确率。AP值越大，检测精度越高。

(3)

(4)

(5)

式中：NTP为缺陷绝缘子被正确检测到的个数；NFP为正常绝缘子被错误预测为缺陷绝缘子的个数；NFN为缺陷绝缘子未被检测到的个数；N为测试集中所有图片的个数；P(k)为在能识别出k个图片的时候P的值； Δr(k)为识别图片个数从k-1变化到k时R值的变化情况。。

4.1 对比分析

不同模型结构在验证集上计算得到AP值，其结果如表1和表2所示(“√”代表使用该模块)。可以看出，增强的自底而上的路径对模型的性能提升明显，且随着基础网络特征提取能力的增强而增强(ResNet-18：+0.045，ResNet-101：+0.063)。加入可变形卷积分别得到0.032和0.018的提升。增强特征金字塔结构和可变形卷积能够兼容，并取得最佳性能(ResNet-18:由0.537提升至0.604,+12.4%, ResNet-101:由0.583提升至0.691,+18.5%)。两阶段的头部预测结构的性能整体上要优于一阶段(ResNet-18：两阶段为0.604，一阶段为0.589；ResNet-101:两阶段为0.691，一阶段为0.670)。

表1 ResNet-18对比实验结果Table 1 Comparison results based on ResNet-18

表2 ResNet-101对比实验结果Table 2 Comparison results based on ResNet-101

4.2 实例验证

将最终训练得到的基于增强特征金字塔和可变形卷积的绝缘子缺陷检测模型在测试集上验证实际效果，如图5所示。红色椭圆部分为缺陷区域，“jyz_zc”代表绝缘子正常，“jyz_yc”代表检测到绝缘子缺陷，数字代表检测结果的置信度分数。其中，(a)为巡检机器人仰视拍摄的玻璃绝缘子缺失图片结果；(b)为巡检机器人仰视拍摄的竖立陶瓷绝缘子裂纹图片结果；(c)为铁路巡检车夜间拍摄的绝缘子局部破损图片结果；(d)为工作人员手机拍摄的竖立绝缘子破损图片结果。可以看出，模型能够在不同拍摄角度、不同背景情况下，识别不同类型的绝缘子并定位缺陷绝缘子，包括自爆缺失、裂纹、局部破损等常见缺陷类型，体现了深度学习模型强大的泛化能力。

图5 不同场景下的检测结果Fig.5 Test results of different scenarios

5 结语

针对绝缘子局部破损、裂纹等小目标检测情况，提出一种基于增强特征金字塔和可变形卷积的绝缘子缺陷检测方法，并在多场景采集的图像中对文中提出的改进方法进行了对比分析和实例验证。最终实验结果表明，该方法能够显著提高缺陷区域较小情况下的检测精度，同时可以根据实际任务要求，自由选择合适的基础网络、头部预测结构。此外，该方法适用于变电站、高压输电线等各类绝缘子应用场景，具有较好的通用性。后续将在模型部署方面进行进一步优化，在保持检测精度的同时，降低模型对GPU等硬件资源的要求，降低部署难度和应用成本。