基于隔级交叉特征融合的输电线螺栓缺销检测

赵文清，徐敏夫

1.华北电力大学控制与计算机工程学院，保定 071003； 2.复杂能源系统智能计算教育部工程研究中心，保定 071003

0 引 言

带销钉螺栓是输电线路中广泛存在的连接部件，往往用于连接输电线与绝缘子、防震锤等电力部件，连接输电线与铁塔以及铁塔自身紧固。虽然螺栓部件的结构较小，但是其在保证输电线路的安全稳定运行中起着至关重要的作用。输电线路大多暴露在恶劣的野外环境中，在受到雨雪天气以及鸟害等因素的影响下，容易发生螺栓销钉脱落缺失故障，影响输电线路的正常运转，甚至会导致输电线路关键部件解体，造成严重损失(赵振兵 等，2020)。因此，在输电线路巡检时，也需要注意对螺栓部件的巡检，发现缺销的螺栓及时修理或更换，消除安全隐患。

传统的输电线路巡检需要人工作业来完成，巡检工人需要登上铁塔靠肉眼和自身经验来判断输电线路中是否存在故障，不仅费时费力效率很低，还会受到自然条件的限制，而且对作业人员的生命安全也存在一定的危险(陈驰 等，2017)。通过无人机巡检，人们可以收集到大量的输电线路巡检图像，再将这些图像传回地面，由专业人员逐幅查看，确定发生故障的部件和类型，采取后续的处理措施(彭向阳 等，2017)。无人机巡检虽然解决了安全性的问题，但是在后续传回地面处理的过程中，还会消耗大量的人力和时间，效率很低，容易造成误检和漏检，从而导致输电线路中潜在的故障不能及时排除，可能造成严重后果。

随着深度学习技术的发展，多种目标检测算法相继提出并应用到输电线路巡检中，取得了不错的效果(王子昊，2018)。处理巡检收集到的大量图像无须再采用人工逐幅查看判断的方式，而可以应用深度学习技术，训练出适合当前故障检测的深度网络模型，以实现高效自动准确的输电线路智能巡检。深度学习技术和输电线路巡检的结合在绝缘子(赵文清 等，2020)、均压环(张新影，2018)、输电线(缪希仁 等，2021)和防震锤(赵杰伦 等，2022)等部件的故障检测中取得了不错的效果，但是对于输电线路中的螺栓部件，检测效果差，相关研究也很少。一方面是由于螺栓部件尺寸较小，在高分辨率的巡检图像中占比很小，很容易当成背景而忽略掉；另一方面是没有公开的标准数据集，深度学习是由数据驱动的，没有大量的训练数据也就意味着网络模型得不到有效地训练，导致检测效果较差。

在目前输电线路螺栓缺销故障检测的研究中，赵振兵等人(2021)针对螺栓缺销检测中定位困难、特征难提取的问题，提出了一种基于DBSCAN (density-based spatial clustering of applications with noise)算法与FPN(feature pyramid network)模型相结合的螺栓缺销检测方法，有效地提升了螺栓缺销检测精度。张姝等人(2021)提出一种输电线路缺陷螺栓分级检测系统，首先使用SSD(single shot multibox detector)算法定位存在缺陷螺栓的连接部位并切割出连接部位，其次利用数据增强扩充数据集，最后使用YOLO v3(you only look once) 算法检测缺陷螺栓，在保证精度的前提下，实现了螺栓缺陷的实时检测。顾超越等人(2020)提出了一种基于改进Faster RCNN(region convolutional neural networks)算法的输电线路销钉缺失检测方法，以深度残差网络ResNet101(residual network)作为前置特征提取网络，建立特征金字塔融合多尺度特征，并对Faster RCNN 算法进行改进，取得了较好的检测效果。李雪峰等人(2021)针对Faster RCNN算法做出了改进，首先将特征提取网络替换为SCNet(self-calibrated convolutional networks)残差网络；然后对FPN结构进行改进，提出PinFPN；最后，采用多种数据增强方式来扩充数据集，增加训练样本，提高模型的鲁棒性，与Faster RCNN算法以及其他主流的算法相比，具有很大的优势。

本文针对目前输电线路螺栓缺销故障检测中存在的问题，提出了基于隔级交叉自适应特征融合的输电线路螺栓缺销故障检测方法。在建立螺栓缺销故障检测数据集后，首先，以SSD(Liu等，2016)网络为基础，在网络中加入隔级交叉特征金字塔结构；然后引入自适应特征融合机制，对特征图进行二次融合；最后，对网络中的先验框进行优化调整，使其尺寸更加适合螺栓目标。

1 基础知识

本文方法以SSD算法和特征金字塔网络FPN(Lin等，2017)为基础。SSD算法以VGG16 (Visual Geometry Group 16-layer network)(Simonyan和 Zisserman，2015) 网络为基础网络，采用多尺度特征图和密集的锚点框机制来进行目标检测，具有较高的检测精度和较快的检测速度。FPN是一种金字塔型的特征融合结构，能够通过特征融合来增强特征图的特征信息。

2 基于隔级交叉自适应特征融合的螺栓缺销故障检测模型

本文提出的基于隔级交叉自适应特征融合的螺栓缺销故障检测模型结构如图1所示。首先对部分巡检图像进行小目标粘贴来实现数据扩充；然后，将图像输入到螺栓缺销故障检测网络中得到尺度不同的巡检特征图，将Conv3_3层、Conv4_3层、Conv5_3层、Conv7层、Conv8_2层和Conv9_2层的巡检特征图输入到隔级交叉自适应特征融合模块中进行特征融合，得到融合后的巡检特征图；接下来将其与Conv9_2层、Conv10_2层和Conv11_2层的巡检特征图一起输入到目标位置与类别预测层中，得到最终的建议框；最后，通过非极大值抑制算法(non-maximum suppression, NMS)对建议框进行迭代优化，得到最终的预测结果，完成螺栓缺销故障检测过程。

图1 基于隔级交叉自适应特征融合的螺栓缺销故障检测模型结构图Fig.1 Structure diagram of the bolt missing pins fault detection model based on inter-level cross self-adaptive feature fusion

2.1 小目标粘贴数据扩充

收集到的部分巡检图像的尺寸过大，而且其中包含的缺销目标数量较少。这不仅导致缺销目标在图像中的占比过小，在检测时很容易忽略造成漏检；而且图像中的缺销目标过少，导致其匹配到的先验框数量也较少，影响检测效果。

对于上述问题，本文参考Kisantal等人(2019)方法，规定最小边的尺寸超过800像素且其中包含的缺销目标数小于3个的巡检图像为需粘贴巡检图像，对其进行小目标粘贴数据扩充：首先从巡检图像中按照标注框裁剪出缺销目标；然后经尺寸调整、旋转等操作后，将其随机粘贴到需粘贴巡检图像中，粘贴时通过计算交并比(intersection over union，IoU)来避开现有目标标注框和图像边界，得到合成图像；最后，将其加入到数据集中，进行网络的训练和测试。需粘贴巡检图像在进行小目标粘贴后，其中包含的缺销目标数明显增多，增加了其匹配到的先验框数量；同时，数据集中图像的数量也增多了，实现了数据扩充。

2.2 隔级交叉自适应特征融合模块

由于螺栓目标尺寸过小，虽然SSD网络中采用多尺度特征图进行目标检测，但针对螺栓缺销故障检测效果较差。基于此，本文设计了隔级交叉自适应特征融合模块，并将其加入到SSD网络中，其结构如图2所示，由隔级交叉特征金字塔和ASFF(adaptively spatial feature fusion)(Liu等，2019)自适应特征融合结构两部分组成。

图2 隔级交叉自适应特征融合模块Fig.2 Inter-level cross self-adaptive feature fusion module

2.2.1 隔级交叉特征金字塔

考虑到SSD网络中的低层的特征图用于检测小目标，而本文需要检测的螺栓缺销目标也属于小目标，因此，在SSD网络输出特征图组成的特征金字塔的基础上，额外引入Conv3_3层、Conv5_3层的特征图，分别与Conv4_3层、Conv8_2层的特征图融合，补充利于小目标检测的视觉细节信息；同时，增加隔级交叉连接，将隔级低层特征图的视觉信息向上传递，将高层特征图的语义信息向下传递，使融合后的特征图兼具丰富的视觉信息和语义信息，而且充分利用了网络中的特征信息，提升螺栓缺销故障的检测效果。

隔级交叉特征金字塔融合的具体流程为：

1)Conv9_2层的巡检特征图通过2倍上采样插值操作，尺寸由5×5转变为10×10，插值方法采用的是双线性插值，再通过1×1的卷积核进行卷积，将通道数由256转变为512；Conv5_3层的巡检特征图通过最大池化操作，尺度由19×19×512转变为10×10×512；然后将二者与Conv8_2层的巡检特征图add相加融合，再通过3×3的卷积核卷积进行消融，得到融合后的巡检特征图fConv8_2，如图3所示。

图3 特征图fConv8_2的生成流程图Fig.3 The flow chart of generating feature map fConv8_2

2)Conv4_3层的巡检特征图通过最大池化操作，尺度由38×38×512转变为19×19×512，再通过1×1的卷积核进行卷积，将通道数调整为1 024；融合后的巡检特征图fConv8_2通过上采样插值将尺度调整为19×19×512，再通过1×1的卷积核进行卷积，调整通道数为1 024；然后将二者与Conv7层的巡检特征图add相加融合，再通过3×3的卷积核卷积进行消融，得到融合后的巡检特征图fConv7。

3)Conv3_3层的巡检特征图通过最大池化操作，尺度由75×75×256转变为38×38×256，再通过1×1的卷积核进行卷积，将通道数调整为512；融合后的巡检特征图fConv7通过2倍上采样插值将尺度调整为38×38×1 024，再通过卷积核为1×1的卷积调整通道数为512；然后将二者与Conv4_3层的巡检特征图add相加融合，再通过3×3的卷积核卷积进行消融，得到融合后的巡检特征图fConv4_3。

2.2.2 ASFF自适应特征融合结构

将隔级交叉特征金字塔输出的第1次融合的巡检特征图fConv4_3、fConv7、fConv8_2输入到ASFF自适应特征融合结构中进行二次特征融合。如图4所示，其中X1、X2、X3分别代表Level0、Level1、Level2层的特征图，即fConv4_3、fConv7、fConv8_2，分别乘上自适应学习到的权重系数a、b、c，得到新的巡检特征图ASFF-1、ASFF-2、ASFF-3，其中，a,b,c∈[0, 1]，且a+b+c=1。计算式为

ASFF-i=X1×ai+X2×bi+X3×ci,i=1,2,3

(1)

2.3 先验框的优化

在SSD网络中决定先验框abox尺寸的有两个参数，一个是as，即框的大小；另一个是ar，即框的长宽比。SSD网络中as计算为

图4 ASFF自适应特征融合结构示意图Fig.4 ASFF self-adaptive feature fusion structure diagram

(2)

式中，Sk是特征层的先验框大小与原图像大小之比，Smax和Smin分别是最大、最小的比例，m是输出特征层的个数，k代表第k+1层的特征图。

图5 特征图上的先验框示意图Fig.5 Schematic diagram of anchor box on the feature map

SSD算法在进行实验时所采用的数据集为PASCAL VOC(pattern analysis, statistical modeling and computational learning visual object classes)，该数据集中包含20类目标，且目标大小尺寸和长宽比相差较大；而本文数据集中的螺栓目标尺寸较小，长宽比例分布较为统一。因此，首先对as进行调整，将其尺寸调小，使其更适合巡检图像中的螺栓目标。将(Smin,Smax)=(0.2, 0.9)调整为(Smin,Smax)=(0.1, 0.8)，相应的as为(15, 30), (30, 81), (81,132), (132, 183), (183, 234), (234, 285)。

然后，将数据集中的巡检图像尺寸统一缩放到300×300像素，再通过K-means聚类方法对数据集中的螺栓目标标注框长宽比进行聚类统计，统计结果如图6所示。

图6 螺栓结构标注框长宽尺寸聚类结果Fig.6 Clustering results of the length and width dimensions of the bolt structure labeling frame

通过聚类统计分析，本文发现当聚类为5类时，各个聚类簇之间的尺度区分较为明显，效果最好。根据得到的聚类中心数值，发现数据集中螺栓目标的标注框的长宽比主要为1、0.5、0.8、1.5、2这5种。SSD网络中主要使用Conv4_3层的特征图来检测螺栓这类小目标，增加其匹配的先验框数量并调整先验框尺寸有利于检测螺栓目标。因此本文将ar调整为(1.5, 0.8, 0.5), (1.5, 0.5), (1.5, 0.5), (1.5, 0.5), 0.5, 0.5，其中Conv4_3层特征图上的每个像素单位上会对应8个尺度不同的先验框，其余各层输出特征图上每个像素单位分别对应6,6,6,4,4个先验框。

相关符号注释如表1所示。

表1 符号注释Table 1 Symbol notes

3 实验结果与分析

实验使用的操作系统为Windows10，GPU选用NVIDIA GeForce GTX 1080Ti，深度学习框架为pytorch 1.3.1。

3.1 数据集及实验参数

本文螺栓缺销故障检测数据集中共包含6 776幅图像，数据集中包含正常螺栓和缺销螺栓两类目标。训练网络时，按照7 ∶3的比例随机划分训练集和测试集，训练集中包含4 743幅图像，测试集中包含2 033幅图像，数据集中两类螺栓目标的数量如表2所示。

表2 数据集中图像和螺栓目标数目Table 2 The number of images and bolt targets in the dataset

在网络模型的训练过程中，将交并比的阈值设置为0.5；动量参数和权重衰减分别设为0.9和0.000 5；每批图像幅数batch_size设置为32；初始学习率设置为0.001，在第80 k次、第100 k次迭代学习率分别下降为原来的1/10，迭代总次数为120 k。

3.2 实验结果比较和分析

本文的实验采用平均准确率(average precision, AP)和所有类别的均值平均准确率(mean average precision, mAP)作为精度评价指标。FPS (frame per second)作为速度评价指标，代表每秒内可以处理的图像数量。在通用数据集PASCAL VOC和螺栓缺销故障检测数据集上分别进行实验，以验证本文方法的有效性。实验结果的比较和分析主要分为3部分：

1)在通用数据集PASCAL VOC上验证本文网络模型改进的可行性；

2)在螺栓缺销故障检测数据集上进行实验，证明本文方法的可行性；

3)与其他方法的检测准确率进行对比。

3.2.1 验证本文网络模型改进的可行性

在通用数据集PASCAL VOC上进行了消融实验，来证明网络模型改进的有效性，其中，使用VOC2007和VOC2012的训练集来训练网络，使用VOC2007的测试集来进行测试，实验结果如表3所示。

表3 消融实验的检测准确率和速度Table 3 Detection accuracy and speed of ablation experiments

由消融实验的检测准确率结果可知，在网络中加入隔级交叉特征金字塔结构后，mAP的值提升了1.8%；再加入ASFF自适应特征融合结构后，mAP的值提升了0.5%，与原始SSD相比，mAP的值提升了2.3%，达到了79.8%。

本文改进的网络模型在VOC2007测试集上的实验结果，与主流的目标检测算法Faster RCNN等进行了对比，如表4所示。

由表4的实验准确率对比结果可知，本文进行了网络改进后的算法与其他主流目标检测算法相比，也有明显的检测精度优势。

3.2.2 螺栓缺销故障检测数据集上的实验

为了进一步验证本文方法针对螺栓缺销故障检测的有效性，在螺栓缺销故障检测数据集上进行了消融实验，实验结果如表5所示。

从表5实验结果可知，经过先验框优化后，正常螺栓类的AP值提升了0.83%，缺销螺栓类的AP值提升了2.06%。说明通过调整先验框参数来提升螺栓缺销故障的检测效果是可行的，原因是将anchor_sizes的值调小，使网络在进行先验框匹配时，先验框的大小更符合小尺寸的螺栓目标；同时，anchor_ratios的调整使得生成的先验框长宽比更符合螺栓目标。

在先验框优化的基础上进行网络模型改进后，与原始SSD相比，正常螺栓类的AP值提升了2.71%，缺销螺栓类的AP值提升了3.99%。说明在网络中加入本文设计的隔级交叉自适应特征融合模块，能够有效地增强特征图的语义信息和视觉信息，从而提升检测准确率。

在先验框优化和网络改进后，FPS的值明显减小，说明网络的检测速度有所下降，这是由于进行先验框优化后，特征图会匹配到更多的先验框，增加了计算量；同时，网络模型的改进也会增加计算量，从而影响了模型的检测速度。

3.2.3 与其他方法的对比

在螺栓缺销故障检测数据集上，本文还与其他目标检测算法进行了对比。在进行Faster RCNN对比实验时，将动量参数设置为0.9，权重衰减系数设置为0.000 5，batch_size设置为4；初始学习率设置为0.005，在第8个epoch和第11个epoch时分别下降10倍，共迭代12个epoch，其中epoch代表训练集中所有图像训练一次的过程。SSD、DSSD对比实验参数的设置和本文方法的实验参数设置一致(见3.1节)。实验准确率结果如表6所示。

由表6的检测准确率对比结果可知，本文方法与其他方法相比也具有明显的准确率优势。进一步证明了本文方法针对螺栓缺销故障检测的优势。可视化展示结果如图7所示，其中“normalbolt”代表正常螺栓，“visible-pin-losing”代表缺销螺栓。从可视化结果中发现，本文方法生成的检测框与螺栓目标贴合得更加紧密。另外，本文方法能够有效地提升螺栓目标的检测精度，对正常螺栓和缺销螺栓的漏检情况也有所改善。

图7 可视化检测结果Fig.7 Visualization detection results((a) original SSD network；(b)ours)

4 结 论

针对输电线路中螺栓缺销故障检测效果较差的问题，本文在SSD网络的基础上提出了改进模型，主要工作如下：

1)设计隔级交叉特征金字塔结构并加入到网络中，增强特征图的视觉信息和语义信息；

2)引入自适应特征融合机制对特征图进行二次融合；

3)调整先验框的大小和长宽比，使其更适合螺栓目标。

改进后的模型增强了特征图的语义信息和视觉信息，在SSD网络的基础上提高了螺栓缺销故障检测的准确率。实验结果表明，本文方法与原始的SSD网络以及其他方法相比均有明显优势，检测效果较好，为以后进一步提升螺栓缺销故障检测的准确率以及对输电线路中其他类别小目标部件的检测奠定了基础。

虽然本文方法针对螺栓缺销故障检测的准确率较高，但是其检测精度仍然有较大的提升空间。此外，在网络中加入隔级交叉自适应特征融合模块后，网络的推理时间增加，接下来应该考虑在保证检测精度的前提下，优化网络结构，减少网络推理时间，提升检测速度。