基于改进YOLOv4模型的无人机巡检图像杆塔缺陷检测方法研究

陈杰, 安之焕, 唐占元, 卢志超

(国网青海省电力公司经济技术研究院, 西宁 810000)

0 引 言

随着双碳目标的提出以及物联网技术、人工智能技术的快速发展,我国电网投资规模不断扩大,电网结构更加复杂[1]。为确保输电线正常运行,各电力企业积极探索新的巡检方式,无人机巡检逐渐成为主流[2]。作为输电线路基础设施之一的输电杆塔,其缺陷直接影响电力系统稳定[3]。因此,对基于无人机图像的输电线路杆塔缺陷进行检测具有一定的实际意义。

目前,国内外对杆塔缺陷检测方法的研究还处于起步阶段[4]。在文献[5]中,提出了一种用于输电线路杆塔缺陷识别方法的层级识别模型。结果表明,所提方法与常规方法相比,杆塔缺陷识别的平均精度均值和查全率都最优,分别为0.762和0.826。在文献[6]中,提出了一种Faster_RCNN模型用于输电线路柱塔上鸟巢的自动检测。结果表明,与常规方法相比,所提方法能有效检测复杂环境下鸟巢目标,且检测平均准确率达93.87%,召回率达92.38%,检测速度为0.154秒。在文献[7]中,提出了一种将粒子群优化和极限学习机相结合用于输电线路杆塔状态分类。结果表明,所提方法与常规方法相比具有更好的检测和分类效果,分类准确率为88.33%。在文献[8]中,提出了一种融合多源信息的模型用于输电线路杆塔检测。结果表明,所提模型能够比较准确地检测出杆塔在图像中的位置和异常状态。由于无人机拍摄图像的背景比较复杂,上述方法在输电线路杆塔图像缺陷检测中存在精度低和效率差等问题,适应性有待进一步提高。

在此基础上,提出了一种用于输电线路杆塔图像鸟巢检测的改进YOLOv4模型。通过MobileNetV2网络降低复杂度,通过注意力机制CBAM增强特征的表达,通过平均池化替换SPP模块的最大池化,提高算法对小目标的检测精度。通过试验验证了所提方法的优越性。

1 无人机巡检图形采集与处理系统

无人机巡检图像采集与处理系统通过结合传感器技术、通信技术和人工智能等技术,实现输电线的全方位图像采集[9]。采集图像时还需要采集地理信息数据,实现无人机智能化巡检[10]。图1为无人机巡检图像采集和处理系统结构图。本文主要对采集的杆塔图像进行鸟巢检查。

图1 系统结构

2 改进YOLOv4杆塔图像缺陷检测方法

2.1 YOLOv4网络

YOLOv4网络是基于YOLOv3网络的改进和优化[11]。YOLOv4网络主要由四部分组成(输入、输出、骨干网络、颈部网络)[12]。输入层主要进行杆塔鸟巢图像的输入,骨干网络层主要对杆塔鸟巢图像的特征进行提取,颈部网络层主要包括SPPnet、FPNet、PANEt,主要进行特征层的池化和特征融合操作。输出层是YOLOv4的输出层,主要输出检测结果。YOLOv4的网络结构如图2所示。

图2 YOLOv4结构

(1)输入层在数据处理中增加了一些新方法,其中Mosaic数据扩展技术是YOLOv4基于YOLOv3进行的改进之一;

(2)骨干网络由特征金字塔池化网络(SPP)和路径聚合层(PANeT)构成[13]。SPP模块主要由四个不同大小的最大池化层组成,四个最大池化操作的大小分别为1*1、5*5、9*9、13*13,SPP模块主要融合图像特征,在特征图中进行多个特征提取,可以极大的提高算法的检测精度[14]。SPP模块结构图如图3所示。

图3 SPP模块结构

(3)颈部网络的作用是通过解码操作预测所获得的特征[15];

(4)输出层采用3个CBL模块、3*3大小和1*1大小的卷积层输出3个不同尺度的特征图。输出部分对每个输出特征层经过预测而生成的3个预测框进行判别,判断其中是否包含必要的检测特征信息后,通过非极大值抑制及先验框的调整,得到最终的预测框[16]。

为了提高整个模型的性能,本文在YOLOv4的基础上进行了改进。采用轻型MobileNetV2网络替代CSPDarkNet53网络,提高特征提取速度,在SPP模块中采用平均池化替换最大池化,提高算法对小目标的检测精度,引入注意力机制CBAM增强特征表达。

2.2 MobileNetV2网络优化

在实际的检测环境中,因计算资源有限,需要对网络进行轻量化设计[17]。本文将轻量级网络MobileNetv2取代YOLOv4的骨干网CSPDarkNet53网络,实现轻量级设计[18]。

MobileNetV2网络通过滤波器对输入通道进行滤波,进行逐深度卷积,将全部输出和卷积核尺寸1×1卷积进行结合降低模型的计算成本。

对于DF×DF×M维输入,卷积核心的大小为DK×DK,输出通道N个与常规卷积计算成本比值如式(1)所示[19]:

(1)

式中C1和C2分别为深度可分卷积和常规卷积计算成本。

用MB模块替换骨干网络5个CSP残差模块。

2.3 SPP模块优化

YOLOv4网络框架中的SPP模块部分包括四个不同尺度的最大池化(1*1、5*5、9*9、13*13),最大池化操作可以减少特征信息,进一步降低计算量,提高网络训练速度[20]。其次,池化操作降低特征维度,能够在某种程度上防止网络过拟合。当输电线杆塔鸟巢图像背景信息复杂且背景信息类似鸟巢的情况下,在检测中采用最大池化操作只会保留背景信息,丢失杆塔鸟巢信息,导致漏检或误检[21]。

针对上述问题,本文基于YOLOv4的结构,对其SPP模块进行了改进,以9*9的平均池化代替9*9的最大池化,在尺度融合时可以保留更多的杆塔鸟巢目标信息,改进后的SPP结构如图4所示。

图4 SPP模块结构

2.4 注意力机制CBAM优化

在利用网络解析提取图像特征时,本文输电线杆塔鸟巢目标小且背景占图像大部分,所以要将重点放在目标鸟巢信息上[22]。对于图像中的其他部分信息,关注度小于鸟巢信息。但是手动调整网络把重点放在目标鸟巢信息上非常困难。

将注意力机制模块CBAM引入到MobileNetV2的各反向残差块中,使网络特征的表达更加准确[23]。考虑到使用降维运算来降低模型的复杂性会干扰信道和权重之间的直接关系,本文使用k×k一维卷积来代替全连通网络,以实现局部通道间的相关性。改进的通道注意力MC如式(2)所示[24]:

MC(F)=σ(f1dk(Favg)+f1dk(Fmax))

(2)

式中σ为Sigmoid函数;Favg、Fmax为平均和最大池化操作后的一维张量;f1dk为卷积核为k的一维卷积。

k值如式(3)所示[25]:

(3)

式中 |x|odd为奇数值(距离x最近);C为通道数。

输出空间注意力MS如式(4)所示[26]:

(4)

式中f为卷积计算;fconcat为维度上的拼接。

通过在MobileNetV2逆向残差模块的第二个PW卷积后加入改进的CBAM模块,如图5所示。

图5 SPP模块结构

3 试验结果与分析

3.1 试验参数

为了验证所提方法的准确性和优越性,在Python环境下基于Pytorch深度学习框架进行了试验[27]。表1为系统参数。

表1 系统参数

通过无人机共采集不同拍摄角度和不同光照条件的输电线路杆塔照片5 000张,其中鸟巢照片2 000张,数据集分为训练集、验证集、测试集,训练集:试验集:测试集=6:2:2。本文通过训练集图像训练改进的YOLOv4模型,试验参数如表2所示。

表2 试验参数

不同的指标通常会产生不同的评价结果,因此需要选择有效的指标进行评价。目前,目标检测领域有很多指标。本文选取准确率、召回率和平均准确率均值和运行速度进行评价。

(1)准确度

预测结果中实际包含的正样本数。只有两种可能的预测结果:正确的预测TP和错误的预测FP。如式(5)所示[28]:

(5)

(2) 召回率

所有正样本都有两种可能的预测结果,正确预测数TP和未预测数FN,如式(6)所示:

(6)

(3)平均准确度均值

要计算平均准确度精度,首先计算某一类别的平均准确度,如式(7)所示:

(7)

即在平滑PR曲线上,召回率R等于0.1、0.2、…、1.0等11处准确度的平均值。

平均准确度均值mAP是对所有的AP求平均值,如式(8)所示[29]:

(8)

式中APi为第i个类别的平均准确度;n为类别的数量。

(4)运行速度

本文采用每秒图像检测帧数作为模型运行速度的评估指标。

3.2 试验分析

为了验证本文方法的优越性,与优化前的基础模型YOLOv4进行对比分析,在150次迭代过程中,分别采用数据集对优化前后的模型进行训练学习,训练过程中的损失函数变化对比图如图6所示。

图6 随迭代变化的损失曲线

由图6可以看出,在训练过程中优化前后模型的损失值总体下降较快。本文方法在10次迭代后损失之稳定在0.3左右,而YOLOv4模型在30次左右迭代后稳定在0.6左右,在训练后期,波动都较小。综合分析损失值变化情况,本文方法效果较好。

比较优化前后的性能,为了表的美观性,用A表示MobileNetv2网络优化,用B表示SPP模块优化,用C表示注意机制CBAM优化。优化方法的检测结果如表3所示。

表3 优化前后检测结果

由表3可知,与优化前相比,优化后的检查精度、召回率、平均精度均值、检测速度均有一定的提高。引入MobileNetv2网络优化后,检测精度有一定下降,但检测速度提高明显,检测精度可以忽略不计。这是因为通过MobileNetv2网络降低了模型体积。通过优化SPP模块能够保持更多的目标信息,能够实现较好的处理效果。在特征网络中增加了改进的CBAM模块,增强了网络的表征能力。验证了所提优化方法的有效性。

为了进一步验证本文模型的优越性,结合评价指标,将本文方法与文献[30]和YOLOv5模型进行了对比分析。不同模型在几个指标上的检测结果如表4所示。

表4 检测结果

由表4可以看出,本文模型的准确率、召回率、平均准确度均值和运行速度都是最优的,与文献[30]相比,本文方法的精度、召回率、平均精度平均值和运行速度分别提高了0.30%、0.20%、0.10%和10 FPS,与YOLOv5模型相比,本文方法的精度、召回率、平均精度平均值和运行速度分别为3.90%、2.60%、3.00%和35 FPS。本模型为追求轻量化设计而引入MobileNetv2网络,对检测精度造成了一定的损失,但检测精度和检测速度更加均衡,更符合实际输电线路杆塔鸟巢缺陷检测中的硬件要求。

总结上述试验,将训练好的模型用于检测本文的测试集,本试验测试集共包含1 000张高压输电线杆塔图像,其中鸟巢杆塔图像400张。得到的部分实际检测效果图如图7所示。

图7 部分优化前后结果对比

从图7可知,最终的识别精度比优化前的YOLOv4模型整体提高了7个百分点左右,输电线路杆塔鸟巢图像识别的提高非常明显,对目标检测算法在输电线路缺陷检测中的应用有一定的参考作用。

4 结束语

本文提出了一种改进的YOLOv4模型用于输电线路杆塔图像的鸟巢检测。结果表明,MobileNetv2网络的引入提高了检测速度,SPP模块的优化提高了对小目标的检测精度,注意力机制CBAM的引入增强了特征的表达能力。与传统的检测方法相比,所提方法在输电线路杆塔鸟巢缺陷检测中具有较高的检测精度和较快的检测速度,检测精度为94.40%,检测速度为60 FPS,检测精度和检测速度更加均衡,更加符合实际需要。但仍存在一些不足,如检测模型性能还有待提高和仅对输电线路杆塔鸟巢缺陷进行检测,后期可以丰富输电线路缺陷检测种类以及结合一些模型提高检测能力。