焦双健,宫中飞
(中国海洋大学 工程学院,山东 青岛 266100)
绝缘子对于架空输电线路的保护起到不可或缺的作用。由于绝缘子长期暴露在自然环境中,不可避免地受到风雨雷电等恶劣自然环境的侵扰,进而可能发生爆炸。为了保护输电线路的正常工作及运行,对缺失的绝缘子进行及时检测并维修,有着非常重要的意义[1]。传统的人工巡检方式需要投入大量的人力及物力。随着计算机视觉技术的快速发展以及GPU大规模的应用,图像识别技术得到了快速的发展。通过计算机视觉结合嵌入式系统实现无人机在线巡检,相对于传统的人工巡检,能够有效降低成本并提高检测效率。
在目标检测领域,深度学习技术近几年发展迅速,逐渐替代了机器学习算法。其中,两阶段目标检测算法的代表为R-CNN[2]、Fast R-CNN[3]以及Faster R-CNN[4],主要原理是首先生成候选区域进而对候选区域进行分类定位,相比较传统的机器学习检测算法提升了检测精度,但检测速度较慢。张弢[6]针对目前目标检测算法对绝缘子部分遮挡以及检测准确度较低这一问题,提出了一种改进Faster R-CNN的绝缘子检测算法,检测精度相比原检测模型提升了4.48%,但检测速度过慢无法做到实时性检测。以SSD[6]、YOLO[7]为代表的一阶段检测算法可以直接在网络中提取特征值来分类目标和定位,无需生成候选区域。张青华[8]提出一种基于SSD检测网络改进的MFPSSD网络(Multidirectional Feature Pyramid Single Shot Detector,MFPSSD),实现绝缘子目标的检测识别,检测精度较高,但对于小目标的检测效果一般。李磊为了解决在检测中小型绝缘子时容易出现漏检、错检等问题,提出了一种改进YOLOv4算法的中小型绝缘子检测方法,提升了对于小目标绝缘子的检测效果,但总体的检测精度仍然较低。随着YOLO系列算法的不断迭代进化,YOLOv5s算法不仅检测速度很快,检测精度相对于Faster R-CNN以及YOLOv3算法也具有显著优势,因此本文选用YOLOv5s作为基线算法。为了提升模型检测小目标的精度,在原算法基础上融合了CBAM注意力机制,并且改进特征融合网络(PANet)为加权双向特征金字塔网络(BiFPN)进而形成了CBBi-YOLOv5s算法。将训练后的模型部署到NVIDIA Jetson TX2中,最后搭载在无人机中对绝缘子缺失进行在线巡检。
帧改进的特点。在数据传输到网络之前,采用一种Mosaic数据增强方法来提高网络的性能。Mosaic数据增强通过随机缩放、裁剪和排列混合多个图像,将4个原始图像随机裁剪混合为一个新的拼接图像作为训练数据,以增强网络的鲁棒性和性能。随着结构深度和通道宽度的增加,YOLOv5网络包括 YOLOv5s、YOLOv5m、YOLOv5l和 YOLOv5x。YOLOv5s网络的架构如图1所示。
图1 YOLOv5s网络结构图
YOLOv5s的网络架构可分为Backbone、Neck和Head。Backbone由Conv、C3模块以及SPPF模块组成。Conv由卷积层、批量归一化(BN)层以及Leaky-Relu激活函数组成。C3模块的主要作用是提取图像语义信息或融合不同尺度的特征图。它采用卷积运算和n次重复瓶颈运算两种方式分割图像特征,通过Concat层拼接保证输入输出的图像大小保持一致。SPPF模块是SPP的优化后版本,可以在不牺牲精度的情况下提高速度。Neck部分包括特征金字塔网络(Feature Pyramid Network,FPN)和路径聚合网络(Path Aggregation Network,PAN),它们执行上采样操作以增强语义信息,而PAN通过下采样将特征传输到顶层,从而提高网络特征聚合的能力[9]。Head主要包括CIOU损失函数及NMS(non_max_suppression)。NMS旨在对多个目标框进行筛选,保留检测效果最好的目标框。
YOLOv5算法是目前目标检测领域应用效果最好的算法之一,具有运行速度快、数据增强和锚
CBBi-YOLOv5s算法由YOLOv5s算法改进而来。算法在Backbone中融合了CBAM注意力机制,并且在Neck中将PANet改进为BiFPN。
CBAM由通道注意力机制(channel)和空间注意力机制(spatial)组成[10]。传统的注意力机制更多的是只关注对通道域的分析,较少考虑特征图通道之间的作用关系。CBAM注意力机制从channel和spatial两个作用域出发,引入空间注意力和通道注意力两个分析维度,相关公式如式(1)、式(2)所示。
式中:Fcmax表示对特征图通道维度上使用的平均池化及最大池化,Fsavg,Fsmax表示对特征图空间维度上使用的平均池化及最大池化,σ为sigmoid函数;MLP为多层感知层,MLP的权重为W1及W0,由平均池化特征和最大池化特征这两个输入共享;f7×7表示一个卷积核尺寸为7×7的卷积操作。
CBAM的总体流程如图2所示,特征图在输入后首先经过channel,与通道权重进行相乘后送入spatial中,将归一化后的空间权重与输入的特征图相乘,得到最终加权后的特征图。相比于只融合了通道注意力机制的SE-Net注意力机制,CBAM同时融合了空间、通道注意力机制,可以帮助目标检测网络在复杂环境下更高效地检测目标,进而提升模型的泛化能力。
图2 CBAM总体流程图
在目标检测领域,往往通过构建FPN来融合不同级别的语义信息,以处理多尺度变化问题。FPN把具有低分辨率但有丰富语义信息的高层特征以及分辨率较高但语义信息较少的低层特征进行自上而下的横向连接,将语义信息从高层传至底层,使得所有尺度的特征都具有丰富的语义信息,以避免因网络层数加深而导致图像特征丢失。YOLOv5s的Neck中使用的是PANet结构。PANet结构在FPN基础上加入了Bottom-up path augmentation 结构,通过融合高低层特征提升了小目标检测的效果。但PANet结构对来自不同路径且尺寸相同的特征图在通道维度上只是进行了简单相加,这种加和方式认为所有的输入特征对于输出特征的贡献完全相同。针对于此,谷歌团队提出了BiFPN结构。BiFPN与PANet、FPN的架构对比如图3所示。相比于PANet,BiFPN增加了残差连接,通过简单的残差操作,增强了特征的表示能力,并且,BiFPN移除了单输入边的结点权值融合,可以有效减少模型计算量。最重要的是,BiFPN于融合的各个尺度特征都赋予了权重,调整了每个尺度的贡献度,可以有效提高检测速度。
图3 FPN、PANet与BiFPN的架构图
Head通过CIOU_Loss来作为Bounding box的损失函数。相比于GIOU_Loss,CIOU_Loss不仅考虑了边框重合问题,而且考虑了预测框与真实框的长宽比例问题,使得预测框的检测精度更高[11]。具体公式如式(3)、式(4)所示:
式中:IOU表示预测框和真实框的交叠率,c表示预测框与真实框外接矩形的对角线距离。v表示衡量长宽比的参数,w,h,w gt,hgt分别代表预测框的高宽和真实框的高宽。表示真实框长宽比,表示预测框的长宽比,ρ2(b,bgt)表示待检测目标预测框与真实框之间的欧氏距离。
通过网络爬虫、实地拍摄、开源数据集以及视频截取的方式,获取了2 000张背景不同的图像,通过翻转、旋转、裁剪、变形、缩放、颜色更改转换、添加高斯噪声、马赛克增强、饱和度及色调变换等数据增强方式对图像进行扩充。扩充后的图片数量为6 000张。随后使用LabelImg标注软件对图片进行手动标注得到标签文件。标签文件与图片共同构成本文的实验数据集,并使用算法对数据集按照6∶2∶2的比例随机划分为训练集、验证集、测试集。数据集示例如图4所示。
图4 数据集示例图片
本文使用较为简洁高效的Pytorch作为模型的训练框架,学习率设置为0.001。实验采取的epoch=100,batch_size=4,可以根据计算机配置及实验要求设置不同的数值。最后将训练结束后的最优权重部署到英伟达的嵌入式设备Jetson TX2中,搭载在无人机上对绝缘子自爆缺失进行在线巡检。
一般从准确度(Accuracy)、精确率(Precision)、召回率(Recall rate)、AP、mAP、PR曲线、F1-score、FPS等几个指标对模型检测效果进行评价。准确度、精确率、召回率以及F1-score的计算公式分别如式(5)、式(6)、式(7)、式(8)所示。
式中:TP分别表示预测为正且实际为正的样本数量,TN为预测为负且实际为负的样本数量,FP为预测为正但实际为负的样本数量,FN为预测为负实际为正的样本数量。
精确率与召回率往往是此消彼长的。精确率高的时候往往召回率较低,反之精确率较低。AP是一个能平衡这两者的更优评价指标,以Recall为横轴,Precision为纵轴,就可以画出一条PR曲线。PR曲线下的面积就定义为AP,mAP是各类AP的平均。
本文分别使用Faster-RCNN、YOLOv3、YOLOv5s以及改进后的CBBi-YOLOv5s算法进行实验并对比,具体训练结果如表1所示。根据实验结果可以得知,Faster-RCNN在本实验中检测效果较差,mAP只有85.5%且fps<30,无法做到实时性检测;YOLOv3算法相比较Faster-RCNN检测效果有所提升,mAP值达到了87.5%;而YOLOv5s算法作为目前目标检测领域最为热门的算法,在本实验中有着很好的检测效果,检测mAP值为90.6%,相比较YOLOv3算法提升了3.1%,并且检测速度提升了近一倍。本文提出的改进YOLOv5s的CBBi-YOLOv5s模型相比YOLOv5s模型检测速度有所降低但检测精度提升了3.5%,召回率提升了5%,F1-score提升了5.5%,mAP提升了4.6%,且降低的检测速度并不会影响模型的实时性。改进前后算法的mAP对比以及模型检测效果分别如图5、图6所示。
图6 模型检测效果图
表1 模型训练结果
图5 改进前后算法mAP对比图
针对电力工人人工检测绝缘子缺失效率低以及现有的绝缘子目标检测模型精度较低等问题,本文提出了一种基于计算机视觉的智慧电网嵌入式检测系统设计,相比于人工检测可以节省高额人工费用并降低电力工人从杆塔摔落的风险。同时,本文对Faster-RCNN、YOLOv3以及YOLOv5s算法进行实验对比,根据实验结果可知YOLOv5s算法是目前检测效果较好的算法。为了进一步提升模型对于复杂环境检测的泛化能力以及对小目标检测的精度,对YOLOv5s算法融合CBAM注意力机制,并且将特征融合网络改进为加权双向特征金字塔网络。改进后的模型检测mAP相较于YOLOv5s提升了4.6%。将训练好的最优模型部署至英伟达TX2中,通过无人机自动检测绝缘子缺失,并将检测结果传输至电力系统维护部门,实现了输电线路绝缘子缺失的自动化巡检。在后续的工作研究中,需要进一步提升嵌入式设备的配置以提升模型检测速度,并对算法做进一步的改进以提升检测精度。