基于深度学习的架空线路关键部件典型缺陷识别研究

陈剑波, 唐 锐, 姚 平, 张赛飞, 廖 林, 杨春萍

(1.国网新疆电力有限公司巴州供电公司,新疆 库尔勒 841000; 2.华北电力大学 电气学院,北京 102206)

架空线路是输送电力的重要纽带,确保架空线路安全对于电力系统安全稳定运行意义重大。绝缘子、悬垂线夹和均压环等金具是架空线路中常见的部件,由于长期暴露于外部自然环境下,这些部件难免会出现缺陷从而产生隐患,威胁电力系统安全稳定运行,因而需要定期巡检来确保电能持续供应和架空线路安全运行。

现有巡检方式主要包括人工巡检、直升机巡检[1]、机器人巡检[2]、无人机巡检[3-4]等。目前国内架空线路巡检模式主要为无人机巡检结合人工辅助巡检方式,通过给无人机设定航线对架空线路进行巡检,对无人机回传的图像进行人工甄别,或者将无人机取得的影像数据上传服务器,服务器再采取深度学习方法对架空线路影像数据进行甄别,在人力物力上投入较大。

当前基于深度学习的目标检测方法大致可以分为基于候选区域的两阶段目标检测方法和基于回归的单阶段目标检测方法。基于候选区域的两阶段检测方法有R-CNN[5]、Faster-R-CNN[6]、Mask R-CNN[7]等,这类检测方法精度较高;基于回归的单阶段检测方法有YOLO[8-10]、SSD[11]等,这类检测方法具有更快的处理速度。在满足检测精度要求下,由于基于回归的单阶段检测方法检测速度更快,因此其在实际应用中使用更加广泛,适用于实时性要求高、需要快速检测的场景。基于深度学习方法,国内外许多学者对架空线路关键部件检测进行了研究,文献[12]提出了一种改进的单级多框检测器模型对架空线路部件进行检测,在SSD模型中使用改进的斥力损失函数,对于小目标和密集目标取得了较好的检测效果。文献[13]通过引入注意力机制和空间金字塔结构,改进了特征提取网络,提出了一种基于YOLOv3改进的绝缘子缺陷检测算法,提升了模型的特征表达能力。文献[14]以YOLOv3为框架,提出了基于最小凸集的损失函数,同时以基于最小凸集的预测框选择代替非极大值抑制处理,能有效检测识别架空线路中多种典型的缺陷和故障。文献[15]以 VGG-16 作为骨干网络,在倒数第二个全连接层 FC7 提取金具的深度特征向量后利用主成分分析(Principal Component Analysis,PCA)实现降维,基于全局混杂平衡原理进行特征和标签的匹配学习完成分类,进一步提升了金具缺陷识别精度。

考虑到架空线路中关键部件缺陷的多样性,并针对检测精度不高的问题,本文提出了一种改进YOLOv3的架空线路常见缺陷检测方法。

1 YOLOv3检测原理

YOLOv3整体设计采用编码器-解码器架构来进行特征提取,Darknet-53网络结构设计借鉴了残差结构的思想,在网络加深的同时避免了梯度爆炸和梯度消失等问题[16],Darknet-53共有53层, 其结构如图1所示[8]。

图1 Darknet-53网络结构

YOLOv3在COCO开源数据集上取得了较好的效果,但是在架空线路关键部件检测问题上,需要进行相应的改进。为解决上述问题,本文在YOLOv3基础上进行优化,提出了一种基于YOLOv3的架空线路关键部件识别算法,通过实验和测试,验证了改进算法的有效性。

2 改进模型网络Rep-YOLOv3

主要改进思路如下:① 对YOLOv3的骨干网络进行改进,融合RepVGG网络,节省内存;② 采用SIoU边界框回归损失函数,有效降低回归的自由度,加快网络收敛;③ 采用更加简洁高效的解耦头,维持精度并加快解耦速度。

2.1 骨干网络改进

YOLO3网络有着更高的精度,但由于使用较多的分支结构,会明显增加内存消耗,降低推理速度,不利于模型推理。VGG网络属于直筒型结构,由于只使用3×3卷积核,且没有分支结构,运算并行度更高。丁霄汉等[17]提出的RepVGG网络结构,通过结构重参数化,实现了在训练阶段的网络多分支训练,以强化模型特征提取能力;以及在推理阶段进行网络分支合并,以加快模型推理速度。用SiLU激活函数代替原RepVGG网络中的ReLU激活函数,收敛更快。RepVGG网络训练和推理模型如图2所示。网络的训练模型如图3(a)所示,通过3×3卷积核、1×1卷积核分支及Identity残差连接构成多分支结构,能有效缓解梯度消失等问题,让模型更快收敛。网络的推理模型如图3(b)所示,通过多个3×3卷积和多次SiLU激活函数堆叠,形成直筒型结构,加快了模型推理速度。通过结构重参数化方法实现训练模型到推理模型的转化:① 将卷积层和批归一化层进行融合;② 通过填充等效方式将卷积核转化为3×3卷积核,从而将卷积层都变为3×3大小的卷积核;③ 合并所有3×3大小的卷积核,即将分支的权重和偏置叠加到一个3×3卷积核之中,并由此卷积核进行模型推理。

图2 RepVGG网络训练和推理模型

图3 改进后网络结构图

为满足实际需求,本文引入改进后的RepVGG网络作为骨干网络,加强特征提取能力,减少信息损失,同时加快推理速度,便于部署到无人机上。改进后的网络整体结构如图3所示。

2.2 SIoU函数改进

CIoU[18]、DioU[18]、GIoU[19]等都没有考虑到所需要的真实框与预测框之间的不匹配的方向,导致收敛速度慢且训练效率低,为此SIoU[20]被提出,其考虑了回归之间的向量角度,重新定义了惩罚指标。SIoU损失函数由4个成本函数构成。

第1部分是角度成本函数,其计算方法如图4所示。

图4 角度成本函数计算方法

图4左下角为预测框,右上角为真实框。角度成本函数计算公式如下:

(1)

第2部分是距离成本函数,定义如下:

(2)

式中:ch和cw为预测框和真实框最小外接框的高度和宽度。当预测框和真实框之间的角度α趋近于零时,距离成本函数的贡献大大降低;相反,α越接近π/4,距离成本函数贡献越大。ρ为衡量预测框与真实框之间距离接近程度的参数,γ为被赋予时间优先的距离值。当α趋近于零时,距离成本函数趋近于一个常数。

第3部分是形状成本函数,其计算公式如下:

(3)

式中:wgt和hgt为真实框的宽和高;w和h为预测框的宽和高。θ的值决定了形状成本函数的大小,根据数据集不同,其取值也不同。θ的值是形状成本函数中非常重要的一项,它控制着对形状成本函数的关注程度。如果θ的值设置为 1,它将立即优化一个边框,从而损害边框的自由移动。此处参考文献[20]的作者建议,设置为2到6之间的一个值。

第4部分是交并比(Intersection over Union,IoU)成本函数,其计算公式如下:

(4)

式中:I为IoU。和传统IoU函数类似,B为预测框大小;BGT为真实框大小。

最终得到边框回归损失表达式如下:

(5)

2.3 检测头改进

检测头的设计已经在目标检测和目标分类的网络中被验证有效。检测有着分类任务和定位任务2个分支,而采用不同的分支进行运算,有利于效果的提升。原始YOLOv3采用的解耦头是同时计算分类任务和定位任务, 在分类和定位任务之间共享参数,而YOLOX中的检测头将两个分支解耦,在每个分支中引入了额外的2个 3×3 卷积层以提高精度,但是降低了速度。为避免2个3×3卷积带来的额外开销,此处只用了一个3×3卷积,降低时延。改进后的检测头结构如图5所示。

图5 改进后的检测头结构

3 实验方法与结果

为了验证提出的改进模型网络Rep-YOLOv3方法的性能,本文选取架空线路常见的3种缺陷进行检测实验。本文原始数据共446幅图片,来自国网某检修公司无人机巡检作业时拍摄的标准化照片,鉴于数据集样本较小,直接用于训练难以满足实际需求,本文利用Imgaug数据增强库进行数据扩充,提升训练模型的鲁棒性。本文通过添加噪声、翻转、锐化、调整对比度等方法对图片进行数据增强,无人机航拍图片经数据增强后如图6所示。

在对原始数据集进行数据增强后,筛选并剔除不能用于训练的数据,共得到5352幅原始数据加增强数据图片,将图片按照7∶3的比例划分为测试集和验证集。再利用Labelimg进行手动标注:部件及部件缺陷检测主要包括绝缘子、悬垂线夹和均压环。训练集用于模型训练,验证集用于在训练过程中对训练结果进行评估防止过拟合。数据样本情况如表1所示。

3.1 实验结果

在实验平台为GTX2080TI,深度学习框架为Pytorch,加速库CUDA版本为11.3的环境下训练,设置训练epoch为300,batchsize设置为16,初始学习率设置为1×10-4。由于数据集内图片大小不一,需要通过预处理将它们转换为416像素×416像素大小的图像,并作为网络输入。采用余弦退火策略调整学习率,同时利用动量为0.937的随机梯度下降优化器来调整网络参数,权重衰减设定为0.000 5防止模型训练过拟合,非极大值抑制阈值设置为0.5。评价指标选择精确度P(Precision)和召回率R(Recall),精确度表示模型预测正确的结果占所有预测为正类的比率,召回率表示模型预测正确的结果占所有样本的比率。计算公式如下:

(6)

式中:TP表示预测结果与真实标注结果一致都为正样本;FP表示预测结果为正样本且与实际标注相反;FN表示预测为负样本且与真实标注相反。改进算法召回率与精确度之间的对比如表2所示,由表2可知改进模型网络Rep-YOLOv3的精确度与召回率相比于YOLOv3、Faster R-CNN和SSD都有不同程度的提升,其中改进模型网络相比于YOLOv3,召回率增加了2.8%,精确度增加了3.4%,表明Rep-YOLOv3网络对于架空线路关键部件检测精确率提升明显。在表2的结果中,SSD和Faster R-CNN的检测精度差距在3%以内,SSD模型的结果最差,主要是因为SSD模型的特征提取能力不如Faster R-CNN和YOLOv3。改进模型网络通过引入SIoU函数,让预测框能够更快地靠近最近的轴,提升了预测框和真实框的匹配度。

表2 改进算法召回率与精确度对比

3.2 检测结果对比

从未标注的图像数据中选取3幅具有代表性的图像用来测试算法对不同目标的检测结果,可以直观看出不同模型对关键部件及缺陷识别的优劣,图7为Rep-YOLOv3和YOLOv3的检测结果对比图,在对部件定位的矩形框上展示目标类别及置信度。在悬垂线夹倾斜缺陷及绝缘子大伞裙破损缺陷上,YOLOv3可以正确识别,但是置信度低于改进模型网络;在均压环识别上,YOLOv3及Rep-YOLOv3都存在漏检情况;而YOLOv3检测绝缘子时出现漏检情况,改进模型网络则正常识别出绝缘子。

图7 Rep-YOLOv3和YOLOv3检测效果对比图

各模型的训练时间和单张图片推理耗时如表3所示,由表3可以看出,经过改进的模型网络无论是训练速度还是单幅图片推理耗时,都比原始模型快,这是由于改进了骨干网络,模型复杂度降低,计算量下降使得模型训练和推理速度极大地加快,因而更加符合实际架空线路无人机巡检应用的需求。

表3 模型训练时间和单幅图片推理耗时

4 结束语

针对架空线路无人机巡检提出了一种基于YOLOv3的改进模型网络,通过对骨干网络和检测头进行改进,同时引入SIoU损失函数,在提升检测精度的同时也提升了检测速度。通过实验证明,使用改进模型网络识别精度达到89.1%,单幅图片推理耗时仅为42 ms,与其他方法对比可知,改进后的模型效果更好,具有一定的实际参考价值。下一阶段,对于复杂背景下和拍摄模糊的关键部件检测仍需要进行进一步研究。