基于EfficientNet-YOLOv5s的绝缘子缺陷检测

王年涛 王淑青 汤璐 马丹

[摘 要]针对目前复杂背景下绝缘子缺陷小目标检测准确率低的问题，提出一种深度学习框架下的EfficientNet-YOLOv5s神经网络检测算法，首先通过无人机航拍输电线路中含有各类绝缘子的图像，并通过图像增强技术丰富图像数据集，然后用EfficientNet网络替换YOLOv5s主干网络，用改进的网络对标注的绝缘子数据集进行训练和测试，最后对模型的损失函数和非极大值抑制算法加以改进，进一步解决绝缘子目标重叠导致的漏检问题。实验结果表明，改进的网络平均精度达到98.5%，满足输电线路中绝缘子缺陷检测要求。

[关键词]绝缘子；目标检测；YOLOv5s；EfficientNet

[中图分类号]TP391.41[文献标识码]A

在输配电线路中，绝缘子被广泛使用，起到对输电线机械支撑和对地绝缘作用。绝缘子的状态对供电系统正常运行起到至关重要的作用^[1]。绝缘子长期暴露在户外，易发生老化、破损、自爆等故障，对此类故障缺陷的排查一直是电力部门着力解决的问题，早期的排查方法是通过人工现场巡检，检测效率低且安全隐患大。随着无人机技术和深度学习的发展，无人机航拍巡检成为输电线路绝缘子缺陷检测的主流方法^[2]。

绝缘子检测方法归纳起来分为传统图像检测方法和深度学习检测方法。传统的绝缘子缺陷检测方法例如霍夫变换、分水岭算法、边缘检测等，计算过程较为繁琐，且需要人工提取图像特征，只适用于背景简单，图像清晰无遮挡的绝缘子图像。文献[3]根据绝缘子的色彩模型和纹理特征对输电线路绝缘子定位，计算绝缘子的片数，受重叠目标和遮挡的影响较大；文献[4]根据绝缘子的轮廓和灰度，对比相邻绝缘子片间的差异，检测绝缘子的破损缺陷，有较高的检测精度，但受到遮挡的影响较大。随着深度学习的发展，有很多学者将卷积神经网络应用于绝缘子的缺陷检测上。具有代表性的深度卷积神经网络有Faster RCNN^[5-6]、YOLO（You Only Look Once）^[7-8]。文献[9]采用深度学习的方法对输电线路中的绝缘子等关键部件进行检测，通过多层次卷积特征图拼接融合对绝缘子的检测效果较好；文献[10]将YOLOv4和改进的分水岭算法结合，检测绝缘子自爆缺陷，检测的精度较高，但从检测结果看：对重叠目标检测效果一般；文献[11]提出一种级联的卷积神经网络，先用VGG主干网络对绝缘子串定位，再用Resnet主干网络对缺陷进行检测，级联网络检测精度较高，但是牺牲了检测速度同时增加了网络的参数量。

绝缘子检测首先要解决的问题是图像的获取。由于公开的绝缘子数据集较少，绝缘子图像大多是先通过无人机拍摄，再通过图像增强扩充数据集数量。绝缘子自爆、老化、破损等小目标缺陷，对检测模型的要求较高。针对这些问题，本文采用EfficientNet^[12]网络适应性替换YOLOv5s主干网络，通过EfficientNet网络提取绝缘子三种尺度的特征图，再由YOLOv5s网络中的特征金字塔结构进行融合，对损失函数和输出预测模块中的非极大值抑制算法加以改进，提高重叠目标检测能力，通过消融实验对比检测网络的各项参数。

1 数据预处理

1.1 绝缘子图像采集

深度学习中常用的公开图像数据集有ImageNet数据集、COCO数据集、PASCAL VOC数据集、CIFAR-10数据集等，这些数据集包含丰富的实验图像，但不包含绝缘子图像，因此绝缘子数据集是一个自制数据集，在允许无人机飞行的区域，通过大疆mini2无人机拍摄66～500 kV高压输电线路中包含绝缘子的视频，通过视频抽帧算法将视频转换成图片，剔除掉对焦模糊和不包含绝缘子目标的图像，最终采集到有效的绝缘子数据集图像共600张。图1是采集的绝缘子图像示例，有玻璃绝缘子（Glass Insulator，GI）、陶瓷绝缘子（Porcelain Insulator，PI）、复合绝缘子（Composite Insulator，CI），其中每种绝缘子图像200张。

1.2 数据增强和标注

无人机采集的原视频为4K分辨率，抽帧所得的图像分辨率为3840×2160，直接对原图进行训练对计算机硬件配置要求高，同时导致网络参数过多，训练时间较长，因此通过图像裁剪算法将原图批量裁剪成640×640分辨率，经过裁剪后有效的数据集图像1500张，每种绝缘子图像500张。这些图像中绝缘子的角度大多数为水平或垂直方向，为了避免过拟合，同时提高网络模型的泛化能力，对无人机采集的图片进行如图2所示的水平翻转、垂直翻转、随机旋转、亮度变换、高斯模糊数据增强，丰富绝缘子数据集。

通过以上图像变换，收集到绝缘子数据集9000张，通过LabelImg图像标注工具对数据集进行人工标注，因需要对绝缘子进行分类和缺陷的检测，故将图像标签标注为4种，分别是GI、PI、CI、defect。对数据集按8：1：1的比例划分成训练集、验证集、测试集，正负样本比例为2：1，即正常绝缘子图像6000张，有缺陷的绝缘子图像3000张。

1.3 实验环境配置

模型的训练和测试均在GPU上进行，计算机硬件配置：CPU型号为Intel Core i5-10600KF，GPU型号为 Nvidia GeForce RTX 2070 SUPER 8GB，运行内存16G；软件环境：系统为Windows10，GPU加速库为Cuda11.0、Cudnn10.0，深度学习软件环境为Anaconda、Pycharm、TensorFlow。

2 绝缘子检测算法原理

2.1 绝缘子检测框架

图3是绝缘子检测框架图，主要包括图像预处理和检测网络。图像预处理包含无人机视频拍摄、视频抽帧、图像裁剪和数据增强；检测网络主要分为两个模块，即特征提取模块和特征融合模块，将预处理好的图片首先通过EfficientNet网络进行特征提取，EfficientNet网络作为主干网络，提取绝缘子特征图，为了提高網络对多尺度目标检测能力，以YOLOv5s网络中的特征金字塔（Feature Pyramid Network，FPN）作为特征融合层，最后输出层通过改进的非极大值抑制算法（Non-Maximum Supression，NMS）^[13]筛选目标框，对绝缘子进行定位，并在输出图片上生成检测框并预测类别。

2.2 改进的神经网络结构

YOLO网络作为开源的单阶段（One stage）卷积神经网络，相比于双阶段（Two stage）网络的优势是网络不需要先生成候选框（Region Proposal Network，RPN）这一步骤，同时版本从YOLOv1升级到YOLOv5，在检测速度和检测精度上有较大地提升，根据网络不同的深度和特征图宽度YOLOv5细分成YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四个版本，每个版本的网络结构相同，结构主要由特征提取模块、特征融合模块、输出预测模块三部分组成。

目前针对绝缘子缺陷检测的研究较多，大多数检测模型只针对单一类型的绝缘子做检测，因此对神经网络模型的泛化能力要求较低。本文采集到的绝缘子差异较大，绝缘子的形状、颜色、尺度等有较大的差异，采用现有检测网络直接对复杂多样的绝缘子缺陷检测，对网络的泛化能力要求较高，一方面需要大量的绝缘子数据集，另一方面需要迭代训练较多的轮数，实验发现采用YOLOv5s网络对绝缘子破损和自爆等小目标检测时出现较多漏检，针对这些问题，将YOLOv5s主干网络改成EfficientNet网络，提高网络对缺陷小目标特征的提取能力，大大降低了缺陷小目标的漏检率，改进的网络模型可以大大降低网络训练迭代次数，提高检测速度和检测精度。

图4为EfficientNet-YOLOv5s网络结构图，EfficientNet网络采用复合模型缩放思想，同时对卷积神经网络的深度、宽度和图片分辨率进行变换，能较好地适应不同尺度的绝缘子缺陷特征的提取和分类，同时EfficientNet网络占用物理内存较小，使得神经网络更加轻量化。

图 4 EfficientNet-YOLOv5s网络结构图

特征提取模块EfficientNet网络主要由9个阶段组成，第1个阶段和第9个阶段本质是通过3×3的普通卷积操作，即结构图中的CBH结构，CBH结构是卷积（Convolution，Conv）、归一化（Batch Normalization，BN）、激活函数（Hard Swish，HSwish）的缩写，改进网络的激活函数均将原来的线性修正单元（Leaky ReLU）激活函数替换为Hard Swish激活函数，函数的表达式如下：

其中x表示神经元节点输入值，f（x）表示神经元节点输出值，min（ReLU，6）表示ReLU激活函数的基础上设置最大输出为6，相比于原来的激活函数有更快的计算速度。

EfficientNet网络中提取不同尺度特征图的结构是中间连续堆叠的7个阶段的移动翻转瓶颈卷积（Mobile Inverted Bottleneck Convolution，MBConv）操作，其操作流程如图5所示，将640×640的图片进行下采样特征提取，得到160×160、40×40、20×20三种尺度的特征图。为了将任意大小的特征图固定为相同长度的特征向量，传输给全连接层，增加了空间金字塔池化结构（Spatial Pyramid Pooling，SPP）^[14]，通过5×5、9×9、13×13三个尺度的最大池化，减少绝缘子细节信息的丢失，同时扩大图像的感受野，有利于绝缘子多尺度特征的预测。

提取的特征图通过特征融合模块的多次卷积和上采样，传递到输出预测模块，检测头（YOLOv5s Head）将80×80、40×40、20×20三种尺度的特征与原图结合，并通过评价指标计算出预测框的准确率，从而实现绝缘子的检测。

2.3 改进的损失函数

损失函数是用来评价改进模型的预测值和真实值之间差值的一项指标。基础网络YOLOv5s的损失函数包含边框回归损失（loss_box），置信度损失（loss_obj），分类损失（loss_cls），YOLOv5s网络总损失函数（Loss）为这三项损失函数的和，损失函数计算公式：

由式（2）知，在基准模型YOLOv5s网络中，三种损失函数的权重比例为1∶1∶1，这种权重分布适用于多类目标的检测，在整体性能上有出色的表现，但是为了使改进的网络模型更适用于绝缘子缺陷的检测，赋予边框回归损失更高的权重，降低置信度损失、分类损失权重，调整后三类损失函数的权重比例为2 ∶ 0.5 ∶ 0.5。

通过上述对损失函数权重分布的调整，EfficientNet-YOLOv5s网络的总损失函数计算公式：

GIoU引入最小外接框在一定程度上解決了检测框和真实框没有重叠时损失值为0的弊端，但是当绝缘子检测框和真实框出现完全重叠时，GIoU便退化成IoU，且两个框在水平和垂直方向上收敛速度较慢，基于此问题，改进的网络模型边框回归损失采用CIoU定义，相比于IoU，CIoU综合计算了预测框和真实框之间的重合程度，以及中心点距离和长宽比相似度，边框回归损失函数的计算公式：

式中，x表示预测框，y表示真实框，IoU表示预测框和真实框的交并比，c是包含x和y最小边框的对角线距离，d（x，y）表示预测框和真实框中心点的欧氏距离，通过欧式距离解决了预测框和真实框完全重叠或完全不相交时损失值为0的问题，如式（5），α是用于平衡比例的权重函数，如式（6），v用来衡量预测框和真实框宽高比例相似性的参数，w、h表示预测框的宽和高，w^gt、h^gt表示真实框的宽和高。

改进模型的置信度损失和分类损失通过交叉熵损失函数计算，计算公式：

式中，x_n为实际输出值，y_n为目标输出值，n为目标类别数，该部分的损失函数计算为对每个检测目标损失求和的平均值。

2.4 改进的非极大值抑制算法

原网络的输出预测模块，通过非极大值抑制算法（Non-Maximum Supression，NMS）来筛选目标框，NMS算法：

式中M为所有目标候选框中得分最高的框，b_i为重叠的候选框，N_t为设定的阈值，S_i为候选框的得分。传统的NMS算法检测到两个重叠目标时会计算重叠目标候选框的交并比，当交并比大于设定的阈值时，即两个目标重叠区域较大时，会直接将部分遮挡的目标候选框得分归0而剔除掉，从而导致出现重叠目标漏检的情况，采用Soft-NMS算法解决了这个问题，方法是综合比较候选框得分和重叠区域交并比的重要性，通过权重比较，得到新的候选框得分，再对候选框重新排列。Soft-NMS算法：

与原NMS算法相比，重叠候選框得分不会被直接置0后剔除，而是进行降分处理，相邻的两个检测框仍然保留在目标检测的序列中，降低了重叠绝缘子漏检的概率。

3 实验过程及检测结果

3.1 实验评价指标

实验采用精确率（Precision，P）、召回率（Recall，R）、平均精度（Average Precision，AP）和平均精度均值mAP作为算法的性能指标，计算公式：

TP表示被正确分类的正样本，FP表示被错误分类的负样本。FN表示被错误分类的正样本。精确率P的具体含义为分类器认为是正类并且确实是正类的部分占分类器认为是正类的比例。召回率R的具体含义为分类器认为是正类并且确实是正类的部分占所有确实是正类的比例。AP为P和R所围成的曲线面积之和，反映模型检测目标的平均精度。mAP为所要分类的目标的AP的平均值。

3.2 实验过程及分析

网络的超参数设置会影响到模型的检测精度和速度，经过多次重复实验比较，选择了一组最优的模型训练参数，初始学习率为0.001，批大小（Batch size）设置为8，训练轮数（Epoch）设置为800轮，优化器采用Adam，权重衰减设置为0.0005，输入图片分辨率为640×640。

通过800轮的训练，EfficientNet-YOLOv5s网络自动生成可视化结果，将每一轮训练的损失值绘制成损失值曲线（图6），横坐标表示训练迭代轮数，纵坐标表示网络模型损失值，其中黄色线表示边框回归损失，绿色线表示置信度损失，蓝色线表示分类损失，黑色线表示总损失，从图中可以看出，前200轮损失值下降较快，即模型的收敛速度较快，训练至600轮后，损失值趋于稳定，最后总损失值为0.018，表明EfficientNet-YOLOv5网络对绝缘子的预测值和真实值接近。

将训练完的模型生成的评价指标数据绘制成评价指标曲线（图7），横坐标表示训练迭代轮数，纵坐标表示网络模型评价指标，其中蓝色曲线表示绝缘子训练的精确率，红色曲线表示绝缘子训练的召回率，黄色曲线表示绝缘子训练的平均精度均值。

从图7中可以看出模型在前200轮的训练数据波动较大，随着迭代轮数的增加，数据指标趋于稳定，训练结束后改进的网络的精确率为0.925，召回率为0.979，mAP为0.985。

从训练集检测结果可以看出EfficientNet-YOLOv5s网络能检测出输电网绝缘子不同类型及缺陷，为了进一步研究不同的改进点对网络模型的影响，对改进模型做消融实验，如表1是EfficientNet-YOLOv5s网络消融实验结果。

通过以上消融实验可以看出，改进的算法相对于未改进的YOLOv5s的mAP值整体上提高了7.31%，召回率提高了14.86%，同时检测速度每秒提升了23帧。

为了进一步对比改进的网络模型与其它检测网络模型的区别，将同一数据集分别在不同网络模型上做对比实验，每组实验均采用各自最优的超参数和最高的训练权重。对照网络有YOLOv4网络、YOLOv5s网络、Faster RCNN网络，记录每个模型测试集结果，主要对比网络模型在每类绝缘子缺陷检测上阈值为50%时的平均精度（AP₅₀）和所有类别的平均精度均值（mAP₅₀），检测速度FPS值，详细的测试结果见表2。

从测试结果可以看出，改进网络EfficientNet-YOLOv5s对输电网绝缘子缺陷检测的mAP值相比于原YOLOv5s网络提升了7.31%，双阶段检测网络Faster RCNN对于输电网绝缘子缺陷检测有一定的检测效果，但是检测速度较低，每秒检测8张输电网绝缘子图像，检测效率较低；通过对三类绝缘子平均精度对比，可见复合绝缘子精度相对于玻璃绝缘子和陶瓷绝缘子稍低，分析原因是复合绝缘子体积小于玻璃绝缘子和陶瓷绝缘子，同时玻璃绝缘子和陶瓷绝缘子分别为绿色和白色，与背景颜色反差较大，易于提取其特征。上述对比实验生成的绝缘子缺陷检测测试结果图如图8所示。

EfficientNet-YOLOv5s网络对绝缘子及其缺陷检测的置信度较高，均在0.9以上，对不同类型的绝缘子均能检测出其缺陷，尤其是数据集中重叠绝缘子较多，改进的网络也能检测出遮挡目标。

4 结论

绝缘子缺陷检测是输电线路巡检的重要任务，针对目前无人机巡检绝缘子存在检测精度低、小目标缺陷易漏检、重叠目标易被剔除的问题，提出一种EfficientNet-YOLOv5s网络，用EfficientNet网络替换YOLOv5s网络的主干网络，提高了神经网络对绝缘子缺陷特征的提取能力，同时结合改进的非极大值抑制算法和损失函数，提高了模型的检测精度和检测速度。实验结果显示，EfficientNet-YOLOv5s网络对绝缘子缺陷检测的mAP相比于原YOLOv5网络整体上提高了7.31%，召回率整体提高了14.86%，降低了目标漏检率。表明EfficientNet-YOLOv5s网络能满足66～500 kV绝缘子的定位和缺陷的检测要求，检测的平均准确率较高，检测速度较快，为电力行业智能巡检提供新方法。实验中发现无人机拍摄的图像中，还存在高压电塔上鸟巢、防震锤脱落类型的缺陷，后续将会完成对这些缺陷的研究，以进一步提高网络的泛化能力。

[ 参 考 文 献 ]

[1] 金光. 基于纹理频谱的电气化铁路绝缘子劣损状态检测[J]. 自动化与仪器仪表， 2021（06）： 22-25，30.

[2] 易继禹， 陈慈发， 龚国强. 基于改进Faster RCNN的输电线路航拍绝缘子检测[J]. 计算机工程， 2021， 47（06）： 292-298，304.

[3] 唐波， 覃乔， 黄力. 基于色彩模型和纹理特征的输电线路绝缘子串航拍图像识别[J]. 电力科学与技术学报， 2020， 35（04）： 13-19.

[4] TAN P， LI X， XU J， et al. Catenary insulator defect detection based on contour features and gray similarity matching[J]. Journal of Zhejiang University-Science A（Applied Physics & Engineering）， 2020， 21（01）： 64-73.

[5] 虢韜， 杨恒， 时磊， 等. 基于Faster RCNN的绝缘子自爆缺陷识别[J]. 电瓷避雷器， 2019（03）： 183-189.

[6] 杨焰飞， 曹阳. 基于深度学习的无人机拍摄图像绝缘子目标检测[J]. 激光杂志， 2020， 41 （10）：63-66.

[7] 张焕坤， 李军毅， 张斌. 基于改进型YOLOv3的绝缘子异物检测方法[J]. 中国电力， 2020， 53（02）： 49-55.

[8] 郑伟， 杨晓辉， 吕中宾， 等. 基于改进YOLOv4输电线关键部件实时检测方法[J]. 科学技术与工程， 2021， 21（24）： 10 393-10 400.

[9] 朱秀红. 基于深度卷积网络的输电线路变尺度多目标检测算法研究[D]. 武汉： 华中科技大学， 2019.

[10]刘悦， 黄新波. 基于YOLOv4和改进分水岭算法的绝缘子爆裂检测定位研究[J]. 电网与清洁能源， 2021， 37（07）： 51-57.

[11]TAO X， ZHANG D， WANG Z， et al. Detection of power line insulator defects using aerial images analyzed with convolutional neural networks[J]. IEEE Transactions on Systems， Man， and Cybernetics： Systems， 2018， 50（04）： 1486-1498.

[12]王年涛， 王淑青， 张鹏飞， 等. 一种EfficientNet网络下雾天道路能见度估测方法[J].湖北工业大学学报， 2021， 36（05）： 42-46.

[13]李景琳， 姜晶菲， 窦勇， 等. 基于Soft-NMS的候选框去冗余加速器设计[J]. 计算机工程与科学， 2021， 43（04）： 586-593.

[14]HE K， ZHANG X， REN S， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE transactions on pattern analysis and machine intelligence， 2015， 37（09）： 1904-1916.

Insulator Defect Detection Based on EfficientNet-YOLOv5s Network

WANG Niantao，WANG Shuqing，TANG Lu，MA Dan

（School of Electrical and Electronic Engin. ， Hubei Univ. of Tech. ，Wuhan 430068， China）

Abstract：Aiming at the problem of low detection accuracy of small target of insulator defect in complex background at present， an EfficientNet-YOLOv5s neural network detection algorithm based on deep learning framework is proposed. Firstly， the images of various insulators in the transmission line are aerial taken by UAV， and the image data set is enriched by image enhancement technology. Then， the EfficientNet network is used to replace the YOLOv5s backbone network. The improved network is used to train and test the labeled insulator data set. Finally， the non-maximum suppression algorithm and loss function of the model are improved to further solve the problem of missing detection caused by overlapping insulator targets. The experimental results show that the mAP of the improved network reaches 98.5%， which meets the requirements of insulator defect detection in transmission lines.

Keywords：insulator; target detection; yolov5; efficientnet

[责任编校：张岩芳]