基于轻量化YOLOv5-GCDNet的航拍绝缘子掉串检测

2023-12-01 03:43齐向明叶松发
软件导刊 2023年11期
关键词:幻象绝缘子轻量化

齐向明,叶松发

(辽宁工程技术大学 软件学院,辽宁 葫芦岛 125105)

0 引言

绝缘子作为高压输电线路上不可或缺的电力设备,经常处于复杂地理条件和恶劣气候环境下,容易出现自爆、掉串、裂纹、破损和闪络放电等缺陷,且检测困难。因此,快速识别绝缘子缺陷对供电系统的稳定运行至关重要。

目前,绝缘子缺陷检测方式包括传统检测方法与深度学习检测方法两种。其中,传统绝缘子缺陷检测方法通常利用设计算子提取绝缘子图像的纹理与形状特征信息以定位绝缘子缺陷[1]。例如,张晶晶等[2]设计一种自底向上的聚类分析方法,将绝缘子串形态特征一致的线段划为平行线组,计算惯性矩方差特征量与惯性矩均值特征量,检测绝缘子缺陷;刘子英等[3]基于可见光的绝缘子图像特征结合最小二乘法的支持向量机(LS-SVM),对绝缘子的污秽等级进行识别判断;孙磊等[4]为了解决支持向量机在污秽识别中出现的误检与漏检情况,设计一种双超球数据域描述模型,该方法有效降低了误检与漏检概率;赵振兵等[5]在阈值分割基础上结合二值形状特征解决复杂背景下绝缘子的定位问题;Yin 等[6]采用基于双奇偶形态梯度的边缘检测算法以识别红外线图像中的陶瓷绝缘子串;王磊等[7]提出一种Hough 检测结合C-V 模型的协同分割方法以解决图像分辨低、目标数目多的问题。虽然这些方法在不同程度上提高了绝缘子的检测精度,但是检测效率和实时性无法达到实际工程应用要求。

而在基于深度学习的绝缘子缺陷检测方法中,深度学习通过强大的神经网络建模能力,可以提取更丰富的语义信息[8],解决了传统算法因提取特征有限而导致的检测效率和实时性方面的问题。例如,Zhao 等[9]通过微调Faster R-CNN 网络模型,改进锚框的生成方法与非极大值抑制,提高了多尺度绝缘子互相遮挡情况下的检测效果。Chen等[10]设计出一种使用二阶全卷积网络的绝缘子故障检测方法,采用全卷积层学习图像特征,通过形态学重构对目标进行定位。王纪良[11]为解决无人机巡检污秽绝缘子检测过程中定位不准确、精度较低等难题,提出一种改进R3Det 的绝缘子污秽细粒度旋转目标检测算法。杨焰飞等[12]针对人才巡检效率低且鲁棒性差等问题,YOLOv3 目标检测算法与Inception-Resnet-v2 分类算法构建YOLOv3-Dense 网络用于绝缘子检测,改进了网络的宽度与损失函数,提高了检测速度,以满足实效性。高健宸等[13]在YOLOv4 中使用混合卷积块替换其中的卷积层,改进函数避免造成梯度消失,从而提高模型性能并减少模型的体积。刘翀豪等[14]提出轻量化YOLOv5-MBF,用于人脸口罩检测,使用MoMobileNetV3 网络替换YOLOv5s 主干网络,降低了模型的参数量并提高了检测速度,并使用GELU激活函数替换MobileNetV3 激活函数,同时添加BiFPN 特征金字塔结构,提高了检测精度。谢静等[15]为了能够更好地满足输电线路的实时检测要求,使用Mish 优化YOLOv5的激活函数,将CBAM 注意力机制融合到特征提取网络中,以筛选更多有价值的特征,同时将Transformer 编码结构嵌入到C3 模块中,以加强高低层网络特征融合。为融合多尺度的图像特征,Wang 等[16]基于YOLOv5 加入自适应空间特征融合(ASFF)以改进模型,并通过引入卷积注意力模块(CBAM)模块提高模型性能。以上检测方法在工程应用中难以满足实时检测要求,在模型部署时需消耗大量内存,且算法精度和检测速度还有进一步提高的空间。

针对以上问题,本文提出一种基于轻量化YOLOv5-GCDNet 模型的航拍绝缘子掉串缺陷检测方法。主要工作包括:①采用数据增强、高斯模糊、图像融合等方法,构建复杂背景下的绝缘子数据集;②采用幻象卷积和倒残差结构,设计新型特征提取网络GCDNet,在减少参数量和复杂度的同时,提高绝缘子缺陷检测精度;③添加激励因子α-IoU 以优化目标框损失函数,加速损失值收敛;④通过消融实验结果与不同算法的对比,验证本文方法的绝缘子缺陷检测性能。

1 输电线路掉串绝缘子数据集构建

文中实验所用输电线路掉串绝缘子数据集的原始图像数据源自于两个方面:一部分来源于网络公开航拍绝缘子数据集共746 张,其中包含515 张正常绝缘子图像与231张缺陷绝缘子图像;另一部分来源于某电网公司无人机真实巡检输电线路航拍绝缘子图像。数据集中包含玻璃、陶瓷、复合材料3 种不同材料的绝缘子,但总体掉串绝缘子图像较少。

由于模型性能与训练输入图像样本息息相关,故本文采用数据增强方法,扩充掉串绝缘子样本,以提高模型鲁棒性与避免样本不均衡问题。具体包括:①对原始掉串绝缘子图像进行随机旋转、镜像、翻转缩放、裁剪、仿射变换等,扩充更符合实际场景的样本;②通过使用高斯模糊中不同大小的高斯核过滤图像,模拟由对焦不精确的相机所拍摄的图像;③采用交互式全分算法提取出掉串绝缘子,再将其输入U-Net 分割网络中进行训练,最后将其融合至输电线路实际巡检场景中。通过以上方法进行数据增广,其效果如图1所示。

Fig.1 Schematic of image augmentation图1 图像增广效果

在原始数据的基础上添加更多复杂背景、模糊和光照情况下的图像样本,以避免图像过少、过拟合、训练结果不准确等问题。数据增强后数据集共计2 503 张,随后通过LabelImg 工具进行标注,并将数据集按9∶1 的比例随机划分成训练集和验证集,再从训练集随机选取1/10 的图片作为测试集,其具体样本分布情况如表1所示。

Table 1 The specific distribution of the sample表1 样本具体分布

2 轻量化YOLOv5检测模型

YOLOv5 检测模型是从YOLOv4[17]网络演变而来的YOLO 系列最新目标检测模型,包含YOLOv5s、YOLOv5m、YOLOv5l 和YOLOv5x 4 个版本,而YOLOv5s 具有检测精度高且推理速度快的特点,故本文基于该模型进行改进:首先采用幻象卷积与倒残差瓶结构设计GCDNet,同时使用自适应上采样以及激励因子α-IoU[18]等方法改进YOLOv5s 模型,从而提出YOLOv5-GCDNet 轻量化模型,其具体结构如图2所示。

Fig.2 Structure of YOLOv5-GCDNet model图2 YOLOv5-GCDNet模型结构

2.1 GCDNet特征提取网络

YOLOv5 的特征提取网络CSPDarkNet53 的CSPNet 残差结构采用了大量的标准卷积组成,造成了大量的计算资源浪费,同时特征提取网中的标准卷积中生成冗余特征图也浪费了大量计算资源,因此采用幻象卷积代替标准卷积与倒残差结构GCD 设计GCDNet 代替YOLOv5 中的CSPDarkNet53网络。GCDNet特征提取网络如表2所示。

Table 2 GCDNet network structure表2 GCDNet网络结构

在GCDNet 特征提取网络中,首先在输入端沿用YOLOv5 中的Focus 操作,原始640×640×3 的图像输入Focus 结构,采用切片操作,变成640×640×12 的特征图,达到了降低图像维度的目的;然后使用幻象卷积代替检测网络中的普通卷积,减少模型参数量,同时将深度可分离卷积与倒残差结构相结合设计GCD 倒残差结构,并结合幻象卷积组成GCD 残差迭代结构,应用于提取特征提取网络中,便于提取到较全面的特征信息。其网络结构如表2所示。

2.1.1 轻量化幻象卷积模块

为减少模型参数量和计算复杂度,采用幻象卷积(Ghost Convolution,GConv)代替传统卷积实现绝缘子缺陷检测的轻量化以提升检测速度。其核心为利用标准卷积操作生成幻象特征图,然后将其进行线性组合以降低标准卷积中生成冗余特征图时产生的计算资源,如图3所示。

Fig.3 Structure diagram of GConv图3 GConv结构示意图

然而,当采用幻象卷积进行特征提取时,首先通过m个k×k标准卷积进行卷积操作,生成部分真实特征层作为原始特征Y′∈Rm×h′×w′,其中m≤n。为保证输出大小不变,超参数设定与标准卷积相同,同时对m层通道的原始特征图Y′进行幻象操作,通过式(1)线性运算生成s个幻象特征图。

其中,yi′为Y′中第i层特征,Φij为第i层特征中第j个线性运算,yi,j为生成的幻象特征图。最后采用s·m=s·n/s个d×d的线性内核经过s次线性运算得到特征图Y∈Rn×h′×w′={y11,y12,…,yms},因而线性部分的参数量n=s·n/s·d·d=n·d·d,计算量为(s-1)·(n/s)·h′·w′·d·d。则标准卷积与幻象卷积的计算量比值rs计算如式(2)所示。

其中,其中d·d的大小与k·k和s·c相似。同样,标准卷积与幻象卷积的参数量比值rc计算如式(3)所示。

因此,在绝缘子实时检测中采用幻象卷积可以在保证精度的情况下,大幅度降低计算量和内存消耗,使得整体检测模型达到轻量化的效果。

2.1.2 倒残差GCD结构

采用深度可分离卷积与MobileNetV2[19]的倒残差结构设计GCD 倒残差结构,从而提高模型提取缺陷绝缘子特征的能力并降低网络计算复杂度,其结构如图4所示。

Fig.4 Schematic diagram of GCD residual structure图4 GCD残差结构示意图

GCD 倒残差结构首先对输入特征图进行1×1 的幻象卷积以扩展特征图的维度,并经过批正则化(batch normalization,BN)与SiLU 激活函数,再利用5×5 深度可分离卷积层提取深层维度的绝缘子特征,最后再通过1×1 幻象卷积降低特征图维度以达到与shortcut 路径相同的通道数。为减少多余通道数带来的特征信息损失,激活函数采用SiLU代替原ReLU 函数,并将最后一层的SiLU 替换为线性层,减少非线性激活函数ReLU 对绝缘子特征的破坏,同时输入特征图经过shortcut 路径的深度可分离卷积之后以保留上层的特征信息,从而有效地提取更细微的绝缘子特征,同时减少特征遗漏和计算复杂度。

基于上述幻象卷积(GConv)和GCD 倒残差结构,构建GCDNet 轻量化倒残差特征提取网络,改进了YOLOv5 检测网络。

2.2 CARAFE自适应上采样结构优化特征融合网络

由于最邻近上采样仅通过像素点的空间位置决定上采样核,特征图中各位置应用相同的上采样核,不仅未能利用特征图的语义信息,还增加了大量的参数与计算量。因此,为更好地结合上采样核尺寸与特征图语义信息,同时达到轻量化效果,在使用GCDNet 特征提取网络改进YOLOv5s 检测算法后采用高效、轻量化的自适应上采样算法(Content-Aware Re Assembly of FEatures,CARAFE)[20]优化了特征融合网络,对特征图的信息进行提取。其主要由上采样核预测模块与特征重组模块组成,如图5所示。

Fig.5 Schematic diagram of CARAFE structure图5 CARAFE结构示意图

在上采样核预测模块中,假设输入特征图X∈Rc×h×w与上采样倍率为σ,则该模块原理为:①利用1×1 卷积将输入特征图的通道压缩至Cm,减少后续运算中产生的计算量;②内容编码器将压缩后的特征图作为输入,采用kenconder×kenconder的卷积层进行上采样核预测,其中上采样核大小为kup×kup,输出通道数为σ2×,上采样核尺寸为σh×σw×,当kup越大时感受野越大,但计算量更大,本文kup取值为3;③采用Softmax 函数对上采样核作归一化处理,使得卷积核的权重之和为1。

而在特征重组模块中,针对输出特征图中的每个位置,将其映射回输入特征图wl′,同时取出以l′为中心,中心点为为l(i,j)的kup×kup区域N(xl,kup),与预测出该点的上采样核作点积,即为输出值,其中r=kup/2,其公式如式(4)所示。

因此,在YOLOv5 中引入CARAFE 上采用轻量级上采样方法,可以在较大的图像特征信息中聚合上下文信息并动态生成自适应内核,来自局部区域中相关点的信息可以得到更多关注,同时引入参数较少、计算速度快,在减少模型参数量和降低计算代价的前提下,较好地捕捉到特征图内容信息,优化了特征融合网络。

2.3 添加α-IoU激励因子改进目标框损失函数

YOLOv5 算法通常使用GIoU、DIoU、CIoU[21]计算预测框和目标框的坐标误差,但在实验过程中发现,以上3 种损失函数在小型数据集及图像中存在复杂噪声的情况下,会出现定位不精准问题,从而降低绝缘子检测的回归精度。

为解决该问题,本文基于DIoU 损失函数结合α-IoU参数设计出Lα-DIoU损失函数,提高预测框和目标框交并比的损失和梯度,从而提高检测框的回归精度。因此,绝缘子检测的损失值由Lα-DIoU预测框和目标框的坐标误差、Lobj目标置信度误差和Lcls分类误差3 部分组成,计算公式如式(5)所示。

其中,目标置信度误差与分类误差均使用二进制交叉熵损失函数进行评价。原始LDIoU计算预测框和目标框的坐标误差,在重叠面积的基础上增加了目标框和预测框中心点距离与长宽比的影响,通过目标框与预测框之间的欧式距离,使得模型更快收敛。

因此,基于LDIoU引入α-IoU 激励因子,设计Lα-DIoU损失函数以提高检测模型的收敛速度,其公式如式(6)所示,因为α-IoU 因子中的α>1时能够帮助检测器更快地自适应于目标中检测框的交并比,从而提高其相对损失的权重,更加关注高交并比的目标。

其中,α损失函数激励因子参数,A为目标框的面积,B为预测框的面积,ρ为目标框与预测框中心点的欧氏距离,即图6 中的l1,c为目标框A和预测框B的最小外接矩形框C的对角线长度,即为图6中的l2。

Fig.6 Schematic diagram of DIoU principle图6 DIoU原理示意图

改进后的Lα-DIoU与原始LDIoU损失函数对比如图7 所示,可以看出Lα-DIoU较LDIoU具有更快的收敛速度,且当α=2时模型收敛效果最佳,因此本文选取α=2 用于绝缘子缺陷检测损失函数计算。

Fig.7 Comparison of loss values between Lα-DIoU and LDIoU图7 Lα-DIoU与LDIoU损失值比较

3 实验与结果分析

3.1 实验平台搭建

本文所涉及到的实验部分均在同一个实验环境下完成,实验平台包括硬件与软件两大部分组成,其具体参数如表3和表4所示。

Table 4 Specific parameters of software表4 软件部分具体参数

3.2 训练过程与参数设置

训练过程与参数设计分成以下4 个步骤:①初始阶段,借助迁移学习可以将已经训练好的模型权重迁移到新的模型以帮助新模型训练,采用COCO 数据集对YOLOv5模型进行预训练,从而得到训练后的权重,在此过程中,设置批大小为32,训练周期为300 个epoch,初始和最后学习率分别为0.01 和0.000 1;②将预训练权重迁移至输电线路航拍绝缘子数据集上进行重新训练,其中输入图像要求尺寸为640×640×3,训练周期100 个epoch,学习率、动量、权重衰减分别为0.015、0.9 和0.000 4,采用Adam 随机优化算法更新网络参数,使参数更新不受梯度变化影响,同时启用早停机制避免训练导致过拟合;③在同等条件下,对其他目标检测算法进行实验,利用训练获得的不同检测模型对同一测试集图片进行检测,计算获得F1-score、mAP、FPS 等性能评价指标;④对比分析不同检测算法模型的评价指标,验证轻量化改进YOLOv5 模型在检测精度、速度与空间复杂度上的优势。

3.3 实验结果比较分析

为验证轻量化YOLOv5-GCDNet 算法模型的优越性,将其与其他现有主流算法如SSD、Faster R-CNN 进行比较,同时还与现有轻量化YOLOv5 改进算法进行比较,通过mAP、F1-score、FPS 等性能评价指标比较算法整体性能。

3.3.1 轻量化模块验证实验

为验证模型的轻量化效果,在YOLOv5s 检测模型的基础上,通过替换不同的轻量化特征提取网络,分析模型参数量、占用内存量、计算量对检测精度(mAP)的影响,其结果如表5所示。

Table 5 Results of different lightweight improvements表5 不同轻量化改进结果

分析可知,将特征提取网络替换成主流的Mobilen-NetV3 与ShuffleNetV2 网络,模型参数量较YOLOv5-Gconv(将YOLOv5 的普通卷积替换成幻象卷积)方法分别高出1.0M、0.2M,同时检测精度分别降低3.1%、5.3%。虽然ShuffleNetV2 的计算量比GConv 低2.3G,但mAP 降低显著。与基础YOLOv5s 相比,YOLOv5-GConv 虽然mAP 降低了0.5%,但是减少耗费2.9M 的参数量和7.1G 的浮点计算量,可以平衡参数量与检测精度,满足绝缘子检测设备的轻量化需求。

3.3.2 消融实验

为进一步验证轻量化YOLOv5-GCDNet 在各种改进方法下的效果,开展消融实验,如表6 所示。并且,在YOLOv5-GConv 的基础上,根据不同改进方法构建了另外5种模型,分别为YOLOv5a、YOLOv5b、YOLOv5c、YOLOv5d、YOLOv5e。YOLOv5a 模型为在YOLOv5s 的基础上优化目标框损失函数引入激励因子α-DIoU;YOLOv5b 模型为在YOLOv5s 的基础上优化特征提取网络采用了GCDNet;YOLOv5c 在YOLOv5s 的基础上引入自适应上采样CARAFE方法;YOLOv5d模型为在YOLOv5s的基础上引入激励因子α-DIoU 与GCDNet 特征提取网络;YOLOv5e 为在YOLOv5s的基础上引入激励因子α-DIoU 及自适应上采样CARAFE方法。

Table 6 Results of different improvement methods表6 不同改进方法的结果

由表6 消融实验结果分析可知,YOLOv5a 模型、YOLOv5b 与YOLOv5c 的mAP 值相较于YOLOv5 网络分别上升0.9%、2.3%、1.0%,验证出引入激励因子α-DIoU、GCDNet 以及自适应上采样CARAFE 能够提高模型检测精度。而通过YOLOv5d 与YOLOv5e 的实验可以发现,改进方法的叠加效果并不会带来模型性能的直接叠加,而是在上一个改进的基础上小幅度提升,当同时采用3 种改进方法获得的YOLOv5-GCDNet 模型具有最高的检测精度(为93.6%)与检测速度(为68FPS)。

3.3.3 不同检测算法对比实验

通过将改进后获得的轻量化检测模型YOLOv5-GCDNet 与其他主流检测算法、现有轻量化YOLOv5 改进算法进行性能比较,其具体结果如表7所示。

Table 7 Results of different detection methods表7 不同检测算法的结果

根据表7 结果可知,所提YOLOv5-GCDNet 模型的mAP 值最高达93.6,相比于原始YOLOv5s 提高了3.6%,且较其他算法明显提高。其内存消耗只有7.1M,远低于Faster R-CNN、SSD,且改进后的模型内存消耗较YOLOv5s减少了54.2%,同时与现有轻量化YOLOv5 绝缘子掉串检测算法进行对比,在mAP 相当时,本文的内存消耗低于其他轻量化YOLOv5 算法,因此适合搭载在绝缘子缺陷边缘检测设备上。以一张航拍输电线路绝缘子图像为例,利用不同算法进行检测,其检测结果如图8 所示。其中,Faster RCNN 与SSD 均不能检测出绝缘子掉串缺陷,且与YOLOv5 和两个现在有的轻量化改进算法相比,所提YOLOv5-GCDNet模型检测绝缘子掉串缺陷的置信度最高。

Fig.8 Detection results of different models图8 不同模型检测结果

针对不同绝缘子检测方法的空间复杂度参数和检测速度,其对比结果如图9 所示。可以看出,单阶目标检测模型的检测速度(FPS)远高于两阶目标检测模型Faster RCNN。YOLOv5-GCDNet 的FPS 比最快的YOLOv5s 模型高出14FPS,同时YOLOv5-GCDNet 的参数量与计算量比YOLOv5s降低3.8M、7.7G,因此满足实际应用的轻量化与实时性要求。

Fig.9 Comparison of complexity and detection speed图9 复杂度与检测速度比较

3.3.4 YOLOv5-GCDNet算法检测效果

为直观表现本文所提轻量化YOLOv5-GCDNet 模型对绝缘子缺陷图像的检测结果,本文分别选取复合绝缘子、陶瓷绝缘体和玻璃绝缘子3 种图像进行检测结果比较,结果如图10所示。

Fig.10 Detection results of YOLOv5-GCDNet model图10 YOLOv5-GCDNet模型检测结果

图10(a)、(c)、(e)表示YOLOv5-GCDNet 模型检测到3种正常绝缘子,且置信度都能达到90%以上。图10(a)反映出本文模型针对复合绝缘子图像存在一片掉串缺陷,尽管缺陷部分目标较小,难以通过肉眼观察到,但本文模型仍能检测出且置信度达到92%;而且,本文模型在图10(d)缺陷陶瓷绝缘子与图10(f)缺陷玻璃绝缘子图像中细小的掉串缺陷检测上,置信度分别达到84%与91%。本文所提轻量化YOLOv5-GCDNet 模型在实际航拍的复合绝缘子、陶瓷绝缘体和玻璃绝缘子图像上的缺陷平均精度如表8所示。根据检测结果可知,YOLOv5-GCDNet 模型在绝缘子掉串缺陷检测上能够达到较高的检测精度,有助于巡检人员检测绝缘子掉串缺陷。

Table 8 Average detection accuracy of various types of insulator defects表8 各类绝缘子缺陷的平均检测精度

4 结语

本文提出一种轻量化YOLOv5-GC 检测模型并将其用于实现绝缘子掉串缺陷的智能化检测,可为实时检测绝缘子掉串缺陷提供技术参考。通过实验结果比较与分析,得出以下结论:①轻量化YOLOv5-GCDNet 模型的检测精度mAP 优于其他检测方法,且与原始YOLOv5s 模型相比,该方法的mAP 与F1-score 分别提高了3.3%、0.047,表明所提模型的检测精度显著提高;②在绝缘子的检测时间与复杂度上,本文所提方法的检测速度可达68FPS,相比于原始YOLOv5s 的检测速度提高了14FPS,同时模型参数量仅为YOLOv5s 的1/2,内存消耗量仅占用7.1M,表明所提轻量级模型可应用于绝缘子边缘检测。

综上所述,所提轻量化YOLOv5-GCDNet 绝缘子检测模型能够为绝缘子的实时检测作出较大贡献,并应用于边缘检测设备。未来工作中,将侧重于YOLOv5-GCDNet 网络的精度优化和复杂环境下绝缘子的实时缺陷检测。

猜你喜欢
幻象绝缘子轻量化
汽车轻量化集成制造专题主编
李彩云 汤丽 作品:城市幻象
特别篇:幻象前线(下)
特别篇:幻象前线(上)
瞄准挂车轻量化 锣响挂车正式挂牌成立
1000kV耐张绝缘子串单片绝缘子的带电更换技术
用户:轻量化挂车的使用体验
500kV绝缘子串含零值绝缘子时的电晕放电分析
绝缘子的常见故障及排除方法
输电线路污闪及绝缘子选用探讨