基于级联卷积神经网络的绝缘子缺陷识别

卢锦玲，黄鼎越，艾 洲

（1. 华北电力大学 电力工程系，河北 保定 071003；2. 广西电网有限责任公司 信息中心，广西 南宁 530023）

0 引言

绝缘子是高压输电线路上的重要元件，其运维质量直接关系到线路运行的安全稳定[1,2]。

随着电网规模持续扩大，无人机巡检正逐步代替耗时低效的传统人工巡检[3]。

巡线员手动遥控无人机进行航拍时，往往会受到外界因素（如噪声、电磁干扰、光线不均等）的影响，导致航拍图像成像退化。同时，航拍图像中存在复杂的非检测目标，比如农田、森林、多回路输电线路上使用的输电线路小部件等。以上这些因素会对航拍图像的绝缘子缺陷识别造成严重干扰[4]。因此，复杂背景下的航拍图像绝缘子自爆缺陷识别成为重点研究的问题[5]。

对于绝缘子的缺陷识别，传统方式是先定位、后识别，其主要步骤为：首先获取绝缘子轮廓，然后按照人工设定的判断标准来判定绝缘子是否存在缺陷，最后判定缺陷类型。

在利用传统数字图像处理技术对具有复杂背景的绝缘子航拍红外图像进行检测的研究中，文献[6]采用了Otsu检测算法并获得了预期的结果，其缺点是计算时间较长。

文献[7]采用固定宽度且互为正交方向的梯度算子对航拍图像上的导线进行检测，并且根据格式塔感知理论对检测出的导线进行了筛选、分类和拟合，同时对输电线路上的绝缘子进行了检测；但文中算法未考虑航拍倾斜角度、轨迹因素对检测结果准确率的干扰。

文献[8]对导线上悬挂的异物进行识别并取得较好的实验效果，具体步骤是：首先运用霍夫变换构造的梯度累加器进行计数，然后利用图像分割技术实现输电线上的异物定位和分类。但是，文中忽视了线路上的金具对实验结果的干扰。

文献[9]提出了“偏离度”的概念，并采用霍夫变换的方法进行了导线断股的检测。该算法的缺点是计算时间较长。

文献[10]通过训练 SVM（支持向量机）决策树分类方法来提取具有固定几何形状的线路金具（如绝缘子）的特征。文中算法可以对线路金具进行粗略的识别。该算法对拍摄图像的无人机飞行轨迹有较严格的要求，且对小目标的识别效果不佳。

上述文献各种算法的基本思路是：通过事先提出的几个先验假设条件来简化绝缘子缺陷检测模型，然后基于绝缘子的几何形状特征进行图像处理。然而在实际检测过程中，绝缘子的形状、外观和尺寸不尽相同，加之图像背景复杂，这就造成绝缘子漏检的情况常有发生。

在绝缘子自爆缺陷识别领域中，相比于传统数字图像识别算法，有着更强泛化性和可以实现端到端学习的深度学习算法得到了广泛应用。按处理的步骤，可将其分成 2类，即双阶段（two-stage）方法和单阶段（one-stage）方法。

双阶段方法的步骤是：首先对绝缘子所在区域进行定位；然后对该区域进行进一步处理，最终实现对航拍图上绝缘子自爆情况的检测。

文献[11]以改进的卷积神经网络（convolutional neural network，CNN）级联架构来实现绝缘子的定位，获得了较高的识别准确率；然而，该方法对目标的识别速度有限，并不能达到实时跟随目标并检测的效果，因此不适合将该模型部署在机载输电线路故障检测装置上进行输电线路巡检。

文献[12]利用输电线路巡检图像数据，集中学习各种绝缘子特征；然后采用Faster R-CNN算法针对旋转后的航拍图片进行绝缘子缺陷识别；该方法的缺点是检测速度慢。

文献[13]将改进后的Faster R-CNN算法应用于不同尺度航拍图像的绝缘子轮廓特征融合；同时，改进了最大池化层结构，提升了图像中如绝缘子等的电力小部件检测出的坐标精度。

单阶段的方法能够直接对航拍图上绝缘子自爆情况进行检测。

与Faster R-CNN相比，文献[14]在保证精度的前提下，改进了YOLO (you only look once)算法，使得推理时间缩短；但是算法对如绝缘子等的电力小部件识别率有限。

文献[15]首先采用聚类算法对训练数据进行处理，得到绝缘子数据集；然后通过改进后的SSD（single shot multibox detector）算法实现特征融合，实现了航拍图片上的绝缘子缺陷识别。由于算法使用的迭代次数过多，导致其运算速度受到影响。

文献[16]通过给YOLO算法增加SPP模块的方法来提高绝缘子识别的精确度，并完成了快速定位。

文献[17]通过改进Tiny-YOLOv3目标检测算法使得神经网络模型轻量化，同时弥补了检测精度不够高的缺陷；但是算法对于小目标物体检测效果不佳，甚至会出现漏检的情况。

为实现在复杂多变图像背景条件下的绝缘子缺陷识别，本文将缺陷识别问题转换成二级目标检测问题，提出了一种基于级联卷积神经网络的缺陷识别方法。检测过程分为两个步骤：（1）使用改进后YOLOV3目标检测算法定位绝缘子。（2）将定位到的绝缘子作为第二阶段检测网络的输入，从而检测出绝缘子中存在的所有缺陷。

1 YOLO网络结构

1.1 YOLO系列目标检测算法分析

Faster R-CNN算法实现步骤为：（1）使用RPN（region proposal network）网络生成候选区域。（2）使用CNN进行特征提取，并进行分类和回归边界框。在所产生的候选区域，由于提议网络和检测网络之间不共享卷积参数，所以实时目标检测难以实现。

针对 two-stage目标检测算法普遍存在检测速度慢的缺陷，文献[18]为了能提高目标检测的速度，提出了 YOLO和 SSD系列的 one-stage目标检测框架。该类算法能够在一个步骤内完成目标的分类和定位，不需要单独的候选区域选择网络。

文献[19]提出了YOLOV1的算法。该算法利用特征提取了网络的最后一层特征图，进而完成了对目标所属的类别和回归边界框的分类。由于YOLOV1仅在一个尺度的特征图上进行预测，且一个网络中只预测了2个边界框，因此其对小目标物体和相互靠近物体的检测效果不佳。

文献[20]借鉴Faster- RCNN设定Anchor Box（先验框）的方法，通过预测先验框的偏移量并结合全卷积网络来降低网络训练的难度。

随着YOLO系列的不断迭代，特征提取网络的能力也在不断增强。YOLOV2克服了YOLOV1召回率低和定位错误率高的缺点，提高了物体分类的精度。

相比于YOLOV2，在网络结构方面，YOLOV3结合了GoogleNet的多分支卷积和ResNet的直连方式，进一步提高了准确率。文献[21]将 CIoU（comp- lete intersection over union，重叠度）作为先验框选取的依据，在运用LOSS损失函数后，不仅加快了Anchor Box回归的速率，而且提高了定位进度。通过这种方法得到的预测结果更加符合真实情况。

1.2 Anchor Box的选取

在 YOLO系列的目标检测算法中，Anchor Box的尺寸是手动选择的；因此Anchor Box的尺寸与目标物体的尺寸并不相符。为优化训练目标边界框回归的速度，Anchor Box的尺寸应该尽量接近所检测的目标物体的尺寸。

本文中，为了获取k（k取值为6）个Anchor Box比较好的聚类中心：在每个尺度的特征图上预设3种大小的Anchor Box，在两个尺寸上进行回归，并且使用欧几里得距离来度量数据对象之间的距离。

如果通过Anchor（锚）来计算欧几里得距离，则在计算较大的 Anchor Box时会产生较大的误差；因此，使用CIoU来计算数据对象之间的距离。

CIoU是一种非常适用于检测特定数据集中对应对象准确度的标准，其计算如下所示：

式中：IoU为真实框A与预测框B的交并比，是目标检测中最常用的指标。

式中：权重函数α表示用于平衡比例的参数；横纵比υ表示预测框和真实框的宽和高之间的比例相似性；ρ2(b,bgt)表示预测框与真实框中心点的欧式距离；c表示能同时包括预测框与真实框最小闭包区间对角线的距离。

从CIoU边界框损失函数可以看出，它包含了预测框和真实框重叠区域面积的IoU损失、预测框和真实框中心点之间归一化后的距离损失、预测框和真实框的宽和高的纵横比损失3个部分。通过迭代，CIoU边界框损失函数可以将预测框不断向真实框移动，还尽可能地保证了预测框和真实框的宽ω和高h的纵横比更为接近，从而加快了预测框的回归收敛速度。需要说明的是，当通过长宽归一化处理后的值处于区间[0，1]时，ω2+h2常常很小，因此需将其替换为1。

因此，相对于其他损失函数而言，CIoU是一个非常好的距离度量指标。

1.3 批归一化操作

在网络层数较多的神经网络训练过程中，为了预防梯度爆炸和梯度消失情况的发生，需要人为选择参数初始值、Drop out比例、学习率和L2正则化中的权重衰减系数等一系列超参数，以克服训练神经网络时收敛速度慢的问题。

由于每一次超参数的更改都意味着需要花费大量的时间去重新训练网络模型，所以选择一系列合适的参数对训练出好的网络模型至关重要。

BN（Batch Normalization，批归一化）：将神经网络中每层的神经元分为一组，将每一组内的输入值通过标准化映射，获取输出值的标准正态分布。该步骤有防止梯度爆炸、梯度消失和加速网络收敛的作用，可使神经网络模型训练更加容易和稳定，其算法步骤如下。

输入：批处理输入x:B={xi,…,m}。

输出：规范化后的网络响应{yi=BNγ,β(xi)}。

式中：γ是尺度因子；β是平移因子。

公式（10）计算了每一组数据卷积计算结果的均值。公式（11）计算了每一组数据卷积计算结果的方差。公式（12）为利用上述 2步结果对该组内训练数据进行的归一化操作。

公式（13）为尺度变换和偏移操作：通过线性变换，先将xi乘以γ来调整数值大小，然后加上β来增加偏移得到yi。

由于使用批归一化后的xi大致服从正态分布，所以会影响神经网络的特征表达能力。

2 深度可分离卷积与倒残差结构设计

2.1 深度可分离卷积结构设计

深度可分离卷积由 Pointwise（PW）卷积与Depthwise（DW）卷积组成，其组成结构如图1所示。

图1 深度可分离卷积流程图Fig. 1 The process diagram of depthwise separable convolution

为了减少计算量，运用一种轻量级的深层神经网络MobileNet的计算方式。

在常规的卷积操作中，卷积核的数量与上一层特征图的数量相同，所以卷积操作无法扩展特征图的维度，未能有效地运用不同通道在相同空间位置上的图像特征信息；因此，利用PW卷积将特征图组合成新的特征图。

PW卷积的运算类似于常规卷积运算。卷积核大小为1× 1×M，M为上一层特征图的维数。PW卷积运算在深度方向上将上一层的特征图进行加权求和，并且生成新的特征图；获取的输出特征图个数等于本层卷积核的个数。

设原图大小为DF×DF，维数为M，卷机核大小为DK×DK，通道数位N。

于是，普通卷积运算的计算量为：

深度可分离卷积的计算量为：

深度可分离卷积的计算量与普通卷积的计算量的比值为：

可以看出，将传统卷积转变为深度卷积和逐点卷积2个部分，能够有效减少计算量。

对于使用该方法带来的“随着卷积层数增加而出现梯度消失”问题，可采用残差结构解决。

2.2 倒残差结构设计

普通的残差结构使用 1×1的卷积运算将高维空间映射到低维空间。该操作会压缩特征图，损害特征表达。因此，在特征提取过程中，采用倒残差模块：先通过1×1卷积将低维空间映射到高维空间，即扩张通道数；然后用3×3的DW卷积提取高维空间特征；最后通过1×1的PW卷积层将深度卷积结果映射到新的通道空间。

本文中使用的倒残差模块的内部网络机构，如图2所示。图2中，Leaky ReLU为本文中使用的激活函数。模块的工作原理如图3所示。

图2 倒残差模块网络内部结构Fig. 2 The network internal structure ofinverted residual block

图3 深度可分离卷积运算流程图Fig. 3 The process diagram of depth separable convolution calculation

3 RFB模块及级联网络结构设计

RFB模块的设计理念是受人类视觉感受野结构启发的结果。RFB结合了多分路卷积（Inception）和空洞卷积的思想，加强了其在使用轻量级主干网络时对特征的提取能力。

根据感受野在CNN中的定义，在运用神经网络对同一个特征图进行卷积的效果进行比较时，人们发现：采用不同大小的卷积核比采用相同大小的卷积核进行特征提取的效果更好。

RFB采用多分支结构，在每个分支中分别采用不同大小的卷积核。在每个分支中，分别采用的瓶颈（Bottleneck）结构可以有效减少训练参数，从而降低网络训练的复杂度。

此外，RFB模块还运用了 ResNet中的直连（shortcut）结构。这是因为，虽然网络的深度对网络的识别效果影响很大，但单纯增加网络深度往往并不能提高网络的识别能力，甚至会因梯度的发散而损害网络模型的效果。直连结构能很好地解决这一问题。

3.1 RFB模块设计

在本文RFB模块中，为了减少网络的参数量，在每个分支中使用1×1的卷积核对高维特征图进行降维；用两个3×3的卷积层代替5×5的卷积层；使用连续的1×7和7×1的非对称卷积的方式代替7×7的卷积层。

RFB模块的结构如图4所示。本文在模块中的每个分支上分别使用了膨胀系数为1、3、5、7的空洞卷机。

图4 RFB模块结构图Fig. 4 The structure diagram of RFB block

在每个分支上加一层空洞卷积。空洞卷积实现了在不增加参数的情况下提供更大的感受野。对于分辨率较高的图像，相邻像素间的冗余信息相对较多，可以利用空洞卷积进行优化。

空洞卷积原理：在原始卷积的基础上增加一个参数——空洞率，记为r；通过此参数控制卷积核扩张的程度，并将原卷积核中未被占用的区域填充0。

空洞卷积核的有效高和宽为如公式（17）和（18）所示：

式中：fh表示原始卷积核的高；fw表示原始卷积核的宽。

具体而言，卷积核在进行一般卷积运算时，与特征图的相邻像素点做乘法运算，而空洞卷积运算允许卷积核与固定间隔r的像素点做乘法运算；于是在不增加额外运算量的同时，还增大感受野。

通过 RFB模块的实验发现，对比膨胀系数为1（普通卷积）和2的空洞卷积操作（如图5所示），使用 RFB模块明显效果更好，执行的速度也很快。

图5 空洞卷积Fig. 5 Dilated convolution

3.2 特征提取网络结构设计

本文构造的特征提取网络整体结构，如图6所示。在图6中，Conv3为大小为3×3的卷积核，Conv1为大小为1×1的卷积核。ARB为使用深度可分离卷积的倒残差模块：使用步长为2的ARB代替了最大池化层来进行特征的下采样。通过在13×13的特征层中进行上采样，将特征图放大到26×26，并与前层的大小为 26×26的特征图进行叠加，最终在13×13和13×13这2个尺度上进行预测。

图6 特征提取网络整体结构Fig. 6 The overall structure of feature extraction network

3.3 级联结构设计

将绝缘子缺陷检测问题转换成两个级联的目标检测问题。主要步骤为：首先，使用目标检测方法来定位绝缘子位置；然后，再次使用目标检测方法来定位输电线路上存在缺陷绝缘子的位置。

级联卷积神经网络结构，如图7所示。

图7 级联网络结构Fig. 7 The structure of cascaded CNN

4 实验结果与分析

4.1 实验条件及样本准备

实验计算的硬件配置：Intel（R）Core（TM）i9-9880H，主频为4.0 GHz，内存为32 GB；显卡芯片为NVIDIA GeForce GTX 1650 MAX-Q，显存为4 GB；GPU加速库为CUDA10.1和CUDNN7.6.5。

实验计算的软件配置：深度学习框架为pytorch，编程语言为Python，操作系统为Ubuntu 16.04 LTS。

本文使用的数据集包括：有自爆缺陷的绝缘子图片247张，正常的绝缘子图片601张。

由于训练样本的大小有限，因此使用数据扩增的方式避免模型训练时的过度拟合。

训练方法：随机抽取上述数据集中80%的图片作为训练集，其余20%作为测试集。训练时，batch size为16。训练优化器使用adam优化算法。学习率为0.001，权重衰减系数为0.0005，动量为0.9。

数据样本准备过程如图8所示。

图8 数据样本准备过程Fig. 8 The process of data sample preparation

4.2 实验分析与评估

以精度（Precision，以下简称 P）和召回率（Recall，以下简称R）分别为垂直轴和水平轴坐标，通过为不同的阈值选择相应的精度和召回率来绘制精度-召回率曲线。

平均精度（AP）的值为精度-召回率曲线和坐标轴所包围的面积。mAP是多个验证集的平均AP，是用作衡量目标检测中检测精度的指标。

精度的计算：

式中：P为精度；TP是把阳性样本检测出为阳性的数量；FP把阴性样本检测出为阳性的数量。

召回率的计算：

式中：R召回率；FN为把阳性样本检测出为阴性的数量。

通过上述公式，可以绘制精度-召回率曲线来计算单个类别的 AP值，并且可以计算所有类别的AP值的平均值以获得整个模型的mAP值。

对级联YOLOV3算法、有无RFB模块的改进算法的计算精度进行比较，结果如图9所示。

图9 3种算法的精度-召回率曲线比较结果Fig. 9 The comparison result of precision-recall curves of three algorithms

在训练模型时，改进后模型使用的损失函数与YOLOV3相同，主要有：预测目标的位置、目标的大小、目标类别以及置信度。

表1列出了Tiny-YOLOV3、YOLOV3及本文改进的网络模型在 VOC2007数据集上的平均准确度及处理一张图片所需要的计算量。

表1 不同目标检测算法处理VOC2007数据集性能对比Tab. 1 Performance comparison of different target detection algorithms for VOC2007 dataset

从表1中的数据上可以看出：与Tiny-YOLOV3、YOLOV3算法相比，本文改进后的网络模型在准确度方面均有明显的提升；在模型尺寸处理方面，本文模型尺寸有所减少，同时在计算量方面占优势。

评估检测速度的常用指标是每秒帧数（FPS），即每秒可以处理的图片数。

表2给出了各算法检测速度对比结果。由表2可以看出，对不同的检测算法采用级联架构后，YOLOV3的FPS为仅为8.3，检测速度不够理想。与之相比，本文所提出的改进算法在检测速度与mAP方面性能优势明显。与不使用RFB模块的情况相比，在使用RFB模块后，本文改进算法的FPS提升了8.3，mAP上升了5.6%；这表明该算法在一定程度上减少了对特征提取网络进行轻量化改进后的性能损失。

表2 3种不同绝缘子缺陷检测算法性能对比Tab. 2 Performance comparison of three different insulator defect detection algorithms

取背景分别为农田和森林的图像样本进行实验。

样本图的检测结果，如图10所示。改进后的算法可以定位出绝缘子在航拍图像上的准确位置，而且准确地识别出图像的绝缘子。

图10 实验样本Fig. 10 Test samples

图11为改进后的算法对绝缘子缺陷检测的结果。从图11可以看出，即使在复杂的航拍图像的背景条件下，改进后的算法也能捕捉到图像上的绝缘子位置，并且对绝缘子发生自爆的位置进行精确定位。

图11 绝缘子缺陷识别结果图Fig. 11 The diagram of insulator defect detection results

5 结论

本文针对航拍图像中输电线路绝缘子缺陷检测速度慢且易出现误判的问题，提出了一种基于级联卷积神经网络的目标检测算法来判断绝缘子的运行状态，得到以下结论。

（1）通过深度可分离卷积和减少卷积层的方式对YOLOV3目标检测算法进行了轻量化改进，模型尺寸和计算量方面都占明显优势，绝缘子的检测速度相较于传统的YOLOV3算法有了明显的提高。

（2）采用级联结构之后，通过使用倒残差结构和RFB模块设计，使得算法在检测速度与精度方面有较好的优势：不仅在检测速度达到了高实时性，而且对绝缘子自爆缺陷识别的平均准确度比YOLOV3算法提升了6.2%。