基于改进Libra-RCNN的输电线路绝缘子识别

闾海庆，雷远华，王静，邢学敏，杨静

(1.中国能源建设集团湖南省电力设计院有限公司，湖南 长沙 410007；2.湖南省第三测绘院，湖南 长沙 410004；3.长沙理工大学交通运输工程学院，湖南 长沙 410114；4.中国水利水电第八工程局有限公司，湖南长沙 410004)

0 引言

绝缘子是输电线路中最常见核心部件，具有绝缘和支撑输电线路的作用，因此绝缘子是否正常工作直接影响电网运行状态。由于绝缘子长期暴露室外工作，极易掉串和破损，为了更好检测绝缘子缺陷，须提前识别绝缘子位置。常见电网输电线路巡检的主要方式有人工巡检、直升机巡检和无人机巡检，直升机巡检成本和难度较高，难以普及；输电线路环境复杂，致使人工巡检的视野盲区较多，巡检效率和安全性较低；无人机体积小、成本低和操作简单，被广泛应用到电力巡线中。

识别绝缘子方法主要可分成两类:绝缘子形态或颜色特征定位和深度学习回归方法定位。仲莉恩等人[1]提出计算电力线图像边缘方向矢量，利用模板匹配的方式得到绝缘子准确位置；黄宵宁[2]等人提出根据绝缘子颜色信息，利用遗传算法的最大熵阈值方法分割定位绝缘子；程海燕[3]等人利用遗传算法分割绝缘子图像构建正负样本库，然后提取样本不变矩训练增强学习分类器判断定位绝缘子；商俊平等人[4]利用最大类方法分割绝缘子，然后提取绝缘子不变矩特征，最后借助增强学习分类器定位绝缘子位置；陈文浩等人[5]对RGB绝缘子图像转化为LAB空间图像，利用形态学算法粗略分割绝缘子。上述传统方法检测绝缘子速度较快，但可迁移性较差，不同的场景下需要设计不同检测阈值，难以广泛应用在复杂多变的输电线路绝缘子检测场景。

为了提高绝缘子识别的准确率和鲁棒性，侯春萍等人[6]提出借助Faster-RCNN算法(Faster Region-based Convolutional Neural Network)[7]识别绝缘子，对Faster-RCNN模型的分类器和检测器分别训练，级联组成完整网络识别绝缘子；蒋姗等人[8]针对绝缘子尺寸变化较大，对Faster-RCNN模型添加特征金字塔结构，并借助软非极大值抑制算法(Soft Non-Maximum Suppression，Soft NMS)[9]规避不同目标检测框因重叠而被误删的情况，绝缘子检测准确率相较原Faster-RCNN进一步提高；周自强等人[10]采用多尺度特征融合方法改进传统Faster-RCNN方法，实现绝缘子小目标的精准识别；针对输电线路中绝缘子部分遮挡、尺寸不一、检测难度大、精确度低的问题，易继禹等人[11]对Faster-RCNN模型运用多尺寸训练，并引入防止遮挡物体难检测的在线困难样本对手生成策略。上述基于Faster-RCNN模型的绝缘子识别方法，虽可有效识别尺寸不同和遮挡的绝缘子，但模型训练收敛速度较差，检测多尺度绝缘子的方法过于简单，目标回归框稳定性较差，严重影响绝缘子检测的稳定性和定位精度。

针对Faster-RCNN模型绝缘子识别存在的问题，提出一种基于自适应空间特征融合金字塔网络(Adaptively Spatial Feature Fusion，ASFF)[12]的改进Libra-RCNN绝缘子检测模型[13]。首先，使用滤波器响应归一化层 (Filter Response Normalization，FRN)[14]替代原Libra-RCNN模型中归一化层(Batch Norm，BN)[15]，防止模型陷入局部梯度最优区域；然后借助泛化交并比方法(Generalized Intersection over Union，GIoU)[16]计算Libra-RCNN模型交并比，更高效表达候选框与真实框的关系；最后Libra-RCNN金字塔中引入ASFF网络，增加绝缘子检测模型的尺度不变性。

1 相关技术介绍

1.1 FRN归一化层

在深度卷积层中，若每层数据分布不同，将会致使训练模型收敛速度下降，很容易陷入局部梯度最优解，为了使激活函数具有一个稳定均匀数据输入，多会在卷积层中添加归一化层。比较常用的归一化 层 有 BN 方 法[15]和 GN 方 法 (Group Normalization)[17]，BN归一化层严重依赖训练Batch大小；GN归一化层虽不依赖Batch大小，但当Batch过大时，性能较差。为了更好得到稳定分布的输入特征，谷歌提出FRN归一化方法，FRN层不仅消除了模型训练过程中对Batch大小的依赖，而且Batch较大时性能也优于BN层。

FRN归一化方法主要分为两个部分:FRN层和阈值线性单元(Threshold Linear Unit，TLU)。若输入特征图 [B，W，H，C]，分别表示Batch大小、特征图长宽和通道数，FRN层只对特征图W、H维度上归一化处理，先求训练样本每层特征的均方，可用式(1)表示为:

式中，xi为每个样本的单层卷积特征，N=W×H。正则化x为:

式中，为防止分母为0，故ε值极小。则特征层归一化为:

式中，γ、β为可学习参数。

FRN层缺少去均值操作，可能会致使归一化结果以任意方式偏移零值，若FRN层后直接添加ReLU激活层，会产生很多零值，严重影响模型训练和性能。为了解决零值偏移问题，FRN归一化方法提出具有阈值的ReLU激活层，即TLU激活函数:

1.2 ASFF金字塔网络结构

常用的特征金字塔在不同尺度特征之间具有不一致性，在检测对象时采用启发式引导的特征选择:大目标通常与较高特征图相关联，而小目标通常与较低特征图相关联。若是待检测目标与某一特定层级特征图相关联，其他层级特征图位置将会被看成背景。因此，若是待检测图像上同时含有大小不同目标时，不同层级中的特征将存在冲突。

为了解决特征金字塔内部不一致问题，ASFF网络能够直接学习如何在其他层对特征空间滤波，从而保留有用的信息进行组合，主要分为两步:恒等缩放和自适应融合。

第一步，统一特征图尺寸和通道数。对卷积层大小和通道数统一处理，使得相邻层大小和通道数相同。

第二步，自适应融合。统一卷积层后，可获得三个相同的特征块xl←1、xl←2、xl←3，对三个特征块加权融合，对加权系数可通过网络自适应学习得到:

式中，αl+βl+γl=1，αl、βl、γl∈[0，1]，且满足约束Softmax函数:

1.3 GIoU交并比

常用交并比(Intersection over Union，IoU)计算候选框和真实边界框的交集与并集的比值，可有效表明候选框和真实框的距离，但若是候选框与真实边界框不相交时，则无法表达两者的距离。为了更好表达候选框和真实框的距离，GIoU方法添加真实框和候选框的最小外接框C，计算公式中I表示IoU的值，G表示GIoU的值，如下所示:

式中，A为候选框；B为真实框；C为候选框与真实框的最小外接框。

2 改进Libra-RCNN绝缘子检测方法

目标检测主要分为两大类:一阶和二阶结构，这两种检测框架遵循同一种训练范式，即对区域进行采样，从中提取特征，然后在一个标准的多任务目标函数的指导下，共同进行分类和细化位置任务。基于该种训练范式，目标检测训练的效果主要取决三个关键方面:1)选取的区域是否具有代表性；2)提取的特征是否被充分利用；3)目标损失函数是否是最优的。

原Libra-RCNN算法对上述三个关键问题重点优化，但对选取区域位置的描述和多尺度特征提取仍有很大不足，故提出一种基于ASFF金字塔网络结构Libra-RCNN绝缘子检测算法。

2.1 候选区域

由于样本分布是不均匀的，生成候选框时随机采样会造成背景框远大于框中真实框，检测图像中目标物体占据的区域是很小部分，背景占了绝大部分区域，导致大部分训练样本的IoU很小，为了解决该问题Libra-RCNN提出了交并比均衡采样。

若是真实框和候选框不相交时，IoU交并比不能表达真实框和候选框的关系，故交并比均衡采样方法对不相交的候选框和真实框效果较差；为了更好的平衡样本框，提出泛化交并比均衡采样。

随机采样N个困难负样本，有M个候选框，选中的概率就是:

如果一共还是要采样N个，通过GIoU值划分为K个区间，每个区间中的候选采样数为Mk，则泛化交并比均衡采样的采样公式即为:

通过在GIoU上均匀采样，把困难负样本在GIoU上均匀分布。

2.2 特征金字塔网络

为了将不同特征层的信息融合，得到高分辨率和高语义信息的表达，FPN等网络结构提出了横向连接，与以往使用横向连接来整合多层次特征的方法不同，Libra-RCNN算法核心思想是利用深度整合的均衡语义特征来强化多层次特征。

假设Cl表示第l层特征，lmin和lmax分别表示最底层和最高层的特征。C2有最高的分辨率，为了整合多层次的功能，同时保持它们的语义层次。首先将不同层的特征{C2，C3，C4，C5}尺寸统一，改变尺度到相同尺寸。特征图完成尺寸统一后，可利用下式得到平衡后的语义特征:

得到特征图C，先改变尺度大小，然后通过反向操作增强原始每层的特征，每个分辨率特征从其他分辨率特征中同等的获得信息。为了更好平衡语义特征，使特征层具有更好的分辨力，可对网络引入注意力机制网路[13]结构。

Libra-RCNN算法对不同尺度特征层融合和分离，得到更多有效的语义特征，但若待检测图像上同时存在大小不同检测目标时，不同层级特征将存在冲突。ASFF网络可直接对其他特征层空间滤波，保留有用的特征信息进行组合；为了防止不同层级特征出现冲突，在Libra-RCNN特征层中引入ASFF层。虽然注意力机制网路可很好地平衡语义信息，但结构较为复杂，故借助挤压和激发网络[18]替代原注意力机制网路，具体网络结构如图1所示。

图1 改进Libra-RCNN网络结构

2.3 目标损失函数

在原Faster-RCNN算法借助多任务损失函数计算目标分类和定位回归，可写成:

式中，Lcls和Lloc分别为分类和定位损失函数，p为预测值，u为真实值，tu为类别u的回归定位，v为回归目标，λ是多任务调整权重参数。

原Faster-RCNN直接对分类损失定位损失函数相加，若是分类效果较好会得到较高分类损失值，会降低了回归损失的重要性，可通过权值λ平衡定位和回归函数的重要性。由于目标回归定位没有边界限制，直接增加回归定位损失函数权值λ，会造成模型对困难样本更加敏感。困难样本会造成很大的梯度阻碍训练，而简单样本对模型训练的贡献度较低。为了平衡定位损失函数和分类损失函数，Libra-RCNN算法提出平衡L1损失函数，可表示为:

式(12)的梯度计算遵从:

基于式(13)可得到:

式中，α控制简单样本梯度的提升，很小的α会提升简单样本梯度，同时不会影响困难样本梯度值。γ控制调整回归误差上界，可促进不同任务更加平衡。

对梯度公式积分可得:

为了保证函数连续性，当x=1时需要满足:αln(b+1)=γ。

3 实验效果分析

3.1 数据集及实验参数

借助insulators_datasets绝缘子数据集训练目标检测网络，该数据集共有6 840张无人机航拍采集绝缘子图像，图像尺寸为1 152×864，该数据集以对绝缘子图像进行旋转、添加噪声、Cutout、亮度变化等操作。选择5 840张绝缘子图像作为训练集，1 000张绝缘子图像作为测试集，数据集按照VOC2012数据集格式标注。训练批次大小为4，权值衰减系数设为0.000 5，初始学习率为0.001。

3.2 实验结果

3.2.1候选区域比例对检测的影响

原Libra-RCNN算法的候选区域比例为{1∶1，2∶1，1∶2}，但绝缘子形状均为长方形，{1∶1，2∶1，1∶2}的候选区域比例显然不符合实际需求。为了得到更好的绝缘子候选区域比例值，设计多种候选区域比例训练模型，得到平均准确率(Average Precision，AP)，见表1。

表1 不同比例候选区域AP值 %

由表1知，候选区域比例在{1∶2，1∶3，1∶4，1∶1，4∶1，3∶1，2∶1}时，得到的AP值最大，故改进Libra-RCNN算法的候选区域比例为{1∶2，1∶3，1∶4，1∶1，4∶1，3∶1，2∶1}。

3.2.2改进Libra-RCNN算法实验结果

选择1 000张绝缘子图像作为测试集，借助Faster-RCNN、Libra-RCNN与所提算法对比实验，1 000张测试集图像共有绝缘子3 318个，分别统计绝缘子检测正确个数、遗漏个数和错误识别个数，统计结果见表2。表2中，Faster-RCNN算法正确检测3 129个绝缘子，Libra-RCNN算法正确检测绝缘子数量为3 217个，所提算法正确检测3 235个绝缘子；Faster-RCNN算法遗漏绝缘子数量最多，本文算法数量最少，仅遗漏83个；所提改进Libra-RCNN算法错误检测绝缘子数量仅为107个，远低于Libra-RCNN算法错误检测191个。

表2 统计结果

对Libra-RCNN算法引入FRN归一化层、GIoU交并比和ASFF金字塔网络，为了更好证明所提方法的有效性，单独引入FRN归一化层、GIoU交并比和ASFF金字塔网络测试对Libra-RCNN模型的影响。用平均准确率(Average Precision，AP)和平均召回率(Average Recall，AR)评价绝缘子检测算法的优越性。表3为上述几个模块引入后，Libra-RCNN模型得到的AP值和AR值。

表3 模型改进后AP值和AR值 %

限于显卡内存大小，每个训练批次大小为4，原Libra-RCNN算法借助BN层归一化，BN层严重依赖Batch大小，Batch过小会致使模型收敛难度增加；FRN归一化层不依赖Batch大小，可有效增加Libra-RCNN模型的稳定性。

由表3知，Libra-RCNN模型添加FRN层后，AP值增加0.52%，AR值增加0.57%。IoU交并比对不相交候选框表达能力有限，GIoU交并比可更好表达候选框和真实框的距离，故引入GIoU交并比后Libra-RCNN算法的AP值增加3.44%，AR值增加1.88%。ASFF网络可解决特征金字塔内部不一致问题，增加模型的多尺度检测能力，故Libra-RCNN模型引入ASFF网络后，AP值增加0.96%，AR值增加1.23%。FRN层、GIoU交并比和ASFF网络皆引入Libra-RCNN模型，极大提高了模型的鲁棒性，相较原Libra-RCNN模型AP值提高2.23%，AR值提高2.61%。

借助Faster-RCNN、YOLO-V2[19]、YOLOV3[20]和Libra-RCNN算法与本文所提改进Libra-RCNN算法对比实验，对模型AP和AR值统计结果见表4。由表4可知，YOLO-V2平均准确率和召回率值均较低，所提改进Libra-RCNN算法平均准确率和召回率值均为最高，可证明所用方法稳定性最好。

表4 各种模型AP值和AR值 %

借助改进Libra-RCNN算法在测试集识别绝缘子效果，如图2所示，可精准、高效地定位绝缘子。

图2 绝缘子识别效果

4 结语

针对常用的绝缘子检测模型精度较低、尺度不变性较差等问题，提出一种基于ASFF金字塔网络的改进Libra-RCNN算法。对Libra-RCNN模型中BN层替换成FRN归一化层，削弱归一化层对训练批次大小的依赖；借助GIoU方法计算Libra-RCNN模型交并比，提高了绝缘子定位精度；为了增加Libra-RCNN模型的尺度不变性，在Libra-RCNN模型金字塔中引入ASFF网络。经实验对比，本文方法相较Libra-RCNN模型具有更好的定位精度和识别准确度，能够为进一步缺陷检测提供详细的位置信息。