基于导向型级联可形变卷积的电气设备红外图像检测

吴昊月 张惊雷 赵俊亚

1(天津理工大学电气电子工程学院 天津 300384) 2(天津市复杂系统控制理论及应用重点实验室 天津 300384) 3(中国能源建设集团天津电力设计院有限公司 天津 300384)

0 引 言

电气设备在线监测可分为结构化数据监测和非结构化数据监测。结构化数据监测包括电网中电压偏移、波形畸变等数据参数监测;非结构化数据包括图像、视频数据与文本数据[1]。电力设备因绝缘物质的老化、接触不良等原因造成的温度异常往往在可见光图像中难以发现,而红外图像检测设备能发现电力设备的局部温度异常。智能的巡线设备不仅要自动识别电气设备种类,还要能检测出现温度异常的位置,为人工检修提供参考。

2012年,杨政勃等[2]借助红外成像仪获取输电线路温升变化图像,从分析输电线路红外图像的特征入手,通过比较各颜色进而判断输电线的温升问题。但是由于热图像的分辨率较低,使得提取特征的效果较差导致此类方法发展缓慢。在AlexNet[3]网络出现之后,卷积神经网络(Convolutional neural network)得到了飞速的发展,广泛应用于图像分类、目标识别、目标检测等领域,对某些特定物体的识别准确率甚至高于人。因此在电气巡检领域,基于卷积神经网络的电气红外设备自动巡检系统成为近年来研究的热点。2018年Gong等[4]基于YOLO算法的目标检测框架,设计了带有方向角的回归框(bounding box),对于图像中歪斜电气设备识别的准确性有所提高。2019年Guo等[5]提出了DisturbIOU算法,在Faster RCNN的算法中利用添加图像噪声进行数据增强,一定程度上解决了因电气图像样本数量少导致的过拟合问题。2020年王旭红等[6]利用轻量级的特征提取骨干网络,减少了红外图像检测网络的参数量,降低了系统开销。

2018年Cai等[7]提出了级联卷积神经网络(Cascade RCNN)目标检测算法。解决了检测框不准确以及检测过程中样本丢弃造成过拟合的问题,该类方法得到学者们的关注并被应用到多个特定目标检测系统中。2020年,李锵等[8]以深度残差网络作为级联卷积神经网络的特征提取骨干并引入空洞卷积,解决高层特征图感受野大分辨率低的问题对服饰关键点精准定位。同年孙嘉赤等[9]用级联的区域卷积神经网络对舰船位置进行定位,并设计斜框旋转回归器,使用非极大值抑制的方法去除冗余的预测框。

基于级联卷积神经网络算法的电气设备巡检系统对于摄像机拍摄角度变化敏感,易造成电气设备识别率低。另外网络模型的稳定训练依赖于大量标记样本,需要建立可靠稳定的设备运行和温度异常图像数据库。文中首先根据天津7个区域110 kV和35 kV变电站近5年的9 770幅巡检红外图像,建立并标记了包括6种电气设备的红外图像及其温度异常ELE数据集。在此基础上,提出一种改进的级联卷积神经网络(Cascade RCNN),加入了可形变卷积,能够适应目标的各种形变;通过改进锚定框生成机制,降低了漏检错检率,提高了温度异常点检测精度。在ELE数据集上进行训练、验证和测试,系统能够稳定识别电流互感器、避雷器、绝缘子、隔离开关、断路器、套管6种电气设备及其局部温度异常故障。

1 级联卷积神经网络

Cascade RCNN算法基于Faster RCNN在位置候选框的回归检测上提出的改进。图1为Cascade RCNN算法结构图。

图1 级联卷积神经网络结构图

Cascade RCNN采用Resnet[10]作为特征提取的骨干网络,得到的特征图通过区域建议网络利用锚定位得到可能包含物体的感兴趣区,感兴趣区中的目标与真实标签进行三次级联检测回归,得到最终的检测结果。

1.1 级联检测回归算法

检测回归主要是通过预测边框与真实边框交并比(阈值)确定的。阈值表示物体框定的真实性,值越大说明物体框定的真实性越高,反之则真实性低;但是一味增大检测器规定的阈值,会在训练期间将过多的正样本剔除,出现过拟合现象。因此检测阶段选择合适的阈值十分重要。Cascade RCNN由三个检测器组成,每个检测器的输入都是上一个检测器边框回归后的结果,逐次增加检测器阈值的设定值。3次阈值设定依次为0.5、0.6、0.7。目标函数为:

f(x,b)=fTfT-1fT-2…f1(x,b)

(1)

式中:T是指级联次数,b是回归框的参数。

1.2 级联检测回归损失函数

Cascade RCNN的检测框由回归与分类共同决定,边框回归损失函数定义如下:

(2)

损失函数越小说明预测标签与真实标签越接近。x为图像的真实标签与预测标签的差值,定义了4个距离矢量,如式(3)所示,其中:δx、δy、δw、δh代表真实框与预测框的中心坐标、宽和高的距离矢量;gx、gy、gw、gh为真实框的参数;bx、by、bw、bh为预测框的参数。

(3)

使用交叉熵损失函数对图像分类进行预测。

Lcls=-yilogy′i+(1-yi)log(1-y′i)

(4)

式中:yi是第i个样本属于某一类别的真实标签,y′i是预测概率。

1.3 算法评价

Cascade RCNN算法解决了训练时过拟合和检测框不准确问题,但是在特征提取阶段,常规卷积对图像目标因拍摄角度变化引起的刚性变换适应力不足,对难以区分的样本检测精度值不高。

2 算法设计

本文对级联卷积神经网络的结构进行了改进,在骨干残差网络中添加一层可形变层,使得特征图在原图上的感受野能够适应物体的各种不规则形状;并且利用像素点概率指导锚的中心点生成[11]。改进后的网络结构图如图2所示。

图2 改进后的网络结构

2.1 可形变卷积理论

卷积神经网络中特征图上的像素点在原始图像中映射的区域称为感受野。常规卷积的感受野通常是矩形。在对图像特征提取的时候,由3×3的卷积核在输入图上进行卷积,定义输出为:

(5)

式中:Pn是常规卷积核R中的位置,R={(-1,-1),(-1,0),…,(0,1),(1,1)}。x(P0)是待卷积量。每一个输入要素都对应于输出特征图上的位置y(P0),w(Pn)代表权重。

可形变卷积[12]是在常规卷积中添加偏移量ΔPn,用于学习微小的变化,能够适应性地学习不规则的感受野。其输出的特征图位置计算如下:

(6)

反向传播学习偏移量的权重w,不断地将输出反传到输入将其误差作为修正权重w的依据,反向学习公式定义为:

(7)

2.2 可形变残差网络

本文在特征提取阶段添加了新的卷积模块——可形变卷积层,用以增强特征提取的几何形变能力。将可形变卷积层加入级联卷积神经网络的骨干网络残差网络(Resnet)中[10],如图3所示,给出了改进后Resnet的一组残差单元。

图3 可形变残差块结构

Xidentity 为短路连接,x为输入,最后的输出y=F(X)+X。残差网络一共分为五个卷积阶段,本文从第三阶段的残差单元开始加入偏移量的卷积计算层,残差块Conv2后额外加入一个学习偏移量(offset)的卷积层与Conv2共同作为可行变卷积层(DeformConv)的输入。对于偏移量的学习,每个像素点会有x方向和y方向的偏移,x、y组合起来就对应着一个方向向量,在3×3的网格中9个像素点则需要18个偏移量的输出通道,训练过程中偏移量的学习率设置为β=1,同时删除了平均池化层和全连接层。表1为改进后的Resnet层结构。可形变卷积的感受野如图4所示,加入可形变卷积后的输出图像映射到原图上不再是矩形框,而是具有偏移的感受野。

表1 改进后的Resnet层结构

图4 可形变卷积感受野

2.3 导向型锚

目标检测过程中位置候选区域(RPN)的生成机理是利用特征图上的像素点作为锚的中心映射到原图上,并框出一定数量可能含有目标物体的区域。但是电气设备温度异常点往往是小目标物体,且电气设备大都集中在一起,此类方法会生成较多的锚,影响检测并且难以准确定位到温度异常点上。

考虑到不是所有像素点都会对输出做出同样的贡献,在物体中心附近像素对输出影响更大[13]。本文提出生成导向型锚,将特征提取得到W×H×D的特征图,经过1×1的卷积进行降维处理整合像素点,得到一个大小为W×H×1的输出,后接sigmod函数,得到特征图上像素点的概率得分图。然后对像素点进行筛选,将原图中标记的真实框groundtruth映射到特征图上,记为:

CR=R(x′g,y′g,δ1w′,δ1h′)

(8)

此范围内的像素被分配为正例,其中x′g、y′g是红外图像中电气设备位置的真实标签框映射到特征图上中心点坐标x、y的值,w′、h′为映射到特征图上的宽和高,根据实验设置δ1=0.2,在CR范围内的像素点作为锚的中心点,定位物体的大致位置。同时,取真实框与锚的阈值最大时的高宽作为锚的高和宽。定义如下:

(9)

式中:gt是真实框高和宽的值;awh是锚的高宽。利用像素点指导生成的锚更少且质量更高,对于故障小区域的检测也更加准确。

2.4 损失函数

改进后的算法损失由4部分组成,除分类损失与回归框的位置损失外,添加位置候选区的中心点位置损失与锚的形状损失,算法总损失定义为:

L=λ1Lloc+λ2Lshape+Lcls+Lbbox

(10)

式中:Lloc与Lshape分别为中心位置损失与锚的形状损失;Lcls与Lbbox沿用Cascade RCNN算法中的分类损失与回归框损失。在多任务损失函数中,根据实验经验,损失函数中取λ1=1,λ2=0.1用来平衡中心位置预测与锚的形状预测两个分支。

数据集中存在负样本与正样本不平衡问题,在训练过程中总能遇到难以正确分类的样本,因此选用Focal loss[14]作为Lloc损失,定义为:

FL(pt)=-αt(1-pt)γlog(pt)

(11)

式中:pt是像素点的概率;αt是权重因子,用以平衡正负样本。γ为调制因子。根据文献优化原理,文中取αt=0.25、γ=2,由于输入负样本时概率越小损失越小,负样本不容易被注意,调制因子与权重因子的加入将难区分的负样本损失变大,模型更关注对于难区分样本的学习。

位置候选区锚形状损失函数定义为:

(12)

式中:hg、wg是真实红外图像中标签的高和宽;h、w是锚的高和宽,L1是smoothL1函数。

3 实验评估

3.1 实验环境与准备

本文实验是在浪潮英信服务器 NF5280M4上进行的,采用的GPU是NVIDIA GeForce GTX 1080Ti,操作系统为Ubuntu 16.04,PyTorch版本为1.1,Python版本为3.6,cuda版本是9.0,搭建了目标检测库mmdetection。实验过程分为训练、验证、测试三个部分。动量因子设置为0.9,学习率设置为0.02,初始学习率为1/3,迭代过程中学习率逐渐以线性增加的策略增加,并且在第8和第11个epoch时降低学习率,全局一共训练20个epoch,权重衰减因子设为0.001。Cascade RCNN的3个阶段的loss权重设置分别为[1,0.5,0.25]。

3.2 实验数据集

本文建立的数据集包括电流互感器、绝缘子、避雷器、断路器、隔离开关和套管6种常见户外电气设备的红外图像,部分图像中包含设备的温度异常情况,每幅红外图像中有平均两到三个种类的电气设备,数据集的标注采用人工前景标注的方法。

标注好的图像生成带有目标位置信息如123形式的文件,文件中包含了文件名、图像来源、图像尺寸、检测到的物体以及包围框的坐标,最后对标注好的信息进行编译结果符合PASCAL VOC格式。实验中定义6种电气设备识别编号如表2所示。

表2 实验中电气设备识别编号

3.3 实验结果

训练过程中设置interact=50,数据集中所有图像迭代一次为一个epoch,一共设置20个epoch,每迭代一次记录一次损失,图5为本文算法与Cascade RCNN 算法总损失以及正确率的对比,横坐标为迭代次数,算法总损失及正确率均在300次迭代后稳定。对比可得本文算法收敛更快,损失稳定在0.05左右,小于Cascade RCNN算法的损失,且正确率高于Cascace RCNN算法。

(a)

(b)图5 算法总损失与正确率对比

图6为本文算法与Cascade RCNN算法训练过程中位置候选区的损失对比,结果表明导向型锚对于候选位置定位收敛更快、损失更小。

文6 RPN位置损失对比

图7为本文算法与Cascade RCNN算法基于ELE数据集中6种设备及温度异常区的PR曲线。PR曲线下面的面积越大说明模型对该设备分类情况越好。本文算法对于设备及温度异常区域的PR曲线均在Cascade RCNN算法之上。

(a)

图8为本文算法与SSD、Faster RCNN等4种经典算法识别6种设备及温度异常的AP值对比,可见本文算法对每种设备的识别准确度都高于对照算法。表3为AP值与mAP值,mAP为所有种类的平均AP值,代表目标平均精度的综合度量。改进后的算法AP值以及mAP值均在经典算法之上,mAP较原算法提高2.6%。

图8 6种设备的AP值

表3 各种设备AP值以及mAP值

图9是两种算法的对比图,其中A为绝缘子内部温度异常,B为隔离开关的接线处温度异常,C为套管的导电杆温度异常,D为断路器接线端子处温度异常,A1、B1、C1、D1为Cascade RCNN 算法生成结果。虽然正确检测出设备种类,但温度异常区域均出现了漏检的情况(图中高亮区域),基于本文算法结果的A2、B2、C2、D2,则准确检测出温度异常的小目标区域。E、F图像对于温度异常点的检测,两种算法均检测正确,但是对于角度变换的断路器E,以及位于图像后方的隔离开关F,Cascade RCNN算法对于设备种类识别为两种标签(即检测为两种物体),本文算法则精准地检测出E、F中设备种类。实验结果表明本文算法在对于摄像机拍摄角度变化导致的物体形变、小目标温度异常以及定位框的准确性上,都较Cascade RCNN有着明显的提升,改进后的算法误检、漏检的情况明显降低。

图10为ELE数据集中设备正常工作的红外图像,每幅图像中包含多个电气设备,基于本文算法能稳定检测图像中的多种设备;对于包含温度异常区域的图像,如图11所示,本文算法不仅能检测出其设备种类,也能准确标记温度异常区域。

图10 红外巡检图像的中设备检测

图11 设备温度异常区域检测

4 结 语

本文采用可形变卷积和导向型锚的思想对级联卷积神经网络进行了改进,设计了基于深度学习的电气红外设备检测模型,模型能够精准检测数据集内6种常见电气设备。实验过程中采集制作了ELE数据集,包含9 770幅电气红外图像。本文分别对Cascade RCNN、Faster RCNN、Dcn-Cascade RCNN、SSD四种经典算法进行了对比,实验结果表明本文算法漏检错检的问题相对较少,位置候选区生成锚的数量减少,且对于故障区域的检测精度更高。