基于热成像技术的电气设备目标检测方法

霍成军,史奕龙,武晓磊,李俊午,陆 鑫,陈 婧

(1.国网山西省电力公司,山西 太原 030001；2.国网信通亿力科技有限责任公司,福建 福州 350003)

1 引 言

设备检测是保证电力系统安全运行的重要环节。通过对电气设备的监测,可以及时发现设备的老化、故障,防止意外停电、火灾和其他潜在风险。因此,热成像相机被广泛使用,它提供了一种非接触的方式来感知设备表面发出的红外能量,从而可以在不关闭任何系统的情况下进行检测,采集到的热图像显示了温度分布,从而可以对设备状态进行诊断。传统的诊断主要由经验丰富的电工来完成。随着传感数据的急剧增加,使得诊断的自动化程度越来越高。

自动诊断首先要通过分割设备区域或使用边界框定位设备来检测热像图中的电气设备[1-3]。考虑到电气设备的不同部分可能显示出不同的温度模式,本文旨在检测每个设备的各个部分,而不是作为一个整体来检测。与彩色图像中的一般目标检测相比,本研究具有以下特点:①由于背景干扰或相机设置不当,热图像可能呈现过于集中的温度分布,导致对比度低。②大多数图像都是由手持摄像机拍摄的,在手持摄像机中,设备并没有很好地垂直对齐。因此,图像中的设备可能略微倾斜,甚至严重倾斜。③不同的设备可能包含不同数量的零件,但设备的零件应具有与刚体特性相同的方向角。此外,杂乱的背景和外观、形状、尺度的变化,使根据本研究具有很高的挑战性。

本文提出了一种基于YOLO[4-5]的深卷积神经网络(convolutional neural network,CNN)来预测各设备部件的坐标、方位角和类别类型。本文所提方法是第一个应用面向对象的深度学习技术的电气设备检测方法,可以提供每个设备部件的位置、方向和类别类型,从而方便后续的状态诊断。将方向一致性先验知识集成到模型中的方法,通过这种方法可以提高检测结果,特别是对于小尺寸设备部件。此外,构建了一个包含四种主要电气设备的大型热像集,这使得训练基于深度学习的模型成为可能。实验结果表明,该方法对噪声具有很强的鲁棒性,当过并集阈值为0.5时,平均精度达到93.7 %。

2 相关研究

2.1 自动诊断技术

多年来,自动诊断的各种技术都得到了发展。一般来说,包含三个阶段的通用框架:设备检测、特征提取和状态分类。例如,文献[6]应用Watershed变换对避雷器进行分段,采用模糊神经网络将故障、正常、轻度和可疑情况进行分类。文献[7]使用K-means聚类算法对电气设备进行分割,提取统计特征,并使用支持向量机进行分类。这些研究仅在包含数百个简单图像或更少图像的小数据集中得到验证,它们与实际应用之间还有很大的差距。近年来,深度学习方法被应用于故障诊断,这些技术能够对故障进行端到端的检测,随着传感数据的增加,它们将逐渐成为主要的研究方向。

2.2 电气设备检测

诊断的成功在很大程度上取决于设备的正确检测。因此,为了解决设备检测问题,人们进行了多种研究[8-10]。文献[1]通过提取、匹配和聚类稀疏特征点来检测故障区域。文献[8]提出了一种局部定义聚类复杂度度量方法来提取故障区域。文献[9]将Otsu方法应用于阈值设备区域。文献[10]利用二元形状先验和特征池检测绝缘体。这些方法大多使用对方差和噪声敏感的特征,并仅在简单图像的上进行验证。本文所提方法在大量的图像中得到了验证,并证明了它具有很高的鲁棒性。

2.3 目标检测

目标检测是计算机视觉中的一个关键问题。目前,最先进的检测方法都是基于深度学习[11]的,如YOLO[5]、R-CNN[12]和SSD[13]。这些方法在垂直目标检测上效果良好,但是,方向的改变可能会导致外观的大幅度变化,并遭受严重的背景干扰,从而导致对定向目标的检测失败[14]。图1给出了传统目标检测与面向包围盒预测的检测方法示意图。图1(a)给出了传统目标检测方法预测垂直边界框的示例,可见使用垂直包围盒定位设备可能会导致多余的背景噪声和不必要的重叠。图1(b)给出了面向包围盒预测的元件检测方法示例,不同颜色的框表示它们处于不同组。

图1 传统目标检测与面向包围盒预测的检测方法示意图

如今,手持摄像机采集越来越多的图像,这些图像中的对象通常没有很好地对齐。因此,近年来面向目标检测逐渐被关注,文献[15]提出了不同的面向目标检测方法。与彩色图像中倾斜文本的检测相比,我们的设备部件检测是在强度对比度较低的红外热像中进行的,这使得预测更加困难。而且,几乎所有的面向目标检测方法都是将目标作为一个整体来处理的,而一个电气设备可分成几个部分。如何挖掘部件之间的结构信息至关重要。

3 所提方法

当给定一幅图像时,可以通过预测一组有向包围盒来检测设备部件,每个包围盒都由其中心坐标、宽度、高度和方向角参数化。为此,本文提出了一个基于回归的检测框架,该框架基于深卷积神经网络,如图2所示。图中,深卷积神经网络以热像为输入,输出有向包围盒和相关类概率,然后进行非最大抑制(Non-Maximum Suppression,NMS)得到最终的检测结果。与这些现有的预测垂直边界框的方法不同,所提方法还预测了方向角,并考虑了零件之间的方向约束。在常规检查过程中收集到的热图像,首先被送入卷积层和最大池层的堆栈中进行特征提取。然后,通过组织层将在不同层上获得的特征连接起来,并将其转发到另外两个卷积层。最后一层的输出生成有方向的边界框和相关的类概率。最后,采用非最大抑制过程来定位概率最高的部分。

图2 所提框架的示意图

3.1 网络体系结构

所提网络结构由六层的特征提取栈组成。如图2所示,前两个堆栈中的每一个都包含一个卷积层和一个最大池层；第三个或第四个堆栈包含三个卷积层,后跟一个最大池层；第五个堆栈包含五个卷积层,后跟一个最大池层；第六个堆栈包含七个卷积层。图2中每个卷积层都有k×k核和c通道,用k×k×c表示。由第四层和第六层堆栈提取的特征通过重组层连接起来,并转发到另外两个卷积层中进行参数预测。每层的大小如图2所示。该网络以固定尺寸的416×416×3热图像作为输入。图像被划分为S×S网格,每个网格单元预测B个边界框。一个框有五个描述坐标的参数,一个反映框预测值的置信度分数,以及K类概率值。因此,输出是一个S×S×(B(5+1+K))维量。当预测每个单元中的B边界框时,不是直接预测坐标,而是预测与锚盒相关的五个参数(tx,ty,tw,th,tθ),如图3所示,锚盒用虚线表示,预测边界框用实线表示。假设单元格与图像左上角的偏移量为(cx,cy),目标框的宽度为wa,高度为ha。然后,根据预测参数计算出该单元格中的预测边界框(x,y,w,h,θ),如式(1)所示：

(1)

其中,σ()是一个tx或ty的逻辑函数,取值为[0,1]。使用K-means算法对B个锚盒进行聚类,即从训练样本中获得B个不同大小的锚盒。通过这种方法,可以将设备部件的尺寸先验值融入到所提模型中,使网络训练稳定,并获得更好的定位效果。

图3 与锚盒相关的边界框

3.2 损失函数

在训练网络时,给出了一组热像图作为训练样本。图像中的每一个设备部分都用一个有方向的边界框和一个类标签作为进行注释。该网络被训练来预测定位和分类结果,是一个多任务学习问题。因此,我们提出了一个多任务损失函数L,如式(2)所示,其中包括定位损失Lloc、分类损失Lcl以及将部件之间的方向角约束为一致的损失Lort。

L=Lloc+Lcls+Lort

(2)

3.2.1 定位损失

(3)

3.2.2 分类损失

在我们的任务中,我们有K种电气设备部件。所构造的网络为每个边界框预测一个K维向量p。p的每个条目表示属于某个类的预测边界框的概率。分类损失也只考虑那些“负责任”的边界框。因此,定义如下:

(4)

3.2.3 定向一致性损失

当检测一台设备的不同元件(例如电流互感器或电压互感器)时,这些元件应有相同的定向角。可以采用该先验来改进包围盒的预测。因此,提出了一致性损失来约束元件之间的定向角。在施加此约束之前,首先需要确定哪些元件位于同一设备上。因此,首先将带注释的边界框划分为不同的组,每个组表示一个设备实例,如图2(b)所示。这可以根据以下条件检查元件的定向角来完成。当给定两个带注释的边界框a和b时,如果满足式(5),它们属于同一组。

(5)

接着,将所有部分分成不同的组。假设一个图像包含G组设备元件,并且每个组可以包含不同数量的元件。定向一致性损失公式如下:

(6)

3.3 训练与测试

使用损失函数以一种端到端的方式训练网络。训练图像及其注释被输入到网络中。采用随机梯度下降法(Stochastic Gradient Descent,SGD)优化损失,批量大小为16,动量为0.9,重量衰减为0.0005。采用了文献[16]的策略来调整学习率,对于前35000次迭代,学习率固定为0.01,之后降低为0.001。

测试时,一个单独的图像被输入到训练的网络中。最后一层产生输出预测位置、可信度和类概率。将类别概率与置信度相乘,以表示盒子的置信度。NMS选择置信度最高的盒子作为最终结果。

4 算例分析

4.1 数据集

目前,还没有公开的热像数据集用于电气设备的检测和诊断。为了对该方法进行评价,本文构造了一个数据集。某变电站,当电工进行例行检查时,图像由手持热相机拍摄,如FLIR T640、FLIR T660和FLIR P660。该数据集中于四种主要类型的变压器设备,包括电流互感器(current transformer,CT)、电压互感器(potential transformer,PT)、避雷器(surge arrester,SA)和断路器(circuit breaker,CB)。为了训练网络和评估测试结果,手动标注了7955幅图像。图像中的每个设备元件都用一个定向边界框和一个类标签进行注释。根据这些设备的组成,将所有部件分为六类:套管、波纹管、均压环、套管连接器、凸缘和灭弧室。例如,电流互感器由波纹管和套管连接器组成,但是电压互感器可能由不同数量的套管连接器、凸缘、均压环和套管组成。表1列出了图像中存在的元件和设备的数量。所有元件的方位角分布如图4所示,以正x轴为基准0°角,方位分布在65°到115°之间,且多数为直立。

表1 数据集中不同部件、设备和图像的数量

图4 数据集中所有设备部件的方向分布

4.2 实验装置

在数据集中,随机选择60 %的图像进行训练,其余的图像进行测试。图像的原始分辨率为480×640或640×480。两者都被缩放到480×480输入。同时,通过以下方法来增加训练数据:将每个训练图像随机裁剪成416×416的小块,并以0.5的概率水平移动,此外在色调、饱和度和曝光度上应用一些偏移。在所有的实验中,采用了文献[5]中的默认参数设置,即S=13,λnoobj=0.2,设置K=6来表示六个设备部件类别。采用K-means算法对B=5个锚盒进行聚类,得到42×195、92×66、81×120、38×299和38×36的锚盒。模型需要10个小时左右的时间来训练。为了测试,它每秒钟可以训练20帧。

4.3 实验结果

4.3.1 与其他方法相比

首先采用所提完整模型进行实验,并将其与为垂直目标检测的最新方法进行比较,这些方法包括YOLO9000[5]、R-CNN[12]和SSD[13]。结果根据平均精度(Average Precision,AP)进行评估,平均精度是衡量类的精度召回曲线下面积的一个标准。在计算精确率和召回率时,如果与地面事实的交集(intersection over union,IoU)大于阈值,将预测的边界框判断为真实。与大多数目标检测工作一样,阈值通常设置为0.5。表2给出了每个类的AP以及所有类的平均精度(mean Average Precision,mAP)。结果表明,本文提出的方法获得了最高mAP,优于其他所有的垂直目标检测方法。这种改进主要得益于模型中对旋转的考虑,从而使模型对旋转引起的外观变化更具鲁棒性,对背景噪声的影响更小。

表2给出了以每秒帧数(frames per second,FPS)表示的时间比较。由于在计算IoU时,定向包围盒的非最大抑制与直立包围盒的非最大抑制略有不同,因此在估计FPS时,也考虑了非最大抑制的时间,以便进行比较。所提模型可以达到20 f/s,比R-CNN快。由于定向包围盒非最大抑制的复杂性,所提模型比YOLO9000和SSD慢。

表2 实验结果与其他方法的对比

4.3.2 烧蚀实验

为了研究所提方法中方向一致性损失的有效性,对所提出的不存在方向一致性损失的模型进行了训练和测试,称为“所提w/o”。并对结果进行了mAP评价。为了更好地评估定位性能,报告了IoU阈值在0.5到0.8之间变化的结果。表3列出了完整模型和无方向损失约束模型在不同阈值下的结果。表4还给出了IoU分别为0.5和0.7的每个类的AP。根据这些结果,可以观察到:

1)当IoU阈值从0.5提高到0.8时,平均精度逐渐下降。因为IoU越高,定位结果就越精确。当将所提完整模型与无方向损失约束的模型进行比较时,发现完整模型更优。当IoU为0.5时,mAP增加0.5 %,随着IoU的增加,mAP增加到3.1 %。这说明元件之间的方向约束可以提供更好的定位性能。

2)通过比较各元件的AP,可以看出,对于波纹管、套管连接器、均压环等高宽比较小的设备部件,AP有较大的改善,原因是这些元件的方向预测比其他类型的元件对噪声更敏感。利用所提方向一致性损失,可以得到了更稳健的预测结果。

表3 相对于mAP(%)的烧蚀实验结果

表4 消融实验结果与AP和mAP比较

图5给出了使用所提完整模型在测试集上检测到的典型结果。结果表明,该方法能够精确地检测出元件,对尺寸、温度和方向角的变化具有鲁棒性。即使在背景杂乱的情况下,也能获得较好的检测结果。

图5 所提完整模型得到的测试结果

5 结 论

设备检测是实现自动检测和诊断的基础。基于深度学习技术,本文提出了一种检测热图像中细粒度设备的方法。所提方法能够通过预测包围盒来检测设备部件,无论它们是直立的还是倾斜的。该方法已经在构建的大型数据集中得到了验证。实验表明,所提方法能够较好地检测电气设备,元件之间的方向约束可以提供更好的定位性能,方法具有鲁棒性。后续将进行基于检测结果的故障诊断研究。