基于深度残差UNet网络的电气设备红外图像分割方法

刘 赫，赵天成，刘俊博，矫立新，许志浩，袁小翠

基于深度残差UNet网络的电气设备红外图像分割方法

刘 赫1，赵天成1，刘俊博1，矫立新1，许志浩2，袁小翠2

（1. 国网吉林省电力有限公司 电力科学研究院，吉林 长春 130021；2. 南昌工程学院 电气工程学院，江西 南昌 330099）

红外图像处理是实现电气故障诊断的有效手段，而电气设备分割是故障检测的关键环节。针对复杂背景下红外图像电气设备分割难问题，本文采用深度残差网络与UNet网络相结合，深度残差网络替代VGG16对UNet网络进行特征提取和编码，构建深度残差系列Res-Unet网络实现对电气设备的分割。以电流互感器和断路器两种电气设备红外图像分割为例测试Res-Unet网络分割效果，并与传统的UNet网络和Deeplabv3＋网络进行对比。通过对数量为876的样本进行测试，实验结果表明，Res18-UNet能够准确地分割电气设备，对电流互感器和断路器的分割准确率超93%，平均交并比大于89%，且分割准确性优于UNet及Deeplabv3+网络模型，为实现电气故障智能诊断奠定基础。

红外图像；电气故障；图像分割；UNet

0 引言

变电站是电网系统中的非常关键的节点，变电站的安全性关系到电力系统的稳定运行。变压器、电压互感器、电流互感器和断路器等变电设备因长期户外使用易覆盖污渍、设备老化出现设备过热，容易导致大面积停电。因此，需要对这些带电设备进行定期检测。

近年来，利用无人机、巡检机器人为平台安装红外热相机拍摄带电设备的红外图像，利用智能算法自动识别红外图像中的设备故障已成为电力设备带电监测和故障诊断的重要手段。基于红外图像的故障诊断方法可以大致分为两类：一是根据红外图像的温度界定直接分割出过热区域，如康龙等[1]利用红外图像灰度直方图确定聚类中心和聚类个数，用遗传算法来确定最优聚类中心，最后用模糊C均值来分割过热区域；曾亮等[2]用大津算法和区域生长法分割过热区域；Hui Zou[3]等利用k均值聚类算法分割过热区域。另一类是根据需要检测的变电设备，在红外图像中检测出目标区域或者直接分割目标区域，对不同的目标区域根据规范[4]判断目标区域的状态，从而自动检测带电设备状态。目前，第二类是红外图像故障诊断的主流方法，学者们对其展开了许多研究。不同电气设备对温度的耐受力不同，需要准确定位变电设备的感兴趣区域（region of interest，ROI），因此查找红外图像的ROI是最关键的一步。

近年来，国内外学者已经开展了一系列针对红外缺陷智能诊断的研究。定位ROI区域主要有两类：①提取目标的手工特征，根据红外图像的颜色及纹理等特征，选择合适的阈值分割方法和特征提取方法分割目标，文献[5]利用阈值分割法提出三相分区块自动搜寻及温度对比的过热区域判定方法。Rahmani[6]等提取图像中电气设备的不变矩特征；文献[7]提取红外图像的热形状和温度分布作为图像特征；文献[8]对红外视频图像提取时空特征，利用基于沙普利加法特征归因聚类算法对时空特征聚类分割目标。②基于深度学习的目标检测或者分割方法。随着深度卷积神经网络（deep convolutional neural networks, DCNN）的快速发展，利用CNN网络提取图像的特征实现不同的应用，如目标检测与识别、图像分割等。文献[9]利用Faster RCNN对套管、避雷器等变电设备进行目标检测定位，根据温度阈值法实现缺陷检测。经典目标检测深度卷积神经网络也逐渐应用在红外图像变电设备故障检测中，如SSD[10]，YOLO[11]，Mask-RCNN[12]等网络在红外图像电气设备异常检测中取得了较好的检测结果。李文璞等[13]基于改进R3Det模型对瓷套进行旋转目标检测，基于Faster RCNN模型对变电设备区域进行识别。

上述基于深度学习的目标检测方法只是检测出目标区域，对检测简单背景下的变电设备效果较好，当变电设备处于复杂环境下，局部遮挡导致框选出的目标区域包含其他类型的设备，而不同设备对温度的耐受力不同。需要对电气设备进行准确分割及定位，减少背景及其他因素的干扰，再根据不同设备对温度的耐受情况准确检测出电气设备的故障。为了准确分割出ROI，语义分割方法逐渐从可见光图像处理中应用到红外图像电气设备故障诊断中，如文献[14]构建了FCN-32s、FCN-16s和FCN-8s三种模型对红外图像中劣化的绝缘子片进行分割，证明了FCN-8S的分割效果更好，但该方法只用在了实验室环境下拍摄的绝缘子片图像，并不适用于户外复杂环境下目标分割。文献[15]将深度残差网络ResNet与Deeplabv3＋网络相结合，利用ResNet网络代替Deeplabv3＋网络中VGG16模块实现编码，构建的Res-Deeplabv3＋网络对红外图像中的电流互感器进行分割，其分割准确性优于FCN-8s，SegNet和Deeplabv3＋网络。

本文结合ResNet和UNet网络的优势，构建Res-UNet网络对复杂环境下红外图像的变电设备进行语义分割，从复杂背景下准确分割、定位和识别出电气设备，为电气设备故障诊断提供准确的数据源。

1 数据集来源及标注

数据集来源于某网省公司现场采集的红外图像，图像大小为640×480彩色图，原始样本图像数量为2860张。不同拍摄角度和环境，对同样的设备成像不同。因此，对样本进行扩充，包括旋转、缩放、调整图像亮度、饱和度等方法进行随机数据增强，以提高网络模型的鲁棒性和准确性，扩充后的样本数量为4380张。图1为样本集中随机选取的几张红外图像及预处理效果，第一行图1(a)为原图，第二行图1(b)对应第一行的增强效果，其增强处理分别是调整温度区间、降低饱和度、降低亮度、提高色调。

样本数据中电流互感器和断路器两种变电设备的图像比较完整，其他变电设备图像不完整或者样本少，因此，以电流互感器和断路器为分割目标，使用Labelme工具分别对电流互感器和断路器两种电气设备进行标注。建立统一的标注规范是保证训练模型精度的基础，本文标注时将电流互感器和断路器分别标记为CT和QS，标记时尽量标记目标可见的全部像素，标注示例如图2所示，对目标标注形成分割图像的标签（真值），并生成json文件，标签图像中绿色表示的是断路器，红色表示的是电流互感器。

图1 样本增强示例

图2 样本图像标签

2 算法理论

图像语义分割是对每一个像素点进行分类，根据每个点的所属类别从而实现区域划分。目前，语义分割已被广泛应用于自动驾驶、医学图像分割等场景中。近年来，CNN已经在图像语义分割中取得了巨大的应用，比较经典的网络模型有FCN，Segnet，DeepLab和UNet系列等。UNet网络最早应用在医学图像分割中，相比于FCN，Segnet，Deeplab等系列的经典图像分割模型，UNet网络在训练样本较少的情况下能获得更准确的分割结果。在红外图像电气设备故障检测中，缺少公开数据集，属于小样本的目标分割，因此，本文利用UNet网络主体模型对红外图像中电气设备进行分割。

2.1 UNet网络

UNet网络结构简单，整个网络可以分为编码和解码，或者主干特征提取网络和加强特征提取网络，网络结构如图3所示，在主干特征提取网络（编码）中利用3×3卷积模板进行5层卷积，卷积模板数分别是64、128、256、512和1024，2×2最大池化对卷积后的特征图下采样使图像特征图尺寸减小，且采用relu作为激活函数。

在加强特征提取（解码）网络中对特征图逐步上采样和卷积来恢复图像尺寸和特征图通道数，解码器和编码器之间通过跳跃连接进行特征图融合，融合后继续卷积，最后通过1×1×卷积输出分割图像结果，其中为通道数或图像分割类别。从图3可以看出，UNet像一个U型结构，因此，将其称之为UNet网络。

图3 UNet网络结构

2.2 ResNet

在深度卷积神经网络中，网络层数越多，越能够提取图像的深层特征，网络模型的分割效果越好，但是网络层数的增加容易导致浅层网络的学习效果不佳，阻碍模型的收敛[16]。深度残差网络ResNet为解决这一问题而诞生。该网络的一部分输入不经过卷积网络传到输出，保留了部分浅层信息，避免了因特征提取网络的加深而导致特征细节的丢失，在残差网络内部将输入与输出直接相连，有效缓解了深层网络中的梯度消失问题[15]。残差网络结构原型如图4所示，设输入为，期望输出为()，实际输出为()，通过跳跃连接将输入值直接连接到输出，使实际输出变为()＋，学习目标变为()＝()＋，从而使得网络学习的内容变为输入与输出的差值。深度残差系列网络有ResNet18，ResNet34，ResNet50，ResNet101等，18，34，50，101代表网络层数。

2.3 Res-UNet模型

UNet的编码部分实际上是VGG16网络的特征提取部分，利用ResNet代替VGG16实现对UNet网络中的编码模块，构建Res-UNet网络，如图5所示，图5中用ResNet18网络构建的UNet简称为Res18-UNet。

图4 ResNet网络结构

Res-UNet网络编码部分：编码部分分为4个模块，与UNet模块的编码部分保持一致，不同的是UNet中每层卷积及下采样模块用ResNet代替，如图5的ResNet18，block_（＝1,2,3,4），卷积模板均是3×3，每个模块的第二层卷积的strid＝2，从而实现下采样。每个模块的卷积核的数量与UNet模型一一对应。

解码部分：解码部分最后一层输出的特征图的数量为1024，对图像进行上采样及卷积，并与编码模块的特征进行特征拼接融合，逐层上采样，使输出的图像与输入图像的大小一致，最后通过1×1×的卷积输出分割结果，其中为图像中目标分割种类数，本文中＝3。

图5 改进UNet网络结构

3 实验结果与分析

3.1 评价指标

为了评估分割效果，用平均交并比（mean intersection over union，MIoU）MIoU和精确率（Precision）[17]来评价红外图像目标分割效果。MIOU是语义分割效果的度量标准之一，通过计算两个集合的交集和并集（intersection over union，IoU）的比例来反映分割结果与真实值之间的重合程度，在图像语义分割中，这两个集合分别是真实值（标签）和预测值。MIOU的值范围为[0,1]，其值越大表示分割效果越好。MIOU的定义如下：

式中：p和p分别表示预测结果为实际结果为的像素总数和预测结果为、实际结果为的像素总数，而p表示预测结果为、真实结果也为的像素总数[15]。

Precision表示语义分割的类别像素准确率，是在被所有预测为正的样本中实际为正样本的概率。精确率定义为：

式中：TP，FP分别表示真阳性和假阳性，表示被分为正例的示例中实际为正例的比例。

3.2 网络训练

模型训练平台操作系统Ubuntu 18.04，采用了tensorflow深度学习框架搭建的改进ResNet网络。硬件处理器为Intel(R) Core(TM) i5-9300H CPU @2.40GHz（2400MHz），显卡型号为NVIDIA Geforce GTX 1660Ti。本文分别利用ResNet18，ResNet34，ResNet50作为UNet的编码部分构建Res18-UNet，Res34-UNet，Res50-UNet网络，这些网络称之为Res-UNet系列网络。为了测试不同网络对复杂环境下的电气设备分割效果，将Res-UNet系列网络与UNet网络，Deeplabv3＋网络进行了对比。文献[15]在研究红外图像电流互感器的分割方法时指出Deeplabv3＋网络比segnet和FCN系列网络对电流互感器的分割效果更好，因此，本文选择与Deeplabv3＋进行对比。

UNet、Deeplabv3＋和Res-UNet系列网络均为在tensorflow学习框架下搭建的平台。将已标注的2300张红外图片作为训练样本，以4:1的比例随机分配训练集与测试集，两者的样本图数量分别是3504和876，样本图像中包含了电流互感器和断路开关。Res-UNet系列，UNet和Deeplabv3＋网络都采用交叉熵作为损失函数，损失函数定义如下：

式中：为类别的损失权重；p(z)为像素z属于真实类别的概率。

3种方法训练得到的损失函数曲线如图6所示，模型在epoch为100左右就达到收敛，Res18-UNet模型在epoch为10时基本达到收敛，收敛速度快，且收敛时其loss值更接近0。

图6 网络训练过程损失函数对比

相同的样本对不同的网络模型训练得到网络参数，输入测试样本得到分割预测结果，并且用MIoU和Precision来评价红外图像目标分割效果。图7～10是在测试集中随机选择一些样本测试分割效果，图7～10均是在某省变电站拍摄的红外图像，表1是图7～10分割结果对应的MIoU值。图7、8的分割目标是电流互感器，图9、10的分割目标是断路器。从图7～10及表1的结果可以看出，UNet网络的分割效果比Deeplabv3＋网络分割效果更佳，Res-UNet系列网络中，Res18-UNet网络分割效果优于其他4个网络。图7电流互感器所处背景简单，Res18-UNet网络的目标分割率为0.9315，图8中电流互感器处于复杂环境下，除了有电流互感器以外，还存在其他电气设备，Res18-UNet网络能够在复杂背景下准确分割出目标，分割的准确率达到0.8839。图9、10两张图都包含了3个断路器，个别断路器被局部遮挡或者被其背景干扰，断路器的纹理不清晰，Res18-UNet对两者的分割准确率在0.9左右，能分割出断路器的主要轮廓。

图7 简单背景下电流互感器分割结果

图8 复杂背景下电流互感器分割结果

表2是不同网络对460张测试样本集分割准确率的统计结果，测试样本被分为了3类，分别是电流互感器、断路器和背景。利用MIoU和准确率来衡量不同样本对3类目标分割的准确性，其分割结果如表2所示，从表2的数据可知，UNet网络比Deeplabv3＋网络的分割结果更准确，相比于其他4种网络，Res18-UNet对两种电气设备的分割效果更好，Res34-UNet和Res50-UNet两种网络的分割效果反而比UNet的分割效果更差。可见，利用ResNet网络作为UNet的编码部分提取特征构建的Res-UNet网络的确可以提高目标分割的准确性，但是深层网络（如Res34-UNet和Res50-UNet）因训练样本少导致的过拟合反而导致分割准确性下降。

图10 局部遮挡下断路器分割结果

表1 不同分割方法得到的MIOU值

表2 测试数据集的准确率

4 结论

本文研究了复杂背景下红外图像电气设备目标分割，以电流互感器和断路器为分割目标，构建Res-UNet系列网络模型对小样本的红外图像电气设备进行分割。通过对Deeplabv3＋网络，UNet和Res-UNet网络在红外图像中电气设备的分割效果进行对比，发现广泛应用在医学图像分割的UNet模型对红外图像的分割效果较好，准确性优于Deeplabv3＋模型。Res18-UNet比UNet的分割效果更好，在测试样本数量为876的数据集下，MIoU值超过89%，对电流互感器和断路器的分割准确率Precision超过93%。由于样本数量小，Res34-UNet和Res50-UNet两种更深层网络分割准确性反而下降，在样本量充足的情况下，深层Res-UNet网络可以提高电气设备的分割准确性。限于篇幅，本文只针对电气设备的分割问题展开了部分研究，对分割的目标后处理能进一步优化分割结果，如膨胀，腐蚀、轮廓区域提取和空洞填充，从而提取整个电气设备的完整轮廓，为后续电气故障缺陷自动检测提供准确的数据源。

[1] 康龙. 基于红外图像处理的变电站设备故障诊断[D]. 北京: 华北电力大学, 2016.

KANG Long. Substation Equipment Fault Diagnosis Based on Infrared Image[D]. Beijing: North China Electric Power University, 2016.

[2] 曾亮. 基于红外图像的变电站设备故障精准定位方法的研究[D]. 重庆: 重庆理工大学, 2019.

ZENG Liang. Research on Precise Fault Location Method of Substation Equipment Based on Infrared Image[D]. Chongqing: Chongqing University of Technology, 2019.

[3] ZOU H, HUANG F. A novel intelligent fault diagnosis method for electrical equipment using infrared thermography[J]., 2015, 73: 29-35.

[4] 周建国, 雷民, 杨褚明, 等. 带电设备红外诊断应用规范: DL/T 664-2008[S]. 国家能源局, [2016-12-05].

ZHOU Jianguo, LEI Min, YANG Chuming, et al. Application Specification for Infrared Diagnosis of Live Equipment[S]. National Energy Administration, [2016-12-05].

[5] 许志浩, 郑诗泉, 康兵, 等. 基于三相自搜寻比较法的电气设备过热故障识别方法[J]. 红外技术, 2021, 43(11): 1112-1118.

XU Zhihao, ZHENG Shiquan, KANG Bing, et al. Overheat fault identification method for electrical equipment based on three-phase self-searching comparison method[J]., 2021, 43(11): 1112-1118.

[6] Rahmani A, Haddadnia J, SeryasatO. Intelligent fault detection of electrical equipment in ground substations using thermo vision technique[C]//2010 2, 2010: V2-150-V2-154.

[7] LIN K C, LAI C S. Fault recognition system of electrical components in scrubber using infrared images[C]//, 2003: 1303-1310.

[8] 王晶, 姚邹静, 赵春晖. 基于红外图像时空特征的电力设备故障诊断[J]. 控制工程, 2021, 28(8): 1683-1690.

WANG Jing, YAO Zoujing, ZHAO Chunhui. A fault diagnosis method for power equipment based on spatiotemporal features of infrared images[J]., 2021, 28(8): 1683-1690.

[9] 李文璞, 谢可, 廖逍, 等. 基于Faster RCNN变电设备红外图像缺陷识别方法[J]. 南方电网技术, 2019, 13(12): 79-84.

LI Wenpu, XIE Ke, LIAO Xiao, et al. Intelligent diagnosis method of infrared image for transformer equipment based on improved faster RCNN[J]., 2019, 13(12): 79-84.

[10] 王旭红, 李浩, 樊绍胜, 等. 基于改进SSD的电力设备红外图像异常自动检测方法[J]. 电工技术学报, 2020, 35(S1): 302-310.

WANG Xuhong, LI Hao, FAN Shaosheng, et al. Infrared image anomaly automatic detection method for power equipment based on improved single shot multi box detection[J].2020, 35(S1): 302-310.

[11] 郑含博, 李金恒, 刘洋, 等. 基于改进YOLOv3的电力设备红外目标检测模型[J]. 电工技术学报, 2021, 36(7): 1389-1398.

ZHENG Hanbo, LI Jinheng, LIU Yang, et al. Infrared object detection model for power equipment based on improved YOLOv3[J]., 2021, 36(7): 1389-1398.

[12] 黄新宇, 张洋, 王黎明, 等. 基于Mask-RCNN算法的复合绝缘子串红外图像分割与温度读取[J]. 高压电器, 2021, 57(9): 87-94.

HUANG Xinyu, ZHANG Yang, WANG Liming, et al. Infrared image segmentation and temperature reading of composite insulator strings based on mask⁃RCNN algorithm[J]., 2021, 57(9): 87-94.

[13] 李文璞, 毛颖科, 廖逍, 等. 基于旋转目标检测的变电设备红外图像电压致热型缺陷智能诊断方法[J]. 高电压技术, 2021, 47(9): 3246-3253.

LI Wenpu, MAO Yingke, LIAO Xiao, et al. Intelligent diagnosis method of infrared image for substation equipment voltage type thermal defects based on rotating target detection [J]., 2021, 47(9): 3246-3253.

[14] 刘云鹏, 张喆, 裴少通, 等. 基于深度学习的红外图像中劣化绝缘子片的分割方法[J]. 电测与仪表, 2022, 59(9): 63-68.

LIU Yunpeng, ZHANG Zhe, PEI Shaotong, et al. Faulty insulator segmentation method in infrared image based on deep learning[J]., 2022, 59(9): 63-68.

[15] 袁刚, 许志浩, 康兵, 等. 基于DeepLabv3+网络的电流互感器红外图像分割方法[J]. 红外技术, 2021, 43(11): 1127-1134.

YUAN Gang, XU Zhihao, KANG Bing, et al. Deep Labv3+ network-based infrared image segmentation method for current transformer[J]., 2021, 43(11): 1127-1134.

[16] 谷世举, 卜雄洙, 靳建伟, 等. 基于改进Unet网络的炮口火焰分割方法[J]. 国外电子测量技术, 2021, 40(4): 16-21.

GU Shiju, BU Xingzhu, JIN Jianwei, et al. Muzzle flame segmentation method based on improved Unet network[J]., 2021, 40(4): 16-21.

[17] CHEN Z, ZHU H. Visual quality evaluation for semantic segmentation: subjective assessment database and objective assessment measure[J]., 2019, 28(12): 5785-5796.

Deep Residual UNet Network-based Infrared Image Segmentation Method for Electrical Equipment

LIU He1，ZHAO Tiancheng1，LIU Junbo1，JIAO Lixin1，XU Zhihao2，YUAN Xiaocui2

(1.,130021,;2.,,330099,)

Infrared thermal image processing is an effective method for detecting defects in electrical equipment. Aiming at the problem of electrical equipment segmentation in infrared thermal images with a complex background, in this study we propose a deep residual UNet network for infrared thermal image segmentation. Using a deep residual network to replace VGG16 to perform feature extraction and coding for the UNet network, a deep residual series UNET network was constructed to segment electrical equipment. To validate the effectiveness of the Res-UNet network, infrared images, including current transformers and circuit breakers, were used to test the segmentation results and were compared with the traditional UNet and Deeplabv3+ networks. The networks were tested using 876 images. The experimental results show that RES18-UNET can accurately segment electrical equipment; the segmentation precision of current transformers and circuit breakers is greater than 93%, and the mean intersection over union (MIoU) is greater than 89%. Our method obtains more accurate segmentation results than UNet and Deeplabv3+, setting the basis for intelligent diagnosis of electrical faults.

infrared image, electrical fault diagnosis, image segmentation, UNet

TN219；TM452

A

1001-8891(2022)12-1351-07

2022-03-25；

2022-04-29.

刘赫（1984-），男，吉林长春人，高级工程师，研究方向为电力设备故障检测与诊断。E-mail: liuhehe1984@163.com。

赵天成（1992-），男，吉林长春人，工程师，硕士，研究方向为电力设备故障检测与诊断。E-mail: 583107503@qq.com。

国网吉林省电力有限公司揭榜挂帅项目（2021JBGS-06）。