基于多模态图像信息的变电设备红外分割方法

张志超，左雷鹏，邹 捷，赵耀民，宋杨凡

基于多模态图像信息的变电设备红外分割方法

张志超1，左雷鹏1，邹 捷1，赵耀民1，宋杨凡2

（1. 国网保定供电公司，河北 保定 071000；2. 华北电力大学 动力工程系，河北 保定 071000）

无人机拍摄下的红外图像中变电设备的分割精度直接影响着热故障诊断的结果，针对复杂红外背景下变电设备分割精度低的问题，提出了一种融合可见光和红外图像的多模态路径聚合网络（Multimodal Path Aggregation Network, MPAN）。首先提取并融合两种模态图像的特征，考虑到两种模态图像的特征空间存在差异，提出了自适应特征融合模块（Adaptive Feature Fuse Module, AFFM），以充分融合两种模态特征；对具有多尺度特征的主干网络增加自底向上的金字塔网络，并对横向连接的路径增强模块引入自注意力机制；最后使用dice系数优化掩膜损失函数。实验结果表明，多模态图像的融合能够增强分割性能，且验证了提出各模块的有效性，该模型能够显著提高红外图像中变电设备实例分割的准确率。

实例分割；变电设备；红外图像；可见光图像；自适应特征融合模块；自注意力机制；dice系数

0 引言

变电站中的变电设备在长期运行过程中，可能会产生各种内生缺陷[1]。在变电站中，红外热成像技术作为变电设备最常见的状态监测方法之一，常用于监测变电设备温度的异常升高以及由于过热而导致的故障[2]。由于，变电设备发生严重故障时通常伴随着温度的急剧上升，因此快速、准确地监测此类热现象极为重要。为了最大限度地减少在变电站现场对变电设备进行热故障监测所花费的时间，通常是对于获取的变电设备红外图像进行离线分析，但是这种方法对于即将发生的故障会存在发现不及时，甚至被完全错过的问题。虽然目前无人机被用于采集变电站现场的实时红外图像，但是对于变电设备实现现场在线诊断仍未能实现，使得工作人员的绝大部分时间都花在基于经验的目标筛选、案例比较和人工诊断，效率低下。

近几年随着人工智能技术的快速发展，利用智能算法对变电设备进行在线诊断成为可能[3-5]。但是在利用红外设备对变电设备进行热成像时，存在背景温度信息复杂的情况，因此可以考虑先从红外热图中对目标设备进行识别并提取轮廓，之后利用目标的温度信息实现故障诊断。所以对目标设备提取的准确性直接影响着故障诊断的结果。

为了准确地提取出红外图像中的变电设备，众多的研究学者做出了大量贡献。王小芳等人利用线性谱聚类（Linear Spectral Clustering Algorithm, LSC）算法对红外图像进行超像素分割，并结合Otsu算法与MSRM超像素算法，实现红外图像中电力设备的提取[6]。王晓飞等人针对电力设备红外图像，设计了一种引入高斯模型的空间分布信息的IFCM算法，并利用局部空间分布信息与直觉模糊距离解决边缘模糊和图像强度不均匀的问题[7]。冯振新等人提出了一种局部区域Mediodshift聚类算法，实现了电力设备红外图像中热故障区域的提取[8]。然而在真实的红外场景中，变电设备的尺寸不一并且缺少纹理性信息，这些传统图像处理技术的鲁棒性较差，对于红外图像中的目标区域识别性能较差。

近几年，基于卷积神经网络（Convolutional Neural Network, CNN）及其扩展框架的计算机视觉技术取得了重大进展。这种基于深度特征提取技术的现代图像处理技术，相比于传统方法具有更高的准确性。刘云鹏等人构建多尺度特征融合的全卷积神经网络，实现了红外图像中劣化绝缘子片的分割提取[9]。吴克河等人提出了基于Mask R-CNN的电力设备红外图像分割方法，并引入迁移学习的机制解决训练样本少的问题[10]。李文璞等人基于改进的R3Det模型对瓷套进行检测，以减少复杂背景的干扰，并通过三相检测框检测同类设备，计算同类设备的温差最终基于温差阈值法对电压致热型设备进行缺陷诊断[11]。

以上工作分别从不同的方向实现了红外图像中目标的提取，但仅仅针对红外图像中变电设备的特征进行提取，而红外图像经常出现细节模糊、噪声大、视觉效果差等问题，丢失了设备在可见光图像中丰富的纹理细节信息。图1为对同一场景拍摄得到的可见光图像和红外图像，直观地展示了可见光图像和红外图像的优缺点：可见光图像清晰地显示了行人等目标的纹理，但是在房屋内的人由于光线阴暗无法在图像中显示。红外图像中灰度值较高处显示了房屋内的人，但是树枝、自行车和行人等细节特征丢失严重。

图1 同一场景拍摄的可见光图像与红外图像

针对可见光图像与红外图像中的多模态图像信息没有充分利用的问题，我们提出了多模态路径聚合网络，首先在网络输入端引入多模态图像信息，并通过自适应特征融合模块融合两种不同模态的信息；然后对获得的多尺度特征构建横向连接、自下而上的特征金字塔，以获得高阶特征图中的语义信息与低阶特征图中的纹理信息，在横向连接的路径增强结构中引入注意力机制，以保留特征丰富的语义信息并抑制噪声；最后通过dice系数优化网络掩码部分的损失函数，使网络关注边界信息，提高分割变电设备掩码的准确度。

1 方法与模型

YOLACT（You Only Look at Coefficients）[12]是一种具有代表性的单阶段实例分割算法，具有较快的速度和精度，并能应用于实时图像处理过程。该模型通过两个并行的分支来完成实例分割任务：第一个分支通过Protonet产生一系列独立于单一实例原型掩膜；第二个分支在检测分支上添加额外的head预测mask系数，以用于编码一个实例在原型mask空间的表示，最后将经过非极大值抑制（Non-Maximum Suppression，NMS）得到每个实例。对NMS处理结果和Protonet的输出进行线性组合运算，得到最终的检测结果。文中工作基于YOLACT，主干网络采用ResNet，并对其主干网络部分的结构进行改进，提出了MPAN模型，其总体架构如图2所示。

1.1 多模态特征自适应融合

由于不同模态数据的差异性，在输入端直接加权合并多模态数据的所有通道信息，网络模型表现并不好，有的甚至不如单模态信息作为输入的网络[13]。因此我们提出了自适应特征融合模块，保留红外图像的辐射特征和可见光图像的纹理特征，以增强模型对于变电设备实例分割任务的精度，自适应特征融合模块（Adaptive Feature Fuse Module, AFFM）如图3所示。

首先，对可见光图像和红外图像的特征图进行求和操作，然后通过元素乘法、通道级联和卷积多种操作以获得如下互补特征。

式中：Cat代表级联；Ä代表元素乘法；Conv1×1代表1×1卷积；V和I分别代表可见光图像和红外图像的多尺度特征。

对于互补特征F，我们使用残差模块获得更深层次的语义信息。

式中：CBR卷积模块包括3×3卷积，批归一化层（Batch Normalization, BN）和修正线性单元（Rectified Linear Unit, ReLU）。

我们使用空洞空间金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）[14]，以扩大特征的感受野，并提取具有代表性的全局上下文特征，然后使用3×3卷积提取融合特征，具体公式如下：

式中：分别由扩张率为6,12,18,24的扩张卷积对特征进行操作获取。自适应特征融合模块能够对不同模态的特征进行优势互补，融合特征Fn, n＝1,2,3,4,5对于后续实例分割任务更加准确。

1.2 基于注意力机制的特征金字塔特征提取网络

卷积神经网络在进行特征提取时，低阶特征更关注纹理信息，而高阶特征则包含更多的语义信息。特征金字塔网络（Feature Pyramid Networks, FPN）通过构造具有金字塔分层结构的深度卷积网络，形成多尺度特征金字塔[15]，能够解决高低阶特征图中语义与纹理信息间的矛盾，实现不同尺度特征间的有效融合。然而传统的FPN结构仅通过简单的加权方式对金字塔网络进行融合，这种操作不能很好地整合特征图之间的非线性关系[16]。因此为了在进行端到端的学习时更有效地提取变电设备的特征，我们将注意力机制引入到横向连接的路径增强模块中，使得特征在向前传播时能够保留其丰富的语义信息并抑制噪声，提高检测精度，如图2。注意力机制由通道自注意力机制与空间自注意力机制组成，其结构如图4所示。

图4中，输入特征∈R××W分别通过通道自注意力以及空间自注意力，并进行融合得到输出特征∈R××W。通道自注意力能够提取不同通道层之间隐含的关系特征，这些关系特征与场景中的深度语义信息密切相关。而空间自注意力通过对上下文信息进行编码，增强局部特征的表示能力。

其中输入特征∈R××W在通过通道自注意力机制时，首先调整其维度为R×(H×W)，并与其转置进行矩阵乘法，再通过Softmax运算得到权重张量∈R×，其运算过程如下：

式中：P表示第个通道与第个通道的关系。

式中：为可学习的权重参数。在网络训练前，进行随机初始化，随着网络的学习，对参数进行迭代更新。

空间自注意力机制的操作类似于通道自注意力机制。我们在算法1中给出了整个注意力机制的伪代码。

算法1：注意力机制

输入：输入特征图ÎR×H×W；

输出：输出特征图ÎR×H×W。

1）调整的维度为1Î(H×W)×C；调整的维度为2ÎR×(H×W)；

2）将1与2进行矩阵乘法，并通过Softmax操作得到权重ÎR×C；

3）将权重与2进行矩阵乘法运算，并乘以可学习的超参数后与相加，得到通道自注意力机制的输出特征CAÎR×H×W；

图4 AFFM结构图

7）将权重与4进行矩阵乘法运算，并乘以可学习的超参数后与3相加得到特征；

8）将特征通过多通道卷积层，得到空间自注意力机制的输出SAÎR×H×W；

9）将特征CA与特征SA逐元素相加进行特征融合，得到最终的输出。

1.3 损失函数优化

YOLACT的损失函数主要由3部分组成，其损失函数为：

YOLACT＝class＋box＋mask(7)

式中：class为分类损失函数；box为预测框损失函数；mask为掩膜损失函数。掩膜损失函数mask由二元交叉熵进行计算，对应的损失函数公式为：

对目标分割的精度决定了后续故障诊断的准确性，而我们对网络进行端到端的训练时，往往忽略了目标的边缘信息，但是边缘信息对于实例分割非常重要，边缘信息能够很好地表征实例。原始YOLACT的掩膜损失分支在预测时忽略了边界信息，实验中会出现边缘检测不准确的现象，从而影响掩码的准确度[17]，因此我们引入dice系数，增强网络对边界信息的敏感性，对掩码部分的损失函数进行优化，将二值交叉熵与dice系数之和作为新的掩膜损失函数，公式如下：

mask_dice＝mask＋dice(9)

式中：为准确率；为召回率；为准确率和召回率之间的平衡系数，其中取值为1，表示准确率和召回率同等重要。

2 实验结果及分析

2.1 数据集及数据增强

文中模型所使用的红外图像数据集来源于北方某市供电局在巡检时通过FLIR红外热成像仪拍摄的图像，该数据集包含绝缘子、套管和电流互感器3类变电设备，共3096张红外图像，且该红外图像数据集具有对应的可见光图像。在模型训练时，训练集和验证集的划分比例为4:1。该数据集均通过labelme标注工具进行标注，3类变电设备的红外图像及可见光图像如图5所示，变电设备的数量如表1所示。

图5 变电设备可见光图像（上）及红外图像（下）

表1 变电设备名称及数量

由于文中采用的数据集规模较小，深度神经网络在训练过程中易出现过拟合现象，因此我们通过数据增强算法以增强网络的泛化性能。文中所采用的数据增强方法如下：

1）随机翻转，对原始图像以50%的概率在水平方向进行随机翻转。

2）颜色抖动，将原始图像的亮度、饱和度以及对比度进行随机变化。

3）随机旋转，对原始图像进行随机旋转，旋转的角度为－10°～＋10°。

2.2 评价指标

为了全面客观地评价改进算法的有效性，我们通过平均精度均值（Mean Average Precision, mAP）以及平均召回率均值（Mean Average Recall, mAR）对其性能进行评估。mAP和mAR分别是由不同交并比（Intersection Over Union, IOU）下的平均精度（Average Precision, AP）和平均召回率（Average Recall, AR）取均值得到，而AP和AR由精确率（Precision, P）和召回率（Recall, R）的PR曲线计算得出。Precision和Recall的计算公式如下：

式中：TP表示期望为正样本，实际识别也为正样本；FP表示期望为正样本，实际识别为负样本；FN表示期望为负样本，实际识别为正样本。

2.3 实验步骤与结果

2.3.1 网络训练

文中实验的模型通过Pytorch深度学习框架搭建，并使用显存为11GB的GTX1080Ti显卡对模型进行训练，使用SGD优化器来优化端到端的MPAN，其中初始的学习率为0.001，权重衰减参数和分别设置为0.9和0.999，batch size设为2，训练周期一共60个epoch，每隔10个epoch就将学习率衰减为原来的10%。

2.3.2 不同算法实验对比

为验证文中方法对变电设备实例分割的有效性，将文中方法与现阶段先进的实例分割方法在相同数据集上进行实验对比，进行对比的方法包括Mask R-CNN、PANet、YOLACT，同时文中还在不同主干网络下进行对比，以验证文中方法具有的泛化性。同时为验证多模态图像作为输入的优越性，实验设置输入单光源图像进行对比：仅输入可见光图像（MPAN-RGB）或红外图像（MPAN-INFRARED）。mAP和mAR作为实验的评价指标，其中mAP和mAR的值越大，说明算法的分割效果越好。

实验结果如表2所示，从表2中可以看出，提出的方法相比于其他实例分割方法的mAP和mAR具有显著提升，且mAP和mAR最高分别达到了65.89%和67.76%。在表2中，基于ResNet-101主干网络的MPAN算法比基于ResNet-101主干网络的YOLACT基线算法的mAP和mAR提高了3.57%和3.85%，证明了改进算法的有效性。同时，基于ResNet-101主干网络的MPAN方法优于MPAN-RGB和MPAN-INFRARED，证明了应用多模态信息融合作为输入对于变电设备实例分割任务的重要性。

为了更加直观地展示我们提出算法的有效性，图6展示了YOLACT算法和MPAN算法对于红外图像中变电设备的分割效果对比。由图6可以看出，YOLACT算法对于目标的识别存在错检，而MPAN算法能够准确地检测出图中的变电设备，并且拥有较高的置信度，MPAN算法对于边缘信息能够更好地保留，说明了我们算法改进的有效性。

表2 不同算法的mAP和mAR指标对比

2.3.3 算法消融实验

为了进一步分析提出的网络模型中改进策略的有效性，对改进策略提高网络模型性能的效果进行消融实验。当不采用ADDM时，即两种模态信息进行直接加权融合；当不采用Attention时，即横向连接的特征直接进行加权融合；当不采用mask_dice时，掩膜损失函数即为原始二值交叉熵损失函数。

从表3中可以看出，对网络添加不同策略后mAP和mAR均有所提升。添加ADDM后，mAP和mAR提高了2.15%和1.88，说明ADDM能够有效地将两种不同模态特征进行自适应融合；添加Attention模块后mAP和mAR提高了1.75%和1.62%，Attention模块引入横向连接的路径增强模块时，通过通道自注意力机制和空间自注意力机制能够加强特征的语义信息，并有效抑制冗余噪声；对掩模损失函数进行优化后，mAP和mAR指标也均有所提升，说明dice系数的引入能够加强模型对边界信息的关注程度。当应用所有改进策略时，mAP和mAR最高为65.89%和67.76%，说明了我们提出的方法的有效性。

2.3.4 数据增强实验

为验证文中所采用的数据增强方法在变电设备分割任务的有效性，对MPAN模型进行消融实验。从表4中可以看出，当使用3种数据增强方法时，mAP和mAR均取得最优值，分别为65.89%和67.76%，相比于不使用数据增强方法分别提升了1.21%和1.39%，证明了数据增强方法能够增强数据的多样性，提升模型对分割任务的性能。在表4中，当仅使用颜色抖动方法时，模型的性能相较于基准模型有所下降，其原因是红外图像在经过颜色抖动后，图像中原有目标的特征信息有所改变，甚至消失，会影响模型对于目标特征的学习，进而导致精度下降。

表3 改进策略消融分析定量比较结果

表4 数据增强消融分析定量比较结果

3 结论

针对红外图像中变电设备的检测存在精度低，并且没有充分引用多模态图像信息的问题，提出了多模态路径聚合网络。经过理论和实验验证，得出以下结论：

1）在网络输入端通过自适应特征融合模块融合两种不同模态的信息，以获取不同模态信息的优势特征。

2）对于融合得到的多尺度特征，通过构建横向连接的自底向上的特征金字塔，并在路径增强模块增加注意力机制，提高网络对特征的提取能力，使其同时具有深层的语义信息和低层的纹理信息。

3）对掩膜损失分支的损失函数添加dice系数进行优化，增强网络对边缘信息的敏感性，使得边缘分割更加精细。

[1] 李莉, 熊炜, 陆冬梅, 等. 输变电设施可靠性评估中设备故障率预测方法研究[J]. 电测与仪表, 2015, 52(3): 37-41. LI Li, XIONG Wei, LU Dongmei, et al. Study on the prediction method for failure rate in the reliability evaluation of power transmission and transformation facility[J]., 2015, 52(3): 37-41.

[2] 裴少通, 刘云鹏, 陈同凡, 等. 基于BOA-SVM的劣化绝缘子红外图谱诊断方法[J].电测与仪表, 2018, 55(24): 11-16. PEI Shaotong, LIU Yunpeng, CHEN Tongfan, et al. Infrared spectrum diagnosis method of deteriorated insulators based on BOA-SVM[J]., 2018, 55(24): 11-16.

[3] 陈铁, 吕长钦, 张欣, 等. 基于KPCA-WPA-SVM的变压器故障诊断模型[J]. 电测与仪表, 2021, 58(4): 158-164. CHEN Tie, LYU Changqin, ZHANG Xin, et al. Transformer fault diagnosis model based on KPCA-WPA-SVM[J]., 2021, 58(4): 158-164.

[4] Furse C M, Kafal M, Razzaghi R, et al. Fault diagnosis for electrical systems and power networks: A review[J]., 2020, 21(2): 888-906.

[5] Ferreira V H, Zanghi R, Fortes M Z, et al. A survey on intelligent system application to fault diagnosis in electric power system transmission lines[J]., 2016, 136: 135-153.

[6] 王小芳, 毛华敏. 一种复杂背景下的电力设备红外图像分割方法[J]. 红外技术, 2019, 41(12): 1111-1116. WANG Xiaofang, MAO Huamin. Infrared image segmentation method for power equipment in complex background[J]., 2019, 41(12): 1111-1116.

[7] 王晓飞, 胡凡奎, 黄硕. 基于分布信息直觉模糊c均值聚类的红外图像分割算法[J].通信学报, 2020, 41(5): 120-129. WANG Xiaofei, HU Fankui, HUANG Shuo. Infrared image segmentation algorithm based on distribution information intuitionistic fuzzy c-means clustering[J]., 2020, 41(5): 120-129.

[8] 冯振新, 许晓路, 周东国, 等. 基于局部区域聚类的电力设备故障区域提取方法[J]. 电测与仪表, 2020, 57(8): 45-50. FENG Zhenxin, XU Xiaolu, Zhou Dongguo, et al. Extraction method of power device fault region based on local clustering algorithm[J]., 2020, 57(8): 45-50.

[9] 刘云鹏, 张喆, 裴少通, 等. 基于深度学习的红外图像中劣化绝缘子片的分割方法[J]. 电测与仪表, 2022, 59(9): 63-68, 118. Doi: 10.19753/j.issn1001-1390.2022.09.009. LIU Yunpeng, ZHANG Zhe, PEI Shaotong, et al. Faulty insulator segmentation method in infrared image based on deep learning[J]., 2022, 59(9): 63-68, 118. Doi: 10.19753/j.issn1001-1390.2022.09.009.

[10] 吴克河, 王敏鉴, 李渊博. 基于Mask R-CNN的电力设备红外图像分割技术研究[J].计算机与数字工程, 2020, 48(2): 417-422. WU Kehe, WANG Minjian, LI Yuanbo. Research on infrared image segmentation technology of power equipment based on Mask R-CNN[J]., 2020, 48(2): 417-422.

[11] 李文璞, 毛颖科, 廖逍, 等. 基于旋转目标检测的变电设备红外图像电压致热型缺陷智能诊断方法[J].高电压技术, 2021, 47(9): 3246-3253. LI Wenpu, MAO Yingke, LIAO Xiao，et al. Intelligent diagnosis method of infrared image for substation equipment voltage type thermal defects based on rotating target detection[J]., 2021, 47(9): 3246-3253.

[12] BOLYA D, ZHOU C, XIAO F, et al. YOLACT: real-time instance segmentation[J/OL]., 2019, https://arxiv.org/abs/1904.02689 2019: 1904-2689.

[13] 田乐, 王欢. 引入独立融合分支的双模态语义分割网络[J]. 计算机工程, 2022, 48(8): 240-248, 257. Doi: 10.19678/j.issn.1000-3428.0062066. TIAN Le, WANG Huan. Dual-modal semantical segmentation network by involving independent fusion branch[J]., 2022, 48(8): 240-248, 257. Doi: 10.19678/j.issn.1000-3428.0062066.

[14] CHEN L C, Papandreou G, Kokkinos I, et al. DeepLab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]., 2018, 40(4): 834-848

[15] LIN T, DOLLÁR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//(CVPR), 2017: 936-944, Doi: 10.1109/CVPR. 2017.106.

[16] 胡志伟, 杨华, 娄甜田. 采用双重注意力特征金字塔网络检测群养生猪[J].农业工程学报, 2021, 37(5): 166-174. HU Zhiwei, YANG Hua, LOU Tiantian. Instance detection of group breeding pigs using a pyramid network with dual attention feature[J]., 2021, 37(5): 166-174.

[17] CHENG B, Girshick R, Dollár P, et al. Boundary IoU: improving object-centric image segmentation evaluation[J/OL]., 2021: 2103-16562. https://arxiv.org/abs/2103. 16562.

Segmentation Method of Substation Equipment Infrared Image Based on Multimodal Image Information

ZHANG Zhichao1，ZUO Leipeng1，ZOU Jie1，ZHAO Yaomin1，SONG Yangfan2

(1. StateGrid Baoding Electric Power Supply Company, Baoding 071000, China; 2. Department of Power Engineering, North China Electric Power University, Baoding 071000, China)

The segmentation accuracy of substation equipment in infrared images captured by a UAV directly affects the results of thermal fault diagnosis. We proposed a multimodal path aggregation network (MPAN) that fuses visible and infrared images to address the problem of low segmentation accuracy of substation equipment in complex infrared backgrounds. First, we extracted and fused the features of two modal images, and considering the differences in the feature space of the two modal images, we proposed the adaptive feature fuse module (AFFM) to fuse the two modal features fully. We added a bottom-up pyramid network to the backbone with multi-scale features and a laterally connected path enhancement. Finally, we used dice coefficients to optimize the mask loss function. The experimental results showed that the fusion of multimodal images can enhance the segmentation performance and verify the effectiveness of the proposed modules, which can significantly improve the accuracy of the segmentation of substation equipment instances in infrared images.

instance segmentation, substation equipment, infrared image, visible image, adaptive feature fusion module, self-attention mechanism, dice coefficient

TP391.4

A

1001-8891(2023)11-1198-09

2022-03-23；

2022-06-11.

张志超（1982-），男，高级工程师，主要研究方向为变电检修。E-mail: bd_zzc@163.com。

国网河北省电力有限公司科技项目资助（kj2019-027）。