基于MST框架的PCNN输电线路红外热故障区域提取方法

葛黄徐，郑 雷，江 洪，郭一凡，周东国

基于MST框架的PCNN输电线路红外热故障区域提取方法

葛黄徐1，郑 雷2,3，江 洪1，郭一凡1，周东国4

（1. 国网浙江省电力有限公司嘉兴供电公司，浙江 嘉兴 314599；2. 国网电力科学研究院武汉南瑞有限责任公司，湖北 武汉 430074；3. 南瑞集团有限公司，江苏 南京 211106；4. 武汉大学 电气与自动化学院，湖北 武汉 430072）

针对输电线路电气设备红外热故障检测，提出采用一种基于最大相似度阈值（Maximum Similarity Thresholding, MST）的脉冲耦合神经网络（Pulse-coupled neural Network, PCNN）红外图像热故障区域提取方法。在该方法中，利用脉冲耦合神经元对相似的邻域神经元同步点火特性，通过引入最大相似度阈值框架，简化了PCNN模型的阈值设置机制。同时，针对相似邻域神经元的同步点火特性，采用最小聚类方差设置连接系数，使得PCNN模型在自适应迭代下最终获取热故障区域。最后通过真实输电线路电气设备红外故障图像测试，验证了文中所提方法的有效性和适用性，为PCNN模型的推广应用奠定了基础。

MST框架；脉冲耦合神经网络；输电线路；红外图像；聚类

0 引言

在电力输电线路巡检中，红外成像技术作为探测设备故障的远距离检测的重要工具，具有检测非接触式、安全性强、准确率高以及操作简便等优点[1]。然而，因巡检人员针对现场环境，需要实时录入检测到的故障信息等，不仅加长其巡检时间，且极易出现漏检、误录入等情况[2-3]，使得巡检效率受到了不同程度的影响。

目前，图像处理技术作为辅助手段已经成为提升巡检自动化水平的重要一环。随着巡检无人机以及无人车在电力公司、电网公司的大力推广使用，红外图像处理技术越来越受到关注。众所周知，红外辐射能量的强弱是与物体表面温度大小密切相关的，当物体表面温度越高，其红外辐射强度越大，所体现在红外图像上的灰度值也越大。一般而言，输电线巡检中的电气设备，其故障大多以高温、高热特性为主，为红外图像故障检测提供了潜在的区分特性。早期，阈值划定故障界限通常是研究人员最为关注的一种解决方法。例如，在文献[4]中，提出一种采用经典的最大类间方差法（Otsu）自适应阈值图像分割方法，显然对于温差比较大的区域而言，这种方式简单高效。文献[5]提出了一种新型阈值的选择方法，该方法对目标图像先拟合具有个相邻点的线性模型计算斜率差的变化趋势，通过在斜率差分布谷值中挑选适合不同类型故障区域的最佳阈值，以及利用形态学迭代腐蚀提取目标区域。针对红外图像背景复杂、信噪比低，文献[6]提出了一种基于Otsu和区域生长相结合的故障分割方法，较好地提取出故障区域。实际上，区域生长是一种类似聚类的方法。基于此，文献[7]提出了采用基于加权切比雪夫距离的K-means算法对输电线路上的变电站电气设备红外图像进行分割。进一步地，文献[8]中提出了基于PCNN分层聚类迭代的故障区域自动提取方法，该方法需要通过设置PCNN模型内在参数并引入聚类机理，从而获得较高的故障区域提取性能。此外，针对不同的红外场景图像，也涌现出了一系列图像处理算法[9-13]。

然而，针对输电线上不同红外对象以及不同场景的红外图像，现有的一些算法适应性都在一定程度上具有局限，其主要体现在红外图像的特性上，例如故障区域的大小以及灰度分布范围。通常，故障区域较小，阈值的选择往往会偏向于低灰度值[14]；灰度分布范围过大，则会将背景中的其他区域产生混叠，增加了阈值选择难度。其次，故障区域与非故障区域存在一定的边界，使得阈值机制得不到发挥。基于此，本文提出采用一种基于最大相似度阈值框架，并融合脉冲耦合神经元同步点火机制，使得脉冲耦合神经网络（Pulse-coupled neural network）阈值以及参数得到进一步优化，从而使PCNN模型具有更好的图像处理能力。最后通过真实电力设备红外图像验证本文方法的有效性。

1 MST框架

针对红外图像，灰度阈值分割机制通常具有高效性，便于快速检测，其中最大相似度阈值（Maximum Similarity Thresholding，MST）[15]机制起源于Otsu算法。不失一般性，可将Otsu算法规则定义为：

式中：(,())表示对原始图像提取的图像信息和在阈值下获得的图像信息()之间的相似度度量，即：

式中：x和w分别对应图像和中第个像素值；和表示图像和的均值。从式中不难看出，当＝1时表示当图像和相同；相反，其值越小，代表差异越大，即越不相似。

考虑到不同的相似度度量函数对图像处理性能的差异性，例如Otsu方法，采用的类间方差最大或类内方差最小的原则建立阈值选择机制。然而，在式(1)直接度量下，极易发生阈值偏移引发欠分割或过分割。为了增强相似度度量的普适性，MST框架定义为：

式中：和表示转换函数，通常在实际图像处理中，转换函数和需要做相应的设置。不同的转换函数，其处理的结果必然存在一定的差异性，这也使得模型变得更加灵活。

2 MST框架下PCNN红外图像分割模型

2.1 PCNN简化模型

脉冲耦合神经网络模型（PCNN）[16-17]作为第三代神经网络，其内在的同步点火特性受到了国内外学者的青睐，特别是在图像分割、区域提取等领域，PCNN模型可以通过一定程度的简化，配合内在参数的优化，使得模型的有效性和适用性大大提升。图1为一种经典的简化PCNN模型[16]。

在图1中，这种经典的PCNN模型中输入层、耦合层以及脉冲发放层是一个循环级联的架构，神经元其内在活动激励随着迭代不断调节，直到神经元同步发放脉冲不再变化为止。因此，相比于其他神经网络图像处理，其不再需要训练和学习，只需要内在参数的调节，即可获得最终的输出。

图1 PCNN简化模型图

其次，耦合层调节当前点火神经元的邻域神经元的活动项，这种机制有助于将具有相同特性的神经元进行聚类，从而便于分割图像区域。

此外，脉冲发放层是阈值分割机制的体现，是提升图像处理效率较为关键的一个环节，在一定程度上最终奠定了图像的分割结果。

为了更好地描述图1的PCNN简化模型，输入层由反馈输入Y和外部激励I组成，其中外部输入I与图像区域中第个像素的灰度值一一对应，即：

而反馈输入Y通过内在的权重W，形成连接输入L：

式中：代表迭代次数索引；为神经元和之间的连接权系数矩阵。通常，相邻神经元欧氏距离的倒数作为权重系数值[16]，即：

在耦合层，连接输入和外部输入通过线性耦合方式调节邻域神经元内在活动项U：

U[]＝F[]{1＋L[]} (7)

式中：为连接强度系数。

由于PCNN的迭代结果的输出最终由阈值进行控制。在阈值调节机制上，更多考虑区域特性以及熵等规则[8,16]。通常，可将阈值设置为：

连接系数，其主要作用是调节邻域神经元的内部活动激励，如式(7)所示。为了能够捕获邻域相似神经元，本文采用聚类方差最小方式设置系数：

式中：0表示当前点火区域的8邻域像素，即为具备内在激励的神经元；1表示未点火区域的8邻域像素；0()和1()分别代表未点火区域和点火区域在当前迭代时刻的均值。由此，通过搜素值，使得式(9)具有最小值，代表局部区域神经元聚类方差最小。

然后，通过阈值机制，得到脉冲输出：

即当内部活动项U大于阈值时，神经元点火，输出脉冲；反之，输出值Y[]为零。

此外，关于迭代次数的选择，在现有的一些文献中[16]，通常依赖于判断规则，即在PCNN脉冲输出序列中寻找判断规则决定最佳的脉冲输出。然而，这种规则的好坏，决定了最终的提取结果。

2.2 MST框架下的PCNN模型阈值的改进

在阈值部分，PCNN模型通常采用式(8)所示的阈值估计，即采用区域的均值替代估计，从而使得PCNN模型在迭代过程中能够合理地将邻域相似的神经元进行聚类。然而，由于红外图像边界的模糊性，容易引起低灰度值的像素进行聚类，从而引起均值[]发生偏差，使得迭代过程变得冗长，并导致最终得不到较好的分割结果。

为此，本文采用MST框架，对PCNN阈值设置进行优化，利用式(3)的优化方式替代式(8)的阈值，即：

考虑到红外图像中故障区域与非故障区域存在边界，因此将转换函数选择为梯度边界函数：

式中：*表示卷积；Ñ为梯度算子；表示尺度大小；为高斯函数：

由此可以看出，当图像经T变换后，得到的结果与图像中梯度信息密切相关。显然，区域分割结果的变换函数要求具备边界信息。本文采用形态学算子对分割后的二值图像进行处理，则得到：

()＝－(Q) (14)

式中：为阈值下的二值图像；为形态学算子（4邻域）；Q表示腐蚀算子。

为了便于实现，图2给出了整个算法的处理流程，最终通过选择最大相似度的PCNN时间序列输出作为故障区域提取结果。

图2 算法流程框图

3 实验结果及分析

为了验证文中方法的图像处理性能，图3给出了5幅在输电线路巡检中获取的具有代表性的红外图像及其梯度图像，并与经典的Otsu，MST[15]以及现有的PCNN模型[8]进行比较，所有算法均在Intel(R) Core(TM) i5 CPU 4GB内存PC机Matlab (2010b)上编程实现。

图4～图10分别给出了Otsu、MST、现有的PCNN模型以及本文PCNN模型得到的结果图。由于经典的Otsu算法阈值的选取依赖于类内方差最小或类间方差最大原则，因此，得到的阈值并不与图像边界等特征信息有关联，使得其分割结果与期望结果产生偏差，如图4所示。而MST方法在此基础上融入了相似度法则，经过T变换和H变换，再通过相似度来选择阈值，使得阈值的选择融合了图像的边界以及区域特性，相对来讲，这种方式有利于提取具有边界的目标区域。然而，对于红外图像，得到的结果更倾向于分离背景，而实际的故障区域被目标区域所覆盖，引起故障区域得不到分离，如图5中图像2，图像4和图像5的结果。另外，从图6所得到的阈值相似度曲线不难发现，图6(b)，(d)和(e)所得到的曲线存在两个峰值，这代表故障区域和非故障区域也存在边界，表明采用最佳的阈值相似度并不能较好地分割故障区域。

图7为文献[8]中PCNN分层聚类方法分割结果，其得到的分层结果均较为理想。然而，从第3幅图像的分割结果中，连接端子部分因PCNN阈值和连接系数的相关性，使得阈值设置发生了一定的偏移，导致该区域未被分割出来，如图8所示。而本文方法融入了MST框架，在PCNN自适应迭代获得分割结果后（如图9），再根据阈值相似度原则设置PCNN阈值，重新再迭代后得到最终的结果，从而避免了阈值设置的不当，最终结果如图10所示。进一步地，从表1中不难发现，重新迭代后的相似度结果在很大程度上要优于最先的PCNN迭代后的结果，进而表明本文方法参数设置的有效性，具有较好分离故障区域与非故障区域的能力。

图3 红外检测图像（第一行为原始图像，第二行为梯度图像）

图4 OTSU方法分割结果

Fig.4 Segmentation results of OTSU method

图5 MST方法分割结果

图6 MST下相似度结果

图7 文献[8]PCNN方法迭代聚类分割结果

Fig.7 The segmentation results of PCNN method with reference [8]

图8 文献[8]PCNN方法最终分割结果

图9 本文PCNN方法第一次迭代结果

Fig.9 Segmentation results of our PCNN model at first PCNN iteration

图10 本文PCNN方法最终结果

Fig.10 Final Segmentation results of our PCNN model

表1 阈值相似度评价

此外，表2给出了各个方法在时间复杂度上的对比。Otsu方法时间消耗最小，而当融合相似度计算时，即采用MST方法时，其时间消耗就会有所增加。而文献[8]PCNN方法中，需要对整幅图像进行分层聚类，最后再通过合并等操作，因此，其时间复杂度最高。相比于文献[8]的方法，本文PCNN方法在融合MST框架后，其时间复杂度明显得到了降低。

表2 时间复杂度度量

4 结语

本文提出了一种基于MST框架的PCNN模型输电线路红外图像热故障区域提取方法。该方法融合了MST框架技术，为PCNN阈值最优设置提供了理论基础。同时，在邻域像素同步点火参数的设置上，采用最小聚类方差，使得PCNN模型的参数能够进一步优化，最终获取红外图像中热故障区域。最后针对电气设备红外图像，且与一些常用的算法以及现有的PCNN模型相比，本文方法能较好地提取故障区域。此外，本文方法在图像处理时间上，要优于现有的PCNN方法。在下一步工作中，我们也将继续对此进行优化，使得本文方法能够更好地应用于现场。

[1] Jadin M S, Taib S. Recent progress in diagnosing the reliability of electrical equipment by using infrared thermography[J]., 2012, 55(4): 236-245.

[2] 杨先明, 叶玉堂, 方亮, 等. 红外电路故障检测系统[J]. 红外与激光工程, 2006, 35(3): 262-266.

YANG Xianming, YE Yutang, FANG Liang, et al. Infrared detection tester for electronic circuit fault[J]., 2006, 35(3): 262-266.

[3] 周正钦, 冯振新, 周东国, 等. 基于扩展Meanshift电气设备发热故障区域提取方法[J]. 红外技术, 2019, 41(1):78-83.

ZHOU Zhengqin, FENG Zhenxin, ZHOU Dongguo, et al. Fault region extraction of electrical equipment in infrared image by using an extended Mean Shift method[J]., 2019, 41(1):78-83.

[4] 井金剑, 翟春艳, 李书臣, 等. 基于红外图像识别的电气设备故障诊断[J].电子设计工程, 2014, 22(12): 171-173.

JING Jinjian, ZHAI Chunyan, LI Shuchen, et al. Fault diagnosis of electrical equipment based on infrared image recognition[J]., 2014, 22(12): 171-173.

[5] 赵庆生, 王雨滢, 王旭平, 等. 基于新型阈值选择方法的变电站红外图像分割[J]. 光学学报, 2019, 39(8): 101-108.

ZHAO Qingsheng, WANG Yuying, WANG Xuping. Substation infrared image segmentation based on novel threshold selection method[J]., 2019, 39(8): 101-108.

[6] 余成波, 曾亮, 张林. 基于OTSU和区域生长的电气设备多点故障分割[J]. 红外技术, 2018, 40(10): 1008-1012.

YU Chengbo, ZENG Liang, ZHANG Lin. Multi point fault segmentation of electrical equipment based on OTSU and region growth[J]., 2018, 40(10): 1008-1012.

[7] 王启银, 薛建东, 任新辉. 一种自适应的变电站设备红外图像分割方法[J]. 红外技术, 2016, 38(9): 770-773.

WANG Qiyin, XUE Jiandong, REN Xinhui. An Adaptive Segmentation Method of Substation Equipment Infrared Image[J]., 2016, 38(9): 770-773.

[8] 许晓路, 周文, 周东国, 等. 基于PCNN分层聚类迭代的故障区域自动提取方法[J]. 红外技术, 2020, 42(8): 809-814.

XU Xiaolu, ZHOU Wen, ZHOU Dongguo. Automatic Fault region extraction using PCNN hierarchical clustering[J]., 2020, 42(8): 809-814.

[9] 王旭红, 李浩, 樊绍胜, 等. 基于改进SSD的电力设备红外图像异常自动检测方法[J]. 电工技术学报, 2020, 35(z1): 302-310.

WANG Xuhong, LI Hao, FAN Shaosheng. Infrared image anomaly automatic detection method for power equipment based on improved single shot multi box detection[J]., 2020, 35(z1): 302-310.

[10] 冯振新, 许晓路, 周东国, 等. 基于局部区域聚类的电力设备故障区域提取方法[J]. 电测与仪表, 2020, 57(8): 45-50.

FENG Zhenxin, XU Xiaolu, ZHOU Dongguo. Extraction method of power device fault region based on local clustering algorithm[J]., 2020, 57(8): 45-50.

[11] 王晓飞, 胡凡奎, 黄硕. 基于分布信息直觉模糊c均值聚类的红外图像分割算法[J].通信学报, 2020, 41(5): 120-129.

WANG Xiaofei, HU Fankui, HUANG Shuo. Infrared image segmentation algorithm based on distribution information intuitionistic fuzzy c-means clustering[J]., 2020, 41(5): 120-129.

[12] GUO Zhengkun, SONG Yong, ZHAO Yufei, et al. An adaptive infrared image segmentation method based on fusion SPCNN[J]., 2020, 87(115905): 1-9.

[13] TANG Qingju, GAO Shuaishuai, LIU Yongjie, et al. Infrared image segmentation algorithm for defect detection based on FODPSO[J]., 2020, DOI: 10.1016/j.image. 2020.115905.

[14] ZHOU Dongguo, ZHOU Hong. Minimisation of local within-class variance for image segmentation[J]., 2016, 10(8): 608-615.

[15] ZOU Yaobin, DONG Fangmin, LEI Bangjun. Maximum similarity thresholding[J]., 2014, 28: 120-135

[16] 马义德.脉冲耦合神经网络原理及其应用[M]. 北京: 科学出版社, 2006.

MA Yide.[M]. Beijing: Science Press, 2006

[17] Kuntimad G, Ranganath H S. Perfect image segmentation using pulse coupled neural networks.[J]., 1999, 10(3): 591-598.

PCNN Infrared Fault Region Detection Along Transmission Lines Based on the MST Framework

GE Huangxu1，ZHENG Lei2,3，JIANG Hong1，GUO Yifan1，ZHOU Dongguo4

(1.,314599,;2.,430074,;3.,211106,;4.,,430072,)

This paper presents a pulse-coupled neural network (PCNN) method for infrared fault region extraction based on maximum similarity thresholding to detect the fault region from the infrared image of a transmission line. In this method, the synchronous pulse characteristics of the PCNN model are used to cluster pixels via inner iteration, and the model is simplified by incorporating the maximum similarity thresholding method, enabling the PCNN model to simplify the thresholding setting. Meanwhile, the minimum clustering variance is introduced to set the linking coefficient. Thus, the PCNN model can efficiently segment an infrared image and obtain the effective thermal fault region in the image. The experimental results show that the proposed method exhibits good performance in region extraction and may be suitable for increasing the efficiency of automatic fault detection along transmission lines.

MST framework, PCNN, transmission line, infrared image; clustering

TP391

A

1001-8891(2022)07-0709-07

2019-01-02；

2019-05-06.

葛黄徐（1983-），男，浙江嘉兴人，硕士，高级工程师，研究方向为输变电设备远程运维与管理。E-mail：329101854@qq.com。

周东国（1985-），男，浙江上虞人，讲师，博士，主要研究方向为红外图像处理、模式识别及电力信息处理等方向。E-mail：dgzhou1985@whu.edu.cn。

国家电网公司总部科技项目（521104180025）。