基于红外可见光图像配准的电力设备分割算法

刘晓康，万 曦，涂文超，周清楷，田正稳

(1.国网江苏省电力有限公司常州供电分公司运维检修部,江苏 常州 213000； 2.河海大学物联网工程学院,江苏 常州 213022；3.江苏亚威变压器有限公司,江苏 南通 226600)

0 引 言

电网的建设与维护是国家提升综合国力和社会高速发展的动力与重要保障。电力设备作为电网中的重要组成部分，其故障会危及电力系统的安全运行，因此需对电力设备进行检测并判断是否故障。现有的利用测温仪或红外热成像进行设备检测，成本高、费时费力，受人为因素影响大，容易漏测，且需要技术人员对测量结果进行分析，智能化水平低[1]。随着图像处理技术的成熟与发展，研究人员逐步将红外图像与可见光图像进行协同处理，结合红外图像能测温、抗环境干扰能力强和可见光图像细节信息丰富、分辨率高的优点，在红外图像中检测发热区域的同时，自动分割可见光图像中发热的电力设备，便于对电力设备进行故障检测。

使用红外和可见光图像进行协同处理需要对二者进行配准，但红外图像与可见光图像相比分辨率低、细节丢失严重、图像模糊，且它们的灰度属性具有明显差异，配准难度大。SIFT(Scale Invariant Feature Transform)[2]和SURF(Speeded-Up Robust Features)[3]是基于点特征的图像配准方法，一般用于同源图像间配准。文献[4]利用SIFT描述子对电力设备红外和可见光图像配准，但空间变换关系过于复杂；文献[5]采用Canny边缘检测与SURF描述子，但特征点间的对应关系较弱，匹配准确率低；文献[6]利用基于灰度冗余的图像实时均衡技术，突出图像的轮廓特征，但对于设备温度分布差异大的情况配准效果差。文献[7]提出了基于非下采样轮廓波变换域改进的加速分割检测特征(Features from Accelerated Segment Test， FAST)提取的电气设备红外与可见光图像配准方法，基于FAST的特征点提取更加准确，方便之后的特征点匹配和剔除误配准，但当红外图像中设备和环境的温差较小时，难以提取正确的特征点。文献[8]以斜率一致性为标准剔除误匹配，提高了配准精度。本文提出一种基于红外可见光配准的电力设备分割方法，采用结构化随机森林进行边缘检测，解决红外和可见光图像灰度分布不一致的问题，结合高斯金字塔和归一化互信息进行配准，再对红外图像进行Otsu阈值分割，结合配准结果分割出可见光图像中的电力设备，避免了可见光图像中光照、颜色、纹理等因素影响分割的问题。

1 算法实现

1.1 结构化随机森林边缘检测

结构化随机森林边缘检测[9]侧重于融合多尺度响应以及结合结构信息和背景。其流程图如图1所示，首先训练一个随机决策森林，随机决策森林是多棵决策树的集成学习方法，为防止过度拟合，每棵决策树在随机排列的数据上训练得到，其输出可以是类的标记(多标记分类)或连续值(回归)。

图1 结构化随机森林边缘检测流程图

每棵决策树都以递归的方式独立训练，对于给定的节点j和训练集合Sj∈X×Y，根据信息增益最大原则：

(1)

确定节点分离函数：

h(x,θj)=[x(k)<γ]∈{0，1}

(2)

h(x,θj)=0时，将x归类为节点左侧，h(x,θj)=1时，将x归类为节点右侧。

(3)

(4)

其中H(S)为香农熵，py是训练数据Sj中带有标签y的概率。

由于仅需通过若干决策树的二值决策函数进行推理，因此具有极高的执行速度与灵活性[10]。

通过训练多棵不相关的树组合成森林，可以较好地解决单棵树出现过拟合以及不稳定的情况。输入随机采样的像素块x或特征类别作为训练数据可以提高决策森林的准确度[11]。

由于标签集合Y中的每个结构标签y有一定的相似度，为了方便计算Ij，采用二阶映射将标签y的相似度离散化映射到离散化标签c。首先定义映射∏:y→z将具有标签y的像素块编码成二元向量，在Z中计算z之间的欧氏距离以区分具有相似标签y的像素块是否属于同一分割。为了降低计算量，在Z中取m维特征形成低维映射∏Φ:Y→Z，再定义∏Φ：Z→C，采用主成分分析(Principal Component Analysis, PCA)降维量化，根据z所在的具体象限给定具体标签C(1,…,k)，取k=2。

训练完成后，将所有决策树组合成决策森林，集成模型，输入红外和可见光图像，可得到最终分类结果，即二者的边缘图。

1.2 红外可见光图像配准

1.2.1 可见光边缘图的高斯金字塔

本文红外可见光配准流程如图2所示，通过对可见光边缘图像进行不同尺度的缩小制作高斯金字塔。高斯金字塔是以多尺度表示来解释图像的一种方法，它将同一图像进行多次的高斯滤波并下采样，获得多组不同尺度的图像形成图像金字塔。金字塔的底层是图像的高分辨率表示，顶层是低分辨率表示。首先计算红外边缘图和可见光边缘图的最大尺度比Smax，获得尺度范围S∈[1.1,Smax]。其次，将原尺寸为M×N的可见光边缘图像，经过一个3×3模板的高斯低通滤波器，再对其进行S倍下采样，即可得到(M/S)×(N/S)尺寸的当前层图像。S从1.1开始，每次递增0.1直至Smax，重复高斯滤波和下采样，即可得到每层图像，最后构成金字塔，可见光边缘高斯金字塔如图2所示。

图2 红外可见光配准流程图

1.2.2 基于互信息的红外可见光图像配准

计算红外边缘图与金字塔中每层图像的子图的互信息值，并筛选出最大值，即可得到最佳尺度关系与配准区域。2幅图的互信息通过二者的熵和联合熵来反映它们之间的相关性，当二者最佳配准时，互信息值达到最大[12]。

本文以边缘图像为基准进行配准，会出现红外边缘图像与可见光边缘图像的多个子图具有相似灰度分布的情况，若以互信息值为度量易造成误配准，因此本文以归一化互信息作为配准度量，其鲁棒性更好[13]，归一化互信息值越大，表明2幅图像的相似度越高、重合部分越大、相关性越强。具体步骤为：

1)在高斯金字塔当前层图像中以滑动窗口的方式获取与红外边缘图像尺寸相同的子图，其步长稍大，分别计算红外边缘图像与所有子图的归一化互信息值：

(5)

其中，H(A)表示红外边缘图像的熵，反映了红外边缘图像的信息量。其表达式为：

(6)

(7)

其中，hi表示红外边缘图像中灰度值为i的像素点总数，q表示灰度级数，pi表示灰度i出现的概率。

H(B)表示子图的熵，反映子图的信息量，其表达式为：

(8)

(9)

其中，hj表示红外边缘图像中灰度值为j的像素点总数，r表示灰度级数，pj表示灰度j出现的概率。

H(A,B)表示红外边缘图像和子图的联合熵，在信息论中，联合熵用来度量由多个随机变量组成的随机系统的不确定性，反映了随机系统的信息量。其表达式为：

(10)

(11)

其中，hij表示红外边缘图像中灰度值为i且子图中灰度值为j的像素点总数，q表示红外边缘图像的灰度级数，r表示子图的灰度级数，pij表示红外边缘图像中灰度值为i且子图中灰度值为j的概率。

2)筛选出当前层中的最大归一化互信息值，并记录其对应子图位置和当前层的尺度。以此子图位置为中心，扩大其区域至2倍，在此区域中减小滑动窗口的步长，获取与红外边缘图像尺寸相同的子图并重复计算归一化互信息和筛选最大值的步骤。

针对滑动窗口计算量大、耗时长的问题，本文通过先粗配准后精配准，即滑动窗口步长先大后小的方法，大大减少了配准时长，提高实用性。

3)从所有层的最大归一化互信息值中筛选出最大值，并记录其对应层的尺度和子图位置，即为红外和可见光图像的尺度关系和最佳配准位置。

根据尺度关系和配准结果对红外图像和可见光图像进行加权平均融合，得到视觉反馈。

1.3 目标分割

为了便于分辨可见光图像中的具体电力设备并进行故障检测，需进行分割，但由于可见光图像中存在光照、颜色、纹理等因素的影响，直接进行Otsu[14]分割可能导致结果有很大的偏差。GrabCut[15]方法先人为选取前景框，再进行分割，但由于干扰因素的影响，也难以得到完全正确的结果。其他先进的分割方法能准确分割，但是其复杂度高并且速度慢。而本文算法结合红外可见光图像进行分割，红外图像由于其成像特性，发热目标区域具有比其他区域更高的灰度值，容易通过Otsu分割出发热的电力设备。因此先对红外图像中的电力设备进行分割，并根据配准结果将分割结果嵌套进可见光图像，进而分割出发热的电力设备，受到的干扰少，结果准确，分割速度快。首先对红外图像进行Otsu阈值分割，并提取最大连通域，由于红外图像的特性，可得大于Otsu阈值的发热区域。根据配准结果，分割出可见光图像中对应于红外图像发热区域的位置，即为电力设备。

2 实验及结果分析

为验证本文算法的准确率，选取50组电力设备的红外和可见光图像进行配准与分割实验。图像由FLIR T250摄像机拍摄，红外图像的尺寸为320×240像素，可见光图像的尺寸为2048×1536像素，在配准过程中由于红外图像的温度条和文字会对结果造成影响，因此裁剪掉此类干扰因素，裁剪后红外图像尺寸为260×210，算法由Matlab 2017b编写并实现。

2.1 配准结果分析

现有的配准方法大多都是基于点特征进行的，所以本文选取了4种此类方法进行对比：SURF[3]、KAZE[16]、EHD(Edge-oriented Histogram Descriptor)[17]以及LGHD(Log-Gabor Histogram Descriptor)[18]。实验结果如表1所示。

表1 各算法配准成功率

SURF方法用于同源图像配准时具有很好的效果，能够抵抗尺度与旋转变换以及光照、噪声等的影响，但是如图3(f)，SURF检测到的红外与可见光图像匹配点对很少并且多为误匹配点对，无法生成正确的变换矩阵。

(a) 红外图像 (b) 红外边缘图像 (c) 可见光图像 (d) 可见光边缘图像 (e) 本文算法配准结果

(f) SURF特征点匹配 (g) KAZE特征点匹配

(h) EHD特征点匹配 (i) LGHD特征点匹配

而KAZE方法构建了非线性尺度空间，提取特征点时保留了更多细节信息，鲁棒性更好，配准精度有所提升。如图3(g)，KAZE检测到更多匹配点对，但正确的结果仍然很少。

EHD首先检测图像中轮廓，再通过MPEG-7标准生成边缘直方图描述符，利用这些描述符进行特征匹配，如图3(h)。LGHD与EHD相比在边缘检测的速度上有所提升，并利用Log-Gabor滤波器生成特征描述符，其特征点匹配结果如图3(i)。

上述基于点特征的配准方法的100组实验图像中，部分利用RANSAC剔除误匹配点会导致匹配点不足，无法生成变换矩阵，其余通过变换矩阵配准后，所得结果的形状有所偏差，不够准确。本文基于边缘利用归一化互信息进行配准，如图3(e)，相比于其他基于点特征的方法，配准成功率更高。

2.2 分割结果分析

本文选择了Otsu阈值分割和GrabCut算法进行分割的对比，实验结果如图4所示。

图4 分割结果对比图

文献[19]总结了20种常用的图像分割评估指标，本文从中选取了Multual Information(MI)[20]、Interclass Correlation(ICC)[21]这2种评估指标对分割结果与Ground truth图像进行比较分析。

2幅图的互信息MI通过二者的熵和联合熵来反映它们之间的相关性，当二者相似性最高时，互信息值达到最大。分割结果St和Ground truth图像Sg的MI定义为：

MI(St,Sg)=H(St)+H(Sg)-H(St,Sg)

(12)

其中，H(St)、H(Sg)、H(St,Sg)定义见式(6)～式(11)。MI值越大，表示分割结果与Ground truth越相似，即分割结果更加完整。

分割结果St和Ground truth图像Sg的ICC定义为：

(13)

(14)

(15)

其中MSb表示St和Sg之间的均方，MSw表示St和Sg之内的均方，μ表示2个分割的均值的平均值，m(x)=(fg(x)+ft(x))/2是在像素点x处2个分割的均值。ICC值越大，表示分割结果越完整。

评价指标对于50组图像的分割结果的客观评价结果如表2所示。对可见光图像直接使用Otsu阈值分割无法得到有效结果，GrabCut算法需要标注出包含要分割物体的前景框，计算效率低，智能化程度低，对于可见光图像中目标物与背景相似度较大的情况分割效果不理想。本文算法在视觉反馈以及客观评价结果上的效果都优于Otsu和GrabCut，可以精确分割出可见光图像中的电力设备。

表2 分割结果指标

3 结束语

本文提出了一种基于红外和可见光图像配准的电力设备分割方法。由于红外和可见光图像的成像原理不同，二者的细节特征和灰度信息有很大区别，传统的配准方法无法获得准确结果，本文算法利用红外和可见光图像边缘信息的相似性，结合高斯金字塔和归一化互信息进行配准，成功率和准确率更高。可见光图像复杂度高，难以精准分割出电力设备，而红外图像中的电力设备相较于背景温度更高，可以简单地分割出图像中的电力设备，进而根据配准结果，准确地分割出可见光图像中的电力设备。