电力巡检场景下的红外与可见光图像配准方法

刘晓康,夏天雷,吴晨媛,姜雄彪,周明玉,王庆华

(1.国网常州供电公司,江苏 常州 213000; 2.河海大学物联网工程学院,江苏 常州 213022;3.常州中能电力科技有限公司,江苏 常州 213000)

0 引 言

电网的建设和维护对于国家以及社会的发展有着重要的作用，电力事业是国家综合实力提升以及社会高速发展的重要保障。为保障电网的安全稳定运行，有必要对电力设备进行安全检测并判断其是否发生故障。可以通过测温仪或红外相机等方式检测电力设备的异常发热状态并进行故障诊断。但是使用测温仪或红外相机检测的成本高、效率低，需要技术人员对检测结果进行分析判断，智能化程度不高[1]。并且红外图像中物体细节信息较差，不易观察。而可见光图像能获得物体的细节信息，具有较高的分辨率。因此在实际应用中可以采用红外与可见光图像协同处理的方式，具有结合红外图像能检测物体温度、抗干扰能力强以及可见光图像细节信息丰富、分辨率高的优点，实现在可见光图像背景中获取目标温度信息的功能[2-4]。结合红外与可见光图像的检测结果信息丰富，易于观察，便于技术人员对电力设备进行故障检测。

红外与可见光图像协同处理的前提是需要对二者进行配准。图像配准是从不同传感器、不同视角、不同时间获取的2幅或多幅图像中进行识别，然后对应出相同或相似的结构和内容，依据一些相似性度量决定图像间的变换参数，使2幅或多幅图像变换到同一坐标系下，在像素层上得到最佳匹配的过程[2-3,5-6]。红外与可见光图像配准属于多模态图像配准，由于成像机理不同导致图像之间存在明显差异，并且二者的灰度特征具有较大差异，配准难度较大[1-2]。

目前红外与可见光图像配准多采用了基于特征的方法，文献[7-9]采用了基于SIFT特征的图像配准方法，其中文献[7]在配准过程中加入了多尺度Harris角点检测算子，提高了同源图像间匹配点对的重复率，但对红外与可见光图像的配准效果差；文献[8]对红外图像取负像后再与可见光图像配准，但对温度分布不均匀的目标配准效果差；文献[9]提出了基于SIFT特征和角度相对距离的图像配准算法，但会出现无法正确筛选匹配点的情况。文献[10-12]采用了基于SURF特征的图像匹配方法，其中文献[10]结合使用了Canny边缘检测算子，但算法匹配准确率较低； 文献[11]利用基于灰度冗余的图像实时均衡技术对电力设备的红外与可见光图像配准，但在复杂场景下的配准效果差；文献[12]利用正确匹配点对斜率一致性剔除错误匹配，提高了匹配准确率。本文提出一种电力巡检场景下的红外与可见光图像配准方法，首先提取红外与可见光图像的边缘信息，提高图像的相似度；然后检测2幅边缘图像的特征点，并进行特征点的匹配，剔除错误匹配点对；最后计算仿射变换模型参数，实现红外与可见光图像的配准。实验结果表明了本算法的成功率和准确率更高。

1 图像配准算法

1.1 算法流程

如图1所示，本文的算法流程如下：

图1 本文方法思路框图

1)通过双目红外与可见光相机拍摄待检测的电力设备，获得红外与可见光图像。

2)通过Sobel边缘检测算子分别提取红外与可见光图像的边缘信息，得到红外与可见光边缘图像。

3)通过SuperPoint特征提取网络分别检测2幅边缘图像的特征点并计算描述子。

4)通过SuperGlue特征匹配网络对特征点进行匹配，筛选得出正确的特征点匹配对，同时剔除不可匹配的特征点。

5)计算求得仿射变换模型参数，通过双线性插值对待配准图像进行空间几何变换，实现图像配准。

1.2 图像边缘检测

由于红外与可见光图像成像机理不同，图像相似度低，灰度特征具有较大差异，并且电力设备的图像较为复杂，因此配准的难度大[13]。红外与可见光图像的边缘具有一定的相似特性，同时边缘也是图像中最基本和比较固定的特征[10,14]。通过Sobel边缘检测算子分别提取红外与可见光图像的边缘信息后，突出了图像的轮廓信息，提高了红外与可见光图像的相似度，增加了图像配准的成功率。同时Sobel边缘检测算子计算简单、速度快、提取出的边缘效果较好，而且对噪声具有一定的平滑作用，在一定程度上减小了图像对噪声的敏感性。

1.3 红外与可见光图像配准

1.3.1 基于SuperPoint的特征提取

SuperPoint特征提取网络属于基于自监督训练的深度学习网络[15]，能够检测图像的特征点并计算描述子，网络结构如图2所示。首先构建一个由大量的简单几何形状图片组成的合成形状数据集，图片中的几何形状具有位置明确的特征点。随后通过该数据集训练全卷积神经网络得到MagicPoint检测器[16]。对于现实世界图像，MagicPoint在视角变化时特征点检测的可重复性较差，对图像中纹理和图案的特征点检测效果不佳。通过结合单应性适应(Homographic Adaptation)[15]对图像进行单应变换，使MagicPoint检测器在多尺度、多视角下重复观测图像。同时通过迭代地重复单应变换的过程，不断改进MagicPoint检测器，提高其在现实世界图像上的泛化能力，实现对MagicPoint检测器的自监督训练。最后结合特征点以及描述子训练得到SuperPoint网络。

图2 SuperPoint网络框架

通过边缘检测得到红外与可见光边缘图像后，SuperPoint提取特征的具体步骤为：

1)首先采用VGG[17]式结构的编码器来减小输入图像的尺寸，编码器由卷积层、池化层和非线性激活层组成。通过编码器后，输入的边缘图像尺寸由H×W变为Hc×Wc，其中Hc=H/8，Wc=W/8。此时，边缘图像由I∈H×W映射到具有更小的空间尺寸(Hc×Wc)以及更大的通道深度(F>1)的张量B∈Hc×Wc×F。

2)对于编码器输出的张量B∈Hc×Wc×F，在特征点解码器中通道数F=65，对应于不重叠的8×8局部像素网格区域，以及1个在8×8区域中未检测到特征点的通道[16]。经过特征点解码器后，首先将不含特征点的1个通道移除，实现Hc×Wc×65⟹Hc×Wc×64。然后通过子像素卷积的方法，将尺寸较小的特征图采样回到初始分辨率大小，实现Hc×Wc×64⟹H×W并输出特征点检测结果图。

3)在描述子解码器中，首先使用类似于UCN[18]的网络模型输出描述子的半稠密网格，以此减少运行过程中的内存开销以及运行时间；然后解码器通过双线性插值算法得到完整的描述子；最后通过L2标准归一化得到固定长度的描述子。

1.3.2 基于SuperGlue的特征匹配

SuperGlue是能实现图像间特征匹配的深度学习网络，能筛选出特征点集之间的正确匹配，同时剔除不可匹配的特征点[19]。SuperGlue的网络结构如图3所示，由基于注意力机制的图神经网络和最优匹配层2个部分组成。通过SuperPoint网络分别检测到2幅边缘图像的特征点并计算出描述子后，首先注意力图神经网络将特征点和描述子编码形成特征匹配向量f，并模拟人类进行特征匹配判断的过程来回使用Self-Attention和Cross-Attention注意聚合机制增强其性能；随后最优匹配层计算2幅图像特征匹配向量f的内积得到特征匹配得分矩阵，并通过Sinkhorn算法迭代求解最优特征分配矩阵。具体步骤为：

图3 SuperGlue网络框架

1)假设红外图像A和可见光图像B通过SuperPoint算法分别提取到M和N个特征点，分别记为A={1,…,M},B={1,…,N}。首先通过特征点编码器对图像A中每个特征点i的位置pi以及描述子di编码形成新的向量，向量在特征匹配中具有更强的特异性。向量初始表示形式为：

(0)xi=di+MLPenc(pi)

其中，MLP为多层感知机，用以将特征点位置pi嵌入到高维向量。然后将升维后的特征点位置pi与描述子di相加获得向量的初始表示形式。图像B的每个特征点j也是类似处理。

2)对于一个完整的图，图中每个节点为待匹配的2幅图像中的所有特征点。图中包含有2种类型的无向边：图像内边缘εself以及图像间边缘εcross。

4)最后通过最小二乘法求解仿射变换模型参数，实现红外与可见光图像的配准。

2 实验结果与分析

2.1 不同边缘的配准效果对比

在红外与可见光图像配准过程中，通过利用图像边缘信息的相似特性可以提高配准的成功率。为了对比不同边缘检测方法对本文特征点匹配精确性的影响，本文选取了原图以及2种不同边缘检测方法进行对比：Canny以及随机化结构森林(SRF)。实验结果如表1所示，其中*表示配准失败，不予考虑。

表1 不同边缘检测方法配准精度的比较

从实验数据可以看出，当红外与可见光图像不进行边缘检测时，由于正确匹配点对个数过少，导致无法计算仿射变换模型参数，配准失败。对红外与可见光图像进行边缘检测后，正确匹配点对的个数均大幅增加，从而可以计算仿射变换模型参数，实现精确配准。在不同的边缘检测方法中，本文所采用的Sobel边缘检测方法能获得足够多的正确匹配点对个数，同时配准所需的时间最少。

2.2 不同算法的配准效果对比

为验证本文算法的成功率，选取100组电力设备的红外与可见光图像进行配准实验。图像由FLIR T420相机拍摄，红外图像的尺寸为640×480像素，可见光图像的尺寸为2048×1536像素。

现有的红外与可见光图像配准方法多是基于特征进行的，因此本文选取了4种此类方法进行对比：SURF[20]、KAZE[21]、EHD(Edge-oriented Histogram Descriptor)[22]以及LGHD(Log-Gabor Histogram Descriptor)[23]，算法配准成功率P=A/B，其中A为配准成功图像个数，B为待配准图像个数。结果如表2所示。

表2 各算法配准成功率

SURF算法在同源图像配准上具有较好的效果，对于图像的尺度变换和旋转具有不变性，同时在光照变换和噪声影响下具有鲁棒性。但是如图4(f)所示，SURF在红外与可见光图像配准过程中，只检测到了很少的匹配点对并且多为错误匹配点对，无法生成正确的变换矩阵。

KAZE算法通过构建非线性尺度空间，保证图像边缘在尺度变化中信息损失较少，从而保留了图像更多的细节信息，算法配准成功率有所提升。如图4(g)所示，KAZE检测到的匹配点对数目更多，然而正确匹配点对仍然很少，无法生成正确的变换矩阵。

EHD算法首先检测图像的边缘信息，计算图像多个方向的边缘直方图，然后通过MPEG-7标准生成边缘直方图的描述子，最后进行配准，如图4(h)所示。LGHD算法类似于EHD算法，LGHD算法对图像边缘检测的速度更快，通过Log-Gabor滤波器生成描述子然后进行配准，如图4(i)所示。

在上述4种配准方法的实验中，SURF和KAZE算法在大部分配准实验中出现了匹配点对个数不足，无法生成变换矩阵的问题，配准成功率低。EHD和LGHD算法在配准实验中出现了配准结果形状出现偏差，不够精确的问题。本文算法能够实现电力设备的红外与可见光图像精确配准，如图4(e)所示。并且本文方法与其它方法相比，配准成功率更高。

图4 各配准算法结果

2.3 算法适用性验证

本文对不同场景以及不同相机拍摄的图像进行配准实验，以验证算法的适用性。实验结果如图5所示，其中图5(a)为FLIR T420手持红外相机拍摄图像及配准结果，图5(b)为FLIR VUE PRO航拍红外相机拍摄图像及配准结果，图5(c)为无人机航拍图像及配准结果。实验结果可见，本文对不同场景以及不同相机拍摄的红外与可见光图像都能实现精确的配准，算法适用性强。

图5 不同场景下的配准结果

同时，对待配准的10组红外与可见光图像分别进行增加噪声、旋转变换、尺度变换以及改变图像亮度等操作，将处理后的图像进行配准实验。配准过程中特征点的正确匹配点对个数如表3所示。其中，对图像增加不同大小的高斯噪声后的特征点匹配结果如图6所示；对图像进行旋转变换后的特征点匹配结果如图7所示；通过将可见光图像进行倍数放大或缩小实现图像的尺度变换，特征点匹配结果如图8所示；通过将可见光图像的亮度进行调整，模拟在不同光照条件下拍摄的图像，特征点匹配结果如图9所示。

表3 不同条件影响下的正确匹配点对数

图6 不同噪声影响下的特征点匹配结果

图7 旋转变换影响下的特征点匹配结果

图8 尺度变换影响下的特征点匹配结果

图9 不同亮度影响下的特征点匹配结果

通过实验表明，本文算法在噪声、旋转变换、尺度变换以及不同亮度影响下仍能获得数目较多的正确匹配点对个数，实现了红外与可见光图像的精确配准，从而验证了本算法对噪声、旋转变换、尺度变换和光照影响具有较强的鲁棒性。

2.4 红外和可见光图像配准的应用

电力设备的红外图像可以反映物体的温度信息，然而红外图像的细节信息差，并且在电力系统中设备布局复杂，数量较多。仅通过红外图像难以精确定位异常发热设备及异常发热区域，不易于检修人员进行观察判断。

如图10所示，首先读取电力设备的红外与可见光图像，在软件系统主界面中进行可视化。然后采用本文方法实现红外与可见光图像的配准。利用红外图像的温度信息，通过设定异常温度阈值进行异常发热检测判断；利用可见光图像获得电力设备的细节信息，定位异常发热设备及发热区域。便于检修人员确认异常发热设备并诊断热故障的原因，有助于电力设备维护检修。

图10 异常发热检测系统应用

3 结束语

本文提出了一种电力巡检场景下的红外与可见光图像配准方法。由于红外与可见光图像的成像机理不同，图像的相似度低，灰度特征具有较大差异，现有的配准方法成功率低，无法获得准确的配准结果。本文算法利用红外与可见光图像边缘信息的相似特性，并结合SuperPoint特征提取网络和SuperGlue特征匹配网络进行配准。实验结果表明，本文方法有效提高了图像配准的成功率，能够对电力设备的红外与可见光图像实现高精度的配准。同时本文方法对不同场景以及不同相机拍摄的图像均能实现精确配准，并且对于噪声、旋转变换、尺度变换和光照具有较强的鲁棒性，适用性强。