基于边缘结构特征的红外与可见光图像配准算法

徐海洋，赵 伟，刘建业

基于边缘结构特征的红外与可见光图像配准算法

徐海洋，赵 伟，刘建业

（南京航空航天大学 自动化学院，江苏 南京 211100）

针对红外与可见光图像难以提取特征点实现配准的问题，提出一种基于边缘结构特征的红外与可见光图像配准算法。首先通过优化的显著性算法增强红外图像的结构特征；其次利用相位一致性提取红外和可见光图像的稳定边缘结构；然后提取边缘结构的ORB（oriented FAST and rotated BRIEF）特征点；最后结合KNN（K-nearest neighbor）算法和余弦相似度对匹配特征点进行筛选，并应用RANSAC（random sample consensus）算法进行提纯。实验表明，该算法能够克服灰度差异的影响，具有较高的配准精度和效率，有助于实现红外与可见光图像的配准。

显著性检测；相位一致性；特征提取；图像配准

0 引言

红外与可见光图像配准是计算机视觉领域中异源图像配准的重点和难点。红外传感器利用热辐射原理得到物体的温度信息，但存在成像不清晰等问题；可见光传感器利用光反射原理得到清晰的物体信息，但存在成像效果受光照条件影响较大等问题。将二者信息互相补充，实现异源图像融合，在设备检测、环境研究、军事侦察等[1-2]领域具有广泛的应用价值。鉴于成像机理和拍摄条件的差异，研究在不同场景下精度高、速度快的红外与可见光配准技术具有重要意义。

针对红外与可见光图像配准问题，国内外现有的配准算法主要分为两类：基于区域的配准算法[3]和基于特征的配准算法[4]。前者将图像的灰度信息或者变换域信息作为基准，利用特定的搜索策略求解出最佳的配准参数。现阶段主要的方法有基于互信息（mutual information, MI）法[5]、基于梯度信息法[6]等，这类算法的优点在于简单直观且容易实现，但是需要图像的全部像素信息，往往面临计算量大、运行时间长等问题，无法满足实时配准的需求。后者则提取图像中诸如角点、边缘点、闭区域的中心等特征元素作为关键点，通过选择适当的描述子，建立策略实现关键点对的匹配，最终求解出配准参数。常见的算法有基于SIFT的特征匹配算法[7-8]、基于Harris的特征匹配算法[9-10]等，该类方法相较于基于区域的方法，大大提高了计算效率，然而由于两种图像成像原理不同，导致异源图像中的灰度、对比度等差异较大，难以提取出具有相似特性的关键点，且图像间存在大量误匹配等问题，无法求解出图像间的变换参数，工程适应性差，所以实际应用并不广泛。

针对以上研究和算法中存在的问题，本文提出一种基于边缘结构特征的红外与可见光图像配准算法，该算法通过提取异源图像稳定的相似性边缘结构特征，能够改善异源图像间的差异性，提高配准率，同时采用基于特征匹配的策略，保证较高的配准效率。

1 异源图像配准方案

红外图像中只有灰度和成像大小等信息特征，可见光图像中存在大量的细节特征，将二者图像中的相似性结构特征作为异源图像配准的切入点，通过提取图像的边缘结构可以改善图像间的差异性，从而提高特征提取和匹配的成功率。因此本文提出对红外与可见光图像进行相似性边缘特征提取，再基于特征的配准算法对特征进一步匹配，从而克服传感器成像机理不同导致的图像差异，降低误匹配率，实现异源图像的配准。该算法的总体方案流程如图1所示。

图1 本文提出的算法流程

图1中，由于红外图像的灰度和对比度不足，先对红外图像进行显著性增强预处理，再采用相位一致性分别提取图像的相似性结构特征，得到异源边缘图像。利用基于特征的方法，对边缘结构上的特征点进行匹配，能够快速准确地实现图像的配准。一方面，优化的显著性检测算法能够增强图像中前景和背景的边缘信息，将图像转换到频域，利用相位一致性模型进行处理，可以解决传统的边缘提取方法在空域下对图像灰度值依赖较大的问题，在提取稳定的边缘结构的同时，有效滤除高频噪声的影响。另一方面，传统ORB（oriented FAST and rotated BRIEF）特征点容易出现较多误匹配的情况，通过KNN（K-nearest neighbor）算法优化基于汉明距离暴力匹配的结果，同时考虑到匹配点对之间存在着相似的斜率，引入余弦相似度作为进一步筛选的依据，可以达到有效降低误匹配率的目的，改善算法的整体性能，提高图像配准的精度和效率。因此需要重点研究边缘结构提取算法和特征点匹配算法。

2 边缘结构提取算法

2.1 红外图像显著性增强算法

红外图像相对可见光图像存在信噪比低、纹理弱等问题，边缘结构的显著性较弱。为了提取边缘信息，通常采用微分算子进行滤波。但传统的方法在空间域进行，对图像效果改善有限。为了在去除噪声的同时增强红外图像的边缘细节，本文从频率调谐的角度，提出一种改进的显著性增强算法，将图像转换到CIELAB空间，通过滤波得到几乎所有的低频内容和大部分的高频内容，再利用颜色和强度特征计算LAB颜色矢量的平均值得到像素的显著值。由于CIELAB向量的亮度特征和颜色特征的取值大小不同，改进算法将各个通道的显著性值根据变化快慢进行了归一化处理，并赋予权重，避免在计算像素欧式距离时因不同通道得到的显著性值数量级差异较大，较小值分量在融合时受到抑制，导致影响最终结果的问题。该算法如式(1)和式(2)所示：

式中：f(,)为高斯滤波向量；u(,)为平均CIELAB向量；0和0为中心环绕滤波器与像素点的偏移量；i为原通道的显著性值；s为LAB三个通道融合后的显著性值；i为对应通道的权重。

改进的显著性增强算法有效利用LAB三个通道的信息，提高了算法的执行效率，能够改善图像的边缘细节，使得分割目标与背景的边缘结构更加明显，最终得到红外图像的预处理结果。

2.2 相位一致性边缘结构提取

预处理增强了红外图像的显著性边缘细节，但仍无法解决其和可见光图像间的差异性。考虑到两幅图像存在视觉相似性结构，还需要进一步提取二者的边缘特征。相位一致性[11]是Morrone等人研究的一种基于局部能量的特征检测方法，图像中诸如角点、边缘等特征会在傅里叶频率分量的相位一致性最大的出现，且不会受到尺度或光照等因素的影响而改变，具有很强的稳定性和通用性。因此，研究基于相位一致性实现异源图像边缘特征的提取，提高算法在不同场景的适用性和有效性。

Morrone等人提出相位一致性的计算方式如下：

式中：0为滤波器的中心频率。由于二维Log-Gabor属于频域滤波器，利用傅里叶反变换可以得到其空间域的复数表达式，其实部为偶对称Log-Gabor小波，虚部为奇对称Log-Gabor小波。

分别利用奇对称小波和偶对称小波在不同方向和尺度上进行卷积滤波，得到图像在不同方向和尺度的振幅分量和相位分量如下：

式中：soodd和soeven分别为奇对称小波和偶对称小波。为了得到图像的边缘结构特征，需要分别计算不同方向下图像像素点的相位一致性值，得到相位一致性矩。修改式(3)，使得分子为所有方向和尺度上的加权和经噪声补偿的局部能量之和，分母为所有方向和尺度上的幅度分量之和，重新定义的相位一致性计算方式为：

利用矩量分析方法，在每个方向上根据式(7)求得的相位一致性度量值计算相位一致性力矩，通过分析发现，对应于最小力矩的轴是表示特征方向的主轴，而最大力矩的轴则垂直与该主轴，表示特征的重要性。当最小力矩在某一点处的值也很大时，该处即为图像的角点。根据以上分析，可以由相位一致性力矩值得到红外与可见光图像稳定的边缘结构图。

3 特征点提取及匹配算法研究

经过边缘检测算法得到红外图像和可见光图像的相似性结构图像后，可以在边缘上提取具有相似性的特征点以进行匹配。ORB[13]是一种特征点提取和描述算法，该算法分为oFAST和rBRIEF两个部分。ORB算法的流程是，首先利用FAST角点检测方法在图像中快速提取特征点，并通过灰度质心法为角点确定主方向；然后根据BRIEF算法为每个特征点创建二元特征向量，并利用角点的主方向进行旋转变换，生成二进制码串描述子；最后计算并筛选两个特征点集的汉明距离得到特征点匹配对。

传统的ORB算法采用基于汉明距离的匹配方法，通过暴力计算两个特征点的距离得到匹配点对，这使得结果中存在较多误匹配的特征点。为了提高特征点的匹配率，减少配准误差，本文对匹配机制进行改进，结合KNN算法和余弦相似度对匹配特征点进行筛选，并应用RANSAC算法进行提纯，得到图像间的变换矩阵。首先针对汉明距离匹配得到的特征点集，选择个与特征值最相似的点，如果这个点之间的区别足够大，则选择最相似的点作为匹配点，通常选择＝2，对每个返回的两个最近邻的匹配，如果第一匹配和第二匹配距离比率足够大，即向量距离足够远，则认为这是一个正确的匹配。接着考虑到正确匹配的点对连线会在匹配图中保持一样的斜率，进一步在得到的粗匹配点集中筛选，将每个匹配对视为一个向量，计算匹配对向量之间的余弦相似度，公式如下：

由此可以得到匹配对向量之间的方向差集合，在误差范围内找出该集合中出现频率较高的值对应的点对作为精匹配点集；最后应用RANSAC算法进行提纯，得到最终的匹配点集，并计算出图像间的变换矩阵，实现图像的配准。

4 实验结果与分析

本文采用实验环境为Ubuntu16.04操作系统，实验计算机CPU为Intel Core i3-4170CPU@3.70GHz，软件平台为CLion。为了验证本文提出的红外与可见光图像配准算法的有效性和正确性，采用标准测试图像集对本文算法的配准性能进行评价。

为了验证本文算法在不同场景下的适用性，从标准测试图像集选取红外与可见光图像如图2所示。图2(a)所示的场景一为具有变换视角的电气设备，图2(b)所示的场景二为车载相机拍摄的街景。本文的配准过程由图3中的各子图来表示：首先，使用显著性算法得到红外增强图像分别为图3(a1)和图3(b1)，然后根据相位一致性提取可见光与红外图像的边缘结构如图3(a2)和3(b2)所示，最后进行特征提取和匹配得到结果图3(a3)和3(b3)。从匹配结果来看，本文算法能够有效克服异源图像的差异，达到较好的匹配效果，并且针对角度变换和尺度变换等情况具有较强的鲁棒性。

同时，为进一步验证本文算法的有效性，将本文算法与MI算法、ORB算法进行对比实验，分别对上述两组图像进行测试。得到的匹配结果和时间消耗如表1所示。从表1的结果来看，相对于MI算法，ORB算法的配准时间大幅减少，说明该方法计算效率较高。但是该算法由于直接从图像中提取特征点，导致其配准率较低，不适合直接应用于红外与可见光图像的配准。本文算法特征点的正确匹配率最高，具有可靠的配准精度，同时运行时间相对较短，具有较高的配准效率，相比之下综合性能最优。

图2 实验测试图像

图3 图像配准实验过程与结果

5 结论

针对红外与可见光图像因成像差异等导致难以提取特征点实现配准的问题，本文研究了基于边缘结构特征的红外与可见光图像配准方法。通过优化的显著性算法增强红外图像的结构特征，利用相位一致性提取红外和可见光图像的稳定边缘结构，然后提取边缘结构的ORB特征点，最后采用先粗后精的策略结合KNN和余弦相似度对特征点进行层层筛选，降低特征点的误匹配率。实验证明，本文算法能够在不同场景较快且准确地实现红外与可见光图像的配准。

表1 不同算法效果对比

[1] CHEN Yanjia. Visible and infrared image registration based on region features and edginess[J]., 2018, 29(1): 113-123.

[2] ZENG Qiang. Real-time adaptive visible and infrared image registration based on morphological gradient and C_SIFT[J]., 2019: 1-13.

[3] CHEN S, LI X, ZHAO L, et al. Medium-low resolution multisource remote sensing image registration based on SIFT and robust regional mutual information[J]., 2018, 39(10): 3215-3242.

[4] XU W, ZHONG S, YAN L, et al. Moving object detection in aerial infrared images with registration accuracy prediction and feature points selection[J].2018, 92: 318-26.

[5] 张莉, 李彬, 田联房, 等. 基于局部结构张量-互信息的多模态图像配准[J]. 华南理工大学学报: 自然科学版, 2017, 45(7): 98-106.

ZHANG Li, LI Bin, TIAN Lianfang, et al. Multi-modal image registration on the basis of local structure tensor-mutual information[J].: Natural Science Edition, 2017, 45(7): 98-106.

[6] 吴延海, 张程, 张烨. 基于梯度信息和区域互信息的图像配准[J]. 广西大学学报: 自然科学版, 2017, 42(2): 720-727.

WU Yanhai, ZHANG Cheng, ZHANG Ye. Image registration based on gradient and regional mutual information[J].: Natural Science Edition, 2017, 42(2): 720-727.

[7] XIANG Y, WANG F, YOU H. OS-SIFT: a robust SIFT-like algorithm for high-resolution optical-to-SAR image registration in suburban areas[J]., 2018, 56(6): 3078-3090.

[8] 张晨光, 周诠, 回征. 基于SIFT特征点检测的低复杂度图像配准算法[J]. 扬州大学学报: 自然科学版, 2018, 21(4): 52-56.

ZHANG Chenguang, ZHOU Quan, HUI Zheng. A low-complexity image registration approach based on SIFT[J].: Nature Science Edition, 2018, 21(4): 52-56.

[9] SHENG H. Medical image registration method based on tensor voting and Harris corner point detection[J].,2018, 8(3): 583-589.

[10] MENG Z. Image registration method based on optimized SURF algorithm[J]., 2019, 7(4): 63-69.

[11] Morrone M Concetta, Ross John, Burr David C, et al. Mach bands are phase dependent[J]., 1986, 324: 250-253.

[12] LV L T, YUAN Q Q, LI Z X. An algorithm of iris feature-extracting based on 2D log-gabor[J]., 2019, 78(16): 22643-22666.

[13] Ethan Rublee, Vincent Rabaud, Kurt Konolige, et al. ORB: an efficient alternative to SIFT or SURF[C]//, 2011: 2564-2571.

Infrared and Visible Image Registration Algorithm Based on Edge Structure Features

XU Haiyang，ZHAO Wei，LIU Jianye

(,,211100,)

Here, a registration algorithm based on edge structure features is proposed to solve the difficulty of extracting feature points from infrared and visible images. First, the structural features of infrared images are enhanced using an optimized saliency algorithm. Second, we extract the stable edge structures of the infrared and visible images using a phase consistency algorithm. Further, the ORB feature points are extracted from the edge structures. Finally, the KNN algorithm and cosine similarity are combined to filter the matching feature points, and the random sample consensus (RANSAC) algorithm is used for purification. Experimental results show that the algorithm overcomes the influence of grayscale differences between infrared and visible images. In addition, it achieves a high registration accuracy and efficiency, which is conducive to the registration of infrared and visible images.

saliency detection, phase consistency, feature extraction, image registration

TP391

A

1001-8891(2023)08-0858-05

2021-05-19；

2021-06-22.

徐海洋（1997-），男，江苏宿迁人，硕士研究生，研究方向为图像处理。E-mail：xuhaiyang@nuaa.edu.cn。

国家自然科学基金（61603181）；江苏高校优势学科建设工程项目资助。