基于相位一致性的异源图像匹配方法

赵春阳，赵怀慈，赵 刚

基于相位一致性的异源图像匹配方法

赵春阳1，2，3，赵怀慈1，2，赵 刚1，2

（1.中国科学院沈阳自动化研究所，辽宁沈阳110016；2.中国科学院光电信息处理重点实验室，辽宁沈阳110016；3.中国科学院大学，北京100049）

异源图像由于亮度和对比度差异较大，采用基于灰度和梯度信息的局部特征匹配方法匹配正确率较低。针对该问题，提出一种基于相位一致性和梯度方向直方图的异源图像匹配方法。该方法首先采用具有亮度和对比度不变性的相位一致性方法提取异源图像特征点和边缘图像，并以特征点为中心，选取100×100的边缘图像作为特征区域，统计梯度方向直方图，生成64维特征描述符；然后，选用归一化相关函数作为匹配测度，采用双点匹配方法选取一个特征点的两个较优的候选匹配点，并采用RANSAC方法进行匹配点提纯；最后，基于局部归一化互信息方法和最优化方法进行匹配点精确定位，提高匹配精度。实验结果表明，该方法在可见光、近红外、中波红外和长波红外等异源图像匹配中具有较好的匹配性能，平均匹配正确率高达88%，是SURF匹配方法的3.4倍。

异源图像匹配；相位一致性；梯度方向直方图；归一化互相关；归一化互信息

1 引 言

异源图像匹配广泛应用于医学、遥感［1］、图像融合、景象匹配［2］等多个领域。由于异源图像在亮度、对比度和纹理细节上差异显著，因此，异源图像匹配作为一个难题，一直以来没有有效的解决方案。

常见的图像匹配方法主要基于灰度、边缘或梯度信息。基于灰度的匹配方法直接或间接利用灰度信息进行匹配，如基于互信息［3］和基于自相似的匹配方法［4］。基于边缘的方法利用Canny等算法进行边缘提取，采用豪斯多夫距离等进行图像匹配［5］。基于局部特征的方法统计局部区域的梯度直方图生成特征描述符，利用距离或相关函数作为匹配测度进行特征匹配，主要包括：尺度不变特征描述符（SIFT，Scale Invariant Feature Transform）［6］、快速鲁棒特征描述符（SURF，Speeded Up Robust Features）［7］和梯度位置方向直方图（Gradient Location Orientation Histogram，GLOH）［8］等。

上述方法存在如下瓶颈：一方面，异源图像的灰度和梯度信息差异显著，难以适用于异源图像匹配；另一方面，异源图像对比度不同，采用相同阈值的Canny算法提取的边缘图像细节差异显著，应用于异源图像匹配时性能下降明显。

基于相位一致性边缘提取算法［9－10］具有亮度和对比度不变性，对于异源图像可采用同一阈值提取细节程度相同的边缘，因此，本文采用该方法提取特征点和边缘，利用边缘图像构建特征描述符，并基于局部归一化互信息和最优化方法进行匹配点精确定位，有效实现了异源图像的精确匹配。

2 异源图像匹配方法

如图1所示，异源图像匹配方法步骤如下：

图1 异源图像匹配算法框图Fig.1 Block diagram ofmatching algorithm

1）基于相位一致性的特征点和边缘提取。采用非最大抑制算法，选取部分角点作为特征点；采用非最大抑制方法和双阈值迟滞算法，提取边缘图像；

2）基于梯度方向直方图的描述符构建。以特征点为中心，统计100×100图像区域的梯度方向直方图，生成特征描述符；

3）基于归一化相关的双点匹配。采用归一化互相关函数作为匹配测度，结合双点匹配方法获取候选匹配点；

4）基于RANSAC的匹配提纯。采用RANSAC方法对双点匹配得到的候选匹配点进行匹配提纯。

5）基于归一化互信息的匹配点精确定位。在以匹配点为中心的小区域内，采用最优化和归一化互信息方法实现匹配点精确定位。

2.1 基于相位一致性的特征点和边缘提取

Kevesi提出了基于相位一致性的角点和边缘检测算法［9－10］，该方法选取6个方向和4个度的Log－Gabor小波变换，计算相位一致性测度PC（θ），得到最大矩M和最小矩m：

其中，

若像素点（x，y）处的最大矩M＞T1，则该位置为边缘点；若像素点（x，y）处的最小矩m＞T2，则该位置为角点。其中，T1为边缘点检测阈值；T2为角点检测阈值。

与Canny算法等边缘检测方法相比，相位一致性方法具有亮度和对比度不变性，对于异源图像，采用相同的阈值可得到同样稳定的角点和细节程度相当的边缘图像。因此，本文选取相位一致性方法进行特征点和边缘提取。

特征点提取算法步骤如下：

1）采用相位一致性方法计算最小距m，对于任意位置（x，y），若最小矩m＞T2，则该位置为候选特征点。其中，T2为特征点检测阈值；

2）为了提高计算效率，需要减少特征点数目。以像素点（x，y）为中心，在3×3的像素区域内，选用最小距m应用非最大抑制方法，得到最终的特征点。

如图2所示，基于相位一致性的特征点检测方法是一种异源图像特征点提取的有效方法，对于对比度差异较大的异源图像，采用相同的阈值可提取出同样稳定的特征点。

图2 相同阈值条件下，可见光和红外图像提取的特征点

如图3所示，边缘图像提取具体步骤如下：

1）对于每个像素点（x，y），采用相位一致性方法计算最大矩M；

2）对于每个像素点（x，y）的最大矩M，采用非最大抑制算法与周围3×3邻域的最大矩M比较，保留局部最大值；

3）给定阈值T1和T2，T1＞T2，采用双阈值迟滞算法提取边缘。若像素点（x，y）的最大矩M＞T1，则标记为边缘；若像素点（x，y）标记为边缘点，并且其3×3邻域内任一像素点的最大矩M＞T2，则也标记为边缘点；

4）采用形态学方法提取边缘骨架，得到边缘图像；

图3 边缘图像生成框图

2.2 基于梯度方向直方图的描述符构建

对异源图像而言，由于采用相位一致性边缘提取方法可提取细节程度相同的边缘图像，因此，基于该边缘图像，统计梯度方向直方图可生成近似的特征描述符。

如图4所示，特征描述符构建具体步骤如下：

1）特征区域提取。以特征点为中心，选取100×100像素的边缘图像作为特征区域；

2）子区域划分。将特征区域均分为4×4个，大小为25×25的特征子区域；

3）特征向量生成。每个子区域统计4个方向的梯度方向直方图，16个子区域共得到64维的特征向量。

图4 特征向量构建原理框图

2.3 基于归一化相关的双点匹配

异源图像匹配选用归一化相关函数作为匹配测度，采用双点匹配法得到候选匹配点，最后采用RANSAC方法进行匹配点提纯。具体步骤：

1）双点匹配法

匹配测度选用归一化相关函数：

其中，ki和kj分别为图像I1和I2中的2个特征向量。S（ki，kj）值越大，特征点相关程度越高。

由于异源图像差异较大，因此，匹配测度的单一极值点不一定是正确的匹配点，造成误匹配率提高。因此，选用双点匹配法，即：对于图像I1的任意一个特征点，选取图像I2中的2个特征点作为候选匹配点。

2）匹配点提纯

基于候选匹配点，采用RANSAC方法实现匹配提纯，剔除外点，得到最终的匹配点对。

2.4 基于归一化互信息的匹配点精确定位

由于边缘提取存在一定的定位误差，造成匹配点位置误差。为了提高匹配点位置精度，采用在一定旋转和平移变换参数θ范围内，搜索使归一化互信息MI最大的变换参数＾θ，实现匹配点精确定位：

归一化互信息MI定义为：

如图5所示，经过匹配点精定位后，匹配点位置精度得到明显提高，通过实验对比，应用匹配点精确定位算法后，匹配正确率从83%提高到94%（误差＜3像素）。

图5 精确定位算法效果

3 实验结果及分析

为了验证本文算法的有效性，选取CVC和DGP可见光－红外图像数据库、LandSat7多光谱遥感数据库进行特征匹配实验，将本文方法与OpenSURF算法进行比较，OpenSURF算法采用系数为0.8的比例提纯法，匹配误差＜3像素视为正确匹配。

（1）CVC数据库匹配结果

如图6所示，采用CVC数据库图像，SURF算法匹配7个特征点，无正确匹配点；本文算法匹配305个匹配点，匹配正确率约为94%。实验表明：对于CVC可见光－红外数据库，本文算法匹配性能显著优于SURF算法。

（2）DGP数据库匹配结果

如图7所示，采用DGP数据库图像，SURF算法匹配21个特征点，无正确匹配点；本文算法匹配139个匹配点，匹配正确率约为95%。实验表明：对于DGP可见光－红外数据库，本文算法匹配性能显著优于SURF算法。

图6 SURF和本文算法匹配实验对比（CVC数据库）

图7 SURF和本文算法匹配实验对比（DGP数据库）

（3）多谱段遥感图像匹配

如图8所示，选用Visible Blue波段与Thermal IR波段进行匹配实验的结果。采用SURF算法，Visible Blue与Mid IR波段图像匹配正确率为44%，Visible Blue与Thermal IR波段匹配正确率仅为5.9%；而采用本文算法，其匹配正确率分别为98.5%和92.6%。实验表明：对于多谱段遥感图像，本文方法匹配性能显著优于SURF方法，另外，对于不同的异源图像本文方法匹配性能稳定，而对于SURF算法，当对比度和亮度差异较大时，其匹配性能下降显著。

图8 本文算法匹配结果（LandSat7数据库，Visible Blue与Thermal IR波段）

选取CVC可见光－红外数据库的32幅图像、DGP可见光－红外数据库20幅图像和8组Land-Sat7多光谱图像进行异源图像匹配实验，实验结果如表1所示。

表1 平均匹配点数和匹配正确率Tab.1 Averagematching points and correct ratio

实验表明：

1）对于可将光－近红外／中波红外／长波红外的异源图像匹配，本文算法的匹配性能显著优于SURF算法，本文算法平均匹配正确率高达88%，而SURF算法仅为26%，前者是后者的3.4倍；

2）对于不同的异源图像之间的匹配，本文算法具有稳定的、鲁棒的匹配性能，而SURF算法在异源图像对比度和亮度差异较大时（如可见光和长波红外），其匹配性能显著下降，甚至失效。

4 结 论

针对异源图像特征匹配应用中，SURF等基于梯度信息的匹配方法性能较差的问题，提出了一种基于相位一致性和梯度方向直方图的异源图像匹配方法。该方法采用相位一致性理论提取特征点和边缘图像，基于边缘图像统计梯度方向直方图生成特征向量。选用归一化相关函数作为匹配测度，采用双点匹配方法进行特征匹配，并使用RANSAC方法进行匹配提纯。为了提高匹配精度，采用局部归一化互信息和最优化方法进行匹配点精确定位。由于相位一致性方法对亮度和对比度变化不敏感，因此，本文方法对于可将光、近红外、中波红外和长波红外之间的异源图像匹配具有较好的匹配性能，平均匹配正确率高达88%，显著优于SURF算法，该方法在医学、遥感、图像融合和景象匹配等方面具有较高的应用价值。

［1］ Bin Fan，Chunlei Huo，Chunhong Pan，et al.Registration of optical and SAR satellite images by exploring the spatial relationship of the improved SIFT［J］.IEEE Geoscience and Remote Sensing Letters，2013，10（4）：657－661.

［2］ CHEN Bing，ZHAO Yigong，LI Xin.A new approach to scene matching during electro-optical imaging terminal guidance［J］.Acta Optica Sinica，2010，30（1）：163－168.（in Chinese）

陈冰，赵亦工，李欣.一种新的光电成像末制导景象匹配方法［J］.光学学报，2010，30（1）：163－168.

［3］ HUANG Jiexian，YANG Dongtao，GONG Changlai.Research on imagematch based onmutual information entropy and regional feature［J］.Laser＆Infrared，2013，43（1）：98－103.（in Chinese）

黄杰贤，杨冬涛，龚昌来.互信息熵与区域特征结合的图像匹配研究［J］.激光与红外，2013，43（1）：98－103.

［4］ C Bodensteiner，W Huebner，K Juengling，et al.Local multi-modal image matching based on self-similarity［C］／／Proceedings of 2010 IEEE 17th International Conference on Image Processing，2010：937－940.

［5］ YAN Junhua，ZHU Zhichao，SUN Sijia，et al.Research on infrared and visible image registration based on multiscale［J］.Laser＆Infrared，2013，43（3）：329－333.（in Chinese）

闫钧华，朱智超，孙思佳，等.基于多尺度红外与可见光图像配准研究［J］.激光与红外，2013，43（3）：329－333.

［6］ D.Lowe.Distinctive Image Features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60（2）：91－110.

［7］ Bay H，Tuytelaars T.SURF：speeded up robust features［C］／／Proceeding of European Conference on Computer Vision，Berlin：Springer-Verlag，2006：404－417.

［8］ Mikolajczyk K，Schmid C.A performance evaluation of local descriptors［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（10）：1615－1630.

［9］ P.Kovesi.Phase congruency：a low-level image invariant［J］.Psychological research，2000，64（2）：136－148.

［10］P.Kovesi.Phase congruency detects corners and edges［C］.The Australian Pattern Recognition Society Conference：DICTA，2003：309－318.

Heterogonous imagematching method based on phase congruency

ZHAO Chun-yang1，2，3，ZHAO Huai-ci1，2，ZHAO Gang1，2
（1.Shenyang Institute of Chinese Academy Of Sciences，Shenyang 110016，China；2.Key-Laboratory of Opto-Electronic Processing，CAS，Shenyang 110016，China；3.University of Chinese Academy of Sciences，Beijing 100049，China）

The common local featurematchingmethods based on gradienthistogram are difficult tomatch correctly due to the difference of contrast and luminance of heterogonous image.For solving this problem，the heterogonous image matchingmethod was proposed based on the phase congruency and histograms of oriented gradients.Firstly，feature points and edge image of heterogonous imageswere extracted by using phase congruencymethod which has invariance of luminance and contrast，and then the 64-dimensional feature descriptorwas generated by counting histograms of oriented gradients of squared feature areawhose size is 100×100.Secondly，formatching heterogonous image pair，normalized correlation function is selected as similaritymeasure，and two better candidatematching point pairs ofone feature pointwas first selected by using dual-point matching method，then matching point pair was purified by using RANSACmethod.Finally，the location ofmatching pointwas refined using optimization method and local normalized mutual information.The experimental results indicate that the proposed method can achieve higher performance in heterogonous imagematching，the average matching correct rate is up to 88%and is 3.4 times of SURF matching method.

heterogonous imagematching；phase congruency；histograms of oriented gradients；normalized correlation；normalized mutual information

TP391

A

10.3969／j.issn.1001-5078.2014.10.022

1001-5078（2014）10-1174-05

中国科学院光电信息处理重点实验室开放基金项目（No.OEIP－O－201203）资助。

赵春阳（1980－），男，副研究员，博士研究生，主要从事目标跟踪方面的研究。E-mail：zcyneu＠sia.com

2013-03-04；

2013-03-19