改进尺度不变特征变换算法的图像配准∗

范雪婷 赵朝贺 潘九宝 王 玮

（1.江苏省基础地理信息中心 南京 210013）（2.江苏省地质调查研究院 南京 210018）

1 引言

图像配准是将存在时间、传感器或视角差异的同一场景的两幅或多幅图像进行空间变换使得不同图像在几何空间上对应起来［1～2］。传统影像匹配方法可分成两类灰度信息匹配和特征匹配［3］。基于特征的匹配方法由于具有可靠性高、算法稳定和灵活度高等性能而得到广泛关注。1999年，David G.Lowe提出的尺度不变特征变换（Scale Invariant Feature Transform，SIFT）算法，具有尺度不变和旋转不变性且对视角、噪声、亮度变化具有较强的匹配能力和鲁棒性，从而在图像领域得到广泛应用［4］。但是SIFT算法也有很多缺陷，如计算量大、效率不高及容易出现错误匹配现象等。文献［5］提出基于随机抽样一致性（Random Sample Consen⁃sus，RANSAC）算法与SIFT特征剔除错误匹配，取得一定的效果但并未完全消除错误匹配且直接使用降低了效率。文献［6］提出利用PCA-SIFT算法降低SIFT特征向量维度，减小算法的计算量，但效果并不理想，准确度不如SIFT匹配算法。文献［7］改进RANSAC算法减少匹配计算量，提高了匹配速度，配准精度未改善。综合分析以上因素，本文提出一种改进尺度不变特征变换算法的图像配准方法。算法充分考虑SIFT特征点的特性改进匹配框架和匹配方法，尽可能地利用匹配点对提高算法的配准精度和适用性。

2 算法

本文算法总体流程如图1所示，主要包含三个方面：1）基于SIFT特征匹配点对的最近邻欧式距离DNN和最近邻与次近邻距离比值DNS双重阈值判据将特征匹配点集分为Ⅰ类匹配点集和Ⅱ类匹配点集，记为初始匹配点集；2）对于Ⅰ类匹配点集剔除重复匹配点对并将一对多和多对一匹配点对归入Ⅱ类匹配点集，再进行双向匹配；由于在双向匹配过程中，考虑反向匹配会可能损失正确匹配点对，因此将双向匹配不一致匹配点对并入Ⅱ类匹配点集，本文称之为中间匹配点集；3）利用最优化的随机采样一致性（Optimized RANSAC，ORSA）方法剔除Ⅰ类匹配点集中的错误匹配点对［8］；对于Ⅱ类匹配点集由于直接利用对极几何约束匹配计算量较大，本文先剔除主方向差值与方向差平均值较差大的匹配点，再结合ORSA算法计算的基本矩阵，采用对极几何约束剔除错误匹配点对，从而得到最终精确匹配点集。

图1 算法总体流程

2.1 初始匹配

SIFT算法通常采用特征描述向量间的欧式距离来衡量SIFT特征点间相似度，并通过比较特征点最近邻值和次近邻距离之间的比值来确定是否为匹配点。通常认为DNS值较大时，参考图像的某一特征点与输入图像中至少两个特征点为疑似匹配点，但很难直接判定正确的匹配点，只得全部舍去，且在匹配过程中未度量匹配点间的欧式距离。因此，匹配结果中存在较多的误匹配，降低匹配正确率，影响影像配准精度甚至配准错误。

本文采用重复率来衡量匹配点正确率［9］。对于空间一点X，由影像的投影矩阵P1、P2，分别计算参考影像与输入影像对应的坐标点x1、x2，即x1=P1X，x2=P2X，若同时能检测到点x1、x2，则称为可重复点。可重复点占提取总特征点的比值记为匹配正确率。重复率对于特征提取算法具有较好的稳定性，但不同匹配算法的特征描述信息量和计算精度不同，需要一定的值作为参考。本文认为匹配点对(x1，x2)之间的欧式距离满足Dis(x1，x2)<ε，则该匹配点对为正确匹配点对。

本文通过多组实验，每组实验中设定DNS的阈值为0.8，步长为0.1，统计分析不同取值条件下的DNN、DNS与匹配正确率的关系。图2、3分别表明了最近邻值和匹配点数、匹配正确率之间的关系。图4、5分别描述了最次近邻比值DNS与初始匹配点数、正确匹配点数以及匹配正确率间的关系。

图2 最近邻值与匹配点数关系

图3 最近邻值与匹配正确率关系

由图2、3可知，随着DNN的增大，初始匹配点数、正确匹配点数及匹配正确率都随之减小；当DNN值大于0.3时正确匹配点数、匹配正确率迅速减小甚至为零，而DNN>0.3的匹配点占总匹配点数的比例却很大，严重影响了算法匹配的准确度，也给删除错误匹配点带来不利影响。本文将DNN的阈值设定为0.3，对于DNN>0.3的匹配点直接舍去。

图4 最次近邻比值与匹配点数关系

图5 最次近邻比值与匹配正确率关系

由图4可知，匹配点数及正确匹配点数所占比值与DNS取值无规律可循，并非DNS值较小的匹配点对包含的正确匹配点对就多。由图5可知，匹配正确率随最次近邻比值的增加基本呈下降趋势，当DNS的值大于0.5时，匹配正确率会非常低。但通过实验研究及图4表明DNS>0.5的特征匹配点中还存在一定数目的正确匹配点，直接删除将会影响影像配准精度。为了尽可能多地获取正确匹配点，提高算法配准精度；本文将DNN<0.3的特征点对进行分类，DNS<0.5的匹配点对并进Ⅰ类匹配点集，0.5

2.2 中间匹配

对利用双重阈值判据获得的初始匹配点集中的Ⅰ类匹配点集首先剔除重复匹配点对，然后将其中多对一和一对多现象的匹配点对存入Ⅱ类匹配点集。实验中发现此时更新后的Ⅰ类匹配点集中还有大量的错误匹配点对，为了进一步提高Ⅰ类匹配点集的匹配准确性，利用双向匹配策略筛选正确匹配点对［10］，在实验中发现双向匹配过程中可能会误删正确匹配点对，因此本文将双向匹配不一致的匹配点对并入Ⅱ类匹配点集，以保证足够数量的正确匹配点数，并将提纯后的匹配点集称为中间匹配点集。

2.3 精确匹配

RANSAC算法作为一种有效的模型参数估计算法［11～12］，在剔除图像错误匹配点中得到广泛应用。通过实验研究ORSA算法与匹配正确率间关系发现，ORSA算法提纯后的正确率随初始匹配正确率升高而升高；经ORSA算法提纯后会残留错误匹配点，且随着初始匹配正确率的变大而减小；ORSA算法能基本保留所有的正确匹配点，但当初始匹配正确率低于0.2时，ORSA算法应用失效。因此简单地通过ORSA算法去除初始匹配点中的错误匹配点，不仅消耗大量时间，而且匹配的准确度、适用性并不理想。本文在获取中间匹配点集的基础上，分析Ⅰ类和Ⅱ类匹配点集的特性采取不同的筛选策略，以求更进一步提高配准精度。

对于I类匹配点集由于其匹配正确率较高，能较好地避免ORSA算法因初始匹配正确率低而不适用的问题。因此本文利用ORSA算法进一步删除I类匹配点集中的误匹配点对，实验过程中若残留的匹配点对数不再减少或数目少于等于3，则ORSA算法停止执行，并认为此时提纯后的I类匹配点集所包含的匹配点对为正确匹配点对。

对于Ⅱ类匹配点集，直接利用ORSA算法匹配可能会造成不适用现象，而直接利用对极几何约束匹配［13］，因匹配点数多计算量而比较耗时。本文考虑经方向匹配和ORSA算法提纯后的I类匹配点集匹配正确率较高且匹配点对的主方向角度差基本相同，提出了首先计算I类匹配点集中所有匹配点对的主方向角度差值［14］，得到方向差值的平均值θ；对于Ⅱ类匹配点集首先剔除主方向差与θ值互差较大的匹配点对，然后在采用ORSA算法得到的配准图像间基本矩阵的基础上再采用对极几何约束来剔除误匹配［15］，使Ⅱ类匹配点集得到进一步提纯，称此时的Ⅰ类和Ⅱ类匹配点集为精确匹配点集，利用得到的匹配结果完成影像配准。

为了衡量配准结果的质量，本文采用配准精度这一指标，具体计算步骤为随机在参考影像中选取匹配检查点40个，利用SIFT匹配算法得到特征同名点，采用最小二乘方法求解两影像之间的投影变换矩阵H'，结合图像间已知的单应矩阵H，利用式（1）计算影像配准中误差衡量配准精度指标［16］。

3 实验与分析

3.1 实验数据

为验证本文提出的匹配算法，选择Graffiti流行测试图像（http：//www.robots.ox.ac.uk/～vgg/data/da⁃ta-aff.html）的第1、2、3、4幅图像（本文分别记为Graffiti1、Graffiti2、Graffiti3、Graffiti4），图像序列间的单应矩阵已知。

3.2 实验结果与分析

在Microsoft Windows7操作系统下结合VS2010和开源计算机视觉库OPENCV环境开发了匹配算法，限于篇幅本文仅列出匹配算法在实验过程中的相关结果：1）图6按顺序逐一列出了Graffiti1-2、Graffiti1-3、Graffiti1-4三组特征匹配点对，其中红色十字表示参考图像和输入图像间对应的匹配点对；2）图 7按顺序给出了 Graffiti1-2、Graffiti1-3、Graffiti1-4图像配准结果；3）表1列出了本文算法与经典算法（SIFT+ORSA算法）在匹配点对数上差异；4）表2列出了本文算法与流行算法及改进算法文献［7］配准结果对比。

综合上述实验结果，可知如下：

1）本文算法相对于经典匹配算法无论在匹配正确点对数还是配准精度上都有较大优势，特别是当图像间几何畸变、噪声等较大时，常用匹配算法已经不适用，而本文算法却能保证较高的配准精度，证明本文算法的几何畸变适用性和正确性优势。

图6 本文算法匹配点对结果

图7 本文算法配准结果

表1 算法匹配点对

表2 算法配准结果对比

2）采用本文算法能增加匹配点对的数量，使匹配点在图像上的分布更加趋于均匀，保证匹配算法的稳定性。不同的匹配策略尽可能地删除错误匹配点对，提高配准精度。但由于SIFT特征自身定位精度不高，且影像间几何畸变明显时，定位精度明显降低，所以Graffiti1-3、Graffiti1-4图像间配准精度都大于1个像素。

3）本文算法在提高配准精度的同时损耗了时间，主要为算法中多次使用ORSA算法，但由于Ⅰ类匹配点集匹配点对正确率较高，减少了ORSA单次运行时间，因此总匹配时间增加较少。此外若Ⅰ类匹配点集剔除误匹配后的剩余点对数满足配准要求，也可直接抛弃Ⅱ类匹配点集的匹配过程，从而确保匹配速度。

4 结语

本文分析传统基于SIFT特征算法和RANSAC匹配的缺陷，充分考虑特征点的相似性度量和匹配点集的特征，针对匹配框架和匹配方法，提出了一种改进尺度特征变换算法的图像配准，匹配过程中利用双阈值判据对匹配特征点对进行分离，保证匹配点对的数目，然后对Ⅰ类匹配点集进行初匹配并将一对多、多对一以及双向匹配不一致点对并入Ⅱ类匹配点集，在降低正确匹配点对损失的基础上使得匹配特征点集得到进一步提纯，获取中间匹配点集，最后考虑双匹配点集自有特性采取相应的匹配方法，并对对极几何约束匹配方法进行改进，提高匹配的效率和配准精度。实验对比分析证明本文提出的匹配算法在匹配点对的数量和配准精度上有明显优势，提高了算法适用性和准确性。