基于几何约束的重复视觉特征点匹配方法

深圳信息职业技术学院团委 胡吉良

深圳信息职业技术学院软件学院 张华健 花罡辰

基于几何约束的重复视觉特征点匹配方法

深圳信息职业技术学院团委 胡吉良

深圳信息职业技术学院软件学院 张华健 花罡辰

当前，特征特征点匹配广泛采用固定阈值或NNDR（最近邻距离比率）策略，这些方法均假设每个特征点最佳匹配是惟一的。而重复特征点在现实世界大量存在，固定阈值或NNDR策略均不能有效处理重复的特征点，从而极易引起误匹配，误匹配将导致各类计算机视觉算法精度大大下降，所以重复特征点匹配是计算机视觉中的一个难题。本文针对重复特征点无法使用NNDR等传统方法匹配的问题，创新地在NNDR策略基础上，基于RANSAC算法，利用特征点的几何约束迭代地回收被NNDR策略丢弃的重复特征点，进而有效地提高重复特征点匹配精度。

几何约束；重复特征点；特征点回收；最近邻距离比率

1.研究背景

目前，局部视觉特征点被广泛用在计算机视觉领域进行图形图像匹配运算。例如人脸识别[1]，SLAM[2]等。Lowe[3]在2004年提出了SIFT（Scale-Invariant Feature Transform）特征。SIFT首先利用高斯差分（Difference of Gaussian）金字塔检测出尺度不变兴趣点，然后根据兴趣点相邻像素梯度特征计算出每个兴趣点的旋转不变的特征向量（建议为128维）。SIFT特征具有完全的尺度不变和旋转不变性质。Bay[4]建议使用NNDR（Nearest Neighbor Distance Ratio最近邻距离比率）策略匹配视觉特征，进而产生精确的一对一特征匹配对。NNDR策略主要是为了避免重复特征点产生歧义而设计，只有最近似特征点与第二近似特征点的欧拉距离比小于某个阈值，该匹配才会被判断为有效匹配，如式(1)所示：

由于NNDR策略能够足够精确地提取一对一特征点匹配对，所以被广泛应用于局部特征和全局特征中 。但是现实环境下，重复纹理普遍存在，例如：灌木丛，草地，高楼的表面等等。这些重复纹理导致大量重复特征点被提取出来。若采用NNDR策略进行匹配则这些重复特征点产生的正确匹配也会被抛弃。重复特征点（纹理）匹配的问题是计算机视觉领域的一个难题。

2.算法流程

本文提出了一种结合NNDR和RANSAC[5]算法的新颖的重复特征点匹配、回收方法。本算法流程简单描述如下：（1）利用NNDR过滤两图片的特征点匹配对，过滤后的匹配对作为有效一对一匹配对集合S。（2）利用S使用RANSAC算法获取这对图像的的单应性变换矩阵H。（3）基于H重新测试被第1步被NNDR排除掉的潜在匹配对。若投影误差小于Thr则回收该匹配对。（4）把新回收的匹配对加入到S，并回到第2步再次利用RANSAC算法计算单应性变换矩阵H。直到RANSAC算法排除误匹配后没有新的匹配对被加入，算法结束。

由于本算法初始的单应性变换矩阵H仅由NNDR过滤后的有效匹配集合S确定，所以通过步骤1，2，3计算的初始的H并不是全局最优解，而是局部最优解。本算法迭代地重复步骤2，3，4以保证取得的最终结果为全局最优解。本算法能够有效匹配重复的特征点，特点是思路简洁、鲁棒性强且算法所需时间略微大于传统SIFT+RANSAC算法。

3.实验结果

为了验证本方法的正确性和效率，我们进行了匹配重复特征点的实验。实验用图片如图1所示。图片分辨率均为794 × 595，两张实验用图片分别从不同角度拍，图片中的物体未做任何移动，两图中均有大量重复的特征点集中在黑白纹理的笔记本上。实验时进行左右图片的特征点匹配。

图1所示为SIFT+NNDR+RANSAC方法的实验结果，白色线条表示匹配的特征点对，可以看出集中在黑白纹理的笔记本上的重复特征点几乎没有被匹配。图2所示为本方法的实验结果，显然地，黑白重复纹理产生的特征点也被正确、充分地匹配了。

图1 SIFT+NNDR+RANSAC方法实验结果

图2 本方法实验结果

SIFT+NNDR+RANSAC方法耗时1577.713毫秒，本方法耗时1653.785毫秒。本方法对比SIFT+NNDR+RANSAC方法额外耗时为76.045毫秒，额外耗时比率为4.82%。SIFT+NNDR+RANSAC方法获取匹配对数为210对，本方法获取匹配对数为564对，提升幅度为168.57%。

4.总结

根据上述实验结果可见本方法在含有重复纹理的特征点匹配中表现令人满意。对比传统的SIFT+NNDR+RANSAC方法，本方法在额外花费4.82%处理时间基础上获取匹配数量得到了高达168.57%的提升。除了对有明显重复纹理的图像特征点匹配外，本方法也能用于不含有大量重复纹理的图像特征点匹配以获取更多有效匹配对。在付出极小代价的基础上，本方法能完全替代传统的特征点匹配加几何约束的图像匹配方法。因此本方法可以广泛使用于立体视觉、3D重建、SLAM等等领域。

[1]于祥春.一种基于SIFT的特征提取在人脸识别算法中的研究[D].吉林大学,2015.

[2]朱代先,王晓华.基于改进SIFT算法的双目视觉SLAM研究[J].计算机工程与应用,2011(14):170-173.

[3]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110. [DOI:10.1023/B:VISI.0000029664.99615.94].

致谢：本研究得到广东大学生创新培育专项（攀登计划）资金资助（项目编号：pdjh2016b0715）。

胡吉良（1978—），男，江苏徐州人，硕士研究生，深圳信息职业技术学院讲师，主要研究方向：大学生科技创新与创业。

张华健（1995—），男，广东茂名人，大学专科，主要研究方向：软件技术、图像处理。

花罡辰（1988—），男，江西抚州人，博士，深圳信息职业技术学院软件学院讲师，主要研究方向：软件技术、图像处理。