基于改进SURF 算法的图像拼接技术研究

杨志芳，颜 磊

武汉工程大学电气信息学院，湖北 武汉 430205

图像拼接是图像处理中非常重要的技术，特别是随着科技的逐渐发展，图像获取的途径越来越多样化，图像的质量要求也更高，图像拼接技术可以很好的将两幅或者两幅以上具有重叠区域的图像拼接成一幅信息更加丰富的图像，被广泛的应用在医学、军事活动和计算机视觉等领域。

图像拼接技术的关键在于图像的特征提取和图像匹配，文献［1］提出的尺度不变特征转换（scaleinvariant feature transform，SIFT）算法是图像特征提取中的经典算法，但SIFT 算法在图像特征提取时存在计算量大、效率低等问题。文献［2］针对SIFT 算法的缺点提出了加速稳健特征算法（speed up robust feature，SURF），SURF 算法是对 SIFT 检测算法的改进，通过构建Hessian 矩阵来建立尺度空间，提高算法的鲁棒性，在图像特征的检测速度上大大优于SIFT 算法，但是该算法的匹配精度偏低。文献［3］使用随机抽样一致性（random sample consensus，RANSAC）算法来筛选图像的匹配特征点有利于准确计算出图像的变换矩阵。由于传统的RANSAC 算法计算量较大以及匹配精度较低，后续如全局RANSAC（Universal-RANSAC）等算法［4-5］都针对上述问题进行了改进，以此来提高匹配结果的准确性。

针对上述问题，本文提出利用加速分割检测特征（features from accelerated segment test，FAST）算法和SURF 算法相结合进行图像特征的提取以及描述，并通过改进的k-d 树最近邻查找（best bin first，BBF）算法［6］和双向匹配的自适应阈值方法相结合优化匹配结果，以此提高检测精度和拼接速度。

1 图像拼接流程

图像的特征点提取和描述是图像拼接的基础，为了提高特征点的提取速度和质量，本文主要对经典的 SURF 算法进行改进，采用 FAST［7］算法来快速大量的提取目标图像特征，使用SURF 算法对提取的特征点进行矢量描述，图像拼接的流程图如图1 所示。

图1 图像拼接流程图Fig.1 Flow chart of image mosaic

2 提取图像特征点

2.1 特征点的选择

对于图像特征点的提取，Harris、SIFT、SURF等［8-10］算法的特征点检测时间均较慢，FAST 算法由于不涉及梯度、尺度等复杂步骤，在计算效率上具有一定的优势，因此选取FAST 算法来快速准确的获取图像特征点［11］。本文算法中，首先对图像进行像素点的扫描，然后对其中的每一个像素点进行判断，根据FAST 算法的角点公式来判断该像素点周围16 个像素点的灰度值大于或小于该点的灰度值，即：

式中，I(x)表示圆周c任意一点的图像灰度值，I(P)表示中心像素点P的图像灰度值，若N超过阈值εd，则该点为角点。本文中阈值设为9。图2为FAST 算法的角点检测模板。

图2 FAST 算法的角点检测模板Fig.2 Corner detection template used by FAST algorithm

2.2 特征点的描述

由于原始的FAST 算法检测到的特征点不具备旋转不变性和尺度不变性，导致图像特征在提取过程中存在不稳定性。使用SURF 算法来进行描述可以保证提取的特征点具有很好的稳定性［12］。该算法在对特征点进行矢量描述时，首先是将提取的特征点设为圆心，然后计算半径为6σ（σ为特征点的尺度）的邻域内所有像素点的水平（dx）、垂直（dy）Harr 小波响应总和，将扇形滑动窗口以60°的角度进行扫描，每次扫描的间隔一定，计算出扇形滑动窗口中的小波特征总和的最大值，以最大值的扇形方向为该特征点的主方向。即对图像Haar 小波响应的dx、dy进行叠加处理得到矢量（mw，θw）。

当mw值为最大值时，θw为该特征点的主方向（图3）。

图3 特征点主方向选取过程：（a）x 响应，（b）y 响应，（c）以60°按间隔进行窗口扫描Fig.3 Selection process of main direction of feature points：（a）response value of x，（b）response value of y，（c）window scanning with an angular interval of 60°

在特征点主方向选取后，计算以特征点为中心20s×20s（s为特征点所在的尺度值）矩形内的特征描述子。20s×20s矩形被划分为16 个子区间，在每个子区间内计算出Haar 小波特征的x方向和y方向的响应值，如图4 所示。

图4 特征点描述子的构造Fig.4 Construction of feature point descriptor

其中特征点的描述向量为：

3 图像特征点匹配

传统的SURF 算法采用距离为准则进行特征点相似度的判断，即

式中，l为两点间的距离，n为特征点的维数，X1为参考图像特征点的描述向量、X2为待检测图像特征点的描述向量。

由式（4）计算出参考图像和待检测图像之间所有特征点的距离后，选择其中最近特征点和次近点的比值为阈值，即

阈值T一般取［0.4，0.8］，当最近点lmin相比于近次点lsecond更近时，才保留该特征点。

从图5（a）中可以看出传统的SURF 匹配算法匹配的精度不高，因此本文采用BBF+双向匹配的自适应阈值来获得更精确的匹配结果并且减少计算量，具体步骤为：

1）使用BBF 算法计算出参考图和待检测图之间所有的特征点的距离，将最近特征点和次近点的比值设为阈值T，在［0.4，0.8］之间的图像特征点进行分类统计，分别为集合X1、X2，然后求出这两个集合的比值，分别为x1，x2。

2）对X1、X2两个集合求交集运算，计算出交集部分的各个对应匹配点的比值，设为集合Y。

3）将集合Y中的值进行筛选，求出最小值，特征点匹配的自适应阈值就是计算出的最小值。

图5 图像匹配结果图：（a）采用传统SURF 算法匹配结果图，（b）采用FAST+SURF+BBF+双向匹配的自适应阈值检测图Fig.5 Image matching results：（a）image matching by traditional SURF algorithm，（b）image matching by Fast，SURF，BBF and bidirectional adaptive threshold matching algorithm

4 RANSAC 算法的改进

变换矩阵是用来表示图片间的变换关系，仿射变换能够保证图片的平直性以及平行性，一般使用RANSAC 算法进行变换矩阵求解［13-14］。

式（6）中(x,y )、(x',y' )为待拼接图像的角点位置，s为尺度参数，H为变换矩阵，其中H共有8 个未知参数，使用奇异值的分解方法来计算图片的变换矩阵。由于算法存在一定的误差会导致存在错误匹配的现象，因此求出的变换矩阵不精确。传统算法中一般使用RANSAC 算法对匹配点进行筛选，剔除错误的匹配点后再线性求解出变换矩阵。

由于RANSAC 算法对于一些特征点的色调、亮度、饱合度（hue，intenstitysaturation，HIS）需要反复检测，导致检测效率降低。本文中引入HIS 模型来对检测的特征点进行二次约束，其原理是将RANSAC 算法检测后的特征点进行二次检测，对该点的亮度、颜色、色调等值进行检测，设定一个阈值作为二次检测的条件，不满足此阈值就剔除。

这种HIS 模型的二次约束能够提高正确特征点的检测效率，避免了原RANSAC 算法中无限迭代的情况出现。

5 图像融合

为了保证图片能够无缝拼接，选取渐入渐出加权融合法［15］对图像进行拼接，具体公式如下：

其中x1，x2为待拼接图像，X为拼接后的图像，γ为加权因子为拼接图像重叠部分的横坐标距离，wd为拼接图像重叠部分像素点距重叠部分的横坐标距离。

6 结果与讨论

本文的硬件环境为Intel（R）Core（TM）I5CPU和12 GB RAM，运行环境为Wimdow10+VS2015+Opencv3.2。对图5 的2 幅图片拼接结果如图6所示。

图6 实验结果：（a）图像匹配，（b）图像拼接Fig.6 Experimental results：（a）image matching，（b）image mosaic

表1 是几种常见算法拼接速度的结果。

表1 图像匹配数据Tab.1 Image matching data ms

从实验结果可以得出，本文算法拼接结果完整，算法精度和时间都有很好的提升，能够满足实际应用中高精度和高实时性的要求。

为了更好的验证本文的拼接结果，本文还进行了不同摄像机拍摄同一场景的不同部分进行图像拼接，如图7 所示。图8 是用本文算法对图7 中的两幅图进行拼接的效果，可以看到拼接的图像效果很好，由此验证了本文算法的有效性。

图7 不同摄像机拍摄的实验图：（a）相机1，（b）相机2Fig.7 Experimental images captured by different cameras：（a）camera 1，（b）camera 2

图8 拼接结果Fig.8 Image mosaic result

7 结 论

本文提出一种基于改进SUFR 算法的图像拼接方法，针对传统的SURF 算法匹配速度慢和误匹配率高等问题，提出使用FAST 算法提取图像特征，提高拼接速度，结合SURF 算法与BBF 和双向匹配的自适应阈值算法对图像特征点进行描述和匹配，提高算法的匹配精度，最后将HIS 模型引入RANSAC 算法中剔除误配点，进一步提高算法匹配的准确率。在图像拼接过程中，采用渐入渐出加权融合算法提高图像拼接质量，消除图像拼接过程中常见的缝合处不平滑现象，实验结果表明，本文算法能够在提高检测速度的基础上，还具有较高的匹配精度和很好的拼接效果。