对比度阈值自适应的SIFT图像拼接算法

李 尊，申小萌，苗同军



对比度阈值自适应的SIFT图像拼接算法

李 尊，申小萌，苗同军

（新乡学院 物理与电子工程学院，河南 新乡 453000）

图像拼接技术主要由3部分构成：采集、匹配和融合，其中匹配最为关键，决定拼接质量。针对SIFT图像拼接算法的特征点数目局部过高或过低情况，采用对比度阈值自适应的SIFT图像拼接算法，可得到合理数目的特征点。此方法保证特征点数目在150～300之间，过高或过低时，可自适应调节数目，进行有效控制。实验证明：改进的算法保证拼接效果的基础上，提高运算效率，具有实用价值。

图像拼接；SIFT算法；对比度阈值；自适应

0 引言

图像拼接技术[1-3]是指多幅具有重叠区域的图像，拼接成视角宽阔的大场景图像的过程。目前，该技术广泛应用于影视制作、医疗诊断等方面，是计算机视觉的研究热点。

图像拼接技术主要由3部分构成：采集、匹配和融合，其中匹配最为关键。目前常用的图像匹配算法[4-7]有模板匹配法、图像灰度法、图像特征法和变换域法等。模板匹配法简单易行但定位不准确，只能实现基本定位；图像灰度法的鲁棒性较好但需选择合适的代价函数；图像特征法效率得到提高但鲁棒性的特征较难选择；变换域法利于硬件实现但只是提供一个良好的初始配准参数。

基于SIFT特征点的图像拼接方法是常用的图像拼接算法。其对旋转和尺度具有不变性，并对光照、视角和噪声具有很好的鲁棒性，但计算量大，耗时较多。文献[8]利用PCA对SIFT算法进行降维处理，提高特征向量的鉴别能力，运用到红外热成像中；文献[9]将边缘检测Canny引入降维处理，改进SIFT图像拼接方法，提高效率和准确性；

文献[10]引入预检测到RANSAC进行精匹配，提高了算法的速度。

因此为了满足图像自身特点的要求，针对SIFT算法的图像拼接进行改进。本文提出对比度阈值自适应的SIFT图像拼接算法。本文算法既保证拼接质量，又提高效率，减少时间。

1 基于SIFT的图像配准

SIFT图像配准算法[11]由LOW于2004年总结提出。其对图像的复杂变形（光照、旋转）具有较强的适应性，定位准确，因此被广泛应用。

1.1 检测

此步骤为检测尺度空间关键点。由于高斯卷积核是唯一的线性核，因此图像的尺度空间函数可通过高斯核表示。如下式所示：

(,,)＝(,,)*(,) (1)

式中：(,,)为高斯核；*表示卷积。

为了保证检测点的稳定性，因此引入高斯差分函数。如下式所示：

(,,)＝((,,)－(,,))*(,) (3)

式中：为常数。

通过上述操作，可得到图像的尺度空间。在尺度空间极值检测中，为防止出现局部极值，需要每个像素点在尺幅空间中的相同层和相邻的上下两层的共26个像素点进行搜索比较。其中，相同层为8个像素点，相邻的上下两层各为9个像素点。基于高斯核的极值点的检测具有良好的尺度不变性。此步示意图如图1所示。

图1 空间关键点检测

1.2 定位

此步骤为关键点的精确定位。高斯差分对边缘和噪声敏感，因此引入三维二次函数拟合定位稳定的特征点。其公式如下所示：

上式为Taylor拟合公式，其中＝(,,)。

1.3 主方向

此步骤为确定关键点的主方向。关键点的主方向由其邻域的像素点梯度方向所决定。其公式如下所示：

式中：L表示关键点所处的空间。确定梯度方向直方图的峰值，选取高于0.8倍的峰值位置拟合，得到关键点主方向。其关键点主方向的直方图如图2所示。

1.4 特征描述符

此步骤为生成SIFT特征描述符。为了保证匹配的准确性，LOW选用16个种子点，形成128维SIFT特征向量，即特征描述符。其生成步骤如下所示：

Step1：为保证旋转不变性，则轴方向与特征点主方向重合；

Step2：以特征点为中心，构成4×4个子区域，遵循靠近特征点贡献大的原则，利用高斯函数对子区域的梯度进行加权；

Step3：将0～360°均匀分为8份，用三维插值法统计方向直方图；

Step4：最后将子区域的方向直方图连接起来，构成128维特征描述符。

1.5 特征匹配

此步骤为特征匹配的判定。本文采用欧氏距离作为匹配原则。公式如下所示：

在实际运用过程中，并不是每个特征点都具有对应的匹配点。因此需要引入阈值去除这些特征点，一般阈值取值为0.8。

2 改进的SIFT图像拼接算法

2.1 基于SIFT的图像拼接

基于SIFT的图像拼接方法由5步构成。图像输入、SIFT特征提取、特征点匹配、RANSAC精匹配和图像融合。其算法流程图如图3所示。

图3 SIFT拼接算法流程图

其中，RANSAC算法具有较好的鲁棒性，用于精匹配。

2.2 对比度阈值自适应的SIFT图像拼接

在SIFT算法中，剔除低对比度极值点的步骤所设定的阈值是固定的，一般取值为0.04。但在图像中，不可能存在情况完全相同的两个像素点，每个像素点的情况都有各自特殊。固定的阈值会造成局部极值点过多或者过少[12]。因此，本文采用自适应阈值的方法进行筛选。公式如式(7)所示：

上式中，一般选取1＝0.25，2＝4，表示特征点的个数。自适应阈值的选择是为了保证特征点的数目在一个合理的范围内。其具体步骤如下所示：

Step1：设定特征点上下限阈值，min＝150，max＝300；

Step2：统计特征点数目；

Step3：比较，若特征点数目在上下限之间，则跳转至Step5；否则进行Step4；

Step4：根据公式(7)调整特征点的数目，使之达到预定的要求；

Step5：数目达到预定要求，继续进行SIFT算法的其他步骤。

本文将改进的SIFT算法应用于图像拼接，可以既保证拼接效果又提高效率。

3 仿真实验结果分析

本实验采用处理器为Intel(R) Core(TM)i5-2450M CPU@2.5GHz，实验仿真软件为MATLAB7.0。采用结构相似度（structural similarity index，SSIM）[13]进行评价图片拼接效果。

SSIM是一种衡量两幅图像相似度的指标，其取值范围为－1～1。当SSIM＝1时，表示两幅图像为一幅图像，可认为完全相同。

图4为故宫待拼接图像，图像大小为202×136；图6为校门待拼接图像，图像大小为694×452。图8为风景待拼接图像，图像大小为466×310。图5、图7、图9为拼接效果对比图。主观上，3组实验的拼接效果满足人的视觉需求，无明显分界线和重影出现；客观上，故宫的两幅拼接结果图的SSIM值为0.9810；校门的两幅拼接结果图的SSIM值为0.9875；风景的两幅拼接结果图的SSIM值为0.9742，由此可得3组实验的两组拼接图均可近似看作一幅图。且由表1的数据可以看出，在保证拼接效果的基础上，时间降低。通过仿真实验可得，本文算法在保证图像拼接效果，满足人眼视觉的基础上，降低时耗，提高效率，具有可行性。

图4 故宫待拼接图像

图5 故宫拼接对比图

图6 校门待拼接图像

图7 校门拼接对比图

图8 风景待拼接图

Fig.8 Two images of the scenery before mosaicing

图9 风景拼接对比图

表1 客观数据对比表

4 结束语

针对传统的SIFT算法的图像拼接的对比度阈值为恒定值的特点，本文提出改进。引入自适应公式，根据图像的情况，控制特征点数目，防止出现特征点过多或过少。本文算法既保证图像拼接效果又提高了效率，具有一定的实用价值。

[1] 曹俊杰, 封靖波, 苏云勋. 全景图像拼接算法[J]. 大连理工大学学报, 2003, 43(21): 180-182．

CAO Junjie, FENG Jinbo, SU Yunxun. A panoramic image mosaic algorithm[J]., 2003, 43(21): 180-182．

[2] 李晓娟. 图像拼接技术研究[D]. 西安: 西安电子科技大学, 2007.

LI Xiaojuan. Research on Image Mosaic[D]. Xi’an: Xi Dian University, 2007.

[3] 陈勇. 基于改进SIFT算法的图像配准研究[D].成都: 电子科技大学, 2011.

CHEN Yong. Research on image Registration on improved sift algorithm[D]. Chengdu: University of electronic science and technology of China, 2011.

[4] 杨艳伟. 基于SIFT特征点的图像拼接技术研究[D]. 西安: 西安电子科技大学, 2009．

YANG Yanwei. Research on image Mosaic based on sift algorithm[D]. Xi’an: Xi Dian University, 2009.

[5] 刘松. 基于改进SIFT的图像拼接及其并行化研究[D]. 合肥: 安徽大学, 2014．

LIU Song. Research on image splicing technology based on sift algorithm and its implementation[D]. Hefei:Anhui University, 2014．

[6] 阮小丽, 陈庆虎, 邱益明, 等. 基于不变因子的SIFT误匹配点剔除及图像检索[J]. 红外技术, 2015, 37(7): 560-565．

RUAN Xiaoli, CHEN Qinghu, QIU Yiming, et al. Excluding sift mismatching points based on the invariant factors and image retrieval[J]., 2015, 37(7): 560-565．

[7] 李明, 李德仁, 范登科, 等. 利用PC-SIFT的多源光学卫星影视自动配准方法[J]. 武汉大学学报: 信息版, 2015(1): 64-70．

LI ming, LI Deren, FAN Dengke, et al. An automatic PC-SIFT-based registration of multi-source images from optical satellites[J]. Geomatics and Information Science of Wuhan University, 2015(1): 64-70．

[8] 刘欢, 谷小婧, 顾幸生. 基于鲁棒特征匹配的热成像全景图生成方法[J]. 红外技术, 2016, 38(1): 10-19．

LIU Huan, GU Xiaojing, GU Xingsheng. Thermal image stitching based on robust feature matching[J]., 2016, 38(1): 10-19．

[9] 胡伊日格其. 基于改进SIFT的图像配准算法的图像拼接实现[D]. 大连: 大连理工大学, 2014．

HU Yirigeqi. Image Mosaci Based on Improved Image Registration[D]. Dalian: Dalian University of Technology, 2014．

[10] 何宾, 陶丹, 彭勃. 高实时性F-SIFT图像拼接方法[J]. 红外与激光工程, 2013, 42(52): 440-444．

HE Bin, TAO Dan, PENG Bo. High real-time F-SIFT image mosaic algorithm[J]., 2013, 42(52): 440-444．

[11] Lowe D G. Distinctive image feature from scale invariant key point[J]., 2004, 62(2): 91-110．

[12] 胡鹏. 基于嵌入式系统自适应SIFT图像配准算法研究[D]. 西安: 西安电子科技大学, 2014．

HU Peng. Embedded System Based Image Registration Using Adaptive SIFT Algorithm[D]. Xi’an: Xidian University, 2014.

[13] 万国挺, 王俊平, 李锦, 等. 图像拼接质量评价方法[J]. 通讯学报, 2013, 134(8): 76-81．

WAN Guoting, WANG Junping, LI Jin, et al. Method for quality assessment of image mosaic[J]. Journal on Communications, 2013, 134(8): 76-81．

Image Mosaic Based on Contract Threshold Adaptive SIFT Algorithm

LI Zun，SHEN Xiaomeng，MIAO Tongjun

(,,453000,)

An image mosaic consists of three parts: acquisition, image-matching, and image fusion. Image-matching is the key part, determining the image mosaic quality. For cases where in the feature point number is too high or too low, we propose an image mosaic based on the contract threshold adaptive SIFT algorithm. The proposed method adaptively and effectively controls the feature point number when it is too high or too low, ensuring a value between 150 and 300. Experimental results show that this method, which has practical value, can improve computational efficiency based on mosaic effects.

image mosaic，SIFT algorithm，Contract threshold，self-adaption

TP391.41

A

1001-8891(2017)10-0946-05

2016-08-18；

2016-12-26.

李尊（1988-），女，河南新乡人，硕士，助教，主要从事图像处理和模式识别的研究。E-mail：2185099648@qq.com。

河南省高等学校重点科研项目（17A470013）。