图像局部特征自适应的快速SIFT图像拼接方法

陈　月，赵　岩，王世刚

(吉林大学 通信工程学院，吉林 长春 130012)



图像局部特征自适应的快速SIFT图像拼接方法

陈月，赵岩*，王世刚

(吉林大学 通信工程学院，吉林 长春 130012)

摘要：针对目前图像拼接中计算量较大、实时性较差的问题，本文提出了一种图像局部特征自适应的快速尺度不变特征变换(SIFT)拼接方法。首先，对待拼接图像分块，确定图像局部块的特征类型；接着自适应采用不同的简化方法提取各局部块的特征点。然后，通过特征匹配求出变换矩阵，并结合RANSAC算法去除伪匹配对。最后，通过图像融合得到最终的拼接图像。文中使用提出的方法对3组待拼接图像进行实验。从实验结果可以看出：与标准拼接方法相比，本文改进方法的计算速度提升了30%～45%。因此，这种方法能够在保证图像拼接质量的前提下，有效提高图像拼接的效率，克服图像拼接中计算复杂度高的问题，在实际图像拼接中具有一定的应用价值。

关键词:图像拼接；尺度不变特征变换；局部特征自适应；特征类型

1引言

图像拼接是图像处理的基本问题之一，它是指将多幅存在部分重叠的图像序列进行空间匹配对准, 经融合后形成一幅包含图像序列信息的宽视角、高清晰的新图像[1-5]。图像拼接技术在计算机视觉、虚拟现实、遥感图像处理、视频监控等领域有着广泛的应用[6-8]。

1996年，微软研究院的Richard Szeliski提出了基于运动模型的全景图拼接算法[9]。之后，Shmuel Peleg提出了灵活性更高的图像拼接模型，该模型具有一定的自适应性，并将图像做条带化处理后进行多重投影[10]。2007年，Brown等人提出了利用尺度不变特征提取算法进行自动图像拼接[11]。2012年，Mahesh使用Harris探测特征点，提出了基于特征的图像拼接方法[12]。图像拼接中最重要的一个步骤就是特征提取，特征提取算法的好坏将直接决定拼接的质量和效率。SIFT[13-16]算法所提取出的特征对于图像亮度变化、尺度缩放、角度旋转等都能够保持不变，同时在仿射变换、视角变化以及噪声干扰的情况下也能够保持一定的稳定性，在众多的检测子算法中，它被公认为是比较有效且稳定的方法[17]，因此SIFT一直是图像拼接方法中常用的特征提取方法。

然而，目前基于SIFT的图像拼接过程由于提取特征点数目较多、匹配耗时长、计算量较大等而导致了实时性差的问题。因此，本文提出了一种图像局部特征自适应的快速SIFT图像拼接方法，这种方法根据图像局部特征类型，自适应选择简化方法进行快速特征点提取，然后通过特征匹配获得待拼接图像的投影变换矩阵，最后得到拼接结果。实验结果表明，本文提出的方法能够有效降低整体图像拼接过程的时间。

2基于SIFT的图像拼接

图像拼接的关键步骤为获取待拼接图像的特征点，找到两幅图像的对应特征点，并利用这些点计算图像间的投影变换矩阵，最后将图像变换到一个坐标系完成图像的融合和拼接。基于SIFT的图像拼接流程如图1所示。

图1　图像拼接流程图 Fig.1　Block diagram of image stitching

SIFT算法[13]由于其自身的鲁棒特性，多年来一直是特征提取的经典算法。其算法主要包括以下4个步骤：

(1)构建尺度空间，对图像建立高斯金字塔和高斯差分金字塔，检测极值，得到候选特征点。

(2)上面过程得到的极值点是在离散空间内搜索的，并且离散空间经过了降采样的处理，导致得到的候选特征点并非真正的特征点。所以使用拟合函数，精确得到连续空间上特征点的位置、尺度。

(3)计算特征点邻域像素梯度的大小和方向，并用直方图统计，获得特征点的主方向及辅方向。

(4)通过以上步骤得到了特征点位置、尺度以及方向信息。利用特征点邻域范围内像素的梯度信息，将以特征点为中心的窗口分为4×4=16个种子点，每个种子点计算8个方向梯度信息，得到128维的特征向量来描述此特征点，最终建立图像的特征点描述符。

3改进的快速SIFT图像拼接

虽然基于SIFT的图像拼接方法在图像处理领域被广泛应用[18-21]，具有优良特性，但是过程中提取出的特征点数目较多，使用128维向量来描述特征点计算量过大，实时性能无法保证，因此也限制了它的实际应用。基于以上问题，本文提出改进方法，在不影响最终拼接效果的前提下，提升整体拼接过程的速度。

图2　改进的拼接方法流程图 Fig.2　Flowchart of improved image stitching method

改进方法拼接流程如图2所示，其中虚线框内为主要改进部分。首先，将待拼接图像分块，借助方差描述图像局部的复杂度，根据图像各局部块的复杂度统计值确定阈值，并根据灰度直方图判断各图像局部块所需使用的灰度级个数。接着对于不同复杂度的图像局部块，根据各自的特点自适应进行SIFT特征点检测的简化操作。然后使用提取出的SIFT特征点实现特征匹配，并且应用RANSAC算法去除误匹配点。最后，得到待拼接图像间的投影变换矩阵进行拼接，并且对拼接缝隙融合得到最终拼接结果。

3.1确定图像的局部特征类型

首先对图像进行分块，确定图像局部特征类型。具体操作过程如下：将待拼接图像划分为若干块子区域，分别计算每个子区域的方差和灰度直方图。灰度直方图中某一灰度值处包含单一较窄尖峰，表示这一子块内的灰度值基本不变，子块是平坦的，判定为平坦区，子块对应方差记为T1；若灰度直方图尖峰对应横坐标包含的位置长度为2个灰度值，表示这一子块主要有两个灰度值，用两个灰度级表示，判定为边缘区，子块对应方差记为T2；若灰度直方图尖峰对应横坐标包含的位置长度为3～15个灰度值时，用16个灰度级表示，判定为纹理区，子块对应方差记为T3；其余子块图像的灰度级均按原来的256个灰度级表示，判定为细节区。通过上述过程同时得到了图像局部特征类型区分的复杂度阈值T1、T2、T3。

3.2自适应特征检测

(1)平坦区

对图像局部复杂度区分后，对于局部特征平坦的图像块，特征信息不明显，因此无需进行特征点的提取，同时节省了时间开销。

(2)边缘区

对于局部特征判定为边缘区的图像块，将其转化为二值图像。因为二值图像本身表示的轮廓更能反映图像的内容，同时对图像进行二值化处理也使图像中的数据量大大减少。另外二值化处理过程类似于高斯模糊的过程，作用都是去除图像细节，这样通过二值处理后的图像无需进行SIFT算法中的高斯模糊过程，从而节省了时间。

边缘区特征的提取主要是利用高斯尺度空间的信息。在之前的Corner检测子算法[22]中，高斯尺度空间的信息是用来描绘特征点局部邻域关系很有价值的特征。由于DoG金字塔是由高斯金字塔中相邻两层图像相减得到的，所以高斯尺度空间同样具有较多信息量。因此对于具有两个灰度级的边缘区图像块，仅需在高斯尺度空间内提取差分特征信息以及Hessian矩阵的相关信息，高斯尺度空间特征如表1所示。其特征提取具体过程如下：首先对图像块进行二值化处理，然后建立高斯金字塔，无需进行高斯模糊，在高斯尺度空间中提取差分特征信息，然后再进行后续的特征点极值定位[13]等操作。

表1　高斯尺度空间特征

(3)纹理区

对于判定为纹理区的图像块，为了加快计算速度，在进行特征描述符表示时，将以特征点为中心的大小为8×8的窗口分成4个小块，每个小块大小为4×4，最终产生4个种子点，并计算每个种子点的梯度方向，对应8个方向的方向信息，即最后产生4×8=32维的SIFT特征向量。

(4)细节区

对于图像局部特征判定为细节区的图像块则按照传统的SIFT算法[13]进行特征点提取，每个特征点得到128维的SIFT特征向量。

3.3特征匹配

在对SIFT算法的应用中，SIFT特征点的匹配一直是图像拼接过程中至关重要的步骤。通常使用距离比值法来获得两幅图像间的匹配点对。

本文采用了欧氏距离作为两幅图像特征点的相似性判定度量，使用基于BBF(Best Bin First)的k-d树搜索算法寻找特征点的最近邻和次近邻。假设要找到目标图像中点p1的匹配点,计算其与参考图像中最近邻点(记为q1)和次近邻点(记为q2)的欧式距离,分别记为D11和D12。其中特征点间的欧氏距离可由式(1)计算得出。若距离比D11/D12小于某个阈值TH,则认为p1和q1为一对合格的匹配点对，否则p1无匹配点。

(1)

式中，p1i和p2i分别为SIFT特征点p1、p2特征向量中的元素。

但这样得到的匹配点对通常包含误匹配点对，所以利用RANSAC算法对匹配点对进行筛选，得到两幅图像间准确的投影变换矩阵。

3.4图像融合

使用得到的投影变换矩阵就可以对两幅图像进行相应的变换，确定图像的重叠部分然后直接拼接，但是这种直接叠加像素点灰度值的拼接所得到的效果有限，通常会在拼接重合处留有接缝、鬼影等影响视觉的痕迹。为了优化拼接缝隙、得到理想的拼接效果，本文采用加权平滑算法对拼接后的图像进行处理，从而消除拼接缝隙等对图像的影响。

该算法通过其权值由0 到1 逐渐变化, 可以实现融合图像的平滑过渡. 其中f1(x,y)和f2(x,y)分别代表待拼接的两幅图像,f(x,y)代表拼接完成的图像,则加权平滑融合可表示为：

(2)

式中，w1和w2表示权值, 且w1+w2=1,运算过程中w1由1 变到0,w2由0 变到1,从而能够实现两幅图像的平滑过渡。

4实验结果

为验证本文所提出方法的有效性，在Windows XP操作系统下利用VS2010和Opencv2.3.1库进行仿真实验。实验分别采用文献[11]方法和本文改进方法对3组具有平移、旋转以及仿射变换关系的图像对进行拼接。图3为3组拼接所用的原始图像，是由数码相机拍摄采集的3组相互间有一定比例重叠的图像，大小分别为297 pixel×216 pixel、309 pixel×225 pixel、308 pixel×401 pixel。图4为图3(a) 和图3(b)拼接的结果图。

图3　3组待拼接原始图像 Fig.3　Three groups of images to be stitched

图4　使用本文方法的拼接结果 Fig.4　Stitching results using proposed method

从图4中可以看到，本文方法对于平移、旋转以及仿射变换的图像对能够正确拼接，并且拼接效果很好。其中以图3(c) building图像为例，文献[11]方法和本文改进方法在特征点提取阶段的比较如表2所示。可以看到，由于本文改进方法在特征点提取阶段局部特征自适应的简化，得到的特征点个数和特征点提取时间都有所降低。另外，文献[11]方法和本文改进方法所计算出的投影变换矩阵H1、H2分别为：

(3)

(4)

可以发现，两个投影变换矩阵几乎相同，说明虽然本文改进方法由于简化导致了特征点个数的减少，但是得到的有效匹配点对仍然可以正确计算出变换矩阵，进而实现准确拼接并保证较好的拼接质量。图5为两种方法得到的拼接效果图对比，可以看到改进方法的拼接效果和文献[11]方法拼接效果一致，并未产生拼接误差。

图5　两种方法拼接效果图对比 Fig.5　Comparison of stitching effect by two methods

表3列出了文献[11]方法和本文改进方法对图3所示的3组待拼接图像整体拼接时间比较的结果，其中拼接时间为特征点提取、特征匹配以及图像融合过程的时间总和。从表3中可以看出：本文改进方法相比文献[11]方法在整个图像拼接过程中的计算速度分别提升了30%～45%，在保证良好的图像拼接质量的前提下，不同程度地降低了图像拼接的时间，有效提高了最终图像拼接的效率。

表3文献[11]方法与本文改进方法的拼接时间(单位：秒)

Tab.3 Stitching time of method in Ref. [11] and the proposed method　　　(Unit:s)

5结论

本文通过对基于SIFT的图像拼接方法的深入研究和分析，在其基础上提出了一种图像局部特征自适应的快速SIFT图像拼接方法。本文方法在提取特征点之前，首先分析图像局部块的特征类型，根据图像局部特征的不同，自适应选择合适的简化方法提取SIFT特征点，有效完成了SIFT特征点的快速提取，对整体拼接过程速度的提升起到重要作用。从最后的3组实验结果可以看出：本文方法可以有效克服传统图像拼接方法中计算量大、效率低的缺点，其计算速度较文献[11]方法提升了30%～45%，能够在保证良好拼接质量的前提下，有效提高图像拼接的效率，具有一定的实时性，在实际图像拼接中具有一定的应用价值。

参考文献：

[1]李宏升,张健.基于小波粗糙集算法的图像拼接研究[J].液晶与显示,2014,29(2):298-303.

LI H SH,ZHANG J. Image mosaic research based on wavelet and rough set algorithm[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(2):298-303.(in Chinese)

[2]史光辉,杨威.用于图像拼接的电视摄像光学系统[J].中国光学,2014,7(4):638-643.

SHI G H,YANG W. Optical system used to compose images in television photograph[J].ChineseOptics,2014,7(4):638-643.(in Chinese)

[3]张云峰.基于DSP的实时图像拼接技术[J].液晶与显示,2013,28(6):963-967.

ZHANG Y F. Real-Time image mosaic technology based on DSP[J].ChineseJ.LiquidCrystalsandDisplays,2013,28(6):963-967.(in Chinese)

[4]何宾,陶丹,彭勃.高实时性F-SIFT图像拼接算法[J].红外激光工程,2013,42(S2):440-444.

HE B,TAO D,PENG B. High real F-SIFT image stitching algorithm[J].InfraredandLaserEngineering,2013,42(S2):440-444.(in Chinese)

[5]李军,吴洁明.一种改进图像拼接算法的仿真研究[J].计算机仿真,2012,29(2):273-313.

LI J,WU J M. Simulation study of an improved image stitching algorithm[J].ComputerSimulation,2012,29(2):273-313.(in Chinese)

[6]王新华,王晓坤.十亿像素瞬态成像系统实时图像拼接[J].中国光学,2015,8(5):785-792.

WANG X H,WANG X K. Real time image mosaic of the transient gigapixel imaging system[J].ChineseOptics,2015,8(5):785-792.(in Chinese)

[7]王新华,黄玮,欧阳继红.多探测器拼接成像系统实时图像配准[J].中国光学,2015,8(2):211-219.

WANG X H，HUANG W，OUYANG J H. Real-time image registration of the multi-detectors mosaic imaging system[J].ChineseOptics,2015,8(2):211-219.( in Chinese)

[8]CHEN J W,FENG H J,PAN K C,etal.. An optimization method for registration and mosaicking of remote sensing images[J].Optik-InternationalJ.LightandElectronOptics,2014,125(2):697-703.

[9]SZELISKI R. Video mosaics for virtual environments[J].ComputerGraphicsandApplications,1996,16(2):22-30.

[10]PELEG S,ROUSSO B,RAV-ACHA A,etal.. Mosaicing on adaptive manifolds[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2000,22(10):1144-1154.

[11]BROWN M,LOWE D G. Automatic panoramic image stitching using invariant features[J].InternationalJ.ComputerVision,2007,74(1):59-73.

[12]MAHESH,SUBRAMANYAM M V. Automatic image mosaic system using steerable Harris corner detector[J].MachineVisionandImageProcessing,2012:87-91.

[13]LOWE D G. Distinctive image features from scale-invariant keypoints[J].InternationalJ.ComputerVision,2004,60(2):91-110.

[14]许佳佳.结合Harris与SIFT算子的图像快速配准算法[J].中国光学,2015,8(4):574-581.

XU J J. Fast image registration method based on Harris and SIFT algorithm[J].ChineseOptics,2015,8(4):574-581.(in Chinese)

[15]刘立,彭复员,赵坤,等.采用简化SIFT算法实现快速图像匹配[J].红外与激光工程,2008,37(1):181-184.

LIU L,PENG F Y,ZHAO K,etal.. Simplified SIFT algorithm for fast image matching[J].InfraredandLaserEngineering，2008,37(1):181-184.( in Chinese)

[16]王睿,朱正丹.融合全局颜色信息的尺度不变特征变换[J].光学 精密工程,2015,23(1):295-301.

WANG R,ZHU ZH D. SIFT matching with color invariant characteristics and global context[J].Opt.PrecisionEng.,2015,23(1):295-301.( in Chinese)

[17]LUO J,GWUN O. A comparison of SIFT, PCA-SIFT and SURF[J].InternationalJ.ImageProcessing(IJIP),2009,3(4):143-152.

[18]ANNIS F,KARTHIK R,VAIDEHI V. Image stitching with combined moment invariants and SIFT features[J].ProcediaComputerScience,2013,19:420-427.

[19]王灿进,孙涛,陈娟.局部不变特征匹配的并行加速技术研究[J].液晶与显示,2014,29(2):266-273.

WANG C J,SUN T,CHEN J. Speeding up local invariant feature matching using parallel technology[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(2):266-273.(in Chinese)

[20]韩冬松,何昕,魏仲慧,等.采用区域特征匹配的三维弹痕自动配准[J].液晶与显示,2014,29(5):761-767.

HAN D S,HE X,WEI ZH H,etal.. Automatic registration of 3-D bullet marks by matching regional feature[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(5):761-767.(in Chinese)

[21]聂海涛,龙科慧,马军,等.采用改进尺度不变特征变换在多变背景下实现快速目标识别[J].光学 精密工程,2015,23(8):2349-2356.

NIE H T,LONG K H,MA J,etal.. Fast object recognition under multiple varying background using improved SIFT method[J].Opt.PrecisionEng.,2015,23(8):2349-2356.( in Chinese)

[22]HARRIS C,STEPHENS M. A combined corner and edge detector[C]. Proceedings 4th Alvey Vision Conference,1988,147-151.

收稿日期:2016-03-18；

修订日期:2016-04-28

基金项目：国家自然科学基金项目(No.61271315)

文章编号2095-1531(2016)04-0415-08

中图分类号：TN919.8

文献标识码:A

doi:10.3788/CO.20160904.0415

作者简介：

陈　月(1991—)，女，吉林长春人，硕士研究生，2014年于吉林大学获得学士学位，主要从事图像拼接方面的研究。E-mail:chenyue14@mails.jlu.edu.cn

赵　岩(1971—)，女，吉林辽源人，教授，博士生导师，2003年于吉林大学获得博士学位，主要从事图像与视频编码和立体视频处理方面的研究。E-mail:zhao_y@jlu.edu.cn

Fast image stitching method based on SIFT with adaptive local image feature

CHEN Yue, ZHAO Yan*, WANG Shi-gang

(CollegeofCommunicationEngineering,JilinUniversity,Changchun130012,China)*Correspondingauthor,E-mail:zhao_y@jlu.edu.cn

Abstract:Aiming at the massive calculation burden and poor real-time performance of the existing image stitching methods, a fast image stitching method based on fast Scale Invariant Feature Transform(SIFT) algorithm with adaptive local image feature is proposed in this paper. Firstly, the images are divided into blocks. And the feature types of thses local image blocks are determined. The feature points of the local image blocks are extracted using different simplified method adaptively. Secondly, we use feature matching to get the transform matrix and the RANSAC algorithm is applied to remove the wrong matching point pairs. Finally, the stitched image can be obtained by image blending. In this paper, three groups of to-be-stitched images are used to test the performance of the proposed method. Experimental results show that compared with the standard stitching algorithm, the calculation speed by the proposed method is increased by about 30%-45%. In conclusion, the proposed method improves the stitching efficiency and efficiently overcomes the shortcomings of heavy computation in the process of image stitching while it consistently guarantees the quality of stitched image. It has a certain application value in the actual image stitching.

Key words:image stitching;Scale Invariant Feature Transform(SIFT);adaptive local feature;feature type

Supported by National Natural Science Foundation of China(No.61271315)