基于特征点匹配的全景图像拼接技术研究

王俊秀++孔令德

摘 要：提出了一种基于特征点匹配的全景图像拼接算法，首先提取各图像中的SIFT特征，通过特征点匹配完成两幅图像的配准；再根据图像配准结果计算出图像间的变换矩阵；最后采用渐入渐出加权平均的融合方法对两幅图像进行无缝拼接。实验表明，该算法具有匹配精度高、鲁棒性强等特点，可以快速而自动地生成全景图像。

关键词：全景图；图像拼接；特征匹配；图像融合

中图分类号：TP39 文献标识码：A

1 引言（Instroduction）

随着计算机技术水平的不断提高，全景图和超宽视角的图像在现实生活中有着广泛的应用。通常情况下，全景图像所需要展现的景物往往不能在单幅图像的视野中完全被描绘出来，因此，形成一幅完整的全景图像需要把多幅图像拼接到一起。这些待拼接图像，相邻的图像边界之间必须要有重叠的部分，全景图像拼接的主要任务就是找出重叠区域，确定它们之间的相互关系，然后将相同区域进行融合，从而得到一幅全景图像[1]。全景图像拼接的大体过程如图1所示。

图1 全景图像拼接的流程

Fig.1 Process of panoramic image mosaic

图像拼接当中的关键技术是图像配准阶段和图像融合两个阶段。

本文研究了基于SIFT特征点匹配的柱面全景图像拼接算法：首先，提取待拼接图像的SIFT特征点；然后，通过特征点的相似度准则进行配准，并得到图像间的变换矩阵；最后根据变换矩阵采用渐入渐出加权平均的融合方法进行图像的无缝拼接得到全景图像。

2 基于特征点的图像配准（Image registration based

on feature point）

基于特征的图像配准是图像配准中最常见的一种方法。图像的特征点对于图像的像素点来说要少很多，从而可以大幅度减少匹配过程中的计算量，而且特征点的匹配度量值对位置变化敏感，这样提高了图像匹配的精度；而且特征提取过程可以在某种程度上消除噪声影响，另外对灰度变化、图形形变以及遮挡等的鲁棒性较好。基于特征点的图像配准方法，主要有四个步骤包括：特征点提取、特征点匹配、求解变换矩阵以及图像变换[2]。

本文特征点提取采用SIFT特征提取算法。SIFT，即尺度不变特征转换（Scale-invariant feature transform，SIFT）[3]，是用于图像处理领域的一种描述子。近年来，SIFT特征已成为国内外研究热点和难点，它广泛地应用在很多领域，如图像配准、目标识别、视频检索、全景图拼接等。SIFT特征不只具有尺度不变性，即使改变旋转角度，图像亮度或拍摄视角，仍然能够得到好的检测效果，并且对于噪声，仿射变换等具有良好的鲁棒性。

2.1 SIFT特征提取

SIFT特征描述符的生成具体可以细化为四个步骤：尺度空间的构建；空间极值检测；确定关键点的方向；生成特征点描述子[4]。下面将详细介绍SIFT特征提取的流程。

（1）尺度空间的构建

尺度空间理论目的是模拟图像信息的多尺度特征。在多尺度空间检测特征点，主要是用高斯卷积核对初始图像进行尺度变换，得到图像的尺度空间表示序列，再提取这些序列的特征。

为了在尺度空间有效地检测到稳定的关键点，引入金字塔结构。图像金字塔的构建：图像金字塔共O组，每组有S层，下一组的图像由上一组图像降采样得到。将图像金字塔与尺度空间结合起来，将输入图像通过不同尺度的高斯核函数连续平滑和下采生成高斯差分图像，即DoG图像。

（2）空间极值点检测

生成尺度空间后，接下来就要选取特征点。本文通过在尺度空间中取局部极大或极小值的像素点来作为图像在该尺度上的特征点，这些特征点对于尺度缩放和旋转变化具有不变性。

（3）确定特征点的方向

对于一个特征点，以它为中心，对它的邻域像素进行采样，计算梯度方向，用直方图进行统计，得到关键点邻域像素的整体梯度分布，根据梯度分布特性，为每个特征点指定方向参数，使整个算子具有旋转不变性。

（4）构建SIFT特征向量

根据提取出来的图像特征点，需要构建相应的区域描述算子（local descriptor）。SIFT算子是一个在基于特征点特征区域的描述算子，它是由主方向和高维的特征向量组成的。

特征点描述子生成步骤如下：首先确定周围信息，包括以特征点为中心上下左右半径为4的正方形区域。这样对每个特征点构建一个8×8的共计64面积的正方形。再将此8×8区域分成4个面积为16的小区域，对于每个小区域分别计算梯度直方图。对每个小区域中的所有的16个像素的梯度按照8个方向累加，这样就计算出了一个8维的直方图，而以特征点为中心的特征区域就可以计算出一个8×4=32维的直方图。此直方图经过正态处理之后便可作为特征向量使用。这样，对于每个特征点可以抽取一个32维的特征向量。为进一步去除光照对比度变化的影响，可将特征向量的长度归一化。

至此，对每一个特征点，计算出其SIFT算子。然而，在实验中，也可灵活的改进SIFT算子，以提高特征算子计算的精度或者实时性。SIFT在基于特征提取的匹配上，表现非常的优异，此外，SIFT特征提取还对一些图像变化，如材质（texture）、旋转（rotation）等变化，有很强的稳定性。本算法从输入图像中提取得到基于仿射不变的SIFT特征，用于后期的匹配。

2.2 特征点匹配算法

在提取了对应的特征向量之后，每幅图像就可以用特征点的坐标和对应特征向量来表示，而图像本身在后续的匹配中已经没有什么用处。所以实际输入匹配算法的是特正点的坐标和特征向量。一种最简单的匹配方法是找到最相近的匹配向量对。本文以两个特征向量的欧氏距离作为特征点匹配的相似度准则。endprint

本文采取了基于树结构的匹配算法，简单的说是K-d tree 的匹配方法。K-d tree是一种分割k维数据空间的数据结构，每个结点表示k维空间的一个点。每一层都根据该层的分辨器对相应对象做出分枝决策，顶层结点按由分辨器决定的一个维度进行划分，第二层则按照该层的分辨器决定的一个维进行划分，以此类推在余下各维之间不断地划分。直至一个结点中的点数少于给定的最大点数时，结束划分。

初步特征匹配主要原理如下：首先，采用优先搜索查找算法找出K-d tree结构中的每个特征点的两个最近邻特征点，如找出特征点的欧氏距离最近邻居特征点和次近的邻居特征点，然后计算与以及与两组特征向量之间欧氏距离的比值r，如果比值r小于规定阈值T，则匹配成功，点对为图像对中的一对匹配点，否则匹配失败。

使用上述K-d tree的方法可以快速的剔除那些特征向量差距很大的特征点对，这样可以初步去除一些不可能的误匹配。但在利用K-d tree进行简单的匹配之后，仍然不能利用简单的特征向量的差值来确定正确的匹配。为此，本文采用了RANSAC完成进一步匹配工作。

2.3 RANSAC算法

本文利用的全局约束条件是立体视觉的变换矩阵，实现这个约束条件的是RANSAC（Random Sample Consensus）算法[5]。RANSAC即随即抽样一致性方法是由Fischler和Bolles提出的，是计算机视觉领域中最有效的鲁棒参数估计算法之一，它对错误率超过50%的一组数据仍然有很好的一致性分析结果。

本文根据上一小节中初步特征匹配的结果，筛选其中的少数匹配点对进行模型估计，并通过不断的迭代寻找得到图像的精确匹配变换矩阵。首先选取最少量的数据对几何变化模型进行估算，可以估算出一个基本矩阵（fundamental matrix）。然后，用这个基本矩阵去验证所有的数据（简单匹配估算数据），如果匹配对和基本矩阵H之间的关系小于一个阙值T，说明是一个符合模型的数据，记录所有的符合模型数据。

使用RANSAC匹配算法，详细步骤如下：然后重复以下步骤：

（1）在原始简单匹配集中随机选取少量匹配对，数据量对于计算模型参数是充分的，用这些少量的匹配对对假设模型进行参数估计。

（2）用所有的原始简单匹配集中的数据来检测上一步中估算出来的模型参数，计算符合上一步中估算的模型的数据比例，并记录符合此模型参数的数据。

（3）用符合模型参数的数据（inliers）对模型参数进行重新校准估算。

（4）然后用符合模型的参数（inliers）对重心校准的模型进行误差计算（error estimation）。

以上步骤重复固定次数（一般为几百次），然后选取误差计算中最小的模型参数作为输出（minimum error from error estimation），这便是RANSAC算法的基本方法。

在实现图像立体匹配时，RANSAC是一种易使用且容易实现的算法。它能够稳定、准确地计算出模型参数H（基于8参数透视变换矩阵）以及匹配对。

2.4 图像变换

图像变换实际上是将两幅图像变成一幅图像。相邻两幅图像中的像素点都处在各自的图像坐标系中，图像变换根据两幅图像的坐标系之间的关系（变换矩阵H）通过矩阵乘法将二者的坐标系统一成一个，将源图像变换到目标图像，完成图像的几何配准最后变成一幅图像。

图像变换过程，主要可分为三步：

（1）计算源图像经过H矩阵变换后在目标图像坐标系中的坐标。

（2）计算源图像经过H矩阵变换后在目标图像坐标系中的边界。

（3）通过H变换后再插值确定源图像像素点在目标图像中的坐标和灰度值。

3 图像融合算法（Image blending）

经过图像配准后，根据图像间变换矩阵H可以确定图像间的重叠区域，对图像序列进行拼接形成一幅全景图像。由于待拼接的各图像可能会存在亮度差异，或者使用普通相机拍摄图像时，图像中可能出现边缘失真现象，这样会造成配准后的图像在强度或颜色上不连续，存在明显的拼接缝隙，所以必须对图像重叠部分进行处理。为了消除图像之间的拼接缝隙，实现平滑过渡，本文采用了图像融合的方法。

图像融合就是将不同来源的相同对象的图像数据进行空间上的配准，然后采取一定的算法将各个图像数据当中的所有信息互补、有效地结合起来，产生出新的图像数据的信息。新的数据能够更全面的描述对象，从而减少了对象可能存在的不完整和误差，并且最大限度的利用了信息源提供的信息。图像融合能更好的描述被感知的对象，并且提高图像信息的能力。所以被广泛的应用于地质、农业和军事等方面。

本文采用线性插值的渐入渐出的加权平均法，该算法是由Szeliski提出的。如果假设为融合之后的图像，和表示待拼接的图像，那么拼接后图像如公式（1）为：

（1）

公式（1）的、分别是两幅图像重叠区域对应像素的权值，并且，，。选择合适的权值可以更好的实现重叠部分平滑过渡，一般都可以消除拼接缝隙。这种方法简洁、快速，是一种比较常用的图像融合方法。

4 全景图像拼接实验与评价（Experiments and

evaluation of panorama image mosaic）

本文实现的基于SIFT特征点匹配的全景图自动拼接系统的主要功能是：（1）读入多幅图像；（2）提取每幅图像的SIFT特征点；（3）计算图像之间的匹配特征点对，以及图像之间的坐标变换矩阵；（4）图像拼接融合，输出全景图像。图2为本文实现的基于SIFT特征点匹配的全景图像自动拼接系统的功能流程图。

图2 系统的功能流程图endprint

Fig.2 Function process chart of the system

在图像拼接实验部分首先选取不同视角的两幅图像，对其进行SIFT特征点提取和匹配，再利用RANSAC算法对匹配点进行筛选，剔除错误的点。然后利用线性插值的渐入渐出的加权平均法进行融合。最终得到拼接图像，如图3所示。

图3中，（a）、（b）为两幅原始图像；（c）、（d）为提SIFT特征点的图像；（e）为采用RANSAC算法匹配后的图像；（g）为最终拼接结果。由图（f）可知，过渡区融合效果良好，既没有“阴影”和“接缝”，也没有明显的亮度不同，视觉效果自然。

（a）原始图像左图 （b）原始图像右图

（a）The left original image （b）The right original image

（c）特征点提取左图 （d）特征点提取右图

（c）The left image after （d）The right image after

extracting feature points extracting feature points

（e）RANSAC算法匹配后的图像

（e）The matching image using RANSAC

（f）拼接效果图

（f）The result of image mosaic

图3 图像拼接实验

Fig.3 Experiments of image mosaic

为了验证算法的有效性，对使用数码相机所拍摄的多张照片进行了拼接实验，照片之间约有30%—50%的重叠部分，且焦距固定不变。实验采集了10幅图像序列， 从上到下、从左至右分别为第1幅到第10幅图像，各个图像分辨率为480×640，如图4所示。图5为拼接的全景图像结果，从结果可以看到照片在处理后拼接缝隙消除，基本实现了重叠区域的平滑过渡，说明了该算法具有一定的抗干扰能力。由于该算法对光照和对比度有良好的稳定性，因此得出了高品质的全景图像。

图4 原始图像序列

Fig.4 Original image sequence

图5 拼接全景图效果

Fig.5 The result of panorama image mosaic

5 结论（Conclusion）

本文主要对基于特征点的全景图像拼接的关键技术进行了研究，深入分析基于SIFT图像配准算法，实现了图像的精确配准。图像配准完成后，采用渐入渐出加权平均法对图像融合，最后实现了多幅图像的全景图自动拼接。实验证明，该算法能快速、自动地实现全景图像的无缝拼接。

参考文献（References）

[1] BROWN M， LOWE D.Automatic Panoramic Image Stitching

using Invariant Features [M].IJCV，2007.

[2] 李柏林.基于特征点图像拼接的配准算法研究[D].天津：天津

大学，2008.

[3] Lowe D.Distinctive image features from Scale-Invariant

keypoints [J]. International Journal of Computer Vision，2004，

60（2）：91-110.

[4] Wang X.H.，Fu W.P.Optimized SIFT Image Matching Algorithm

[C].Proceedings of the IEEE International Conference on

Automation and Logistics，Qingdao，China，2008.

[5] 郭红玉，王鉴.一种基于RANSAC基本矩阵估计的图像匹配

方法.红外，2008，29（2）：5-8.

作者简介：

王俊秀（1987-），女，硕士，助教.研究领域：图形图像.

孔令德（1964-），男，博士，教授.研究领域：图形图像.endprint

Fig.2 Function process chart of the system

在图像拼接实验部分首先选取不同视角的两幅图像，对其进行SIFT特征点提取和匹配，再利用RANSAC算法对匹配点进行筛选，剔除错误的点。然后利用线性插值的渐入渐出的加权平均法进行融合。最终得到拼接图像，如图3所示。

图3中，（a）、（b）为两幅原始图像；（c）、（d）为提SIFT特征点的图像；（e）为采用RANSAC算法匹配后的图像；（g）为最终拼接结果。由图（f）可知，过渡区融合效果良好，既没有“阴影”和“接缝”，也没有明显的亮度不同，视觉效果自然。

（a）原始图像左图 （b）原始图像右图

（a）The left original image （b）The right original image

（c）特征点提取左图 （d）特征点提取右图

（c）The left image after （d）The right image after

extracting feature points extracting feature points

（e）RANSAC算法匹配后的图像

（e）The matching image using RANSAC

（f）拼接效果图

（f）The result of image mosaic

图3 图像拼接实验

Fig.3 Experiments of image mosaic

为了验证算法的有效性，对使用数码相机所拍摄的多张照片进行了拼接实验，照片之间约有30%—50%的重叠部分，且焦距固定不变。实验采集了10幅图像序列， 从上到下、从左至右分别为第1幅到第10幅图像，各个图像分辨率为480×640，如图4所示。图5为拼接的全景图像结果，从结果可以看到照片在处理后拼接缝隙消除，基本实现了重叠区域的平滑过渡，说明了该算法具有一定的抗干扰能力。由于该算法对光照和对比度有良好的稳定性，因此得出了高品质的全景图像。

图4 原始图像序列

Fig.4 Original image sequence

图5 拼接全景图效果

Fig.5 The result of panorama image mosaic

5 结论（Conclusion）

本文主要对基于特征点的全景图像拼接的关键技术进行了研究，深入分析基于SIFT图像配准算法，实现了图像的精确配准。图像配准完成后，采用渐入渐出加权平均法对图像融合，最后实现了多幅图像的全景图自动拼接。实验证明，该算法能快速、自动地实现全景图像的无缝拼接。

参考文献（References）

[1] BROWN M， LOWE D.Automatic Panoramic Image Stitching

using Invariant Features [M].IJCV，2007.

[2] 李柏林.基于特征点图像拼接的配准算法研究[D].天津：天津

大学，2008.

[3] Lowe D.Distinctive image features from Scale-Invariant

keypoints [J]. International Journal of Computer Vision，2004，

60（2）：91-110.

[4] Wang X.H.，Fu W.P.Optimized SIFT Image Matching Algorithm

[C].Proceedings of the IEEE International Conference on

Automation and Logistics，Qingdao，China，2008.

[5] 郭红玉，王鉴.一种基于RANSAC基本矩阵估计的图像匹配

方法.红外，2008，29（2）：5-8.

作者简介：

王俊秀（1987-），女，硕士，助教.研究领域：图形图像.

孔令德（1964-），男，博士，教授.研究领域：图形图像.endprint

Fig.2 Function process chart of the system

在图像拼接实验部分首先选取不同视角的两幅图像，对其进行SIFT特征点提取和匹配，再利用RANSAC算法对匹配点进行筛选，剔除错误的点。然后利用线性插值的渐入渐出的加权平均法进行融合。最终得到拼接图像，如图3所示。

图3中，（a）、（b）为两幅原始图像；（c）、（d）为提SIFT特征点的图像；（e）为采用RANSAC算法匹配后的图像；（g）为最终拼接结果。由图（f）可知，过渡区融合效果良好，既没有“阴影”和“接缝”，也没有明显的亮度不同，视觉效果自然。

（a）原始图像左图 （b）原始图像右图

（a）The left original image （b）The right original image

（c）特征点提取左图 （d）特征点提取右图

（c）The left image after （d）The right image after

extracting feature points extracting feature points

（e）RANSAC算法匹配后的图像

（e）The matching image using RANSAC

（f）拼接效果图

（f）The result of image mosaic

图3 图像拼接实验

Fig.3 Experiments of image mosaic

为了验证算法的有效性，对使用数码相机所拍摄的多张照片进行了拼接实验，照片之间约有30%—50%的重叠部分，且焦距固定不变。实验采集了10幅图像序列， 从上到下、从左至右分别为第1幅到第10幅图像，各个图像分辨率为480×640，如图4所示。图5为拼接的全景图像结果，从结果可以看到照片在处理后拼接缝隙消除，基本实现了重叠区域的平滑过渡，说明了该算法具有一定的抗干扰能力。由于该算法对光照和对比度有良好的稳定性，因此得出了高品质的全景图像。

图4 原始图像序列

Fig.4 Original image sequence

图5 拼接全景图效果

Fig.5 The result of panorama image mosaic

5 结论（Conclusion）

本文主要对基于特征点的全景图像拼接的关键技术进行了研究，深入分析基于SIFT图像配准算法，实现了图像的精确配准。图像配准完成后，采用渐入渐出加权平均法对图像融合，最后实现了多幅图像的全景图自动拼接。实验证明，该算法能快速、自动地实现全景图像的无缝拼接。

参考文献（References）

[1] BROWN M， LOWE D.Automatic Panoramic Image Stitching

using Invariant Features [M].IJCV，2007.

[2] 李柏林.基于特征点图像拼接的配准算法研究[D].天津：天津

大学，2008.

[3] Lowe D.Distinctive image features from Scale-Invariant

keypoints [J]. International Journal of Computer Vision，2004，

60（2）：91-110.

[4] Wang X.H.，Fu W.P.Optimized SIFT Image Matching Algorithm

[C].Proceedings of the IEEE International Conference on

Automation and Logistics，Qingdao，China，2008.

[5] 郭红玉，王鉴.一种基于RANSAC基本矩阵估计的图像匹配

方法.红外，2008，29（2）：5-8.

作者简介：

王俊秀（1987-），女，硕士，助教.研究领域：图形图像.

孔令德（1964-），男，博士，教授.研究领域：图形图像.endprint