低空无人机影像的快速拼接技术研究

徐志远，刘嘉文，王山东，李天昊

（1.河海大学 地球科学与工程学院，江苏 南京 210098；2.江苏省测绘地理信息局，江苏 南京 210098）

低空无人机影像的快速拼接技术研究

徐志远1，刘嘉文2，王山东1，李天昊1

（1.河海大学 地球科学与工程学院，江苏 南京 210098；2.江苏省测绘地理信息局，江苏 南京 210098）

对低空无人机影像的快速拼接技术进行研究，采用SIFT算法和SURF算法对尺度不变特征进行提取，根据特征描述符间的欧氏距离进行特征匹配，并使用RANSAC算法对匹配中产生的误匹配点对进行剔除，然后利用单应性矩阵实现无人机的影像拼接。实验结果表明，SIFT算法和SURF算法均能较好地对影像特征进行提取，SURF算法在效率上更优，RANSAC算法的剔除效果较好，能够得到良好的拼接影像。

无人机影像；影像拼接；SIFT算法；SURF算法；RANSAC算法

低空无人机系统作为一种近年来高速发展的航空遥感平台，因其成本低、起降灵活、不受气象条件影响、可工作在云端等，受到越来越多的青睐。因为无人机能够获取大比例尺高分辨率的影像，并且影像具有实时性强、获取方式灵活、获取成本低等优点，无人机的应用已从最初的军事领域扩展到民用领域，无人机遥感在森林火灾监测、灾害的应急保障、交通事故的现场模拟和其他应急响应中发挥着越来越重要的作用[1]。

从目前无人机遥感的应用情况来看，单张无人机影像无法完全覆盖整个研究区域，而正射影像的生成又需要耗费大量的时间，因此，如何快速获取较宽视野的无人机影像成为其应用的关键[2,3]。虽然在摄影测量领域影像拼接有着广泛的应用，但是针对无人机影像之间重叠度、旋转角变化较大、难以找到高精度的地面控制点等难点，无人机的影像拼接仍有许多值得研究的地方[4]。

针对低空无人机影像的拼接技术，国内外很多专家学者进行研究。Kim 等提出了一种在规则格网特征空间采用连续块匹配的全景影像快速拼接方法[5]，Richard提出了基于运动的全景影像拼接模型[6]，袁晓亚提出了基于改进Harris角点特征匹配的图像拼接方法[7]，陈宏敏等针对无人机遥感平台的特点，提出了一种基于递归的影像拼接方法[8]。

本文采用基于特征的影像匹配方法，并采用RANSAC算法剔除误匹配点对，进而实现了影像的高效无缝拼接。针对低空无人机相邻影像之间重叠度、旋转角变化大，特征不连续，预定义关系不能严格保证等问题，采取一种基于尺度不变特征的影像拼接方法。

1 无人机影像拼接方法

影像拼接的总体流程如图1所示。

图1 影像拼接总体流程

1.1 影像匹配

影像匹配是影像拼接的前提，其主要目的是在影像特征提取的基础上将位于两幅或多幅影像上的特征点对应起来。

1.1.1 尺度不变的特征提取

尺度不变特征包括特征点和特征描述符两部分，其提取算法主要有SIFT（scale-invariant feature transform）算法和SURF（speeded up robust features）算法。

SIFT算法由Lowe于1999年提出[9]，并于2004年进一步完善[10]。其主要思想是在构建的尺度空间中进行极值检测，并对提取到的极值点进行筛选，剔除不稳定的点，定义每个稳定特征点的主方向，最后根据特征点周围图像的局部特性形成特征描述符，用以匹配。

SURF算法由Bay于2006年提出，是SIFT算法的一种改进。与SIFT算法相比，SURF算法的不同主要在于使用Hessian-Laplacian来近似 Gaussian-Laplacian，并使用方框滤波代替二阶高斯滤波进行计算，从而实现了更快的特征提取速度。

1.1.2 特征匹配

匹配测度是利用提取出的尺度不变特征进行匹配，计算特征描述符之间的欧氏距离。由于尺度不变特征的描述符一般均为高维向量，如128维的SIFT特征描述符、64维的SURF特征描述符以及128维的扩展SURF描述符，故利用BBF-Tree搜索算法对每一个特征点进行搜索，返回其特征描述符间最近邻与次近邻欧氏距离之比，若比值小于事先设定的阈值，则认为该邻近点为正确的匹配点。

1.1.3 RANSAC剔除误匹配点对

在利用SIFT和SURF算法对特征点进行匹配的过程中，由于影像中某些特征的相似性，会造成特征点之间的错误匹配，进而影响后续的影像拼接，需要对错误的匹配点对进行剔除。

随机抽样一致性（RANSAC）算法是一种不确定算法，它能够从一组包含“局外点”的数据集中，通过迭代的方式根据某种给定的目标方程估计并优化模型参数，以使其最大程度地适应所给定的数据集，估算出数学模型并能够剔除“局外点”数据，从而得到有效的样本数据。因为算法不确定，只是由一定的概率得到一个合理的结果，为了提高这一概率，必须提高迭代的次数。

使用RANSAC算法进行特征点精确匹配的过程如下：首先选取足够的兴趣点，使用兴趣点进行特征匹配后的点集计算基本矩阵，并计算满足基本矩阵的点的个数。重复上述步骤，选取能够有最多点满足的基本矩阵，满足此矩阵的为局内点，不满足的为局外点。

1.2 影像拼接

在影像匹配完成后，通过影像对应特征点的匹配关系估计影像之间的几何变换模型，即单应性矩阵；在使用RANSAC算法剔除误匹配点对时，已经得到一个最优单应性矩阵；将待拼接影像通过单应性矩阵映射到参考影像的坐标系中，并将影像进行复制叠加，最终实现影像的拼接操作。

2 实验与分析

选取SONY NEX-5R相机拍摄的两组无人机影像，如图2、图3所示，第一组是相邻航带上的两幅影像，像幅大小为1 378×916；第二组是同一航带上的两幅影像，像幅大小为2 756×1 831。对SIFT算法和SURF算法在VS2010编译环境下进行实验，将两者在同样条件下进行影像匹配的各项评判因素进行对比，通过实验分析确定哪一种提取算法更加适合无人机影像的快速拼接。

图2 第一组影像

图3 第二组影像

对两组影像在相同的环境下分别进行SIFT算法和SURF算法特征匹配实验，实验中SURF算法运算过程中的Hessian矩阵行列式阈值设为3 000、匹配阈值取0．6，计算初始H矩阵时RANSAC阈值设为5。同时，本实验中还使用128维SURF描述符和64维SURF描述符分别进行实验。实验结果如表1所示。

表1 SIFT算法与SURF算法实验结果比较

从实验数据中可以看出，影像越大，特征越丰富，能够提取出的特征数量就越多，能够匹配的特征点对数也相应增加；在SIFT算法和SURF算法的比较中，SIFT算法的特征提取耗时较长，SURF算法的优势明显；128位的SURF算法比64位的SURF算法耗时略长；而在匹配时间的比较上，三者的区别不大，主要与数据量的大小有关。

图4为第一组影像利用SIFT算法进行特征匹配的效果，其中黄色连线表示匹配点对之间的连线。从图中可以看出，存在些许误匹配，需要剔除。图5为RANSAC算法剔除误匹配点对之后的结果。

图4 特征匹配效果

图5 精确匹配效果

完成精确匹配后，第一组影像的拼接效果如图6所示。

图6 影像拼接效果

3 结 论

针对低空无人机影像的快速拼接问题，本文提出了一套匹配拼接的方法并进行实验分析。利用SIFT和 SURF算法进行尺度不变特征提取，根据欧氏距离进行特征匹配。经实验对比， SURF算法在提取效果、速度等方面优于SIFT算法，64位的SURF算法又优于128位的SURF算法；RANSAC算法也能够有效地进行精确匹配，通过得到的单应性矩阵进行无人机影像的拼接效果良好。

[1] Everaerts J．The Use of Unmanned Aerial Vehicles (UAVs) for Remote Sensing and Mapping[J]．The International Archives of the Photogrammetry[J]． Remote Sensing and Spatial Information Sciences, 2008(37)：1187-1192

[2] 刘金萍,刘文宋,陈勇,等．基于Harris与RANSAC算法的无人机影像拼接方法研究[J]．测绘与空间地理信息,2014(9)：103-105

[3] 于瑶瑶．无人机影像快速拼接关键技术研究[D]．郑州：信息工程大学,2012

[4] 李明,曹瀚,刘良明,等．面向应急的无人机影像拼接方法研究[C]．第一届全国高分辨率遥感数据处理与应用研讨会,西安,2011

[5] Kim D W,Hong K S．Real-time Mosaic Using Sequential Graph[J]．Journal of Electronic Imaging, 2006, 15(2)： 023 005-023 013

[6] Szeliski R．Video Mosaics for Virtual Environments[J]．Computer Graphics and Applications, IEEE, 1996, 16(2)： 22-30

[7] 袁晓亚．基于改进Harris角点特征匹配的图像拼接算法研究[D]．信阳：信阳师范学院,2013

[8] 陈宏敏,杨朝辉．无人机影像自动拼接方法[J]．测绘技术装备,2013(3)：22-24

[9] Lowe D G．Object Recognition from Local Scale-invariant Features[C]．The Seventh IEEE International Conference on．Computer Vision, IEEE, 1999

[10] Lowe D G．Distinctive Image Features From Scale-Invariant Keypoints[J]．International Journal of Computer Vision, 2004, 60(2)： 91-110

P231

B

1672-4623（2016）04-0039-03

10.3969/j.issn.1672-4623.2016.04.013

徐志远，硕士，研究方向为GIS工程。

2015-02-12。

项目来源：国家自然科学基金资助项目（41271538）。