一种改进的无人机航摄影像快速拼接方法

刘如飞，卢秀山，刘 冰，田茂义

（山东科技大学测绘科学与工程学院，山东青岛 266590）

一、引 言

无人机摄影测量系统具有机动、高效、成本低等特点，相对于传统的以卫星、大飞机等为平台的航天航空摄影测量方法，它能有效地改善多云雾区或灾害应急区高分辨率遥感数据缺乏的现状［1］。近几年来，无人机在灾害应急中得到了广泛的应用，如何第一时间获得灾区的影像拼接图及了解灾区情况是目前应急应用的关键问题。由于无人机航摄影像具有相幅小、数量多和多航带等特点，影像的快速自动拼接技术成为解决问题的关键。目前针对无人机影像拼接的方法主要有:基于姿态定位定姿系统（position and orientation system，POS）数据的拼接、基于特征的拼接［2］。方法一耗时较短，但由于无人机姿态参数变化复杂、无规律，拼接精度很难满足应用需求；方法二的核心在于影像的特征提取，因此耗时量有所增加，但拼接精度可大幅提高。

尺度不变特征转换（scale invariant feature transform，SIFT）算法是近几年来影像特征提取领域的研究热点。何孝莹等为使尺度不变特征转换算法更适合于无人机影像的匹配，通过减少尺度空间来缩短计算时间，并提出粗匹配加分块匹配的影像匹配策略提高特征提取速度［3］。鲁恒等通过试验获取了适应于无人机影像的最优高斯核尺寸来减少时间消耗，并应用LM方法求得精确的变换矩阵［4］。针对目前的研究现状，本文在分析原始SIFT算法和无人机影像自身特点的基础上，提出了适用于无人机航摄影像快速拼接的改进方法。

二、问题分析

SIFT是一种基于尺度空间的，对图像缩放、旋转及仿射变换保持不变性的特征匹配算法，有关算法的详细原理可参考文献［5—6］。SIFT算法基于图像特征尺度选择的思想，首先建立图像的多尺度空间，并在多尺度空间中进行特征检测，确定关键点的位置和所在尺度，实现尺度不变性；然后剔除一些对比度较低的点及边缘响应点；最后利用关键点邻域像素的梯度方向作为该点的方向特征，使算子具有旋转不变性［5］。

在利用SIFT算法进行无人机影像特征提取时存在3个问题:①构建无人机影像高斯金字塔需要花费大量时间；② 当金字塔阶数和层数设置较高时，提取的特征点数量巨大，错匹配较多；③提取的匹配点分布不均匀，影响拼接效果。究其原因:①图像分辨率高，多余搜索范围大，增加了匹配时间和错匹配的概率；②算法以多尺度空间的极值点作为关键点，如果尺度过高则导致特征点数目非常大，生成特征描述的时间长；③ SIFT算法自身复杂度较高，若仅凭单一的经验值，而不根据影像的实际情况实时调整，算法适应性低，耗时量大。

三、快速拼接方法改进

1.重叠区分块并行处理

无人机航拍影像分辨率高、重叠度大、影像纹理丰富但分布不均，在利用SIFT进行特征点提取时，由于整张影像搜索范围大，获取的特征点数量大，增加了特征匹配时间和错匹配的概率。若限制特征点的数量，由于影像纹理特征不均衡，使得大部分特征点都密集分布在纹理丰富区域，而影像平滑区域几乎没有匹配的点。如图1所示，黑色椭圆内特征点较少。

图1 特征点分布不均

为解决以上问题，本文首先根据连续两张图像拍摄的即时速度和间隔时间，估算出图像重叠区域参数［4］；然后依据计算机性能和原始图像大小对影像重叠区进行分块。采用多任务并发处理机制，同一任务的进程被开辟为不同的线程，运行在不同的CPU上，实现各分块特征提取任务的并行执行。重叠区分块并行处理流程如图2所示。

图2 影像分块多任务处理流程

2.SIFT算法改进

由于单张影像覆盖范围大，经过重叠区分块处理后，不同分块的纹理特征可能不一样，因此设置同一阈值不能适应所有分块；此外，在批处理过程中，应尽量减少人工干预，提高效率。本文应用分块阈值自适应调节方法解决这一问题，其核心思想是在重叠区分块的基础上，以单个分块为单位进行特征点检测和匹配，当匹配点数目不够时可自动调节阈值增加匹配点数目，而不影响其他分块的阈值参数，从而提高了算法的适应性，缩短了特征点检测时间。

（1）尺度自适应调整

由SIFT特征算法的原理可知，算法第一步是为影像构建一个多尺度的高斯金字塔，建立多阶和多层影像尺度空间［6］。这是为了使特征点尽量分布在所有可能的空间尺度上，从而使SIFT算子具有尺度不变性。本文针对不同类型的影像特点对SIFT算法的金字塔层数和阶数进行动态调整。首先通过试验分析得出针对不同质量和类型数据的初始经验值；然后设定多组层数和阶数递增的阈值组合，自动逐层选择参数，直到特征点数目满足要求。

（2）影像分辨率调整

无人机航摄影像的分辨率高，影像本身数据量大，因此不能按照D.G.LOWE将原始影像放大一倍的建议［7］，而需要降低图像分辨率来提高特征搜索的效率，但对于纹理特征不明显的田地、沙地等，分辨率过低会导致搜索的特征点很少。为适应不同类型图像的特征提取，需要实时改变影像分辨率。

3.误匹配点去除

在误匹配点去除时采用随机一致性检验（RANSAC）算法［8］，能有效地剔除大部分错误点，但RANSAC算法估计模型参数的精度和效率都具有随机性。若RANSAC初始内点集合具有粗差点，则会剔除大部分正确匹配点；当算法距离阈值设置较小时，整张图像中只能保留一小块区域的局部匹配点。

无人机影像在同一航带相邻影像旋转和缩放运动较小，对于不同航带的图像则旋转较大，影像同名点的空间距离稳定。本文的改进思想是首先计算匹配点的距离中误差m，以2m为限，剔除距离中误差较大的点；接着选择误差较小的匹配点对作为RANSAC初始内点集合；然后利用RANSAC算法去除剩下点集的误匹配点。其中，距离中误差去点步骤如下:

1）计算粗匹配中每对同名特征点的距离D

式中，（x1，y1）、（x2，y2）为一对同名特征点。

2）计算特征点的距离中误差m，在实际测量中，可利用多次观测的平均值，即

式中，n为粗匹配中同名点对总数；P为单位矩阵。

3）为保证匹配点对的精度，以2m为限，如果s大于阈值，则剔除粗差点。

四、试验结果分析

根据上述算法原理，利用C#语言，硬件环境为IntelR Core TM i3 2.53 GHz、2 GB 内存，实现了改进算法。试验数据为整个测区的6个航带300张影像，测区约为10 km2，原始影像为5616像素×3744像素，压缩5倍之后为1123像素×749像素，纹理类型主要包括居民地、田地、沙地等。

1.不同影像类型及阈值的特征匹配

试验中各阈值的取值范围为:分辨率（列）200～400像素；阶数1～2；层数2～3。由表1可以看出，图像分辨率（表中为列像素，行像素可按比例关系获得）、阶数和层数的设置对特征提取的数量和提取时间有很大影响，基本规律是随着3个参数的增大，特征点数量逐渐增加，特征提取与匹配时间也增加；当阈值较大时，时间明显增加，但匹配点数量增加少；对于不同类型的图像，在同一参数下获取的匹配点数量不相同，所需时间也不同。例如，当列分辨率为300像素、阶数为2、层数为2时，居民地的匹配点数量最多，沙地最少。为获取一定的匹配点数量，基于以上分析建议初始阈值不宜设置过高，同时有必要进行分块阈值自适应调节。

2.重叠区分块阈值自适应处理

本试验中，考虑到小块纹理的分布连续性和处理效率，将重叠区分为2×2块处理，初始经验值为:图像列分辨率300像素；阶数1；层数2。由表2可知、小块1和3的阈值自适应增加后才提取到30个以上匹配点；分块单任务匹配的总体匹配时间等于各小块的匹配时间加上分块时间，为8.096 s，并行处理时间为5.325 s，明显变小，且远小于不分块匹配的匹配时间，并且提取的匹配点更多。分块阈值自适应处理的结果如图2所示，对比图1，可以看出特征点分布明显改善。最终拼接的无人机原始影像如图3所示，测区拼接所需总时间为55 min。

表1 不同图像类型及阈值的特征匹配情况

表2 分块阈值自适应处理效率对比

图3 改进算法特征点分布

图4 影像拼接效果图

3.误匹配点去除改进

试验中计算不同类型影像的匹配点距离中误差，单位为像素。其中3种类型图像均存在粗差点（距离误差大于两倍中误差的点），分别利用原始和改进的RANSAC方法剔除，见表3。结果表明，改进方法剔除的粗差点更多，拼接精度更高。

五、结束语

本文针对无人机影像的特点，通过重叠区分块并行处理缩小搜索范围，提高了搜索效率；对原始SIFT算法进行优化，在尺度空间极值点探测时通过分块阈值自适应调节机制找到适应于不同类型影像的阈值，克服了传统SIFT算法采用固定尺度的缺陷，减少了时间消耗；针对影像同名点的空间关系提出应用距离中误差过滤匹配点，为RANSAC获取精确的初始内点集合，进一步去除误匹配点，提高了拼接精度。试验结果表明，改进的拼接方法能有效提高无人机航摄影像的拼接效率和精度。

表3 误匹配点去除对比

［1］ 张永军.无人驾驶飞艇低空遥感影像的几何处理［J］.武汉大学学报:信息科学版，2009，34（3）:284-288.

［2］ 高超，张鑫，王云丽，等.一种基于SIFT特征的航拍图像序列自动拼接方法［J］.计算机应用，2007，27（11）:2789-2792.

［3］ 何孝莹，岳建伟，张栩然.基于SIFT算法的无人机影像快速匹配［J］.计算机工程，2011，37（7）:216-218.

［4］ 鲁恒，李永树，何敬，等.一种基于特征点的无人机影像自动拼接方法［J］.地理与地理信息科学，2010，26（5）:16-19.

［5］ LOWE D G.Object Recognition from Local Scale Invariant Features［C］∥Proceedings of the 7th International Conference on Computer Vision.Kerkyra，Greece:［s.n.］，1999:1150-1157.

［6］ LOWE D G.Distinctive Image Features from Scale Invariant Interest Points［J］.International Journal of Computer Vision，2004，60（2）:91-110.

［7］ 韩文超.基于POS系统的无人机遥感图像拼接技术研究与实现［D］.南京:南京大学，2011.

［8］ 刘庆元，刘有，邹磊，等.无人机遥感影像拼接方法探讨［J］.测绘通报，2012（5）:53-55.