一种面向灾害应急的UAV影像快速拼接方法*

李 明，刘 欢，朱欣焰

(1.武汉大学遥感信息工程学院，湖北武汉430074;2．武汉大学测绘遥感信息工程国家重点实验室，湖北武汉430074;3.武汉船舶通信研究所，湖北武汉430074)

一种面向灾害应急的UAV影像快速拼接方法*

李 明1，2，刘 欢3，朱欣焰2

(1.武汉大学遥感信息工程学院，湖北武汉430074;2．武汉大学测绘遥感信息工程国家重点实验室，湖北武汉430074;3.武汉船舶通信研究所，湖北武汉430074)

洪涝、地震等自然灾害发生突然，特别是对城郊设防水平较低地区，短时间内能造成巨大的损失。及时、准确、快速地获得足够的灾情信息是减灾救灾的前提;依靠无人机采集的灾区遥感影像越来越成为减灾部门提取第一手灾情信息的首选数据源。结合无人机影像特点，优化利用影像局部不变特征进行特征匹配，通过RANSAC算子剔除匹配粗差，并用变换优化法求取最佳变换模型参数，然后采用基于动态规划的最佳拼接缝搜索策略和加权平均相结合的融合策略，在保证灾害应急精度要求的前提下，很好地消除了拼接缝和“融合鬼影”现象，为城郊区应急情况下的灾情信息获取提供了新的技术手段和支持。

城郊区;灾害应急;UAV;SIFT;RANSAC;融合;影像拼接

从古至今，无数往日欣欣向荣的城市在自然灾害中陨落，自然灾害给人类带来了无数的悲剧。城市灾害几乎包含着灾害的全部类型。随着中国城镇化的快速发展，城市规模急剧扩张。处于城郊结合部的大量新型城郊区往往由于设防水平低、城市公共安全设施不全，成为灾害中异常脆弱的承载体。面对灾害危机，聚焦城市安全，应重视城郊区的灾害应急工作，让城市文明在发展中延续辉煌。及时、准确、快速地掌握城市灾害规模、灾害损失程度等信息是进行灾害应急指挥与救援的关键。低空遥感平台(特别是无人机)具有受天气影响较小，作业方式灵活快捷，不用申请空域;不受重返周期限制，影像时效性、针对性强;平台构建、维护以及作业成本低;能够获取大比例尺高精度影像等优势，是应急救灾的一把利刃。但是，由于航空成像系统的限制，单张无人机影像往往无法覆盖整个受灾地区，同时经过处理生成正射影像拼接需要耗费大量时间，所以，研究基于无人机原始影像的快速校正和拼接技术就显得很有必要。而无人机影像数据量大，选择合适的配准方法使配准的精度和速度达到有效统一，是摆在无人机数据自动拼接技术研究中的难点之一。

1 研究现状

无人机数据自动拼接是将有一定重叠区域的影像序列自动拼接成视野范围较大的地面全景图像的过程。国外影像拼接技术发展已经比较成熟，形成了一整套的理论。具有代表性的研究有1975年，Kuglin和Hines提出的相位相关法［1］。Reddy和Chatterji 1996年提出的基于快速傅里叶变换(FFT-based)的方法［2］。微软研究院 Richard Szeliski1996年提出的一种基于运动的八参数投影变换全景影像拼接模型［3］。M.Irani and S.Peleg在文章《Improving Resolution by Image Registration》中详细论述了解决“鬼影”现象的超分辨率复原技术［4］。M.Brown和DG Lowe在2003年发表的《Recognising Panoramas》提出采用SIFT算子进行特征点初匹配，然后用RANSAC算法去除误匹配的特征点，并采用多分辨率融合算法，使影像的细节不被同化，并能保证背景信息的低频融合［5］。David G.Lowe在2004年发表的《Distinctive Image Features from Scale-Invariant Keypoints》中提出的 SIFT算法是目前最经典也是最成熟的，他改进了Lowe自1999年以来发表的几篇文章的拼接方法，并采用了他的学生M.Brown的一些先进思想［6］。Matthew Brown和David G.Lowe在2007年发表的文章中详细论述了对于多幅有噪声的无序影像序列进行自动识别拼接的原理，并介绍了影像拼接对齐的步骤，扩展了以前的工作［7］。国内影像拼接技术研究起步比较晚，和国外的研究具有较大的差距，王小睿在1997年利用序贯相似度检测(SSDA)和归一化积相关两种相似度量方法，建立模板影像和输入影像之间的相似性度量值，使用模拟退火算法随机寻优，快速寻找最优匹配点［8］。侯舒维、郭宝龙在2005年针对现有基于灰度级相似的影像拼接方法的缺点提出了一种影像自动拼接快速算法［9］。方贤勇等针对现阶段影像拼接算法不能很好的处理“鬼影”和曝光差异提出了一种实现影像拼接的算法［10］。张剑清等在2009年提出了基于蚁群算法的正射影像镶嵌线自动选择原理，实现了测绘生成DOM的自动化无缝拼接［11］。

虽然影像拼接技术已经取得了大量成果，但针对无人机影像的拼接技术仍存在以下问题:①无人机影像有自己的特色(如单幅影像分辨率高、图像大)，使用传统配准方法需要耗费大量计算机内存、运算速度慢等。②目前流行的SIFT算法需要在各个尺度上进行计算，匹配精度高，但其计算时间相对较长。其它匹配算法计算时间短，但匹配精度有所下降，匹配速度和精度难以达到有效统一。③待拼接影像出现较大运动物体时拼接效果会出现“融合鬼影”现象。

2 实验环境与数据选择

本文所选实验环境为CPU是Inter(R)Pentium(R)Dual 2.00 GHz、内存为0.98 GB的DELL台式计算机，实验影像尺寸为676×902。本文选取的实验数据是武汉海地测绘科技有限公司利用无人机拍摄的坪山城郊区影像，飞行航高为1 000m，影像行列数为5 412×7 216，航向重叠70%，旁向重叠40%，拍摄影像区域多为房屋、道路等建筑物，精确匹配难度很高。

3 基于SIFT算子的无人机影像匹配优化

3.1 SIFT特征提取优化

SIFT(尺度不变特征变换)算子是由 British Columbia大学的David G.Lowe教授在1999年提出，并于2004年进行了完善总结，后来Y.Ke对其算法进行了局部改正，将其描述子部分用PCA代替了直方图。它把一幅影像映射为一个局部特征向量集，特征向量具有旋转、平移、缩放不变性，同时对光照变化、仿射变换和投影变换敏感性低。基于此思想，SIFT算法在尺度空间寻找极值点，提取位置、尺度、旋转不变量。因此，SIFT算法具有一定的稳定性、独特性、多量性和可扩展性。SIFT特征提取一般分为检测尺度空间极值点、极值点精确定位、特征点主方向确定和关键点描述子生成四步。为了保证SIFT算法特征提取的稳定性以及保证足够数目的特征点数，一般构建尺度空间时第一阶的第一层采用放大2倍的原始影像，且每一阶至少保证构建5层以上的尺度空间金字塔。构建影像金字塔所耗费的时间通常要超过整个SIFT特征提取时间的一半以上。

由于实验无人机相邻影像之间拍摄时间比较短且其飞行姿态相对较稳定，所以一般情况下相邻影像之间不会出现非常大的偏移、旋转、缩放，即影像的尺度变化比较小。所以可以考虑通过构建尺度空间时第一阶的第一层影像不放大两倍并且裁减无人机航拍影像SIFT特征提取所使用的尺度空间金字塔层数来加速SIFT特征提取过程。为了保证获得足够的准确特征点数和加速匹配过程，需要考虑两个因素:①缩短匹配时间的长短;②特征提取的稳定性，不能因为缩短了特征提取的时间而出现大量的误匹配特征点对。以下的实验选取无人机拍摄的坪山地区两幅影像分别对这两个指标进行了实验，实验结果如图1所示。

图1 SIFT算子时间与特征点数目对比图

由以上稳定性实验结果可以看出构建尺度空间时第一阶的第一层影像不放大两倍，且阶数为2，层数为4时。可以缩短SIFT特征提取时间约70%，特征点对数目仍大大超过最小二乘解算成像运动模型参数所需特征点对数目，并且阶数对SIFT特征提取的时间影响不大，SIFT特征提取的稳定性也不会受影响，不会出现大量误匹配特征点对，所以本文以下实验构建尺度空间时第一阶的第一层影像不放大两倍，并且阶数O=2，层数S=4。

3.2 RANSAC算子

SIFT关键点匹配完成后仍然存在着一定数量的误匹配点，可以利用RANSAC算子对其剔除误匹配点。RANSAC(Random Sample Consensus，随机抽样一致)是一种鲁棒性的参数估计方法，RANSAC算子的基本思想是:首先根据具体问题设计出某个目标函数，然后通过反复提取最小点集估计该函数中参数的初始值，利用这些初始值把所有的数据分为“内点”和“外点”，最后用所有的内点重新计算和估计函数的参数。图2为利用RANSAC剔除误匹配点实验结果比较示意图。

图2 使用RANSAC效果比较图

3.3 变换优化法

一幅好的影像拼接全景图，要求经过变换纠正后的影像重叠区域灰度误差最小，实现无缝拼接。

根据这个思想Richard Szeliski在其1996年的论文“Video Mosaics for Virtual Environments”中详细阐述了利用Levenberg-Marquardt迭代非线性最小化算法来优化旋转矩阵实现拼接灰度误差最小，这种方法符合计算机视觉中视觉最小偏差的思想。本文采用此方法。

3.4 精度评定

几何配准误差是衡量配准算法精度的一个重要指标，单个点配准误差公式如下:

平均几何配准误差公式如下:

Dist表示两点之间的距离，该式所计算的误差的单位是像素，如果配准误差过大，则后续的影像镶嵌等步骤将无法进行，如图3为几何配准误差示意图。

图3 几何配准误差计算示意图

实验选取配准模型为8参数投影变换模型，利用本文的SIFT特征提取优化算法与RANSAC算子剔除误匹配特征点共匹配出30对特征点，通过式(2)计算出的两幅影像配准单点RMS如表1所示。通过式(3)计算出平均几何配准误差total RMS为1.983 07，实验配准误差精度满足应急情况下的无人机影像拼接要求。

表1 单点RMS结果

4 拼接方式与融合方法研究

4.1影像拼接方式

无人机多幅影像拼接需要将其变换到统一坐标系下才能拼接成一幅全景图像，拼接坐标系的变换方式选取决定了拼接后影像的精度和形状。本文通过对比分析帧到帧、帧到拼接影像、拼接影像到帧和拼接影像到拼接影像四种拼接方式，综合考虑拼接过程的复杂度、计算量与累积误差等因素，采用帧到帧的拼接方式。它通过一定的准则选取无人机影像中的一幅为参考影像，其他影像逐个变换到该影像的参考坐标系下，拼接时坐标系是固定不变的。

4.2 重投影方法分析

通过前文提及方法解算出序列影像帧到帧之间的成像运动模型参数之后，选定参考影像，将待拼接影像中的其他影像重投影到一个统一的二维曲面进行镶嵌。考虑到主要的二维曲面中球面流形和立方体流形重投影非常麻烦，在拼接中很少用，而柱面流形与平面流形相比，平面流形更为简单常用，影像经投影后直线仍然不变，更接近现实物体形状，且实验区影像视角跨度极小，所以本文采用平面流形进行重投影，图4为坪山地区6张影像经平面投影后的拼接效果图。

图4 坪山地区6张影像平面投影拼接效果图

4.3 影像融合方法选择

影像进行配准后，直接对影像进行简单的叠加会出现明显的拼接缝，造成很坏的视觉及拼接质量低下的问题。影响影像拼接质量的因素很多，主要包括影像的匹配误差、纠正模型误差、曝光差异和白平衡等，图5、6分别所示为拼接影像存在匹配误差和曝光差异导致的拼接影像质量问题。

从图5、6可以看出拼接影像出现了房屋错位和色差过大的问题，拼接影像间形成了明显的拼接缝。为了解决这些问题，通常会考虑影像融合策略来消除这些因素的影响，最常用的是直接平均法和加权融合法。直接平均法在拼接缝处会出现不连续的现象，采用加权融合能够使重叠区域的灰度实现渐变，消除拼接缝视觉，但是如果两幅影像存在配准误差而采用简单的加权融合又会出现“融合鬼影”现象，不能达到完美的无缝拼接效果。图7所示为经过加权融合后拼接的两幅影像，从它可以看出虽然拼接缝得到了很好处理，但在标记红圈的位置出现了严重的“融合鬼影”现象。

图5 存在匹配误差导致的拼接问题

图6 曝光差异导致的拼接问题

图7 拼接融合鬼影

4.4 基于动态规划的最佳拼接缝搜索

Duplaquet在1998年提出了一个最佳拼接缝搜索准则。

式中:Ecolor表示两幅待拼接影像上所有重叠像素点的灰度值之差，Egeometry表示两幅待拼接影像上所有重叠像素点的结构值之差;Egeometry是通过修改Sobel算子完成的。但是采用Sobel算子计算梯度时没有考虑到像素点周围结构的相似性，因此不能够找到最理想的拼接缝。考虑到以该像素点为中心的对角线方向的4个边缘像素的相关性的差值作为衡量像素点几何结构相似度的评价标准，本文使用新的梯度计算模板。sx和sy即为采用的新梯度模板在x和y方向上的向量。

如果f1、f2为任意两幅待拼接原始影像，那么Egeometry的计算公式如下:

Diff的计算是先分别计算f1和f2在x，y方向的梯度之差，再将计算得到的两个梯度之差相乘得到最终结果。为了解决采用简单加权平均并不能完全消除拼接缝和“融合鬼影”的问题，本文提出了基于动态规划的最佳拼接缝搜索策略与加权羽化相结合来解决上述问题。

图8中标记的红线即为利用基于动态规划的最佳拼接缝搜索策略得到的最佳拼接缝，可以看到搜索的最佳拼接缝完全绕开房屋，且拼接缝两边的两幅影像灰度差异很小，沿着该拼接缝拼接得到的影像基本可以完全达到无缝拼接要求，并有效的去除了“融合鬼影”。但如果待两幅拼接影像色调差异过大，仅仅使用前文提到的该方法也只能达到使拼接后影像看不出有错位现象，沿着拼接缝还是会有一个固定的色调差异，遇到这种情况可以选取拼接缝两边各n个像素，对羽化区域内的像素进行加权平均实现灰度平滑过渡，n值选取不宜过大。

图8 动态规划法最佳拼接缝搜索拼接效果图

5 实验系统设计与结果分析

5.1 实验系统模块设计

本文的无人机影像拼接系统模块设计基于改进的SIFT算法特征提取和匹配、变换模型参数优化求解、影像融合三个步骤，主要模块包括:特征提取与匹配模块、RANSAC算子剔粗差模块、模型参数优化求解模块、拼接缝搜索模块、羽化处理模块。其中，特征提取与匹配模块主要采用基于Sift算子的特征提取，关键点的匹配采用k-d树的数据结构来完成搜索，构建尺度空间第一阶第一层时不采用扩大两倍的原始影像，实验表明这种方法能有效地提高影像匹配速度。剔除粗差模块利用RANSAC算子有效的剔除了误匹配点。模型参数优化求解模块主要采用8参数变换优化法求解方法。拼接缝搜索模块采用基于动态规划的最优拼接缝搜索算法。羽化处理模块主要针对最佳拼接缝搜索完毕后两幅影像仍有较大灰度差异的情况下对拼接缝周围各n个像素距离内的影像点采用加权融合的羽化处理策略，使影像灰度过渡平滑。无人机拼接系统使用C++语言实现了系统核心模块算法的开发，并调用了GDAL16版本动态链接库以及gsl1.8数学库。

5.2 实验结果分析

表2中的实验指标统计了坪山地区第一条航带14张影像的粗匹配特征点数、RANSAC内点数目、totalRMS、匹配时间、拼接时间等5项指标。可以看出实验考核指标能够满足城郊区灾害应急情况下，具有较高精度的无人机影像全景图无缝快速拼接的要求。

图9为坪山地区第一条航带14张影像的拼接效果图，图10为坪山地区7张影像拼接缝搜索示意图，图11为坪山地区3条航带30张影像的拼接效果图。

表2 实验指标统计表

图9 坪山地区第一条航带14张影像拼接效果图

图10 坪山7张影像拼接缝搜索示意图

图11 坪山地区三条航带30张影像拼接效果图

由以上实验可以看出本文提出的无人机影像拼接技术方案是行之有效的。无人机多幅影像拼接利用本文方法能加快影像处理速度，不会出现由于匹配精度导致的地物明显错位，并且能够消除因为存在匹配误差采用简单加权融合导致的“融合鬼影”现象，多幅影像拼接整体色调基本一致，没有出现很明显的拼接缝。

6 结论

本文面向城郊区灾害应急中无人机遥感数据的实际应用要求，针对无人机单幅影像数据量大，拼接耗费时间长的问题改进了SIFT算子拼接过程，通过构建影像金字塔第一层不采用扩大两倍采样的策略，并且通过减少金字塔的阶、层达到加快无人机影像拼接速度的目的，通过对坪山地区的实验，验证了采用这种方法不会影响拼接的稳定性。另外针对城郊区房屋交错的特点，采用基于动态规划的最佳拼接缝搜索与加权平均相结合的融合策略，很好地解决了传统拼接方法所遇到的拼接缝问题和“融合鬼影”问题。

［1］Kuglin C，Hines D．The phase correlation image alignmentmethod［C］//Proc IEEE Conference on Cybernetics and Society．New York，United States，1975:163－165．

［2］Srinivasa B Reddy，Chatterji B N．An FFT-based technique for translation ，rotation，and scale-invariant image registration［J］．IEEE Transactions on Image Processing．1996，8(5):1266 －1271．

［3］Richard Szeliski．Videomosaics for virtual environments［J］．IEEE Computer Graphics and Applications，1996，16(2):22－30.

［4］IraniM，Peleg S．Improving resolution by lmage registration［J］．Graph Models Image Process．1991，53(3):231－239．

［5］Brown M，Lowe D G．Recognising panoramas［C］//Proceedings of the 9th IEEE International Conference on Computer Vision．IEEE，2003:1218－1225．

［6］David G Lowe．Distinctive image features from scale-invariant keypoints［J］．Computer Science Department，2004，60(2):91－110 ．

［7］Matthew Brown，David G Lowe．Automatic panoramic image stitching using invariant features［J］．International Journal of Computer Vision．2007，74(1):59－73．

［8］王小睿，吴信才．遥感多图像的自动配准方法［J］．中国图象图形学报，1997，2(10):735－739．

［9］侯舒维，郭宝龙．一种图像自动拼接的快速算法［J］．计算机工程，2005，31(15):70－72．

［10］方贤勇，潘志庚，徐丹．图像拼接的改进算法［J］．计算机辅助设计与图形学学报，2003，15(11):1362－1366．

［11］张剑清，孙明伟，张祖勋．基于蚁群算法的正射影像镶嵌线自动选择［J］．武汉大学学报:信息科学版，2009，34(6):675－678．

Approach to Fast M osaic UAV Images for Disaster Emergency

LiMing1，2，Liu Huan3and Zhu Xinyan2
(1．School of Remote Sensing and Information Engineering，Wuhan University，Wuhan 430074，China;2．State Key Laboratory of Information Engineering in Surveying，Mapping and Remote Sensing，Wuhan University，Wuhan 430074，China;3．Wuhan Institute of Marine Communication，Wuhan 430079，China)

It is known that some natural disasters(like earthquake，flood)can cause a great damage in short time．Getting enough disaster information timely，accurately and fast is the premise of disastermitigation．Rely on UAV fast stitching technique of remote sensing data，for disaster prevention and mitigation departments，has become amore and more important first choice information source of first-hand disaster information extraction．The paper considers UAV to SIFT image characteristics feature matching process optimization，and by using transform optimization method for calculating the optimum transformation model parameters，based on combination of the best dynamic programming seam-line search strategy and weighted average's fusion strategy．It is good to eliminate the joining together fusion ghost phenomenon．The paper provides reliable technical support for the benefit of the disaster information source．

conurbation;disaster emergency;UAV;SIFT;RANSAC;image fusion;imagemosaics

TP75;P315.9

A

1000－811X(2012)03－0139－06

2011－11－18

2012－01－18

国家“八六三”“智慧城市”课题(2011AA010500);测绘遥感信息工程国家重点实验室专项科研经费;武汉大学中央高校基本科研业务费专项资金

李明(1985－)，男，湖北荆州人，博士研究生，主要从事遥感信息处理、灾害遥感应用与空间信息可视化研究．E-mail:lisouming@whu.edu.cn