无人机影像自动拼接校正

郭 威，周厚奎，余 璇，徐家扬

(1.浙江农林大学，浙江省林业智能监测与信息技术研究重点实验室，311300，浙江，临安；2.浙江农林大学信息工程学院，浙江省计算机应用技术重点学科，311300，浙江，临安)

无人机影像自动拼接校正

郭 威1,2，周厚奎1,2，余 璇1,2，徐家扬1,2

(1.浙江农林大学，浙江省林业智能监测与信息技术研究重点实验室，311300，浙江，临安；2.浙江农林大学信息工程学院，浙江省计算机应用技术重点学科，311300，浙江，临安)

无人机影像可获得海量的高空间分辨率影像，在国土资源、林业调查、农业、灾害快速响应等多方面具有广阔的应用前景，不过如何立刻收集这些数据，是无人机快速应用的一个难题。如何拼接一系列具有重叠区的相邻影像，构成无缝可用的总影像，是应用的一个重要问题。研究采用浙江省富阳的无人机影像，预处理后基于参考影像，先对待匹配影像进行均质化变换，以减小影像间的明显差异，再寻找匹配特征并寻优。在影像之间的重叠区域，为尽量达到影像间无缝连接，采用平滑处理。拼接算法在Matlab 6.5中实现所得到的最终结果，较好地实现了影像间的结合，总体连接平滑并且接缝不明显。研究能够为实现无人机影像的自动化处理，加快无人机在各领域的应用。

无人机；影像拼接；均质化变换；重叠区；平滑处理

0 引言

无人机拥有快速、方便、空间分辨率高以及低成本获取大量信息的特点，可以满足遥感监测的高时效和高精度要求，完善多平台遥感立体监测体系。并可帮助资源调查及灾害快速响应，应用范围随信息化快速增长，但现有的数据难以满足需求[1]。

影像拼接需求广泛，并且是照相绘图学、机器视觉、无人机影像处理研究的热点。拼接无人机影像，采用连接一系列空间重叠的无人机影像，拼接成总的无缝高清无人机影像，与单幅无人机影像相比，视野更宽广，应用更广泛[2]。

1 理论基础

无人机影像的拼接算法有基于区域相关的拼接算法和基于特征的配准算法。基于区域的配准方法依据灰度值或经过快速傅里叶变换的灰度信息，采用最小二乘法等计算影像间灰度值的差异，根据这个县寻找重叠区域的范围和位置，然后判断重叠区域的相似程度，从而进行无人机影像拼接；基于特征相关的拼接算法不直接利用无人机影像的像元值，而是以由灰度信息得出的无人机影像的特征作为标准，对无人机影像重叠部分的对应特征区域进行搜索匹配，具有更强的鲁棒性[3-5]。

无人机影像拼接技术主要分为预处理、配准、融合与边界平滑3个部分。预处理就是先纠正变形图像然后统一到建立的坐标系中，从而来测量地物的坐标信息[3]。由于无人机的体积较小，所以有抗风能力差、自稳定性不高的问题，虽然装有自动驾驶与增稳陀螺，但倾斜抖动仍不可避免，再加上相机镜头的非线性，会造成所得影像的各种几何畸变，所以无人机影像拼接首先要对单幅无人机影像进行预处理，以减少无人机影像的问题导致的误匹配。配准就是提取参考无人机影像和待拼接无人机影像中的匹配信息，并寻优。由于下垫面不同、地形起伏、无人机的飞行姿态等差异，相邻影像间的对应信息亦有差异，一个好的无人机影像配准算法，应能在更多差异情况下都能准确找到无人机影像间的对应信息，实现无人机影像间的匹配和寻优[5]。融合与边界平滑是指完成无人机影像匹配之后，对无人机影像进行缝合，以及对缝合的边界进行平滑处理使其自然过渡。因为采集相邻的无人机影像时总有差异，从而使得一些本应一致的无人机影像特性，在不同无人机影像中的表现也不一样。所以从一幅无人机影像拼接过渡到另一幅无人机影像时，就会产生明显的拼接缝隙。影像融合的目的就是为了让这种接缝不明显，达到视觉一致性[3,5,7]。

拼接算法在Matlab 6.5中实现。Matlab是美国MathWorks公司出品的专门以矩阵的形式处理数据商业数学软件。具有：1)编程效率高；2)用户使用方便；3)扩充能力强；4)友好的用户界面；5)接近数学表达式的自然化语言；6)高效方便的矩阵和数组运算；7)完备的图形处理功能，实现计算结果和编程的可视化等优点[8]，从而应用广泛。

2 数据与方法

无人机试飞于2009年夏季在浙江省富阳市进行，坐标东经119°57′E、北纬30°03′N。旋翼无人机遥感平台的系统集成主要有直升机本体、机载电控箱、地面站3个部分(图1)。同时在日本新一代旋翼式无人航空摄影平台Herakles Ⅱ基础上集成，主要包括遥感设备及控制系统、飞行控制与监视系统、无线电遥测遥控系统、数据传输和通讯系统等。

图1 航空摄影平台Herakles Ⅱ及集成设备

无人机影像拼接的主要流程如图2所示。首先进行无人机遥感影像的预处理，并采用均质化变换减小影像间的差异，最后运用渐入渐出加权平均法实现图像融合[4]。预处理主要针对2个方面进行：纠正数码照相机镜头非线性造成的畸变，纠正无人机由于平台姿态、位置变化引起的传感器外方位元素的误差。

影像匹配的算法分基于灰度信息和基于特征的2种匹配算法。其中基于灰度信息的方法更简便，而基于特征的匹配算法效率更高，鲁棒性更好，包括基于Harris算子、MSER算子、SURF算子以及SIFT算子的算法等。考虑到SIFT算法提取的特征点，在图像进行一些尺度或视角的变化后仍可保持稳定的这一优点，有利于更好匹配2幅具有差异的图像的特征[4]。这正针对无人机影像生成过程中主要的畸变情形，故而本研究采用该算法。采用高斯卷积核生成的尺度空间中检测极值点，精炼特征点位置，最后采用关键点特征向量的欧氏距离作为判定度量2幅图像中关键点的相似性[6]。

考虑到拍摄角度和曝光时间等条件的不同，待拼接无人机影像间可能存在像元值差异，并引起拼接后的无人机影像拼接缝合处出现明显的明暗变化，对无人机影像拼接处的缝隙进行融合和平滑处理，以便实现最终的无缝拼接[5,7-8]。目前，无人机影像平滑处理的方法有多种，其中平均值融合法易于操作，算法简单，但拼接痕迹过于明显；多分辨样条融合法拼接质量高，可实现不同强度的无人机影像的融合，但实现起来比较复杂，计算量较大，过于繁琐；加权平均值法简单有效，能够消除拼接痕迹[3]，故本研究使用像素加权融合法的渐入渐出法，重叠区域的像元值由2幅影像的像元值组合构成，本研究采用5%的第1幅影像及95%的第2幅影像。

图2 无人机影像拼接的主要流程

3 结果与分析

图3所示是待拼接的2幅无人机影像，有航向重叠约20%，由一景无人机影像裁剪而成并模拟保留重叠(图3)。

读取2幅影像，找到它们的不变特征点，并且以连线来显示这些关键点。不变特征点的寻找和选取是拼接匹配的关键，只有当距离小于距离比值乘以到次最近匹配的距离某个匹配才会被认可。生成1幅新影像，将2幅影像(待配无人机影像与参考无人机影像)放置在一起(图4)。第1幅影像的尺寸为1 201×900，第2幅影像的尺寸相同。对应点之间划线，显示匹配结果并计算出2幅影像的重叠区域，所要得到的最终结果，就是2幅影像的加和且只保留一次重叠区域。为保证2幅影像拼接之后看起来仍然保持一致，对第2幅影像(待配影像)参考第1幅影像进行均质化变换，使其与第1幅影像相匹配。也就是说，拼接2幅影像除重叠区域以外的部分，并重新计算重叠区域的情况，得到最终的结果(图5)。

图3 待拼接的2幅无人机影像

图4 2幅无人机影像对应点之间的匹配(连线)

图5 最终得到的拼接影像

4 结论

无人机影像拼接技术可以用来建立大视角的高分辨率图像，落实无人机在国土资源、林业调查、农业、灾害快速响应等多方面的应用。本研究结合图像拼接的流程，实现无人机影像的自动拼接技术，为开发相关的自动处理软件打下基础。首先针对图像进行预处理，包括几何畸变校正和影像间的均质化变换等，统一参考图像和待拼接图像。然后分析了现有的图像配准算法，提取参考图像和待拼接图像中的匹配信息，并在其中寻优。对于图像间的重叠部分，进行融与边界平滑处理，拼接影像并尽量让接缝自然过渡。本研究还以浙江省富阳市的无人机试飞影像为例，在Matlab中实验了上述过程，实践了无人机影像的自动拼接。

[1] 金伟,葛宏立,杜华强,等.无人机遥感发展与应用概况[J].遥感信息,2009(1):88-92.

[2]余宏生,金伟其.数字图像拼接方法研究进展[J].红外技术,2009,31(6):348-353.

[3]狄颖辰,陈云坪,陈莹莹,等.无人机图像拼接算法综述[J].计算机应用,2011,31(1):170-174.

[4]李新,葛小燕.基于SIFT的低空遥感图像拼接[J].制造业自动化,2013,35(3):18-20.

[5]陈挺.图像拼接算法及实现[J/OL].[2009-06-03]. http://wenku.baidu.com/link url=dtKGRAi92KRlY-ZIZ-0kdWG7RgUXhz7p-Nkux2YByjfa0BxCj_KE6mIx-WmauadjEONERq8CZVyvsOFg5zFUqWa1mWIce-MtM-zuS5gYv1CTC3.

[6]刘庆元,刘有,邹磊,等.无人机遥感影像拼接方法探讨[J].测绘通报,2012(5):53-55.

[7]盖进伟,韩燮.一种基于特征点匹配的图像拼接方法研究[J].计算机测量与控制,2012,20(3):836-837.

[8]飞思科技产品研发中心.MATLAB 6.5辅助图像处理[M].北京:电子工业出版社,2003.

[9]李宇昊.无人机在林业调查中的应用实验[J].林业资源管理,2007(4):69-73.

AutomaticMosaicofUnmannedAerialVehicleImages

GUO Wei1,2,ZHOU Houkui1,2,YU Xuan1,2,XU Jiayang1,2

(1.Zhejiang Provincial Key Laboratory of Forestry Intelligent,Monitoring and Information Technology Research,Zhejiang A&F University,311300,Linan,Zhejiang,PRC;2.Zhejiang Provincial Key Discipline of Computer Application,Zhejiang A&F University,311300,Linan,Zhejiang,PRC)

Unmanned aerial vehicle (UAVs) could generate a great amount of high spatial resolution images,which are useful in land investigation,forestry,agriculture,and quick response etc.However,it is a bottleneck to process them promptly.First of all,it is necessary to mosaic a series of adjacent images.This study took the UAV images from flight in Fuyang,Zhejiang province.Through pre-processing,homogenous transformation,extract the corresponding features and optimize them to match the UAV images.On the overlapping regions,smoothing was processed to ensure seamless mosaic.It was programmed in Matlab6.5,and the results realized mosaic satisfyingly with not obvious seams.The study could serve as a supplemental experiment on the automatic processing of UAV images.

Unmanned aerial vehicle (UAVs);mosaic;homogenous transformation;overlaps;smoothing

2014-09-28;

2014-11-12

郭 威(1994-)，男，湖南人，本科，从事无人机及其影像处理研究。

浙江农林大学科研发展基金人才启动项目(2014FR014)；浙江农林大学创新创业训练计划资助项目(201309013)；浙江省林业智能监测与信息技术研究重点实验室、智慧农林研究中心基金(2013ZHNL01)；国家自然科学基金青年基金(31300539)；浙江省自然科学基金项目(LQ13F050006，Y5110145)资助。

*通讯作者：雒瑞森，男，博士，主要从事林火时空格局分析研究工作。

10.13990/j.issn1001-3679.2014.06.029

TP391

A

1001-3679(2014)06-0874-04