基于多分辨率融合的无人机图像拼接匀色研究

王晓丽，戴华阳，余 涛，谢东海，吴 俣

(1.中国矿业大学(北京)地球科学与测绘工程学院，北京100083;2.中国科学院遥感应用研究所遥感定标与真实性检验研究室，北京100101)

一、引 言

无人机遥感作为一种新的遥感技术，具有时效性强、机动灵活等优点，在灾害监测和资源调查等领域发挥着越来越重要的作用。受飞机飞行高度和数码相机焦距的限制，无人机图像具有像幅小、数量多、航带多等特点，为了得到拍摄地区的全景图，图像拼接成为必不可少的一步。

图像拼接是指将相邻的具有一定重叠区域的两幅或多幅图像拼接成一幅大图像的技术过程。无人机图像的拼接过程包括图像预处理、图像配准、图像融合三大步骤［1］。其中，图像预处理主要是指对图像进行几何纠正，将它们划到统一坐标系下;图像配准的目的是建立两幅图像之间的空间坐标关系。而在图像拼接的过程中，往往存在以下两大问题需要解决：

1)曝光差异产生的拼接线［2］。在图像的实际采集过程中，受相机镜头的曝光时间及地面环境的变化等因素的影响，极易造成拍摄图像在亮度和色彩上存在差异，将这样的两幅图像简单的配准叠放到一起，必然会在边界处留下明显的拼接线，拼接后的图像也呈现出明显的色彩不一，如图1所示。

2)鬼影［3］。重叠区图像出现重影物体的现象通常称之为鬼影，鬼影现象的产生有两个原因：一是合成鬼影，当图像中存有运动物体时，这些物体因为位移而无法统一合成;二是配准误差，飞机在空中进行拍摄时运动不在一个平面上，拍得的图像之间既存在平移又存在一定的旋转，很难达到精确配准，重叠区图像易产生错位。图2为采用均值融合得到的拼接图像，重叠区域由于出现重影而变得模糊。

图1 配准叠放图(未经融合)

图2 均值融合图

图像融合是解决曝光差异和消除拼接线的关键技术。特征融合方法有平均值融合和加权平均值融合，这两种方法虽然简单，但是拼接线的消除效果并不理想。文献［4］利用小波变换将图像转换到频率域，并在各个频域分段上完成拼接，以达到消除拼接线的目的;该算法理论上虽然严密，但是在处理彩色图像以及重叠区域较小的图像时存有一定的局限性。Perez等人在2003年提出了泊松图像融合算法［5］，该方法借助一个指导场，通过求解泊松方程得到待融合的未知区域的梯度场来实现稳定的融合，在消除拼接线问题上取得了一定效果。Burt和Adelson提出的多分辨率融合算法［6］是处理曝光差异问题的经典算法，该算法可以实现拼接图像在重叠区的平滑过渡，使其达到整体的匀色效果。

解决鬼影问题的主要方法是基于图切割的方法。按照切割方式不同，分为3类：顶点覆盖法［3］、流行拼接法［7］、最佳缝合线法［8］。前两种方法在解决合成鬼影问题上可以取得明显效果，但是计算复杂，其中流行拼接法还对运动物体的大小和运动幅度有限制;最佳缝合线法是将重叠区一分为二，两边各取一幅图像的内容，这样便有效地避免了合成鬼影和配准鬼影。为了同时解决鬼影和曝光差异问题，文献［9］将图切割和泊松融合技术结合应用到普通数码照片的拼接，取得了较好效果。文献［1］采用最佳缝合线法解决了无人机图像拼接中的鬼影问题，但却没有解决曝光差异产生的匀色问题。

综合现有文献，本文在前人工作的基础上，将最佳缝合线和多分辨率融合技术联合应用到无人机图像的拼接，以待同时解决拼接产生的鬼影和曝光差异问题，使拼接后图像达到理想的匀色效果。图像拼接的前期处理和配准技术，本文不再作过多介绍，具体方法可参见文献［1］，下面就基于最佳缝合线的多分辨率融合技术作重点阐述。

二、最佳缝合线

1.最佳缝合线搜索准则

最佳缝合线将重叠区分割成两部分，两边各取一幅图像的内容，合理的缝合线分割可以有效地解决鬼影问题。最佳缝合线上点的配准精度在重叠区内是最高的，因此，组成这样一条最佳缝合线上的像素点应该满足：

1)颜色上，两幅原图像的颜色差值最小。

2)结构上，两幅原图像的几何结构最相似。

然而，在实际的图像拼接中，同时满足上面两个条件的缝合线是很难找到的，因此需要找到一条能较好满足这两个条件的缝合线。文献［10］通过对图像的分析和试验，推出了能够有效表达这两个条件的最佳缝合线的建立准则

式中，Ecolor表示两幅原图像重叠区内像素点的颜色差;Egeometry表示重叠区内像素点的几何结构差，通过Sobel算子进行梯度计算实现。Sobel算子模板要考虑到以像素点为中心的4个对角线方向的边缘像素点的相关性，由此确定计算x和y方向的梯度的新的算子模板

计算两幅原图像A、B在重叠区域的几何结构差

式中，Diff()是通过计算原图像A和B在x、y方向梯度之差的积得到的。

2.搜索最佳缝合线

最佳缝合线的搜索方法有复杂度很高的Dijkstra算法［8］、最优路径搜索法。文献［11］利用动态规划思想寻找最佳缝合线，该方法相对简单有效。因此，本文利用动态规划思想在重叠区搜索最佳缝合线。

按照最佳缝合线搜索准则，对两幅原图像的重叠部分运用动态规划思想搜索最佳缝合线，具体步骤如下：

1)初始化。从重叠区域第一行出发，建立该行上每一个像素点为起点的缝合线，其强度值初始化为各个点的准则值，缝合线的当前点为其所在的列。

2)扩展。将每一条缝合线的当前点分别与该点紧邻的下一行的3个点的准则值相加，比较和值大小，取最小的值所在的列作为该缝合线的扩展方向，同时更新缝合线的强度值为最小值，缝合线的当前点变为最小强度值的下一行的点所对应的列。依此类推向下扩展直至最后一行。

3)选取最佳缝合线。从所有的缝合线中选取强度值最小的作为最佳缝合线。

三、多分辨率融合

多分辨率融合算法是一种基于塔式结构的颜色融合算法，该算法最早由Burt和Adelson于1983年提出，并首先被应用到两幅图像拼接的平滑处理中，取得了显著效果。其原理是：若两幅图像的带宽为一个倍频程，那么这两幅图像在拼接时的缝合线两边就能实现平滑过渡，而不会出现鬼影和曝光差异。将待拼接的原图像先分别分解成一系列带宽近似为一个倍频程的图像(称为拉普拉斯图像);然后将对应的每一层的拉普拉斯图像进行融合拼接;最后将所有层的融合图像相加重构成一层，便可得到经过多分辨率融合的拼接图像。

1.构造拉普拉斯金字塔图像

拉普拉斯金字塔图像的构造过程包括以下几步。

(1)图像的高斯塔分解

对原图像采用高斯滤波器进行低通滤波和降采样，得到一系列分辨率和尺寸都逐级变小的高斯金字塔图像。将原始图像作为高斯金字塔的第0层(底层)，高斯塔其余层的生成，按照公式

式中，0＜l≤N，Gl(i，j)为第l层高斯金字塔图像;N为分解层数;i、j为图像的行列数;w是一个5×5具有低通特性的窗口函数，也叫权函数或生成核，具体大小为

(2)由高斯塔生成拉普拉斯塔

从高斯塔的第1层开始，将Gl(i，j)进行插值放大，得到与Gl－1(i，j)在尺寸上一样大小的插值图像G'l(i，j)，所采用的插值函数为

虽然G'l与Gl－1尺寸一样大小，但是二者并不相等，的像素值是由Gl的像素值经过加权平均得到的，Gl又是由Gl－1低通滤波得到的，所以G'l包含的细节信息要少于Gl－1，二者之间是有差别的。将Gl－1与G'l作差便得到了拉普拉斯金字塔的第Ll－1层图像，即

(3)由拉普拉斯图像重建原图像

从拉普拉斯金字塔最顶层开始自上至下，将拉普拉斯图像内插放大到与下一层图像一样大小，然后累计相加便可重构原图像。

2.基于缝合线的多分辨率融合

在求得最佳缝合线之后，进行多分辨率融合拼接，步骤如下：

1)以拼接后图像的大小为尺寸，生成一幅模板图像M，将缝合线左侧填充0，右侧填充255，形成一幅黑白模板图像。

2)将经过配准和几何模型变换后的图像A、B扩展到拼接后图像的大小，扩展部分填充0。

3)生成模板R的高斯图像GR，以及经扩展的A、B的拉普拉斯图像LA、LB，层数相同。

4)在每一层上分别进行融合，求得融合后的拉普拉斯图像Lfusion，像素值计算公式为

式中，l代表第几层;(i，j)代表像素点坐标。

5)对于融合后的拉普拉斯图像Lfusion，从最高层开始插值扩展，并与其下一层图像相加，重复此过程直至与最后一层图像相加完为止，就得到了最终需要的基于最佳缝合线的多分辨率融合图像。

四、试 验

本文采用大小为702像素×468像素的航拍无人机源图像进行拼接试验，基于C或C++语言，调用OpenCV和GDAL函数库进行算法编程实现。

(1)两幅无人机图像拼接试验

图1～图4所示为原图像各种拼接结果，分别是配准叠放图、均值融合图、最佳缝合线切割图、基于最佳缝合线的多分辨率融合图。

图3 最佳缝合线切割图

图4 基于缝合线的多分辨率融合图

图1显示的是源图像在经过几何纠正及图像匹配后，根据几何变换模型配准叠放到一起的效果。由于没有进行融合处理。可以看到明显的拼接边界，在边界线附近还存在着由配准误差产生的物体错位，拼接图也因曝光差异呈现出两种颜色的色彩不均匀现象，影响拼接图像的目视效果。

图2在图1配准的基础上加入了简单的均值融合处理。可以看到均值融合图像的曝光差异较以前得到了一定改善，但是均值融合却使重叠区域的图像变模糊了，出现了叠影，图中白框标示的道路等特征地物重影现象尤为明显。虽然均值融合可以在一定程度上改善曝光差异，但却暴露了潜在的鬼影问题。

图3显示的是利用动态规划思想搜索到的一条最佳缝合线分割重叠区的拼接图。从分割图可以看到，缝合线基本上位于重叠区的中心线附近，而且较好地避开了易出现配准误差的特征地物。由于缝合线两边各取一幅图像的内容，鬼影问题得到了有效解决，但是缝合线两侧图像的色彩差异仍旧存在，缝合线清晰可见。

图4为本文提出将缝合线、多分辨率融合技术联合应用到无人机图像拼接的效果图。缝合线解决了鬼影问题，多分辨率融合消除了缝合线两侧图像的曝光差异，图像拼接遇到的两大难题都得到了理想解决。拼接图像在颜色和内容上和谐统一，达到了最佳的目视效果，已看不出是经过图像拼接的结果。

(2)多幅无人机图像拼接试验

图5给了基于最佳缝合线的多分辨率融合技术用于多张无人机图像拼接的前后对比图。融合前的拼接图呈现补丁状的拼凑效果，边界配准误差和各图幅颜色差异明显;融合后的拼接图像各种配准误差、颜色差异得到理想消除，整个图像浑然一体，拼接匀色效果显著。

图5 基于最佳缝合线的多分辨率融合技术用于多幅无人机图像拼接

五、结束语

无人机图像在拼接时的鬼影和曝光差异问题在现有文献中还没有得到同时的有效解决，本文在前人现有工作的基础上，将最佳缝合线和多分辨率融合技术联合应用，对两幅和多幅无人机图像进行了拼接试验。结果证实，该方法同时有效地解决了鬼影和曝光差异两大难题，拼接图像匀色显著，达到了理想的视觉效果，提高了无人机拼接图像的实用性。此外，试验结果对其他遥感图像的拼接匀色(如HJ星等卫星影像)也起到了一定的参考价值。

［1］韩文超.基于POS系统的无人机遥感图像拼接技术研究与实现［D］.南京：南京大学，2011.

［2］SHUM H Y，SZELISKI R.Construction and Refinement of Panoramic Mosaics with Global and Local Alignment［C］∥Proceedings of 6th International Conference on Computer Vision.Bombay， India：［s.n.］， 1998：953-958.

［3］UYTTENDAELE M.Eliminating Ghosting and Exposure Artifacts in Image Mosaics［C］∥Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Hawaii：［s.n.］，2001：509-516.

［4］王建忠.图像镶嵌及其边界处理［J］.模式识别与人工智能，1993，6(3)：189-195.

［5］PEREZ P，GANGNET M，Blake A.Poisson Image Editing［J］.ACM Transactions on Graphics，2003，22(3) ：313-318.

［6］BURT P J，ADELSON E H.A Multiresolution Spline with Application to Image Mosaics［J］.ACM Transactions on Graphics，1983，2(4)：217-236.

［7］PELEG S.Mosaicing on Adaptive Manifolds［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(10)：1144-1154.

［8］DAVI J.Mosaics of Scenes with Moving Objects［C］∥Proceedings of 1998 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Santa Barbara，USA：［s.n.］，1998：354-360.

［9］方贤勇，张明敏，潘志庚.基于图切割的图像拼接技术研究［J］.中国图象图形学报，2007，12(12)：2050-2056.

［10］方贤勇，潘志庚，徐丹.改进的图像拼接算法［J］.计算机辅助设计与图形学学报，2003，15(11)：1362-1366.

［11］DUPLAQUET M L.Building Large Image Mosaics with Invisible Seam-lines［C］∥ Proceedings of SPIE Aerosense.Orlando，Florida：［s.n.］，1998：369-377.