基于半投影翘曲的无人机图像拼接方法

陈珺 高海宽 李梓贤

摘 要：为了解决无人机图像在拼接过程中出现的错位、重影等造成图像失真的问题，提出一种基于半投影翘曲的无人机图像拼接方法。首先估计图像的全局投影变换矩阵；然后根据待拼接图像的重叠情况，以及投影变换和相似性变换的连续性，求解出过渡变换矩阵和相似性变换矩阵，得到最终的半投影变换矩阵；最后构建图像重叠区域的差异矩阵，以此为基础获取重叠区域的差异性区域。使用分区融合策略，在差异性区域进行单采样，在其他区域进行距离加权融合。实验结果表明，该方法可以很好地拼接由于视角变化、地势起伏等造成视差的无人机图像，得到的拼接结果自然清晰，效果优于其他先进算法。该方法有效地解决了无人机图像拼接错位、重影的问题，在多项定量指标上表现良好。

关键词：图像拼接；无人机图像；图像失真；半投影翘曲

中图分类号：TP391.41   文献标志码：A   文章编号：1001-3695（2024）01-048-0301-05

doi：10.19734/j.issn.1001-3695.2023.05.0229

UAV image stitching method based on half-projection warping

Abstract：To solve the problems of distortion and ghosting in the stitching of UAV images，this paper proposed a UAV image stitching method based on half-projection warping.Firstly，it estimated the global projection transformation matrix of the image.Then it solved the transition transformation matrix and the similarity transformation matrix according to the overlap of the images，the continuity of the projection transformation and the similarity transformation，and obtained the final semi-projection transformation matrix.Finally，it constructed the difference matrix of the overlapping region of the images and obtained the different regions of the overlapping region based on the difference matrix.Using the partition fusion strategy，it performed single sampling in the different regions and distance-weighted fusion in other regions.The experimental results show that this method can splice the images caused by parallax due to the change of perspective and relief，and the result of the splicing is natural and clear，and the effect is better than other advanced algorithms.The method effectively solves the problems of misalignment and double image stitching of UAV images and performs well in many quantitative indexes.

Key words：image stitching；UAV image；image distortion；half-projection warping

0 引言

無人机遥感技术具有数据采集便捷、成本低、实时性强、灵活度高等优势，被广泛应用于目标检测［1］、工程测绘［2］和环境监测［3］等多个领域。由于无人机飞行高度的限制以及成像设备视野范围的局限，单张无人机遥感图像覆盖的地面区域有限，需要借助图像拼接技术获取含有全局信息的全景图像。然而，受到视角转换、场景中物体的深度差及地形起伏等因素的影响，通过无人机成像系统获取的图像数据通常存在较大视差。这将导致拼接生成的全景图像中出现过大的形变和明显的错位及重影，进而影响后续的测绘、环境监测、跟踪识别等任务。因此，研究如何快速准确地将具有重叠区域的无人机图像拼接成无重影、无过大形变的全景图像具有重要的实际应用价值。

现有的图像翘曲模型可以分为单视角和多视角两类。单视角翘曲使用投影的方法将对齐的图像在同一坐标系下进行变换。AutoStitch［4］是一种经典的基于全局投影模型的自动拼接方法，但是该方法难以处理视角变换较大的无人机图像。Zaragoza等人［5］提出了APAP （as-projective-as-possible）翘曲模型，它对图像进行网格化划分，重叠部分的每个网格单元都独立计算单应矩阵来指导局部的翘曲对齐。Chen等人［6］提出了一种基于角度一致性的翘曲方法，它使用特征之间的角度限制对模型进行约束来提高模型的对齐能力，最后使用加权的方式融合图像，然而这种方法更适用于无视差的简单场景。线特征［7，8］也被应用于单视角翘曲，以保持图像的线性结构。最近，Nie等人［9］提出了基于深度学习的全局翘曲模型，使用神经网络进行深度特征的提取和匹配，并进行单应性矩阵的估计。然而，单视角翘曲在处理非刚性的透视畸变时会产生较大误差，导致图像非重叠区域的纵向形变失真，不适合解决无人机图像的拼接问题。

为了获得更加自然的全景图像，多视角翘曲的方法被提出。Chang等人［10］以APAP模型为基础提出了SPHP （shape-preserving half-projective warps）翘曲模型，在重叠区域使用单应性翘曲，在非重叠区域使用相似翘曲，但是该方法过渡生硬、痕跡明显。文献［11］使用薄板样条函数对SPHP方法进行了改进，增强了模型的对齐能力。文献［12］提出了一种无人机图像拼接重影消除算法，该算法将单应性局部变换和旋转角度最小的全局相似变换结合在一起，适合处理高重叠率图像的拼接任务。Li等人［13］采用预翘曲对图像进行处理，并结合相似性翘曲得到自然的拼接结果。Wan等人［14］提出一种基于网格化和保形变换的模型，通过局部单应性实现更加准确的对齐，并使用保形变换减轻了无人机图像的失真。准单应性翘曲［15］通过平衡非重叠区域的透视失真和投影失真，从而产生多视角拼接结果。多视角翘曲虽然限制了非重叠区域的形变，但是当无人机图像中物体深度差异较大时，此类方法仍然难以精确对齐，结果中易出现错位和重影。

在处理无人机图像时，适当地使用融合技术可以减少重影现象［16］。目前多种图像融合方法被应用于智能手机全景［17］和航拍图像［18］的拼接。基于深度学习的图像重建框架［19，20］也被应用到图像拼接中来，它通过图像颜色、纹理等差异损失的约束来规划重叠区域的融合权重，达到了消除重影的效果。最优接缝算法也能较好地消除视差和对准引起的错位和重影。FARSE（fast and robust seam estimation）［21］通过定义灰度加权距离和差分梯度域作为差异代价来搜索最优接缝。一些基于最优接缝的算法［22，23］可以一定程度地避开视差区域，但是当视差区域较大时，最优接缝的方法也会失败。

综上所述，目前无人机图像拼接中出现失真现象主要有以下原因。首先，由于无人机低空遥感图像拍摄视角偏差较大，同一物体在图像中呈现不同的纹理细节，难以进行对齐，导致拼接结果出现明显的错位和重影。其次，无人机低空遥感图像中的一些物体由于深度差异明显，无法被视为处于同一平面，不满足传统图像拼接的限制条件。SPHP算法通过线性约束实现投影翘曲和相似翘曲的过渡，来消除非重叠区域的纵向拉伸失真。然而，SPHP在变换矩阵计算和区域划分阶段使用固定数量的网格进行参数估计的方法存在一些不足之处，尤其在处理不同类型和大小的图像时，这种方法可能导致重影和错位现象，并且半投影模型过渡时会产生生硬痕迹。本文提出自适应动态网格的方法，使用大小处于一定范围内、数量动态选择的网格来进行参数估计，提高了模型的投影对齐能力和稳定性，并且使得半投影模型的过渡更加平滑；本文还提出了一种新的融合策略，通过构造重叠区域的差异矩阵，将该区域自动划分为大视差和小视差两个部分，在大视差区域进行像素单采样，并使用线性加权方法在小视差区域进行融合，最终生成无重影和错位的拼接结果。

1 无人机图像拼接方法

1.1 方法流程

本文方法的流程如图1所示，总体分为投影变换估计和融合重建两个阶段。首先估计输入图像间的投影变换矩阵，并进行坐标系调整以及根据重叠情况进行区域划分；其次估计非重叠部分的相似性变换矩阵，通过连续性及线性约束求得过渡区域的过渡变换矩阵，实现由投影变换到相似性变换的平滑过渡，获得最终的半投影变换矩阵；之后构建重叠部分的差异矩阵，视差小的区域具有较小的差异值，视差大的区域具有较大的差异值，根据该矩阵来判断各像素使用单采样或者加权融合来获得最终结果。

1.2 投影变换估计

在图像的配准阶段，使用尺度不变特征变换（scale-invariant feature transform，SIFT）特征描述符进行初始特征的提取和匹配，得到图像间特征点的对应关系。对于两个重叠的图像I和I′，根据它们的匹配点对x=（x，y）T，y=（x′，y′）T来估计图像之间的全局投影变换，公式表示为

为了投影变换和相似性变换能够平滑过渡，需要适当调整对齐的坐标系。通过角度θ将原坐标系（x，y）转换到新坐标系（u，v）下，θ以及（x，y）和（u，v）可以从式（3）（4）求得。

θ=atan2（-h7，-h8）（3）

x=u cos θ-v sin θ，y=u sin θ+v cos θ（4）

将式（4）代入式（2）可以得到（x′，y′）与（u，v）之间的映射关系。

1.3 半投影翘曲

由投影变换引导的翘曲只有在图像满足相机光学中心稳定的情况下才能很好地拼接图像。然而，在大多数情况下，无人机遥感获取的图像不满足该条件，造成拍摄的大视差图像拼接时在非重叠区域产生严重的变形失真。

为了解决这个问题，本文引入了半投影翘曲模型。单应矩阵H通常对应投影变换，导致图像的拉伸变形。相似变换只对图像进行旋转和缩放，保持了图像原有的形状。半投影翘曲利用两条翘曲线将已配准的图像划分成三部分。对重叠区域进行投影变换来进行严格对齐，对非重叠区域进行相似变换来抑制图像形变，并在这两个区域之间进行平滑过渡。

变换到新坐标系（u，v）下之后，根据图像的重叠情况选取两过渡边界u=uHT和u=uTS，将目标图像划分为三部分，每部分应用不同的翘曲函数。对于整个图像翘曲函数可以定义为

其中：T（u，v）是过渡变换函数；S（u，v）是相似性变换函数。整体翘曲函数w（u，v）可以确保图像平滑地由投影变换过渡到相似性变换。以上两个函数可以定义为

其中：fx、fy、gx、gy是u的二次函数；t1～t4是常量参数。当u是常量时，H（u，v）、T（u，v）以及S（u，v）可以被看成关于v的线性函数。在经线u=uHT和u=uTS处，翘曲函数仍然是连续的，因此有足够的线性约束来求取上述二次函数和常数参数，求取公式如下：

因为t2是常量，fx是u的二次函数，通过以上四个线性约束可以求解出t2和fx。同样也可以根据线性约束求解出t1和fy。使用相同的策略还可以得到t3和gx的约束关系。

由于t1已经被求出，所以以上线性约束足够支持对t3和gx的求解。t4和gy也可以通过相同的方式求得。综上所述，可以构建出能够平滑过渡的半投影翘曲函数w（u，v）。

由于半投影翘曲与投影变换的区别是使图像非重叠区域尽可能地进行相似变换，对于目标图像I，其边界线u=uHT和u=uTS可以由翘曲函数w（u，v）与Frobenius范数更接近相似变换的偏差确定，偏差E由式（13）获得。

其中：E（uHT，uTS）是uHT和uTS的非线性函数，通过网格采样空间（uHT，uTS）来获取最优的uHT和uTS。

网格化划分的目的是降低运算复杂度，提升运行效率。传统的SPHP方法在网格化划分时，无论图像大小如何，均将图像使用20×20的网格进行划分，这导致算法在不同图像上展现的性能不稳定，结果中会存在错位和重影的情况。本文使用自适应动态网格的方法，不对网格的数量进行限制，而是根据输入图像的大小将每个网格的长宽限制在50～60像素，能够保持网格内容信息量的稳定。该方法使得模型在处理不同数据时克服了视差，展现了良好的对齐效果和平滑过渡效果。

半投影翘曲方法的具体实现如图3所示。对于待拼接图像I1和I2，首先估计其投影变换矩阵H12；随后使用自适应动态网格的方法得到过渡边界uHT和uTS，从而求取半投影翘曲矩阵w；最后使用翘曲矩阵w指导图像的半投影变换，通过融合获得最终的结果。

1.4 融合策略

半投影翘曲虽然解决了非重叠部分的变形失真，但由于视差较大，重叠部分仍然难以完美对齐。现有方法采用多波段融合重建、平均加权或寻找最优接缝来处理重叠部分，但这很容易造成图像的错位和重影。本文提出了一种新的拼接策略来消除错位和重影。

对于两幅具有重叠区域的待拼接图像，首先要获取它们的重叠区域φ和φ′。重叠区域的差异矩阵可以表示为

E=|φ′R-φR|+|φ′G-φG|+|φ′B-φB|（14）

其中：φR、φG、φB分别是区域φ的RGB通道值；φ′R、φ′G、φ′B分别是区域φ′的RGB通道值。

根据差异矩阵E寻找一条经线x=x0，将重叠区域分为两部分，x0通过式（15）计算。

其中：x0、y0是要尋找的目标点；pij是差异矩阵每个像素点的值；pφ是差异矩阵各元素值的总和；λ是常数，本文通过实验测定设置为0.3。经过计算可以获得需要的经线x=x0。

使用获得的经线x=x0，将重叠区域划分为过渡区和大视差区域。在大视差区域采取单采样的策略获取像素值，在过渡区域使用距离加权的方式实现平滑过渡。权重ωi可以由式（16）计算。

其中：xi是每个像素在坐标系中所处位置的横坐标。通过该策略获得的差异矩阵图像和融合权重图像如图4所示。图4（a）是重叠区域的差异矩阵图像；图4（b）是根据差异矩阵自动划分得到的，虚线为划分边界，其有效地划分了差异区域；图4（c）（d）分别是一般加权融合和本文融合策略对于图像重叠部分的融合结果，可以清楚看到本文方法在视差大的建筑区域没有重影和错位，优于一般融合方法。

2 实验结果及分析

本文方法的实现平台为MATLAB R2016b，硬件配置为Intel Core i7 8th Gen CPU，运行内存为16 GB。为了检验本文方法的有效性，从现有方法的数据集中选取无人机图像并利用四旋翼无人机采集低空遥感图像构建拥有500幅图像的无人机图像数据集。该数据集包括山地、水域、建筑等多样信息，包含视角变换、地面起伏等大部分视差情况。

2.1 定性视觉比较

将本文方法与AutoStitch［4］、基于束调整与保形变换的无人机图像拼接方法（LBASPT）［14］、基于最优缝合线和半投影翘曲的无人机图像拼接方法（OSHP）［22］和无监督深度学习的图像拼接方法（UDIS）［19］进行比较。图5和6展示了两组无人机低空建筑图像的拼接结果。

从图5中可以明显看出，图5（c）中所有红框高光部分均出现了明显的重影，图5（e）虽然使用基于深度学习重建的方式得到最终结果，但是只起到减轻重影的效果，红框高光部分仍然可以看到重影的存在。图5（b） （d）分别使用多频段融合和缝合线的方式构建拼接结果，虽然消除了重影，但是在部分红框高光区域存在明显的错位（参见电子版）。本文方法获得的图5（f）则清晰自然，没有重影和形变失真。

图6展示的是第二组无人机建筑低空图像的拼接结果。可以从结果中看到，图6（c）（e）中的红框高光区域存在明显的重影现象，图6（b）是使用多频段重建方式获得的结果，虽然消除了重影，但是错位现象明显，并且一些平行的线性结构也扭曲变形。图6（d）是基于最优缝合线的结果，从部分红框高光区域可以看到缝合线穿过了视差区域造成了错位现象。而图6（f）则展现了清晰的拼接结果，不存在重影和错位。

为了验证本文方法在多幅图像拼接时仍然具有令人满意的效果，选取具有多幅拼接能力的方法AutoStitch、LBASPT和OSHP与本文方法进行对比。源图像来自使用无人机平台获取的连续图像数据。图7是对一系列具有重叠区域的山地图像的拼接，地面的起伏和落差造成这组图像具有较大视差。图7（b）中黄框高光部分存在明显的错位，图7（c）中红框和黄框区域均存在明显重影（参见电子版），而图7 （d）（e）的结果不存在重影和错位，并且从图7 （e）中可以看到本文方法限制了图像形变失真。

通过图5～7三组实验可以看到，几种先进算法的结果都存在变形失真以及错位重影的现象，而本文的半投影翘曲和拼接策略更适合处理由于视角变化、地势起伏引起的视差，获得了更加自然的无人机图像拼接结果。

选取更多的视差情况对本文方法进行测试，其中包括大视角变化、小重叠区域，测试结果如图8所示。由图8（c）可以看到，在图片存在较大的视角变化或者重叠区域很小的情况下，本文方法的结果维持了图片的原始结构状态没有纵向形变，并且在重叠区域没有重影和错位。

为了验证本文方法的泛化性，也测试了其他场景的多幅无人机图像拼接，结果如图9所示。从图9中可以看到，对于8幅无人机低空遥感图像的拼接，图9（b）～（d）的结果整体存在较大的拉伸形变且红框中的建筑物存在扭曲错位（参见电子版），而图9（e）的结果限制了图像的形变。

2.2 客观定量评价

首先，本文在拼接效率上与几种先进算法进行了对比，通过测定所展示的三组实验的处理时间来进行判断。表1是三组实验的具体数据，可以看到本文方法拥有更高的效率。

为了能够更加客观地比较不同方法拼接结果的优劣，本文使用峰值信噪比（PSNR）和结构相似度（SSIM）来对结果的重叠区域进行评价。上述函数的值越大，说明拼接结果的错位、重影等失真越少，拼接效果越好。PSNR函数定义为

其中：MSE表示输入图像的均方误差，定义为

其中：H、W是输入图像的高度和宽度；X（i，j）、Y（i，j）是对应坐标处的像素值。

SSIM通过衡量输入图像的亮度、对比度和结构来评判拼接结果的失真程度，它可以定义为

其中：μx、μy、σ2x、σ2y和σxy分别是输入样本x和y的均值、方差和协方差；c1和c2是非零常数。

对图5～7的拼接结果分别进行PSNR指标的计算，结果如表2所示。可以看到，本文方法在所有视差情况下都获得了高于其他方法的数值，这表示本文方法获取的结果更加清晰、噪点更少，更适合处理大视差图像的拼接。

对图5～7的拼接结果分别进行SSIM指标的计算，结果如表3所示。可以看到，本文方法在所有视差情况下都获得了高于其他方法的数值，说明本文方法得到的结果扭曲变形更少，图像结构得到更大程度的保留，在人眼判断中更加趋近于源图像。

本文与作为本文baseline的SPHP算法［10］，以及同类半投影翘曲算法LBASPT和OSHP在图像的平均梯度（AG）上进行对比，该评价指标被用来衡量拼接结果的清晰程度，平均梯度越大，图像的清晰程度越高。实验对图8的多种视差场景进行对比。

图10直观地展示了同类算法的AG拼接指标，由图10可知，本文方法的拼接質量高于基准方法和最新的半投影方法。表4是对图8中不同场景的平均梯度的数值测定，通过表4可以得出，本文方法的拼接结果表现出更好的清晰程度，优于其他同类算法的结果。

3 结束语

本文提出了基于半投影翘曲的大视差图像拼接方法，该方法使用线性约束将投影变换与相似性变换相结合并实现平滑过渡，同时所提出的融合策略能消除错位与重影。本文方法不仅解决了图像非重叠部分在拼接过程中容易变形失真的问题，对于视角变换和地势起伏等视差因素的处理也有优秀的表现，能够处理无人机遥感图像等大视差图像的拼接任务。定性与定量的实验结果表明，本文方法与同类算法相比，显著提高了拼接结果的质量，拥有更好的视觉效果。

参考文献：

［1］Ma Jiayi，Jiang Xingyu，Fan Aoxiang，et al.Image matching from handcrafted to deep features：a survey［J］.International Journal of Computer Vision，2021，129：23-79.

［2］Shao Zhenfeng，Cheng Gui，Li Deren，et al.Spatio-temporal-spectral-angular observation model that integrates observations from UAV and mobile mapping vehicle for better urban mapping［J］.Geo-Spatial Information Science，2021，24（4）：615-629.

［3］徐旭，康青，陈善静，等.基于Agisoft Metashape图像拼接的无人机环境热像监测应用研究［J］.红外技术，2023，45（1）：49-55.（Xu Xu，Kang Qing，Chen Shanjing，et al.Application of UAV environmental thermography monitoring based on Agisoft Metashape image mosaic［J］.Infrared Technology，2023，45（1）：49-55.）

［4］Brown M，Lowe D G.Automatic panoramic image stitching using invariant features［J］.International Journal of Computer Vision，2007，74：59-73.

［5］Zaragoza J，Chin T J，Brown M S，et al.As-projective-as-possible image stitching with moving DLT［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2013：2339-2346.

［6］Chen Yinqi，Zheng Huicheng，Ma Yiyan，et al.Image stitching based on angle-consistent warping［J］.Pattern Recognition，2021，117：article ID 107993.

［7］Liao Tianli，Li Nan.Single-perspective warps in natural image stitching ［J］.IEEE Trans on Image Processing，2020，29：724-735.

［8］Jia Qi，Li ZhengJun，Fan Xin，et al.Leveraging line-point consistence to preserve structures for wide parallax image stitching［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2021：12186-12195.

［9］Nie Lang，Lin Chunyu，Liao Kang，et al.Learning edge-preserved image stitching from multi-scale deep homography［J］.Neurocomputing，2022，491：533-543.

［10］Chang C H，Sato Y，Chuang Y Y.Shape-preserving half-projective warps for image stitching［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2014：3254-3261.

［11］赵辉，杜雅欣，王红君，等.改进保形半投影的无人机遥感图像拼接算法［J］.现代电子技术，2021，44（20）：133-136.（Zhao Hui，Du Yaxin，Wang Hongjun，et al.UAV remote sensing image stitching algorithm with improved SPHP［J］.Modern Electronics Technique，2021，44（20）：133-136.）

［12］胡育誠，芮挺，杨成松，等.无人机航拍图像拼接重影消除技术研究［J］.计算机应用研究，2021，38（5）：1586-1589.（Hu Yucheng，Rui Ting，Yang Chengsong，et al.Research on eliminate ghosting technique of UAV image mosaic［J］.Application Research of Compu-ters，2021，38（5）：1586-1589.）

［13］Li Jing，Wang Zhengming，Lai Shiming，et al.Parallax-tolerant image stitching based on robust elastic warping［J］.IEEE Trans on Multimedia，2017，20（7）：1672-1687.

［14］Wan Qi，Chen Jun，Luo Linbo，et al.Drone image stitching using local mesh-based bundle adjustment and shape-preserving transform［J］.IEEE Trans on Geoscience and Remote Sensing，2020，59（8）：7027-7037.

［15］王怀，王展青.非线性约束下的准单应变换图像拼接算法［J］.计算机应用，2021，41（8）：2318-2323.（Wang Huai，Wang Zhanqing.Nonlinear constraint based quasi-homography warps for image stitching［J］.Journal of Computer Applications，2021，41（8）：2318-2323.）

［16］Zhang Zhe，Ren Xuhong，Xue Wanli，et al.Object-aware ghost identification and elimination for dynamic scene mosaic［J］.IEEE Trans on Circuits and Systems for Video Technology，2021，32（4）：2025-2034.

［17］Zhao Yili.Fast image blending for high-quality panoramic images on mobile phones［J］.Multimedia Tools and Applications，2021，80（1）：499-516.

［18］Fang Faming，Wang Tingting，Fang Yingying，et al.Fast color blending for seamless image stitching［J］.IEEE Geoscience and Remote Sensing Letters，2019，16（7）：1115-1119.

［19］Nie Lang，Lin Chunyu，Liao Kang，et al.Unsupervised deep image stitching：reconstructing stitched features to images［J］.IEEE Trans on Image Processing，2021，30：6184-6197.

［20］Dai Qinyan，Fang Faming，Li Juncheng，et al.Edge-guided composition network for image stitching［J］.Pattern Recognition，2021，118：108019.

［21］Hejazifar H，Khotanlou H.Fast and robust seam estimation to seamless image stitching［J］.Signal，Image and Video Processing，2018，12：885-893.

［22］Chen Jun，Li Zixian，Peng Chengli，et al.UAV image stitching based on optimal seam and half-projective warp［J］.Remote Sensing，2022，14（5）：1068.

［23］王欢，周颖玥，王学渊，等.基于质量评价的无人机航拍图像拼接方法［J］.计算机应用研究，2022，39（8）：2511-2514.（Wang Huan，Zhou Yingyue，Wang Xueyuan，et al.Quality evaluation-based image stitching for UAV images［J］.Application Research of Computers，2022，39（8）：2511-2514.）