基于无人机低空遥感的航拍图像拼接方法

匡文元

（湖南省第一测绘院，湖南 长沙 410029）

0.引言

现代科技的快速发展使得计算机视觉技术成为新一代技术领域研究重点，此技术多应用在高分辨率图像的处理环节，虽然广角镜头具有增强视野范围的能力，可以在一定程度上满足高分辨率大场景图像的处理要求，但这种镜头所拍摄出来的图像边缘处易出现模糊畸形的问题。为保证图像的分辨率与使用效果，需要对多个单张图像进行处理后，拼接合成大场景图像[1]。通过文献分析可知，所谓的图像拼接是指依照多个单张图形中的重复场景，将其配准为一幅宽视野的图像。此种图像处理技术在地质测绘以及微小图像处理等多个领域均得到广泛应用，其中使用率较高的为无人机遥感系统，此系统可深入到较为危险的地带进行航拍，但无人机遥感中使用的相机受拍摄高度与光照强度的影响，其采集到的图像信息较为有限。为获取拍摄区域的全部图像，需要将获取到的图像进行拼接。为此，开展无人机遥感航拍图像的拼接研究具有重要的现实意义。

由于无人机遥感航拍图像与普通图像差距较大，其在图像的拍摄过程中由于外界环境的影响，造成相邻的两张图像亮度与形状具有一定的差异，所以使用常见的图像拼接方法是无法完成航拍图像的拼接工作的。图像配准对于图像拼接效果具有重要影响，使用不同的配准方法对图像拼接效果具有直接的影响。当前的航拍图像拼接方法对图像特征点配准技术的选择较为落后，导致图像拼接结果异常且误差较大。针对此问题，本次研究将提出一种新型航拍图像拼接方法，提高图像拼接稳健性，保证拼接效率与准确性。

1.基于无人机低空遥感的航拍图像拼接方法设计

1.1 无人机低空遥感航拍图像预处理

航拍图像在获取过程中易受到无人机自身与外界环境的影响，虽然无人机在组装过程中可增加多种稳定性的设备，但其自身重量较轻，抗干扰能力较差，在实际拍摄过程中，其飞行姿态与相机选型结果无法抵御外界环境的干扰，导致拍摄目标的位置发生畸变，甚至重影。因此，在本次研究中设定了航拍图像的预处理环节，对原始图像进行几何校正[2]。具体校正过程（如图1所示）：

图1 航拍图像几何校正过程

根据图1中内容完成图像校正过程后，手动选择控制点，结合地理定位，对控制点位置进行校正处理，而后，计算得到控制点坐标参数，根据此参数构建坐标转换模型，并对图像进行灰色处理，生成待预处理图像。选用中值滤波技术确定滤波窗口A的大小，在此窗口中完成图像像素排序，用序列中的中位数代替图像中心处灰度值。设定（g，h）为窗口A的中心点，a为中心点灰度值；（g，h）为A中的像素坐标；f为未经过滤波的图形序列，则此排序过程可整理为a（x，y）＝median｛（fg，h），（g，h）∈A｝，为实现此排序过程，将其约束条件设定为：median｛w（b）＋v（b） ｝≠median｛w（b）｝＋median｛v（b）｝，w（b）、v（b）分别为面积为b的两幅图像。如果图像中的噪声值大于图像像素中的二分之一，则使用小波变换技术对此图像进行处理，避免图像失真。在图像滤波后，可能会出现图像信息缺失的问题，使用三次卷积插值法对其进行处理。假设图像中的点C坐标为（i，j），则其周围的像素点可按照此原理进行设定，D（i－1，j＋1）、E（i－1，j－2）、F（i＋2，j－2）、G（i＋a，j＋b）、H（i＋2，j＋1），G点中的未知项可通过灰度值计算获取，具体如公式（1）所示：

式（1）中，S＝［Q（1＋a），Q（a），Q（1－a），Q（2－a）］，

K＝［Q（1＋b），Q（b），Q（1－b），Q（2－b）］T，Q（x）为卷积差值权重，使用此公式对图像中的未知点坐标进行补充，并由此完成图像预处理部分。

1.2 图像特征点配准处理

提取处理后图像的特征点，使用此部分特征点对图像的关键信息进行配准。首先使用尺度空间函数[3]对候选特征点进行坐标信息拟合，将特征点H(x,y,φ)转化为；根据转化后的特征点，得到原始图像的极值点，并对x值进行求导，得到导数为0时的特征点位置。在此部分计算完成后可得到特征点的位置以及相关的尺度信息，为提升配准精度，使用Hessian矩阵进行边缘点筛除，具体计算过程如公式（2）所示：

式（2）中，Nxx为航拍图像在不同方向上的二阶导数。假设公式（2）中的最小特征值为η，最大的特征值为λ由此如公式（3）所示：

将获取到的特征点自动生成配准中的控制点，再把得到的控制点结合最小二乘网络，实现特征点的配准处理，同时将配准结果作为航拍图像拼接的基础。

1.3 航拍图像拼接算法设定

根据上文中设定的相关内容，在本环节中设定航拍图像拼接算法，完成图像处理全过程。在对多种拼接算法进行分析后，选择Hough变换技术[4，5]作为本次研究中的核心算法。根据此技术检测图像空间中的图形是否重叠或模糊，从而提升图像拼接效果。

在图像中构建直角坐标系，其中的直线可用方程表示，如公式（4）所示：

式（4）中，ϖ为此直线的斜率；γ为此线段在空间坐标y轴上的斜率，则公式（4）可改写为γ＝－ϖx＋y的形式。根据改写后的形式可确定直线方程在真实的空间坐标系中也为一条直线。由上述计算过程可知，图像二维空间中的一点（x1，y1）对应参数空间中的一条直线，两者可进行互换，根据此原理可实现二维空间与真实参数空间的变换，具体过程（如图2所示）：

图2 图像空间与真实空间变换过程

根据图2变换过程，将图像空间坐标与真实空间坐标对应处理，实现图像空间转换。同时，运用Hough变换技术对特征点配准结果进行初步提纯，剔除配准过程中出现的误匹配特征点对。在图像拼接的过程中，减少计算过程中的迭代次数，更加快速地得到图像变换矩阵，完成图像匹配过程。

对上文中的设计内容进行整理，其中的计算部分需要在多核处理器计算机中完成，以此保证计算结果的可靠性。其余设定部分，按照图像处理先后顺序融入到当前图像拼接方法中。至此，基于无人机低空遥感的航拍图像拼接方法设计完成。

2.实验论证分析

在上文中完成了基于无人机低空遥感的航拍图像拼接方法的理论设计部分，为确定此方法的研究价值，采集实验图像，验证此方法使用效果。

2.1 实验环境设定

本次实验中图像的拍摄地点均为某工业园区内，在不同拍摄高度、不同拍摄角度以及不同光照条件下完成拍摄过程，使图像存在不同程度的差异，以测试文中设计拼接方法的使用性能。拍摄高度100m时所得图像，拍摄对象为住宿区以及周边建筑（如图3所示）。在较强的光照条件下，按照预设角度获取图像，使图像存在较大色彩差异与图像差异。拍摄高度为150m时所得图像，此图像拍摄目标为图书馆，周围建筑物相对较多，在光照强度较弱的条件下进行拍摄，图像无明显色彩，但存在一定的视觉差异（如图4所示）：

图3 强光条件下100米拍摄高度所得图像

图4 弱光条件下150米拍摄高度所得图像

将图3、图4作为本次实验中的拼接对象，用新型图像拼接方法、经典SIFT拼接方法、APAP拼接方法对图形进行拼接处理，并对比上述四种方法使用效果。

2.2 强光条件下图像拼接分析

使用预设的实验环境与方法，完成实验拼接过程。在实验结果输出过程中，将拼接结果显示在左侧，图像局部细节放大后显示在右侧，以此对拼接结果进行细致地分析。强光条件下图像拼接结果（如图5所示）：

图5 强光条件下图像拼接结果

在上述实验结果中，（b）组经典SIFT拼接方法在使用后出现接缝较为突出且部分建筑错位。（c）组APAP拼接方法的图像配准精度相对较高，但在图像拼接后存在2处误差，且存在细微的拼接缝隙。在（a）组新型拼接方法使用后，其图像拼接配准度较高，没有出现模糊或拼接缝隙的问题。综合上述实验结果可以看出，在低拍摄高度、强光条件下新型图形拼接方法的使用效果较好。

2.3 弱光条件下图像拼接分析

根据强光条件下图像拼接实验图像输出设定，完成弱光条件下图像拼接分析过程，实验图像（如图6所示）：

图6 弱光条件下图像拼接结果

在处理此部分图像时，（b）组经典SIFT拼接方法在使用后图像中的建筑物出现了严重的拼接问题，图像的重叠部分出现了小幅度的位移。（c）组APAP拼接方法使用后，在一些细节部分存在误差，但保持了图像的原形状。上述两种方法在使用后均存在相应的问题，与这两种方法相比，（a）组的新型图像拼接方法使用后保证了图像的完整性，且并未出现拼接异常。将此实验结果与强光条件下图像拼接结果进行综合处理可以发现，在不同的拍摄高度与光照情况下，新型图像拼接方法均可完成图像的配准，保证图像的图形稳定性。

2.4 图像拼接均方根误差分析

除上述图像细节对比外，在本次实验中为了客观评价不同图像拼接方法的使用效果，使用均方根误差对图像拼接后误差展开计算，计算如公式（5）所示：

式（5）中，f为图像变换矩阵；｛ai,a′i｝ni=1为已完成配准的特征点。根据以往研究可知，当图像特征点配准率越高时，对应的R值取值结果越小，图像拼接效果越好。此实验环节统计了上述实验中的均方根误差值，并对其进行5次计算，具体计算结果（如表1所示）。为了便于分析，将三种图像拼接方法的R值取值结果分别记为Ra、Rb、Rc，与图像拼接结果组别相对应。

表1 图像拼接均方根误差计算结果

为了更好地对图像拼接结果进行分析，使用上述数据对不同图像拼接方法的拼接误差进行分析。由上述数据可知，在实验选定的三种方法中，新型图像拼接方法在两种图像的拼接中误差值较低，说明此方法配准度相对较高，图像拼接效果较好。APAP拼接方法计算结果与新型图像拼接方法的100m拍摄高度所得图像均方根误差计算结果较为接近，但其对150m拍摄高度所得图像拼接效果较差，误差计算结果与新型方法相差较大。经典SIFT拼接方法使用后所得误差值为三种方法中最高，可见此方法使用效果为三种方法中最差。综合上述计算结果可知，新型图像拼接方法配准度最好，使用效果较好。

2.5 实验结果讨论与分析

无人机遥感航拍图像拼接技术作为计算机视觉图像处理技术中的重点，已经广泛地应用到现实生活中的诸多领域。本次研究提出了一种新型方法，并对其进行大量的实验分析，验证了此方法的优越性。在本次实验中通过两组不同的图像对文中提出的新型航拍图像拼接方法进行应用分析。经过多种方法对比可以看出，新方法的图像拼接能力与图像特征点配准度均高于当前使用方法。在日后的无人机图像处理过程中可将此方法作为图像拼接处理过程中的主要方法，为后续图像应用环节提供较为完整的大场景图像。

3.结束语

随着计算机技术的不断发展，无人机遥感技术的应用范围逐渐扩大，为提升其图像处理效果，在本次研究中提出了一种新型图像拼接方法，经实验证实，此方法的使用效果较好，可应用在实际图像处理过程中。但由于技术的限制，在部分环节无法对其进行全面、完整地阐述，在日后的研究中还应对其进行完善与优化，以此保证此方法的使用效果符合未来无人机航拍领域的发展方向。