无人机航拍路面图像处理的拼接算法研究

周方圆 杨鹏举

摘 要：道路交通领域的不断发展需要足够清晰和大量的路面图像作支持。以往在路面图像获取和拼接过程中，由于相似图片数量较大，配准正确率始终无法有效提升，同时存在操作时间较长、工作效率和质量低下的问题。在此背景下，针对航拍路面图像的拼接算法应运而生，使得图像处理变得更加准确迅速，对促进道路交通领域的发展具有积极作用。因此，全面分析尺度不变特征变换（Scale-Invariant Feature Transform，SIFT）算法，并闡述其在航拍路面图像处理中的应用效果，以便为相关从业者提供一定的参考。

关键词：无人机（UAV）;航拍图像;路面;图像拼接;尺度不变特征变换（SIFT）算法

中图分类号：TP391.41 文献标识码：A 文章编号：1003-5168（2021）28-000-03

Abstract： The continuous development of the field of road traffic needs enough clear and a large number of road images as support. In the past， in the process of road image acquisition and splicing， due to the increase in the number of similar images， the registration accuracy can not be effectively improved. At the same time， the operation time is long， and the work efficiency and quality are low. In this context， the mosaic algorithm for aerial pavement images came into being， which makes the image processing more accurate and rapid， and plays a positive role in promoting the development of road traffic field. This paper makes a comprehensive analysis of SIFT algorithm and expounds its effect in aerial pavement image processing， so as to provide some reference for relevant practitioners.

Keywords： Unmanned Aerial Vehicle（UAV）;aerial images;pavement;image mosaic;Scale-Invariant Feature Transform（SIFT） algorithm

我国经济的快速发展与道路交通建设的完善密不可分。伴随我国道路交通网络的基本完善，现阶段道路养护已经成为主要工作内容。通过全面检测道路病害情况，及时对病害进行处理，可达到降低损害的目的。路面检测主要应用机器视觉方式，效果显著。现阶段的检测手段仍然以检测车为主，检测过程容易受到路面状况的影响，使得检测速度和效果无法达到预期。在此背景下，无人机以其便捷、高速的优点在路面检测中被广泛应用，但是漏检、错检的情况也时有发生。为了有效提升检测效率，笔者将尺度不变特征变换（Scale-Invariant Feature Transform，SIFT）算法与稀疏匹配进行有机结合，以达到最终目的。

1 SIFT算法

1.1 SIFT算法简介

SIFT算法在进行特征检测时，先从尺度空间着手，确定关键点位置和尺度，将关键点领域梯度作为其方向特征，实现算子对尺度和方向的无关性[1]。利用SIFT算法进行图像特征的提取，其可靠匹配适用于同一目标物体的不同视角。在特征提取的过程中，图像尺寸和旋转角度是静止不变的，对光线变化、噪声以及仿射变化都具有鲁棒性。同时，利用SIFT算法提取的特征点，其独特性十分显著。因此，使用该特征点进行图像匹配的正确率十分可观。SIFT算法在特征点提取时的初步工作是进行计算量相对较大的操作，能够降低后续的计算工作量，进而提升计算效率。

1.2 DOG尺度空间

SIFT特征匹配算法主要包括特征生成和特性向量匹配两个阶段。一幅图像在进行特征向量生成的过程中，需要经过以下过程：首先，进行尺度空间极值的检测，初步确定关键位置和尺度;其次，对二者进行精确确定，由于DOG算子具有强烈的边缘响应，可通过拟合三维二次函数进行计算，同时去除低对比度和不稳定的边缘响应点，使得匹配稳定性和抗噪声能力得到提升;最后，保障算子的旋转不变形，即在方向参数确定时充分利用关键点邻域像素的梯度方向分布特性[2]。DOG尺度空间如图1所示。

1.3 尺度空间极值求取

在进行尺度空间极值求取时，需要构建图像尺寸空间函数。首先，将图像尺度空间函数定义为L（x，y，α），卷积核为高斯函数，由此可以得出高斯函数：

使用I（x，y）表示输入图像，对其进行卷积，得到：

为了在检测过程中能够更好地检查尺度空间中的稳定特征，图像的卷积操作主要利用高斯函数之差进行计算，最终获得高斯差分函数DOG：

通过上述高斯差分函数，获得的图像特征点最稳定[3]。

1.4 特征点位置确定

在进行特征点位置确定的过程中，先要过滤掉低对比度的特征点和边缘处的特征点，最终得到的特征点才具有稳定性，再进行特征方向的确定，提升图像匹配率。进行低对比度和边缘处特征点的过滤，主要原因是如果将其作为特征点进行匹配，会使得匹配结果出现一定的误差，因此需要将其取出，使用相对稳定的特征点进行匹配，有效提升结果的正确率。在特征方向确认时，需要进行梯度直方图的求取，并将其作为重要依据。

1.5 稀疏匹配

SIFT算法匹配描述向量时，主要是对描述向量中的欧氏距离进行比较，但是以此进行向量匹配产生误差的概率相对较大。尤其是在对路面图像进行比对时，图像的相似区域十分广泛，描述向量的相似程度较高，如果仅仅将欧氏距离作为描述向量的判断依据，则地点特征匹配的准确性得不到有效保障[4]。为了有效弥补SIFT算法的这一缺陷，在进行描述向量计算的过程中使用稀疏表示进行计算。在图像特征点匹配时，以稀疏系數能量谱作为主要依据。在匹配中，需要以特征点的局部不变描述字进行参考词典的构建，计算字典与信号之间的关系，进而进行同名点的判断：

式中：X表示稀疏系数矩阵;Y表示观测数据;D表示字典;x表示待估稀疏向量;λ表示正则参数;k（1≤k<2）表示稀疏度量。稀疏表示是通过对各个样本之间的比对操作求取稀疏系数，计算出的样本与信号的一致性最强。

如果利用描述向量间的欧氏距离进行图像特征点的匹配，主要是对欧氏距离值进行判断，比对其数值是否在标准阈值之内。当图像特征相似性较弱时，该种方式能够有效保障匹配准确度。一旦图像中出现的相似结构数量巨大，特征点的描述向量和局部信息的相似程度也会大幅度提升。这时以欧氏距离作为匹配标准会增加匹配工作的失误率，即便匹配完成后对其进行二次检测，由于特征点的相似性较强，也不会对错误匹配结果进行校正，最终使得图像变换关系错误，直接影响拼接结果。

采用稀疏匹配进行描述向量的匹配。在字典中，与信号值进行匹配的稀疏系数是唯一相对的，且具有稀疏性。在稀疏系数能量谱中，只有一种表现形式。如果匹配结果出现错误，稀疏系数的能量谱会展现出不同的表现形式，通过其表现情况能够直观获取匹配结果。在特征点的相似程度较强时，稀疏能量谱会出现多个峰值。对相似点进行隔离匹配，能够有效降低匹配错误的概率，同时系数匹配能够有效解决由于结构相似而出现匹配失误的问题[5]。

2 图像重叠融合

2.1 重叠区确定

应用无人机进行航拍作业时，根据作业类型和应用场景的不同，不断调整飞机参数，包括飞机运行速度、飞行高度以及拍照间隔时间等。在进行图像特征提取前，需要根据本次作业的飞机飞行参数，精确计算相邻图像之间的重叠区域。特征提取工作需要在重叠区域内进行，不仅能够有效缩短特征提取的作业时间，而且能够避免无效提取的影响。

2.2 图像融合

完成图像配准后，利用空间投影的关系将准备拼接的图像都转换在同一个坐标系中，这样在图像融合过程中能够有效提升其便捷性。在图像融合过程中，要对航拍图像的特点进行全面考虑。在拼接过程中，图像的亮度会对实际拼接结果产生影响。为了保障在图像融合后其对比度不会明显下降，降低图像的可分辨率，在融合的过程中要采用小波变换。在低频处进行图像融合，其中细节部分融合时使用距离比作为权值，所得拼接图像的视觉效果更加显著。在高频处进行图像融合，融合后选择保留较大的系数值。

3 试验与结果分析

本次研究中，使用大疆无人机Mavic2专业版相机进行图像采集。该设备的最大飞行速度是72 km/h，照片尺寸为5 472 px×3 648 px。本次采集的路面环境为双向两车道，单向车道宽度为4 m，无人机的飞行高度为6 m，检测精度可达到2 mm。每张图像大约能够覆盖的道路面积为50 m2，每张图片能够覆盖的道路裂痕长度在6 m左右。为了保障拼接后图像的完整性和清晰性，每次拼接图像的数量控制为2张。增加拼接试验，将图像数量增加至4张，证明随着图像数量的增加，算法的准确性并不会降低。

在对公路路面图像进行拼接的过程中，受多方因素的影响，拼接结果可能会产生误差，因此需要进行多次试验，以保证结果的准确性。本次研究主要对以下几种因素进行具体说明。

①光线因素。在对路面图像进行采集的过程中，无人机进行连续拍摄，但是每次拍摄光线都在不断变化，造成相邻的图片光亮程度不一致。所以，同一物体会呈现出不同的表现形式，进而使得拼接变得相对困难。

②物体因素。在对路面图像进行采集的过程中，路面会有车辆等显著物体的存在，与背景之间的对比程度较为明显。如果采用传统方式进行拼接，会使拼接后的图片出现鬼影、错位等情况。

③环境因素。在对路面图像进行采集的过程中，设备参数或者采集路面等因素会使图像的视角变大，这样在拼接过程中难以进行精细化展现。

此外，在对路面图像进行拼接的过程中，如果选用4张连续的图片进行拼接，得到的拼接图像中路面范围相对较大，不能够有效体现其精准性。

如果单纯采用SIFT算法对其进行拼接，拼接工作能够顺利完成。但是，当拼接图像中光照程度相差较大时，拼接图片中会存在明显的拼接带。同时，随着拼接频率的不断提升，拼接后的图像质量会下降。当图像视角变化较大时，其错位现象较为显著。而使用本文中的算法对图像进行拼接，在图像的各个重叠区域都分布了配准特征，拼接后的图像中没有出现拼接带、鬼影以及错位等情况。即便拼接次数不断增加，拼接后的图片质量仍然保持在最初水准。

本文拼接算法采用图像配准正确率和拼接总时长作为评价指标。配准正确率的计算公式为：

式中：Nc表示正确匹配点数对;Ne表示错误匹配点数对。两张或多张图像的拼接运行时间为总体耗时计算区间。为了更好地表述配准正确率和拼接时间的关系，对以上4种情况进行拼接试验，具体数值如表1所示。

通过表1可知，本文算法与SIFT算法相比，配准正确率有显著提升。除去试验3中图片的视角具有较大变化的情况，其配准正确率都在94%以上。即便视角变化较大，它的配准正确率也在87%以上，远远高于SIFT算法的63%。拼接时间的结果显示，改良后的算法拼接效率明显提高。

4 结语

本文以路面图像的特点为依据，与无人机航拍进行有机结合，对传统SIFT算法进行了全面概述，并在其基础上结合稀疏匹配和小波变换融合，使得路面图像拼接算法得到了一定改进，并将此种拼接算法应用于实际操作。试验结果表明，稀疏匹配能够有效降低匹配失误的概率，同时明显提高了其配准正确率和拼接效率。对在路面图像采集中可能遇见的情况进行全方位试验，试验结果表明，该种算法的稳定程度相对优良，不易受到外界因素的影响，能够高质量地完成路面图像拼接工作，因此在路面图像拼接中值得推广。

参考文献：

[1]石祥滨，贾贺林.基于控制点网格优化的航拍图像拼接算法[J].计算机应用与软件，2020（5）：302-308.

[2]邱燕玲.GPU架构的航拍舰船图像拼接算法[J].舰船科学技术，2020（6）：82-84.

[3]李振宇，田源，陈方杰，等.基于改进ORB和PROSAC的无人机航拍图像拼接算法[J].激光与光电子学进展，2019（23）：91-99.

[4]韩敏，闫阔，秦国帅.基于改进KAZE的无人机航拍图像拼接算法[J].自动化学报，2019（2）：305-314.

[5]孙世宇，张岩，胡永江，等.改进模型估计的无人机侦察视频快速拼接方法[J].红外与激光工程，2018（9）：382-390.

3015500338284