含噪无人机图像拼接方法

黄旭龙，杨晓梅

(四川大学 电气工程学院，四川 成都 610065)

0 引 言

在实际工程应用中，由于受限于地面空间环境和设备器材的限制，使用相机无法近距离拍摄全景图像，这时就需要通过无人机图像拼接技术将多幅局部图像拼接融合为一幅全景大图像[1-3]。但由于无人机在空中极易受到雨水、雾霾和光照等自然环境的不良影响，致使拍摄图像包含大量干扰噪声[4]。这些含噪无人机图像无法真实和全面反映拍摄对象细节信息，进而使待拼接图像的质量大大降低，拼接后图像极易产生畸变现象[5]，这对无人机图像拼接方法提出了更高的要求。

含噪无人机图像拼接方法主要由图像预处理、图像配准、图像融合3部分组成[6]。在图像预处理部分，Storath M等[7]运用中值滤波进行图像去噪处理，该方法易破坏图像锐角、线段等细节信息。芦碧波等[8]将经典的全变分(TV)模型运用在去噪处理中，虽能有效去除噪声，但图像易出现阶梯效应。为消除TV模型的阶梯效应，学者们提出了众多TV改进模型[9,10]。近些年来，欧拉弹性曲率正则项被广泛应用在医学图像分割[11]、重建[12]与修复[13]中，并取得较好的结果。图像配准是将多幅图片进行匹配和对齐的过程。尺度不变特征转换(SIFT)算法[14]因其具有良好的鲁棒性被广泛应用于图像配准，但运算时间较长。唐宏伟等[15]将加速稳健特征(SURF)算法运用在图像配准中，算法配准效果较好，运算速度有所提升。在图像融合部分，文献[16]使用直接平均融合法进行图像融合，图像拼接处易出现缝隙。文献[17]将加权思想引入直接平均融合法中，有效实现了图像无缝融合。

在前人研究的基础上，针对传统拼接方法对含噪无人机图像无法进行有效拼接的问题，本文提出了一种基于欧拉弹性模型与SURF算法的含噪无人机图像拼接方法。将欧拉弹性模型运用在图像预处理环节进行去噪处理，并运用离散梯度法进行求解；再通过SURF算法和RANSAC算法进行图像配准，最后使用加权平均融合算法实现图像的无缝拼接。

1 图像预处理

为了有效实现对含噪无人机图像的去噪处理，我们在图像预处理环节中引入欧拉弹性曲率正则项，提出了欧拉弹性去噪模型，并对模型进行有效地求解。

1.1 欧拉弹性模型的引入

图像去噪的核心思想是通过最小化能量泛函V(u) 对含噪声的输入图像g∈Ω进行去噪处理，进而输出去噪后图像u∈Ω

(1)

对于经典的全变分(TV)模型，就是在式(1)中使用TV正则项JTV(u)， TV正则项表示为

(2)

由于TV模型只是在像素点的两个正交方向扩散，这样处理易产生虚假边缘的现象，即阶梯效应。为解决TV模型的阶梯效应，我们引入基于欧拉弹性曲率的全变分正则化方法，提出了欧拉弹性去噪模型。

1744年，欧拉在研究自由旋转细棒的稳态时首次提出曲线能量的概念，其曲线能量方程可表示为[18]

(3)

通过在TV正则项上增加了一个欧拉弹性曲率相关项，将曲线能量方程与TV正则项结合，提出了欧拉弹性模型。通过曲率项对图像的水平集曲率进行约束，以达到保持图像纹理曲率的连通性，使图像纹理更加符合视觉直观感受，消除阶梯效应。欧拉弹性模型可以表示为

(4)

其中，参数a对应最小化梯度项，参数b对应最小化曲率项。c表示函数是连续的。

梯度项与曲率项的物理意义分别对应图像边缘的纵向和横向信息，欧拉弹性模型充分利用了图像边缘的纵向信息和横向信息。通过设置参数a和b来平衡这两项，以消除阶梯效应和避免图像的过渡平滑，更好地保留无人机图像的细节纹理信息。

1.2 欧拉弹性模型的离散化

上文所提欧拉弹性模型是光滑连续函数，这不利于对模型的求解。为了方便后续对模型的求解，我们需先对模型式(4)进行离散化处理。因此，我们采取在交错网格上运用有限差分的方法对式(4)进行离散化处理，交错网格形式如图1所示。

图1 交错网格

在交错网格上，式(4)的保真项可离散化为

(5)

在交错网格上，对式(4)的欧拉弹性正则项进行离散化处理，具体步骤如下：

(1)对梯度项G(u) 进行离散化处理

G(u) 可近似为向后差分，离散化梯度项表示为

(6)

(2)对曲率项C(u) 进行离散化处理

(7)

其中

(8)

(9)

(10)

(11)

将上诉式(5)～式(7)相结合，则离散化欧拉弹性模型可表示为

(12)

1.3 离散化欧拉弹性模型的求解

对离散化欧拉弹性模型的求解核心是通过最小化泛函(12)求解去噪后图像u，我们通过离散梯度法[19]实现最小化V(u) 函数，形式如下

(13)

其中，τk>0是第k次迭代的步长，为了精确定义和方便计算式(13)的离散梯度，我们引入Itoh-Abe离散梯度，其定义为

(14)

其中，ej表示第j个标准基向量。

这种离散梯度是无导数的，便于运算。将式(14)代入式(13)中可得

(15)

(1)输入u0∈Rn,τ>0,tol>0,k=0；

(4)重复(3)步骤，直到j=n；

(6)重复(2)～(5)步骤，直到(V(uk)-V(uk-1))/V(u0)

(7)输出uk。

2 图像配准

为了更加精确地进行图像信息配准，本文使用基于图像特征信息的SURF算法对经欧拉弹性模型去噪后的无人机图像进行特征点提取、描述与匹配，该算法可快速准确地实现无人机图像的配准。

2.1 特征点提取

特征点提取的核心思想就是依据一定图像信息准则去寻找图像局部相似点。使用Hessian矩阵可对图像局部斑点进行有效检测，所以将Hessian矩阵作为检测特征点的准则。

(1)基于Hessian矩阵的特征点检测

基于SURF算法对特征点提取的关键点是通过使用Hessian矩阵进行特征点的检测。通过计算图像的Hessian矩阵判别式值(H值)，选择H值大于零的像素点作为局部极值点。其中Hessian矩阵定义为

(16)

其中，Lxx(I,σ),Lxy(I,σ),Lyy(I,σ) 是图像在I(x,y) 点和高斯二阶偏导数的二维卷积，σ为尺度。

为了进一步加快计算速度，算法使用盒式滤波器代替高斯滤波器，形式如图2所示。同时，引入积分图像[20]的概念进一步实现对卷积运算的加速。则此时Hessian矩阵判别式为

图2 高斯二阶微分滤波与盒式滤波器对照

ΔH=Dxx(x)Dyy(x)-(0.9Dxy(x))2

(17)

其中，Dxx(x)、Dyy(x) 和Dxy(x) 是图像在I(x,y) 点和盒式滤波器的二维卷积。

在图2中，从左至右分别表示x方向、y方向与xy方向的高斯二阶微分滤波与其对应的盒式滤波器，图中黑白灰3种颜色分别代表不同的权重。在x方向和y方向的盒式滤波器上，黑块小方块表示的权重值为-2，白色小方块表示的权重值为1，灰色小方块表示不含权重。在xy方向的盒式滤波器上，黑块小方块表示的权重值是-1，白色小方块表示的权重值为1，灰色小方块表示不含权重。

(2)基于非极大值抑制的特征点确定

通过将尺寸逐渐增大的盒式滤波器与原图像进行卷积运算，生成不同尺度值(σ值)的尺度空间。在不同尺度空间进行基于Hessian矩阵的特征点检测，选出不同尺度空间下的图像局部极值点。

为了筛选出具有代表性的特征点，对这些局部极值点进行非极大值抑制。其非极大值抑制的具体过程为：将上述检测的每个局部极值点与其在所尺度空间以及上下相邻尺度空间上的 26 个邻近像素点(即以该点为中心的3×3×3立体邻域)相比较，倘若该局部极值点是其邻域26个点的最大值或最小值，则该局部极值点就是我们所提取的特征点。

2.2 特征点描述

为了后续对特征点进行匹配，算法根据特征点邻域内梯度方向分布特征对提取出的特征点进行特征描述。

为实现描述子对图像的旋转不变性，需先对图像特征点的主方向进行确定。对以特征点为中心，半径为6σ的每60°扇形内的所有像素点在水平和垂直方向的Haar小波响应矢量进行累加，选择长度最长的矢量的方向作为特征点主方向。

特征点主方向确定后，再赋予每个特征点以相应的特征描述子。将以特征点为中心、边长为20σ的正方形图像区域均匀分为4×4=16个子块，然后计算每个子块所含的5σ×5σ个像素点相对特征点主方向的∑dx、 ∑|dx|、 ∑dy和∑|dy|， 进而赋予每个特征点一个16×4=64维的特征描述子。

2.3 特征点匹配

通过上述步骤已完成对图像特征点的提取与描述，为了反映两幅图像之间的相似点，需要对特征点进行匹配。

本文通过运用基于欧氏距离的最近邻方法分别求出特征点之间距离最近的点与距离次近的点，再计算两者的比值，通过将该比值与设定阈值比较来判断特征点是否匹配。如果该比值小于我们设定的阈值，则判定这两个特征点匹配。反之，则判定这两点不匹配。

为了进一步减少错误匹配的情况，我们引入随机抽样一致性(RANSAC)算法[21]对错误匹配点进行剔除。RANSAC算法的主要思想是利用包含错误匹配特征点对的所有匹配特征点对样本集，通过反复测试与迭代，计算出数据集的数学模型的参数，进而剔除数据样本集中错误匹配的特征点对。

3 图像融合

图像融合是含噪无人机图像拼接的最后一步，将经特征点匹配后的两幅图合成一幅完整图像。

因为无人机航拍时受环境光线影响致使拍摄曝光度不同，拍摄图像之间往往存在亮度差异。为消除拼接后图像出现的明显拼接痕迹，我们使用加权平均融合算法实现两幅图像的无缝拼接。

加权平均融合算法的主要思想是对两幅图像的像素值分别进行加权再融合。其模型公式为

(18)

其中，w1和w2是图像重叠区域像素的权值，且w1+w2=1, 0

图3 权值变化

4 实验与结果分析

4.1 实验数据与参数设置

实验与仿真均在Intel i5-2400 2.1-GHz的个人计算机，MATLAB 2016b软件环境下进行。实验数据选则分辨率640×480，重复区域占比分别为0.17与0.24的航拍街景图，分辨率640×480，重复区域占比分别为0.47与0.53的航拍风景图，分辨率640×480，重复区域占比分别为0.83与0.87的航拍河流图，如图4所示。

图4 原始待拼接

经反复实验调参，欧拉弹性模型中常量a和b分别设置为0.5和0.1，此时图像去噪效果最好；离散梯度法的相关参数设置为：ε=10-4,tol=10-6,τ0=0.05/b=0.5。 特征点匹配中比较阈值设置为0.56，此时特征点的匹配正确率最高。本文拼接方法流程如图5所示。

图5 本文拼接方法流程

4.2 方法评价指标

针对特征点匹配的准确性，本文使用一种相对客观的匹配正确率(CMR)来评价特征点匹配的正确率

(19)

针对图像质量的好坏，本文选择峰值信噪比(PSNR)作为评价图像重建质量的标准

(20)

4.3 无噪声图像拼接实验

我们分别使用SIFT算法和SURF算法对原始待拼接图4 进行拼接，具体结果见表1。

表1 基于SIFT算法与SURF算法的图像拼接比较

由表1可知，SURF算法提取的图像特征点数与匹配数虽远小于SIFT算法的，但其特征点匹配正确率要更高，且算法时间大大缩短。因此，我们选择SURF算法作为无人机图像配准的方法。

4.4 噪声对图像拼接的影响

为了后续可以直观观察对比拼接结果，先使用SURF算法对原始无噪声待拼接图4进行拼接处理，将拼接结果作为对比参考图，如图6所示。

图6 原始无噪声图像拼接结果

我们在原始待拼接图4中分别加入信噪比为10 dB的椒盐噪声和信噪比为10 dB的高斯噪声，再直接运用SURF算法分别对含噪声进行拼接处理，拼接结果如图7和图8所示，具体结果见表2。

图7 含10 dB椒盐噪声图像的拼接结果

图8 含10 dB高斯噪声图像的拼接结果

表2 基于SURF算法的含噪图像拼接结果

通过图6、图7和图8可直观看出，SURF算法对含信噪比为10 dB的椒盐噪声与高斯噪声的无人机图像拼接结果存在明显的畸变现象。尤其当拼接图像的相似结构较多时(如图4(c)河流图)，其拼接结果的畸变现象尤为明显。

由表1与表2可知，相比于SURF算法对无噪声图像的拼接，对含噪图像的拼接处理易产生较多无用或错误的特征点，同时总体的特征点匹配数量减少近一半，CMR也略微下降，算法耗时增多。

4.5 基于本文算法对含噪声图像的拼接实验

我们使用本文所提算法分别对含信噪比为10 dB的椒盐噪声和高斯噪声的无人机图像进行拼接处理，其结果如图9和图10所示。

图9 基于本文算法对含10 dB椒盐噪声图像的拼接结果

图10 基于本文算法对含10 dB高斯噪声图像的拼接结果

通过图7～图10可直观看出，本文算法可有效抑制噪声对无人机图像拼接的影响，消除因噪声所导致的拼接畸变的现象。通过图6、图9和图10可直观看出，本文算法对含噪无人机图像的拼接效果和无噪声无人机图像拼接效果基本一致，本文算法可有效恢复拼接图像的细节纹理信息，提高无人机图像拼接的准确性。

我们分别运用中值滤波+SURF算法(MF-S)、TV+SURF算法(TV-S)和本文提出的基于欧拉弹性模型与SURF算法的图像拼接方法(EE-S) 对含信噪比为10 dB的椒盐噪声的无人机图像和含信噪比为10 dB的高斯噪声的无人机图像进行拼接处理，具体结果见表3～表5。

表3 基于不同算法的含噪街景图像拼接结果

表4 基于不同算法的含噪风景图像拼接结果

表5 基于不同算法的含噪河流图像拼接结果

由上述表格可知，相比于参考方法，EE-S算法提取的特征点个数更少。表明本文算法提取的特征点个数能更接近于对无噪声图像进行特征点提取的个数，能有效避免对含噪无人机图像特征点提取结果中往往存在较多无用或错误的特征点的现象。EE-S算法的特征点匹配数比参考方法的要小，但CMR数值普遍比参考方法的略高。表明本文算法能有效提高正确匹配的特征点对数，使拼接更加精准，消除拼接畸变现象。同时，EE-S算法的PSNR值也有明显的提高，表明本文算法可有效提高拼接图像质量，尤其在对含椒盐噪声图像进行拼接时，能大幅度改善拼接图像质量，进而改善无人机图像拼接效果。

我们在易受噪声影响而产生明显畸变现象的河流无人机图(图4(c))中分别加入信噪比为5 dB的椒盐噪声与信噪比为5 dB的高斯噪声，再分别运用MF-S算法、TV-S算法和本文提出的EE-S算法进行拼接处理，其具体结果建见表6。

表6 基于不同算法的含噪河流图像拼接结果

由表5和表6可知，相比于参考算法，当无人机航拍图像在更大噪声的污染下，本文算法可更有效地提取待拼接图像的体征点，同时正确匹配特征点个数更多，拼接图像质量也有明显的提高，尤其对含椒盐噪声的无人机图片，其效果更明显。本文算法可较好实现对含大量噪声的无人机图像进行有效、精准的拼接处理，极大改善拼接图像质量。

5 结束语

针对无人机航拍过程中，受拍摄环境中光照、阴雨等不确定因素的影响，进而使拍摄图像易受到大量噪声的干扰，导致含大量噪声的无人机图像通过传统拼接算法的拼接结果易出现畸变现象，无法获得精准、高质量的无人机全景拼接图像。

本文提出了一种基于欧拉弹性模型与SURF算法的含噪无人机图像拼接方法，将欧拉弹性能量模型运用在图像预处理环节，充分利用图像纹理的纵向信息和横向信息对图像进行有效地去噪处理，然后通过SURF算法进行特征点的提取、描述与匹配，并通过RANSAC算法进一步去除错误特征匹配点，最后通过加权平均融合算法实现对无人机图像的无缝拼接。

实验结果表明，本文所提方法对含大量椒盐噪声、高斯噪声的图像具有较强地抑制噪声的能力，可显著恢复图像的细节纹理信息，能有效消除因复杂环境因素所产生的含大量噪声无人机图像的拼接畸变现象，实现对含大量噪声的无人机图像的有效拼接，提高无人机图像拼接的精准性与最终拼接图像的质量。具有一定的研究意义与实用价值。