一种改进的无人机序列影像快速拼接方法研究

王冬梅，陈普智

（黄河水利职业技术学院，河南 开封 475004）

0 引言

无人机遥感是一种新型的遥感手段， 由于其影像具有实时性强、获取方式灵活、获取成本低、分辨率高等优点，已从最初的军事领域扩展到民用领域，尤其是在大比例尺地形图的局部更新、 土地矿产资源调查与管理、 自然灾害的应急响应与保障等领域发挥着越来越重要的作用［1］。然而，受航高和相机焦距的限制， 无人机遥感单张影像并不能包括所有的研究区域， 而正射影像的生成又需要耗费大量的时间。因此，如何快速获取较宽视野的无人机影像成为无人机遥感应用的关键［2］。

无人机序列影像拼接是在序列影像匹配的基础上，根据一定的变换模型，将这些视角有限的单张影像统一变换到一个平面坐标系中， 形成一片地区的高分辨率和宽视角大图的技术方法［3］。 影像拼接包括影像获取、影像预处理、影像配准以及影像融合4个步骤。其中，影像配准和影像融合的速度和精度对整个影像拼接的结果起着决定性作用［4］。 由于无人机影像具有相邻两幅影像之间的空间位置关系很难精确计算、各影像之间的重叠度大小不一致、旋转角变化没有明显规律、影像特征经常出现断开等特点，因此， 基于特征提取的影像匹配算法相对而言是最适合无人机遥感影像匹配的算法［5］。

目前， 应用较多的尺度不变特征提取算法有SIFT （Scale Invariant Feature Transform） 算法和SURF（Speeded Up Robust Features）算法。 SIFT 算法是图像处理领域中非常著名的算法， 它提取的特征是图像局部的特征，对图像旋转、尺度缩放、亮度变化保持不变性。 但是，SIFT 算法复杂、计算效率较低。SURF 算法通过积分图像和小波相结合，进一步提高了特征提取的速度。 然而，SURF 描述子是64维，维数仍较高，计算量仍然很大，实时性不强。由于光强的差异， 不同时刻获取的影像在拼接时常会存在拼接缝。鉴于以上问题，笔者试根据无人机序列影像航带的排布特性， 先用分块阈值自适应调节方法改进的SURF 算法对无人机影像相邻重叠区域的同名点进行特征点的粗匹配， 再使用RANSAC 算法（Random Sample Consensus，随机抽样一致性算法）剔除粗匹配中产生的误匹配点，最后，采用多分辨率影像融合的方法消除相邻影像之间的拼接缝， 从而实现无人机序列影像快速拼接。

1 SURF 算法分析

SURF 算法是由Herbert Bay 等在2006 年提出的一种全新的具有尺度不变性、 旋转不变性特征的点检测和描述方法［6］。 该算法主要包括SURF 特征点检测、SURF 特征点描述子生成和SURF 特征点匹配3 个步骤。

1.1 SURF 特征点检测

SURF 特征点检测是基于尺度空间构建Hessian矩阵来提取特征点。尺度为σ 的图像点X=I（x，y）的Hessian 矩阵H（X，σ）的表达式如式（1）所示。

在建立影像金字塔结构时， 首先需要对影像进行采样，再与不同尺度的二维高斯函数进行卷积。为了加快计算速度，SURF 算子用方块型滤波和积分图像来简化计算。 为了避免出现影像迭代时向下采样的现象，SURF 算子在建立影像金字塔结构时，使用了增加方块滤波尺寸的方法。

将式（2）所示的快速投影Hessian 矩阵行列式的局部最大值的影像点选择为特征点。

找到快速投影Hessian 矩阵行列式的局部极值后， 还要在每个局部3×3×3 区域里进行非极大值抑制。 即将找到的局部极值与该像素同层的相邻8 个像素以及它上、下2 层的9 个相邻像素共计26 个相邻像素点进行比较，当该点比其相邻三层的26 个邻域点相应值都大时， 即为特征点，如图1 所示。

1.2 SURF 特征点描述子的生成

图1 特征点检测Fig.1 Feature detection

SURF 特征点描述子主要是根据特征点邻域范围内的灰度统计信息， 通过计算特征点主方向和特征向量得到的。确定特征点主方向的方法是，在以特征点为圆心，6σ 为半径（σ 为特征点所在尺度）的圆形区域内（包含所有像素）， 用一个60°张角的扇形进行旋转搜索，每次转动的角度为15°，每转动一次赋一个值，这些值中的最大值为主方向。 搜索过程如图2 所示。

图2 特征点主方向搜索Fig.2 Feature principle direction search

根据选定的特征点主方向， 构造区域为20σ×20σ，每个区域再分成4×4 的若干个子区域。 在每一个子区域内，计算相对于主方向的水平和垂直方向的Haar 小波响应，可以得到一个四维向量。 对于每一个特征点，4×4 个子区域组成64 维描述向量。对向量进行归一化处理，以保持对光照和亮度的不变性。

1.3 SURF 特征点匹配

在参考影像中得到的特征点描述向量为目标集， 在待配准影像中得到的特征点描述子集为基准集［7］。特征点的匹配就是在两个特征点集之中，按照一定的相似性度量准则， 搜索相互距离最近的特征点。 常用的相似性测度的方法有：NCC（归一化互相关）、SSD（像素差的平方和）、ED（欧氏距离）等。

2 改进SURF 算法

2.1 构建SURF 算法特征点自适应分块区域

由SURF 特征匹配算法的计算步骤可知，SURF匹配的时间与图像尺寸大小、特征点数量有关［7］。 在进行SURF 影像匹配的过程中， 正确的特征点匹配对仅集中分布在影像的重叠区域内， 非重叠区域内不存在正确的特征点匹配对， 亦即非重叠区域为无效区域［8］。 因此，只需对影像重叠区采用分块匹配处理。 这样，也会缩短匹配时间。

采用尺寸与尺度自适应法构建SURF 算法特征点，可使分块数目达到一个较为合理的值。设有一个模板影像为T（m×n）、搜索影像为S（M×N），取尺度因子（表示搜索影像相对模板影像的最大尺寸范围）为σ，边界取舍阈值为φ，分块过程中图像右边不足分块部分的宽度与子块宽度的比值为d， 则影像水平方向列分块的数目用式（3）计算，竖直方向行分块的数目用式（4）计算。搜索影像的总分块数目k 的计算式为式（5）。

2.2 边缘冗余特征点的剔除

对影像重叠区域分块后，位于分块边界附近的特征点在提取中会受到分割边界的影响。 这是因为这些特征点生成特征向量需要的邻域被分块边界分开，而它们在原影像的特征提取是基于一个完整的邻域建立起来的。 为了消除这些冗余信息的影响，可以在特征提取结束后，剔除距离分块边缘较近的特征点。

2.3 粗匹配点预处理

将待匹配影像的每个分块送入相应的通道中，单独进行SURF 特征提取和数据的后续处理， 得到每个分块的待匹配模板。在待匹配的影像中，受斑点噪声或几何畸变的影响， 一些被检测匹配的特征点对被分布到有效区域外。因此，在去除误匹配特征点对之前，需要对得到的粗匹配点对进行预处理。

2.4 用RANSAC 算法去除误匹配特征点

在进行目标跟踪应用特征提取时，需要有一种能识别和剔除错误匹配的特征点对的方法。 RANSAC 算法是Fischer 和Bolles 提出的一种参数估计方法［9］。 该算法假设样本中既包含正确数据（inliers，可以被模型描述的数据，即内点），也包含异常数据（outliers，偏离正常范围很远，无法适应数学模型的数据，即外点），即数据集中含有噪声。 同时，假设给定任意一组数据，存在可以计算出拟合这些数据的模型参数的方法。 该算法的计算原理是， 如果模板影像与搜索影像对应特征点之间的距离小于阈值T， 则可以认为它们是一一对应点。 如果对应点的个数与区域内全部点个数的比值达到一定阈值，则可以认为这组变换可以接受。 然后，利用求出的变换关系和设定的阈值T， 精选出被保留的特征点。 其余点为误匹配的特征点， 将予以剔除。RANSAC 算法的计算流程如图3 所示。

图3 RANSAC 算法流程Fig.3 RANSAC algorithm flow

2.5 影像融合

由于无人机在进行航空摄影测量时， 要求同一条航带相邻影像之间有航向重叠， 相邻航带相邻像片之间有旁向重叠。同时，由于成像之间还存在环境差异， 两幅影像的重叠区域像素灰度值可能差别比较大，快速拼接后影像可能会出现错位、拼接缝和重影等现象［10］。影像融合直接关系到影像拼接的效果，因而融合方法的选择显得尤为重要。 本研究采用的融合方法是多分辨率影像融合，具体操作过程是：先将待融合的每幅影像分解到不同分辨率的频率域上；然后，在不同的分辨率上，对影像重叠部分边界附近做加权平均；最后，通过多分辨率逆变换汇总成一幅与原影像尺度相同的融合影像。

3 拼接方法验证

采用实验验证无人机序列影像快速拼接方法的效果。实验环境为运行MATLAB R2016a 的PC 机、Intel Core i5 处理器，主频为2.39 GHz、运行内存为8GB、64 位Windows8 操作系统。无人机搭载焦距为35mm 的SONY ILCE-7R 相机获取影像。图4 和图5 为同一条航带相邻的两幅原影像， 这里分别称之为基准影像和待配准影像，像幅大小为7360×4912。图6 是由基于SURF 特征的影像拼接算法拼接而成的图像； 图7 是由改进SURF 特征的影像拼接算法拼接与融合而成的图像。

通过目视判读， 基于SURF 特征的影像拼接算法对无人机影像进行拼接时，房屋明显有重影现象；基于改进SURF 特征的影像拼接算法对无人机影像进行拼接时， 没有重影现象。 另外， 用MATLAB R2016a 同一软件平台进行拼接时，用基于SURF 特征的影像拼接算法拼接相邻两幅影像的错误匹配点为10 对，运行时间为1′12″；用改进SURF 特征的影像拼接算法拼接相邻两幅影像的错误匹配点为4对，运行的时间为30″。

图4 基准图像Fig.4 Datum image

图5 待配准图像Fig.5 Images to be rectificated

图6 基于SURF 特征的图像拼接算法拼接的结果图Fig.6 Mosaicking result of image mosaicking algorithm based on SURF features

图7 改进SURF 特征的图像拼接算法拼接与融合的结果图Fig.7 Mosaicking and merged result of image mosaicking algorithm based on improved SURF feature

4 结语

综上所述， 采用SURF 算法计算量依然很大，实时拼接完成无人机序列影像有一定的困难。 鉴于此，本文试根据无人机序列影像的航带排布特性，用分块阈值自适应调节方法改进了SURF 算法， 用该算法对无人机影像相邻重叠区域的同名点进行特征点的粗匹配，用RANSAC 算法剔除粗匹配中产生的误匹配点，最后，采用多分辨率影像融合的方法消除相邻影像之间的拼接缝， 实现无人机序列影像快速拼接。实验结果表明，通过分块阈值自适应调节方法改进SURF 特征的影像拼接算法能够提高匹配拼接时间。同时，应用多分辨率影像融合的方法可以消除相邻影像之间的重影与拼接缝等现象。