改进SAR-SIFT算法的无人机影像匹配方法研究

韦春桃，张冬梅，朱旭阳

(重庆交通大学 土木工程学院，重庆 400074)

无人机技术在地质灾害监测、交通物流等方面的应用前景非常广阔。利用无人机拍摄到的图像通常存在覆盖范围小、旋转角度变化大、容易发生畸变等问题，也使无人机图像匹配变得愈加困难，Lowe教授提出的SIFT算子[1]在无人机图像上也不能达到很好效果。针对以上问题，提出一种匹配精度高、效果好的算法是目前亟需解决的问题。

图像匹配分为两大类，即基于灰度的图像匹配和基于特征的图像匹配。尚明姝等[2]提出了Harris与SIFT算子结合的快速匹配方法，主要针对Harris算子进行改进，再用改进的SIFT算法进行匹配，提高匹配效率。也有针对传统的SURF算法进行改进，张文卿等[3]提出一种基于Radon变换对SURF特征的维度降低，以增加图像配准的效率。主要是改进传统的SURF描述符计算方法,达到对SURF描述符降维的效果,并将图像的色彩信息与特征信息融合进行图像粗匹配。产叶林等[4]则是将FAST和SURF结合，提高匹配的效率。关于描述符的改进，杨顺等[5]提出一种基于梯度信息GM和GO融合的新方法,构建两种具有高分辨能力的新描述符。针对传统的图像匹配方法还有ORB算法、KAZE算法、AKAZE算法等[6]。目前有很多人工智能深度学习的方法应用在图像匹配中。图像匹配中的经典网络包括MatchNet以及对经典网络的创新产生的PN-Net、L2-Ne[7]，文献[8]提出端到端图像匹配网络RF-Net，这些算法均能从一定程度上提高匹配的精度，实现跨源图像块的准确匹配。2015年提出针对SAR图像匹配的SAR-SIFT算法[14]，且该方法能应用在无人机影像匹配上。该方法匹配的正确率较高，比较稳定，但匹配数量少，故文中提出基于改进SAR-SIFT算法的无人机图像匹配方法，利用无人机图像的光谱信息和特征信息进行特征点提取，采用SAR-SIFT算法进行图像匹配，设置描述符的最邻近距离和次临近距离的阈值，剔除不满足要求的特征点后用余弦距离进行匹配，最后采用VFC算法进行图像匹配剔错。实验证明文中算法增加了图像的匹配对数，匹配的准确率较高。

1 图像的RGB分量提取

彩色图像都是由R，G，B三原色组成，R，G，B是图像的红、绿、蓝颜色的3个通道，其他各种彩色均是通过R，G，B三原色按照不同比例叠加而成。图像中不同物体对应着不同的R，G，B值，例如植被为绿色，其在G分量上的值会大于其在R，B分量上的值[9]。所以为充分利用图像的彩色信息，增加提取特征点数量，文中采用3个颜色分量分别对图像进行特征提取，针对不同物体都能正确检测特征点信息。原图含有不同颜色的地物，其在3个分量上表现也是不同的，如图1所示。

图1 无人机图像三分量图

文中通过对图像的B，G，R 3个分量进行提取特征点，然后将所有的特征点集合在一起进行匹配，再将有效特征点提取较多的图像计算其梯度方向和梯度幅值，增加正确匹配的数量。这种改进方法在SAR-SIFT的基础上增加正确匹配的数量。文中算法流程如图2所示。

图2 文中算法流程

2 图像匹配

传统图像匹配算法有尺度不变特征变换算法[10](Scale-Invariant Feature Transform，SIFT)，ORB(Oriented Fast and Rotated Brief)算法[11]和加速稳健特征(Speeded Up Robust Features,SURF)算法[12]。ORB算法所提取的特征点分布不均匀、存在冗杂，且不具有尺度不变性。SURF算法虽然在时间上比SIFT算法更加高效，但是较SIFT算法而言，其计算复杂度高、配准精度低。Schwind等证实SIFT算法也能应用在SAR图像匹配上[13]。在2015年一种适用于SAR图像的SIFT改进算法被提出[14]，其算法原理类似于SIFT算法，将此算法应用在无人机图像上也能取得很好的效果。

2.1 图像初匹配

SIFT算法由Lowe于1999年提出，后来于2004年进行改进，以匹配自然图像中的局部特征。该算法结合两个运算符：特征检测器和特征描述符。特征检测包括选择兴趣点，然后计算描述符以描述特征。SIFT算子包括关键点检测、方向分配、描述符计算和图像匹配4个步骤。在SAR-SIFT算法中仍然遵从这4个步骤。

1)关键点检测。首先通过像素点的坐标(x,y)和尺度σ和方向θ来选择和描述关键点。然后选择符合要求的局部极值点来定位关键点，把高斯尺度空间中的插值LOG空间中不同尺度下稳定性较高的候选点标记为关键点，将具有低对比度或位于边缘的候选点用DOG值的阈值和Hessian矩阵准则进行过滤。高斯尺度空间是采用不同尺度的高斯卷积核对图像进行卷积得到。设有图像I(x,y)，图像大小为m×n，σ为尺度因子。

L(x,y,σ)=G(x,y,σ)*I(x,y).

(1)

其中，G(x,y,σ)表示高斯卷积核。

(2)

在改进算法中，采用了新的卷积核计算方式,

(3)

在进行兴趣点提取时，利用多尺度Harris矩阵计算满足阈值的点，

依据SVD原理,将本次所测得的振动信号进行降噪处理.过滤掉噪声等干扰信号后,经过多次调整和试算,利用SVD的逆运算重构出振动相空间矩阵.该矩阵就是降噪后振动信号的最佳逼近值,如图7所示.

(4)

R(x,y,σ)=det(C(x,y,σ))+t×tr(C(x,y,σ))2.

(5)

(6)

在新的梯度算法将像元邻域分为上、下、左和右4个方向，采用4个不同的模板对图像进行卷积，获得图像4部分卷积值mup，mdown，mright，mleft。

则其水平、垂直方向梯度表示为：

(7)

(8)

其梯度幅值m(x,y)和梯度角θ(x,y)分别表示为：

(9)

与传统SIFT方法一致，在文中仍采用直方图来统计像素领域内的梯度和方向。并将梯度直方图的角度分为36个柱(bins)，每柱10°。最后取直方图的峰值方向作为关键点的主方向。

在传统方法中，计算梯度都是利用彩色图像的灰度来计算。在将彩色图像转化为灰度图像时均是通过R,G,B 3个通道的灰度值进行加权平均，得到灰度图像。其采用的算式为：

GRAY=0.3×R+0.59×G+0.11×B.

(10)

由式(10)可以看出在图像灰度化的过程中，将图像色彩差异明显的地区平均化，在后续计算像素点梯度时会漏掉色彩差异明显的特征点。如图3所示，图3为图1的部分截图，其中图3(a)表示原始彩色图像，图3(b)表示原图像的灰度特征点提取图像，特征点提取个数为29；图3(c)表示原图像的B通道的特征点提取图像，特征点个数为62；图3(d)表示G通道的特征点提取图像，特征点个数为39；图3(e)表示R通道的特征点提取图像，特征点个数为22，说明将图像灰度化后，大大减少了图像的明显特征。蓝色房顶在B通道图像上的特征点数量最多，且均匀分布在图像中物体的边缘。

图3 特征点提取

在文中提及的算法中，需将三通道图像提取的特征点去重后集合在一起，查漏补缺，提高匹配准确率。在文中去重采用计算两特征点距离的方法。若两个特征点相同，则其欧式距离为0。将三通道图像的特征点放在集合P1中，创建新的特征点集合P2，逐一遍历P1每个特征点并判断P2中是否存在该特征点，将P2中不存在的特征点存入P2中，直到遍历完所有特征点，得到去重后的特征点集合P2。

3)描述符计算。使用GLOH的圆形邻域(半径为12σ)和对数极性扇区，而不是用原始SIFT描述符中那样使用正方形邻域和4×4正方形扇区。传统SIFT算子描述子采用4×4×8=128维向量表征，在文中采用17个定位仓来创建特征描述符，将0°～360°梯度方向分8个间隔分别计算各个方向的描述符，如图4所示。

图4 GLOH描述符计算

2.2 VFC算法

VFC(Vector Field Consensus)算法是向量场一致性算法，该算法与随机采样一致性(Random Sample Consensus,RANSAC)算法的作用相同，用于图像匹配的剔错处理。但是RANSAC算法依赖几何参数模型，当图像间的几何关系将不满足任何参数模型，算法也将不再适用,另外当初始特征匹配点对中包含过多离群点时，算法的效率会急剧下降[15]。而VFC算法能够解决这些问题，并在文献[16]得到证实。故文中采用VFC算法进行图像精匹配，该剔错算法的基本思路是将粗匹配过后的特征点对应关系转换为图像运动场的样本，再根据先验概率求出具有强鲁棒性的插值算法进行转换插值，然后根据前者转换的样本数据估计出适合整个图像的模型，来确定匹配对中特征点精确的对应关系，其算法大致有如下步骤[16]。

以初始匹配的(xn,yn)为样本组成样本点集合S，S中既含有正确匹配的点也含有误匹配点。基于该样本集，VFC通过插值计算，估计出光滑、鲁棒的向量场模型，满足该模型的点为正确匹配，不满足该模型的点为错误匹配。由于正确匹配点的位置误差在场中呈高斯分布，错误匹配点的位置误差在场中呈均匀分布。因此，样本集满足如下似然函数模型:

(11)

式中：X，Y分别是xn，yn的集合；zn∈{0,1}是隐含变量，p(zn=0)=1-γ表示均匀分布；p(zn=1)=γ表示高斯分布；σ为高斯标准差；a为均匀分布常数；f为向量场模型；δ{f,σ2,γ}表示3个未知量的集合。

δ*=arg maxδp(δ|X,Y|)=

arg maxδp(Y|X,δ)p(f),

(12)

(13)

3 实验及分析

文中针对无人机影像匹配的效率研究，实验环境为：Intel(R)Core(TM)i7-10750H CPU，2.6 GHz，16G内存的笔记本;软件开发工具为Window10 64位操作系统，Visual Studio2015、OpenCV3.4编程环境。

首先对无人机影像进行预处理: 无人机影像大小为6 000像素×4 000像素，为节省匹配时间和内存，重采样得到800像素×533像素。并分别进行与传统匹配算法的对比实验，其中每种匹配算法均用VFC精匹配。实验中SURF算法的Hessian矩阵阈值为400。SIFT算法的比例阈值为0.04，边缘阈值为10，高斯尺度空间为1.6。在改进的算法中，生成描述子采用的是GLOH模板，其中GLOH网格中间圆半径和外圆半径之比为0.73，最内层圆半径和外圆半径之比0.25，描述子阈值为0.2，领域半径为12。RatioTest的取值一般为0.6～0.8，在本实验中采用RatioTest=0.8。

3.1 实验数据

本实验为辽宁省某地采用飞马无人机拍摄的影像和大疆无人机拍摄的重庆某地的影像，文中采用9组目标不一致图像，分别表示植被图像、道路图像、建筑图像和植被与建筑混杂的图像。实验的9组原始影像如图5所示。

图5 实验数据

3.2 实验结果及分析

由于SAR-SIFT在光学图像上匹配具有很好的稳定性，从图6中看出其匹配正确率较高。较传统匹配方法SIFT、SURF而言，SAR-SIFT算法在特征初匹配中的正确率较高，因为在剔错后召回率较高，错误率较低。相对传统算法而言，SAR-SIFT的特征点匹配对数量较少，容易导致图像的配准和融合效果差，后续的图像三维重建工作增加难度。针对这一缺点，文中提出利用图像的R，G，B分量提取特征点，充分利用图像的色彩信息，增加算法的正确匹配对数。

从图6可知，文中方法是在SAR-SIFT上的改进算法，相对于传统SIFT方法和SURF算法在总体上可以提高图像的匹配精度。文中方法在保持原来的匹配精度基础上增加匹配的数量，但是匹配时间相对较长，可能是在进行图像通道计算并进行特征点检测，并且进行特征点去重处理，所以耗费时间较长。在图像提取特征点方面，SAR-SIFT比SURF算法、SIFT算法检测的相对较少，文中方法增加特征点提取数量，经过误匹配剔除处理之后，匹配正确的数量也相对较多。本实验得到的特征点如表1所示，文中的方法增加特征点数量。

图6 匹配结果

表1 特征点检测数量

无人机图像可能会受到拍摄光线以及噪声等影响，导致匹配的效果不佳，如图7所示。本实验将采用前3组数据从噪声和光照变化来分析算法的匹配效果，实验中的所有变量取值与上面实验一致，其为原参考图像与噪声待匹配、亮度变换后待匹配图像之间的匹配。匹配结果如图8和图9所示，文中方法较SIFT、SURF算法，在匹配时间和匹配数量差不多时，正确率较高。在匹配时间相差不大的情况下，增加了匹配数量。

图7 改变后图像

图8 噪声图像匹配结果

图9 亮度变化图像匹配结果

4 结 论

文中将SAR图像匹配方法SAR-SIFT应用在无人机图像上，表现出较好效果，较高正确率。但是该算法较传统算法而言，其匹配对数量较少，故将SAR-SIFT算法进行改进，利用图像的R,G,B分量增加图像的正确匹配数量。实验结果表明，改进方法在增加正确匹配数量上有一定进展。由于需要计算图像的各个分量并提取其特征点，故该改进方法在匹配时间上比SAR-SIFT算法长一点。在未来的工作中，需继续改进该方法，将匹配时间缩短，提高匹配效率。