基于改进ORB算法的遥感图像匹配

田 丹, 陈钰坤

(沈阳大学 a. 智能科学与工程学院, b. 信息工程学院, 辽宁 沈阳 110044)

遥感图像一般分为航空图像和卫星图像[1]2种,常由不同成像器材在不同时间、不同天气、不同视角下拍摄获得,广泛应用于土地资源监测、抢险救灾、目标定位等领域。近些年,随着无人机技术的快速发展,应用灵活、成本低廉的无人机在遥感图像的获取中备受青睐,而基于无人机航拍图像与卫星图像的图像匹配也逐渐成为研究热点之一。

图像匹配是指从2个或多个图像中识别出相同或相似的内容、并将具有几何意义的关系相互对应的过程。根据特征性质和匹配策略的不同,可将图像匹配分为基于区域的匹配方法和基于特征的匹配方法[2],其中,基于特征的匹配方法能更好地应对几何变形失真的问题[3],从而降低光照变化和背景变化等引起的误匹配,在遥感图像匹配中更受研究者青睐。基于特征的图像匹配算法主要有SIFT[4-6]、SURF[7-9]、BRISK[10-11]、ORB[12-14]等。SIFT算法对图像受到的旋转、尺度、光照、噪声和几何变换等不利影响都有较强的鲁棒性,但其每个特征点都要建立128维的特征描述符,因而降低了匹配实时性;SURF算法是对SIFT算法的优化,引入积分图思想来减少计算量并降低了生成特征描述符的维度,保证特征提取质量的同时提高了算法运行速度;ORB算法和BRISK算法均使用二进制描述子进行特征点描述,大大提高了计算速度,但ORB算法运行速度比BRISK算法更快。ORB算法在进行特征描述时使用随机采样,而BRISK算法则是在领域内进行均匀采样,因此BRISK算法有机会获得更高质量的匹配关系。

为了提高特征匹配的精度,往往会对匹配关系进行误匹配剔除,主要的误匹配剔除算法有RANSAC和GMS等[15]。RANSAC算法是最常用的误匹配剔除方法,但对于样本中的外点比例和迭代次数较敏感,外点比例过高或迭代次数过多都容易导致局部最优模型计算时间呈指数增长,迭代次数过少则无法有效剔除误匹配点。GMS算法是将运动平滑约束结合到一个统计框架中,以剔除错误的匹配,在计算实时性上有较大优势。Ma等[16]提出的LPM算法根据局部结构的一致性来建模,区分描述符集合中的内点和外点,以实现误匹配点的剔除。LPM算法不需要对2幅图像之间的变换进行任何预先估计,且时间复杂度和空间复杂度均为线性,能在几毫秒内完成上千个匹配对中的误匹配剔除。

虽然SIFT和SURF算法在匹配时表现出更佳的鲁棒性,但算法复杂、计算速度慢,难以满足无人机航拍图像与卫星图像之间对实时性要求较高的匹配任务。针对这个问题,提出一种改进ORB(ORB-BRISK)结合LPM误匹配剔除算法的遥感图像匹配方法,满足了精度和计算效率的需求。

1 ORB算法

ORB算法中的oFAST特征点检测算子和rBRIEF特征描述算子是在FAST特征检测器和BRIEF特征描述算子的基础上改良而来的。ORB算法在特征提取速度方面具有极大的优势,是SIFT的100倍左右,是SURF的10倍左右[17]。

1) 特征点检测。oFAST特征点检测器根据被检测点与周围邻域内的所有像素点的灰度值之差来判断其是否为特征点,当差值达到设定的阈值时,则认为该被检测点是一个特征点。即以图像中一被检测点P为中心,将半径为3像素的圆上的16个像素点与之比较。假设这16个像素点中有连续的N个像素点(N通常取9,即FAST-9;其他常用值有11、12[18])满足灰度差异阈值的要求,则认为该被检测点是一个特征点,判定函数为:

式中:o表示圆上任一像素点;Io表示它的灰度值;IP表示被检测点的灰度值;t表示阈值。

通过灰度质心法,给检测到的特征点赋予方向信息。该方法通过特征点的灰度与质心之间的偏移来确定方向,定义邻域矩为

式中:x和y为像素坐标;I(x,y)表示此像素坐标的灰度值;p和q控制质心在横向和纵向上的偏移程度。此时,特征点邻域的质心坐标为

特征点与质心的夹角便为FAST特征点的方向θ,

θ=arctan(m01,m10)。

ORB算法为获得尺度不变性,通过构建图像金字塔并检测金字塔中每一层的角点来实现。

(1)

在特征点上选取n对特征,得到2×n的矩阵S,

再对矩阵S进行旋转变换,变换矩阵采用特征点方向θ的旋转矩阵Rθ,

用变换矩阵Rθ对矩阵S进行旋转,即可得到新的描述矩阵Sθ,

(2)

结合式(1)和式(2)可以得到变换后的BRIEF描述符

式中,n的取值通常为128、256、512。

2 匹配方法

ORB算法进行特征描述时,基于生成的窗口在特征点处随机采样n对点。而BRISK算法则是以特征点为圆心,在邻域大小内进行等间距均匀采样。虽然ORB算法匹配速度比BRISK算法快,但在内容相似、来源不同的遥感图像匹配中,BRISK算法因其均匀采样的特征描述方法表现出更高的准确性。本文沿用ORB算法的特征检测算子,但用BRISK描述算子替代ORB描述算子,得到一种更高效的匹配算法----ORB-BRISK。

2.1 ORB-BRISK特征提取

1) 特征点检测。为了实现尺度不变性和旋转不变性,首先使用ORB算法中的oFAST特征点检测算子进行图像金字塔的构建,对金字塔的每一层进行特征点检测,以得到尺度特征;然后使用灰度质心法来计算特征点灰度和质心之间的偏移,给检测到的特征点赋予方向信息。

2) 特征描述。BRISK特征描述符使用512 bit的二进制字符串表示,以特征点为圆心,构建4个不同半径的离散化同心圆,每个同心圆上等间距采样多个点,采样点个数由内到外分别为10、14、15和20。再使用高斯平滑滤波处理采样点并计算相应梯度,根据所有采样点构成的集合计算出特征点的特征模式方向并旋转,最后对旋转后的所有特征点进行灰度值比较,从而得到特征描述符。

2.2 特征匹配

暴力匹配能够有效处理数据敏感性并获得更多潜在的真实匹配[19],同时使用交叉检查的方法来保留双向最佳匹配结果,能够避免一对多的情况。本文使用带交叉检查的暴力匹配来进行无人机航拍图像和卫星图像之间的图像匹配,并以汉明距离计算模板图像和待匹配图像的特征点描述符集合之间的相似度,以获得初始匹配点集。

2.3 误匹配剔除

在初始匹配点集中仍会存在较多的误匹配点,本文使用局部保持匹配(LPM)来剔除掉误匹配点。LPM根据局部结构的一致性来建模,首先通过考虑2个特征集之间的所有可能匹配并过滤掉特征描述符中足够不同的匹配,来构造一组假定匹配。然后使用几何约束来去除假定集中包含的错误匹配,从而进一步过滤掉特征点之间具有不同空间邻域结构的那些匹配[20],从而获得准确的匹配关系。

本文算法流程如图1所示。

图1 本文算法流程

3 实验与分析

实验测试硬件环境为Windows 10操作系统(64位),Inter Core i7-11800H CPU,主频2.3GHz,内存16.0GB,软件运行平台为PyCharm-2021.3,基于OpenCV 4.6.0编写。

实验不仅使用ORB、BRISK、ORB-BRISK三种算法与RANSAC误匹配剔除算法进行组合对比,还使用ORB-BRISK算法与RANSAC、GMS、LPM三种误匹配剔除算法进行组合对比,以验证本文提出的遥感图像匹配算法能有效提高无人机航拍图像与卫星图像的匹配性能。实验选取了客运火车站、操场和货运站3组无人机航拍图像和Google Earth卫星图像,均以卫星图像为模板图像,无人机航拍图像为待匹配图像,如图2～图4所示。

图2 火车客运站图像匹配结果

图3 操场图像匹配结果

图4 货运站图像匹配结果

本实验所使用的精确度评价指标定义为

(11)

式中:matchesinp为特征匹配集合中内点的数量,即误匹配剔除后保留的正确匹配点对;matches为特征匹配对数量,即内点和外点之和。

表1是不同算法与RANSAC算法组合实验的结果。结合图2～图4和表1可以看出,本文提出的ORB-BRISK算法提取特征点的数量虽然没有BRISK算法多,但运行时间比BRISK算法减少了一半以上,精度较BRISK算法低了3.03%;与ORB算法相比,不仅精确度高了2.15%,而且运行时间相近。ORB-BRISK算法结合了ORB和BRISK算法的优点,具有良好的旋转、尺度不变性和抗噪性,在速度和精度上达到了平衡,具有更高的匹配效率。

表1 不同算法与RANSAC算法组合实验结果

表2是ORB-BRISK算法与RANSAC、GMS、LPM三种误匹配剔除算法进行组合测试的结果。图5～图7以客运火车站图像为例,展示了ORB-BRISK算法与RANSAC、GMS、LPM三种误匹配剔除算法进行组合对比的结果。可以看出,最常使用的ORB+RANSAC算法进行遥感图像匹配时,牺牲了大量的真实匹配点, 且整体运行速度较大程度上受RANSAC算法限制。而本文提出的ORB-BRISK+LPM遥感图像匹配算法提取到的特征点分布相对均匀,匹配点数量更多,在保证高精确度的同时降低了运行时间,对于诸如无人机航拍图像和卫星图像匹配这类有实时性要求的任务,带来了更高效的算法选择。

表2 ORB-BRISK与 RANSAC、GMS、LPM算法组合实验结果

图5 客运火车站图像ORB-BRISK+RANSAC匹配结果

图6 客运火车站图像ORB-BRISK+GMS匹配结果

图7 客运火车站图像ORB-BRISK+LPM匹配结果

4 结 论

针对遥感图像匹配中匹配精度和运行速度难以兼得的问题,本文对经典图像匹配算法进行改进,提出了ORB-BRISK算法用于遥感图像的特征提取,其中ORB特征检测算子进行特征点提取,BRISK特征描述算子进行特征点描述,并使用基于图像局部结构一致性的LPM算法进行误匹配剔除。通过实验验证了本文算法在遥感图像匹配中能满足高质量、高精度和快速度的要求,算法的精度和速度达到了平衡。在对实时性有需求的遥感图像匹配任务中,本文算法具有较好的应用价值。