GFTT+FREAK的小型测绘无人机遥感图像自动拼接技术

秦文俊，刘亚伟，叶洺凯，牛 浩

(中国人民解放军31439部队，辽宁 沈阳 110100)

0 引言

无人机测绘是综合集成无人机飞行器、遥感遥测、通信和图像处理等多学科技术，通过获取目标区域的地理空间信息，快速完成遥感数据处理、测量成图、环境建模及分析的理论和技术。无人机测绘系统能够实现高分辨率、近地、多角度测量，从而形成时间与空间重叠度高的序列图像[1]。

无人机作为测绘领域外部作业的新工具，大大减少外部作业人员的工作量，同时测绘效率也得到了质的提升。但是，由于无人机测绘图像易受尺度、旋转和光照等外界因素的影响，导致现有图像拼接算法拼接质量大大降低。而基于局部特征匹配的图像拼接方法在测绘尺度、倾斜和光照等变化具有较好的鲁棒性。局部特征点是图像特征的局部表达，它反映图像上具有的局部特殊性，局部特征往往对应着图像中的一些线条交叉、明暗变化的结构。由于无人机测绘图像受到飞机抖动的影响，导致图像出现微小的倾斜、旋转等变化，同时相邻图像间存在一定程度光照变化，而本文采用的局部特征图像拼接技术(GFTT+FREAK)可增强测绘无人机图像拼接的准确性和鲁棒性，同时由于局部特征匹配的图像拼接技术可对未经预处理的原始图像进行准确拼接，所以图像拼接效率也会得到显著提高[2-5]。

1 局部特征匹配算法对比测试及优选

目前常用的特征检测方法有：STAR，FAST，SIFT，SURF，ORB，BRISK。常用的特征描述方法有：SIFT，SURF，ORB，BRISK，FREAK[6-10]。

局部特征匹配算法的匹配流程如图1所示。

图1 局部特征匹配流程

根据局部特征匹配流程，在相同硬件条件下分别对特征检测子和特征描述子不同组合的匹配点数n和匹配所用时间t/s进行统计，进而测试不同组合特征匹配的准确性和快速性，测试图像如图2所示，是由大疆无人机拍摄，拍摄高度为100 m，图像重叠度为40%。

图2 实验测试图

实验数据如表1所示，测试数据均是每项测量20次取平均值所得[11]。

表1 检测子、描述子不同组合性能测试表

组合匹配点数匹配时间/sSTAR+SIFT350.067STAR+SURF350.023STAR+ORB350.023STAR+BRISK350.239STAR+SURF350.056FAST+SIFT1 6060.588FAST+SURF1 6060.156FAST+ORB9780.038FAST+BRISK1 3450.294FAST+FREAK1 1350.106SURF+SIFT6971.108SURF+SURF6970.141SURF+ORB5370.047SURF+BRISK4770.266SURF+FREAK2000.083BRISK+SIFT1610.413BRISK+ORB1340.240BRISK+FREAK930.278组合匹配点数匹配时间/sGFTT+SIFT1 0000.195GFTT+SURF1 0000.066GFTT+ORB6400.032GFTT+BRISK8530.265GFTT+FREAK7120.083SIFT+SIFT8710.322SIFT+SURF8710.183SIFT+ORBXXSIFT+BRISK7370.319SIFT+FREAK6360.129ORB+SIFT4400.634ORB+SURF4400.131ORB+ORB4400.023ORB+BRISK2430.258ORB+FREAK270.052BRISK+SURF1610.251BRISK+BRISK1610.452

根据测试结果，从中优选出匹配点数大于等于500个，匹配时间0.1 s以下的组合分别为GFTT+ORB，GFTT+SURF，GFTT+FREAK，FAST+ORB，SURF+ORB。由此可见ORB特征描述子更加适用于小型无人机测绘图像的图像拼接。

考虑到小型无人机测绘过程中由于飞机的抖动，导致图像产生微小倾斜、旋转变化，从而影响图像的拼接，而ORB描述子不具有尺度不变性和旋转不变性，所以ORB描述子不适合无人机测绘图像的拼接。

针对图形倾斜、旋转问题，对剩余的2组组检测子、描述子组合GFTT+SURF，GFTT+FREAK进行测试，从而选出对图像倾斜变化鲁棒性最好的组合作为本文局部特征匹配算法。实验数据如图3所示，2张图像发生了较小的倾斜变化。利用测试图像分别对优选出的3个组合进行鲁棒性测试，测试数据均是测量20次取平均值所得，测试过程中分别对正确匹配点数、所用时间和平均每点耗时3个指标进行统计，统计结果如表2所示。

3.1 近年来我国老年肠道疾病的发生率不断上升，肠道检查日益普及，行结肠镜检查的老年便秘患者也逐年增加，清肠措施不断完善，清肠剂也越来越多，有效的清洁肠道是结肠镜检查成功的关键。肠道清洁度不佳，不仅影响肠镜检查操作，更重要的是遗漏病变［4］。

图3 鲁棒性侧视图

表2 鲁棒性测试表

组合正确匹配点数n所用时间/s平均每点耗时/sGFTT+SURF1 0000.0960.000 096GFTT+FREAK8980.0740.000 082

由表2可得，GFTT+SURF，GFTT+FREAK针对图像倾斜、旋转变化都具有较好的鲁棒性，但是GFTT+FREAK耗时较少。综上所述，优选出GFTT+FREAK的组合作为图像拼接算法。

2 基于GFTT+FREAK的局部特征匹配算法

2.1 GFTT特征检测子

GFTT算法的提出是为了解决Harris角点粘在一起的情况。GFTT算法是一种基于自相关矩阵响应值的角点提取方法，基于自相关矩阵响应值的像素点邻域可以描述为：

(1)

将其用I0(xi+Δu)≈I0(xi)+I0(xi)Δu的泰勒序列展开，可得到自相关矩阵A：

ΔuTAΔu，

(2)

式中，

(3)

式(3)表示xi处的图像梯度。GFTT检测子在对图像特征点进行检测之前需要用高斯加权核w对图像进行卷积处理，从而获得自相关函数局部形状在每个像素上的估计：

(4)

要得到自相关矩阵的响应值，需要对其进行特征分析，其中局部形状的变化可以由特征值来表示，所以用自相关矩阵的2个特征值对点特征进行表示。由于GFTT的相应量取决于较小特征值，所以GFTT用较小特征值表示角点的响应值R：

R=min(λ1，λ2)。

(5)

2.2 FREAK特征描述子

2.3 匹配方法

由于二进制描述子计算二进制描述符之间相似性时，采用汉明距离进行特征匹配，设有2个BRISK描述符，分别为dk，dk+1，则汉明距离HD[13-14]定义为：

(6)

HD可用来衡量2个BRISK描述符的近似度，HD值越小代表相似程度越大，反之越小。

3 性能测试结果及分析

实验计算机型号为DELLS20台式机，Windows64位操作系统，处理器为Intel(R) Core(TM)i7-4770 CPU @ 3.40 GHz 3.40 GHz。

测试图像分为6种不同场景，均由大疆无人机拍摄所得，无人机飞行速度为20 km/h，拍摄高度为100～200 m，测试图像的重叠度为40以上。测试结果如图4所示。

图4 GFTT+FREAK算法性能测试图

针对上述不同实验场景，对实验过程中匹配点数和耗时2项指标进行统计，统计结果如表3所示。

表3 GFTT+FREAK算法性能测试表

项目匹配点数耗时/s(a)高山地带图8000.069(b)山水相间地带图6920.078(c)城市地带图6630.081(d)乡村地带图7230.067(e)河流地带图7120.091(f)标志性建筑物图8330.085

根据图4 及表3测试结果可知，GFTT+FREAK局部特征匹配图像拼接算法匹配点个数均超过了600，保证图像拼接的准确性要求，匹配时间均小于0.1 s，满足无人机测绘图像拼接快速性要求。

4 结束语

针对小型无人机测绘图像易受尺度、倾斜和光照等变化影响，导致影像拼接难度大的问题，提出了一种基于局部特征匹配的图像拼接技术。针对小型无人机测绘图像的特点，对不同局部特征检测子和描述子的组合进行测试，从中优选出了GFTT+FREAK组合作为图像拼接算法，通过对基于GFTT+FREAK局部特征匹配图拼接算法的综合性能测试显示，基于GFTT+FREAK图像拼接算法满足小型无人机测绘图像拼接的准确性和快速性要求。由于基于局部特征匹配的测绘图像拼接算法不需大量的图像预处理工作，省去了大量时间，进而大大提高了图像拼接效率。