基于不同拼接算法的无人机林区影像拼接效果研究

徐永胜，杨玉泽，林文树

(东北林业大学 工程技术学院，哈尔滨 150040)

0 引言

近年来，无人机低空遥感技术已经应用到诸多领域，例如防灾减灾、军事侦察、土地调查和环境监测等[1]。由于无人机进行影像获取时飞行高度较低，获取的影像数据覆盖的面积过小，在后期进行森林结构参数提取时，会因为目标区域不在同一幅影像上而造成一定的误差。因此，影像拼接的目的就是将从真实世界中获取的不同影像合成为宽视场影像[2]。目前的无人机影像拼接，根据利用影像信息方法的不同可分为：基于灰度的匹配算法、基于纹理的匹配算法和基于特征的匹配算法[3]。然而，由于无人机平台不稳定、树木间遮挡以及树木冠幅纹理较为单一等原因，基于灰度的匹配算法和基于纹理的匹配算法并不适用于林区影像拼接，因此选择基于特征的匹配算法适用于林区无人机影像的拼接。

目前国内外研究学者利用SIFT和ORB算法对无人机影像的拼接进行了大量的研究和探索。Lowe[4]首次提出尺度不变特征变换算法概念(Scale invariant feature transform，SIFT)，该算法的尺度不变性、旋转不变性较好，但是在特征点的提取及描述过程中消耗时间过长，拼接的实时性较差；何敬等[5]运用SIFT算法结合最小二乘算法进行无人机大尺度影像拼接，解决了拍摄影像存在倾斜、曝光不均匀等问题，同时减少拼接过程中误差的传播；Mehrdad等[6]提出了一种面向实时的无人机影像拼接方法，首先运用SIFT算法提取关键点，然后使用rotation-aware BRIEF描述关键点形成特征描述向量，提高了影像匹配的速度；马无锡[7]提出了一种阈值自适应的SIFT拼接算法，针对SIFT算法中的阈值进行系统的研究，自动调整阈值，加快了影像匹配的速率并开发了全景图像拼接软件。赫更新等[8]提出了SURF算法和RANSAC算法进行结合的算法对校园影像进行拼接融合，基于筛选过滤提纯的方法对特征点匹配进行优化得到了较好的效果；夏岩等[9]在运用SURF算法对影像进行配准时，通过设立阈值减少检测出的特征点并进行仿真分析，使得匹配成功率大大增加，耗时大大减少；么鸿原等[10]通过融合SURF算法和KNN算法对影像进行粗匹配，然后通过RANSAC算法进行精匹配，有效解决了拼接重影、错位等可能发生的现象。Rublee等[11]提出ORB图像配准方法，在图像金字塔上利用改进FAST算法进行角点特征检测，再使用改进的BRIEF方法进行特征描述，提高图像拼接的速度；陈慧颖等[12]基于ORB算法进行了改进，主要针对特征点的数量以及特征点分布，增加核线约束及相关系数条件，结合最小二乘匹配算法对ORB算法进行改进；郑辉[13]针对ORB算法特征点提取过程的不足，构建了影像金字塔尺度因子和降采样率的关系，确定了构建描述子最佳邻域范围和对比时选取的最佳像素个数，实现了无人机影像快速拼接；刘婷婷[14]提出了改进的拉普拉斯金字塔融合方法，有效地消除拼接重影错位现象，使得图像能够平滑过渡，实现图像的无缝拼接。瞿中等[15]通过KAZE算法提出特征点，采用双向KNN匹配方法筛选误匹配点，并对多幅图像拼接进行自动校直，改善了倾斜扭曲现象；韩敏等[16]首先利用KAZE算法提取特征点，然后采用FREAK算子对特征点进行描述，使图像在光照、旋转情况下有较好的拼接效果。

综上所述，针对林区无人机影像拼接的研究较少，加上林区无人机影像特征点提取较为困难，限制了无人机在林业中的广泛应用。因此，为了探讨不同郁闭度林分下无人机影像拼接效果，本文运用SIFT算法、SURF算法、ORB算法以及KAZE算法，分别从特征提取数量、特征匹配数量、匹配正确率、特征提取与匹配消耗时间4个方面进行对比分析，以期为不同林分的无人机影像拼接选择合适的算法打下一定基础。

1 研究区域概况及数据获取

本研究选取东北林业大学城市林业示范基地(北纬45°43′10″，东经126°37′15″)为实验样地，采用曼图拉(motoar Sky)ms-670无人机进行林地影像数据采集，设定无人机飞行高度为50 m，航向重叠率为75%,旁向重叠率为60%。选取3幅不同郁闭度林分影像进行拼接研究，图1为低郁闭度林分左右影像，图2为中郁闭度林分左右影像，图3为高郁闭度林分左右影像。

(a) 低郁闭度林分左影像 (b) 低郁闭度林分右影像

(a) Low canopy density forest area left image (b) Low canopy density forest area right image

图1低郁闭度林分左右影像
Fig.1 Left and right images of low canopy density forest area

图2 中郁闭度林分左右影像Fig.2 Left and right images of medium canopy density forest area

图3 高郁闭度林分左右影像Fig. 3 Left and right images of forest area with high canopy density

2 研究方法

本研究采用不同算法分别将无人机获取的两幅不同郁闭度林区影像以及多幅林区影像进行拼接，总体流程如图4所示。在进行拼接之前，将无人机获取的影像进行人工识别，使无人机在进行飞行时由于飞机抖动等造成的模糊影像剔除，最后选出64幅高质量无人机影像。

图4 总体流程图

针对不同郁闭度林分，首先采用灰度算法对影像进行灰度处理变成灰度影像；其次对3组影像分别用4种算法进行特征点提取及特征点描述。特征点提取即将影像中像素的极大值点以及极小值点提取出来，特征点描述即赋予提取出特征点的位置和方向等信息，特征点提取及特征点描述是区分两种算法的关键一步。

特征点提取完成后，在拼接左影像中取出一个特征点，设置一个阈值，根据欧式距离法计算出两幅影像中相对应特征的距离。当最近邻欧式距离与次近邻欧式距离的比值小于此阈值时，将该特征点定义为匹配点。本文共设置了3个测试阈值：0.5、0.8、1.2，通过对比匹配精度后最终确定阈值为0.8为较好匹配阈值。在此基础上通过RANSAC算法剔除误匹配点进行精确匹配，采用像素灰度值加权融合算法进行影像融合。

针对整个无人机飞行区域，本研究设置了6组实验类别，分别对2、4、8、16、32、64幅无人机林区影像进行拼接。按照4种算法步骤，依次对相邻两幅无人机林区影像进行匹配和迭代拼接。首先选取64幅无人机影像中的第一张影像作为拼接起始影像，将拍摄的第二幅影像与第一幅影像进行特征点提取、特征点描述和特征点匹配，完成第一组实验类别；然后重新开始，按照第一组实验方法，继续将第三幅影像与第二幅影像进行特征点提取、特征点描述和特征点匹配，依次类推，直至6组实验类别全部匹配完成；最后将匹配完成的影像进行统一拼接。

3 结果与分析

3.1 不同郁闭度林分两幅影像拼接

本研究选取3组不同郁闭度无人机林区影像进行拼接研究，分别用4种算法进行匹配、拼接，并从特征点提取数量、特征点匹配数量、正确匹配率和影像拼接消耗时间4个方面进行对比分析。

3.1.1 特征点提取数量

针对不同算法对不同郁闭度林区影像进行拼接，其特征点提取数量统计见表1。结果表明：4种算法针对低郁闭度影像特征点提取数量低于高郁闭度影像，这是由于高郁闭度林区林分树冠间隙小，差异性较小，在进行特征点提取时产生大量特征点；而在低郁闭度影像中，由于在郁闭度较小的林分生长空间中，更新的小树种较多，相比于优势木的冠幅，单木与单木之间色差不显著[17]。

表1 特征点提取数量表Tab.1 Feature matching quantity table

针对同一种郁闭度林分无人机影像，KAZE算法提取出大量的特征点，这是由于在特征检测时构造了非线性尺度空间，检测出的特征点较多；SURF算法和 SIFT算法在特征点检测时将高斯差分尺度空间(DOG)的每个点与相邻位置的每个点进行比较，找到最大或最小的极值点作为初始特征点[18]，而ORB算法在特征点检测时引入了ID 3决策树分类算法构造了一个角点分类器对角点进行检测[19]，相比于SURF算法和SIFT算法，ORB算法对比的像素点较少。

3.1.2 特征匹配数量和正确匹配率

本次研究得到的特征点匹配数量结果见表2。结果表明：低郁闭度林分无人机影像特征点匹配数量少于高郁闭度林分无人机影像，这是由于高郁闭度影像比低郁闭度影像多提取出大量特征点，特征点匹配包括正确匹配的特征点和错误匹配的特征点。KAZE算法针对不同郁闭度影像其正确匹配率约为55%；ORB低郁闭度林分影像匹配率为43.47%，中、高郁闭度林分影像匹配率为约为39%；SIFT算法和SURF算法正确率都可以稳定在46%左右。针对4种算法特征点匹配，低郁闭度林分影像特征匹配结果如图5所示，中郁闭度林分影像特征匹配结果如图6所示，高郁闭度林分影像特征匹配结果如图7所示。

表2 特征点匹配数量和正确匹配率Tab.2 Number of feature point matches and correct matching rate

3.1.3 影像拼接消耗时间

影像拼接消耗时间包括特征点提取、特征点描述、特征点正确匹配和影像融合4个部分，影像拼接消耗时间反映拼接的实时性。对于低郁闭度林区影像拼接，SIFT算法、SURF算法、ORB算法、KAZE算法完成影像拼接需要花费时间分别为12.035、9.72、7.721、17.21 s；拼接中郁闭度林区影像时，相应的4种算法完成影像拼接需要花费时间分别为16.125、13.15、9.14、21.08 s；对于高郁闭度林区影像，相应的4种算法完成影像拼接需要花费时间分别为20.081、18.27、15.632、24.32 s。

图6 中郁闭度林分影像特征点匹配Fig.6 Image feature point matching of middle canopy density stand

图7 高郁闭度林分影像特征点匹配Fig.7 Image feature point matching of forest area with high canopy density stand

从拼接消耗时间可看出，KAZE算法影像拼接消耗时间最长，这是由于非线性尺度空间比线性尺度空间计算量大，在特征点检测时消耗大量时间；ORB算法消耗时间最短，这是由于在特征点检测时对像素点周围16个点进行比较，而SIFT算法是对像素点3×3×3周围的共26个像素点进行比较，消耗时间大大减少；SURF算法比SIFT算法耗时少，因为在进行特征点描述时，SIFT算法采用128维向量对特征点进行描述，而SURF算法与KAZE算法一样，采用64维向量对特征点进行描述，较SIFT算法维度低，描述过程更简单。

3.2 多幅林区影像拼接

由于无人机进行高空飞行时获取的并不是一幅影像，而是连续获取多幅影像，所以两幅影像进行拼接可能会存在一些偶然情况，并不能确定每种算法对高郁闭度影像、中郁闭度影像以及低郁闭度影像拼接的准确性。因此，本研究设置了6组实验类别，分别对2、4、8、16、32、64幅无人机林区影像进行拼接。

3.2.1 多幅影像拼接消耗时间

多幅影像拼接消耗时间如图8所示。从图8中可以看出，随着影像张数的增多，相应的影像拼接消耗时间也增大。总体来说，SIFT算法在处理影像拼接时消耗时间大约为ORB算法的2倍。64幅影像拼接完成后，SIFT算法共消耗时间876.3 s，SURF算法共消耗时间577.8 s，ORB算法共消耗时间417.2 s，KAZE算法共消耗时间806.8 s。SIFT算法和KAZE算法在影像拼接总体消耗时间上表现较差，而SURF算法和ORB算法表现较好。这是由

图8 不同拼接照片数量消耗时间Fig.8 Time consumption of different number of photos

于SIFT算法和ORB算法在每一幅影像中针对特征点提取和特征点描述过程中的方法不同，SIFT算法表现出一定的复杂性，而ORB算法则表现出一定的优势。

SIFT算法和KAZE算法影像拼接消耗时间较长，这是由于SIFT算法在特征点描述时采用128维向量作为特征描述子，KAZE算法在进行特征点检测时建立的非线性尺度空间比线性尺度空间计算量大，所以两种算法的影像拼接所耗时间较长；SURF算法和ORB算法消耗时间较短，这是由于SURF算法在进行特征点描述时，有64维向量作为特征描述子，ORB算法在特征点检测时对像素点周围16个点进行比较，进行特征点检测及描述较快，所以两种算法的影像拼接所耗时间较短。

3.2.2 平均特征点正确匹配率

本研究针对6组不同幅数无人机林区影像进行拼接，计算出每组实验平均特征点正确匹配率，平均特征点正确匹配率见表3。

表3 平均特征点正确匹配率Tab.3 Average matching rate of feature points %

4种算法对多幅影像拼接时平均特征点正确匹配率相差不大，SIFT约为47%，SURF约为42%，ORB约为38%，KAZE约为51%。SIFT算法和KAZE算法有着较高的正确匹配率，这是由于SIFT算法在特征点提取及特征点描述过程中表现出的稳定性，KAZE算法是基于非线性尺度空间的特征点检测算法，其特征点提取较稳定。SURF算法和ORB算法有着较低的正确匹配率，这是由于SURF算法采用Harr小波特征对特征点进行方向确定，并采用64维向量作为特征描述子，ORB算法引入了角点检测的方法，且拼接林区多为高郁闭度影像，无人机拍摄时间为2018年9月，为林分生长茂盛时期，低郁闭度区域较少。

3.2.3 影像拼接效果

本文运用SIFT算法、SURF算法、ORB算法和KAZE算法拼接出64幅无人机林区影像，从整体视觉效果可以看出4种算法对影像拼接相差不大，对后期进行林分内冠幅提取、生物量估算等方面都有很大帮助。4种不同算法对64幅影像拼接效果如图9所示。从图9中可以看出，由于ORB算法匹配正确率低、匹配数量少的原因，在进行影像拼接过程中会出现拼接错位、变形现象，其中标记位置1有明显的错位现象，将高郁闭度区域拼接到低郁闭度区域；标记位置2为明显变形现象，林间道路变形。而SIFT算法、SURF算法和KAZE算法匹配率较高，拼接结果表现较好，未发现变形、错位现象。

4 结论与讨论

本文分别运用SIFT算法、SURF算法、ORB算法和KAZE算法对获取的不同郁闭度林分的无人机影像进行拼接研究，从影像拼接过程中的特征提取数量、特征匹配数量、匹配正确率和影像拼接消耗时间4个方面进行了对比分析。结果表明，运用SIFT算法和KAZE算法在拼接林区无人机影像时，两种算法可以保证特征点匹配的正确率，但是两种算法的时间效率较低；SURF算法和ORB算法可以保证拼接的时间效率，但针对正确匹配率存在一定的不足。针对低郁闭度林区无人机影像拼接，ORB算法正确匹配率与SIFT算法相差不大，但是所耗时间短，所以低郁闭度林分无人机影像拼接可选择ORB算法；针对中、高郁闭度林分无人机影像拼接，SIFT算法和SURF算法正确匹配率在45%左右，KAZE算法在55%左右，若研究偏向于精度，则选择KAZE算法，若研究更偏向于效率，则选择SURF算法。

本研究采用的4种算法对林区影像的拼接精度较低，这是由于进行林区影像拼接时，影像中林分冠幅多且密，特征点提取困难。但SIFT算法对一般居民区及平原地区影像拼接精度可达到75%左右[20]，ORB算法对一般居民区及平原地区影像拼接精度可达到65%左右[21]，提高无人机林区影像拼接精度是下一步研究的主要方向。而且由于无人机在进行拍摄时会发生抖动，所以造成获取无人机影像发生模糊、扭曲等现象，在拼接时会发生较大程度变形，而且本文算法在进行拼接时是将获取的相邻影像依次导入进行拼接，对无序无人机影像进行拼接时本研究的3种算法并不适用，所以，今后研究方向要偏向于去除质量差的影像并进行无序无人机林区影像拼接。

图9 不同算法拼接结果 Fig.9 Image stitching results by different algorithms