基于改进TLD算法的无人机自主精准降落

陈菲雨，岳文斌，饶颖露，邢金昊，马晓静

山东大学 海洋研究院，山东 青岛266237

1 引言

近年来，具有尺寸小、重量轻、良好隐蔽性等特点的无人飞行器已经广泛使用，而多旋翼无人机系统因其结构更加简单、良好的稳定性、灵活的起飞着陆模式、占地面积小、转向性能好等，成为民用/商业和研究领域的热点。面对越来越多地无人机民用新需求，比如动态追踪拍摄[1]、快递行业定点投送物品[2]等，对微型无人机的自主精准降落技术[3]提出了新的挑战。

由于四旋翼无人机尺寸小、飞行速度易变、飞行环境复杂，因此，实际的无人机自主精准降落技术对目标定位和跟踪方法的精度与速度有较高的要求。基于全球定位系统（Global Positioning System，GPS）导航[4]的自动定位是目前最常用的方法，但GPS引导自动定位有一定的不足。首先，不做特殊处理的GPS定位精度仅能达到10 m，对于地形复杂的区域，比如建筑群密集的城市，无人机很可能因为导航误差在低空区域坠毁；其次，GPS信号受非空气介质的极大干扰，在森林等遮挡物较多的区域，会造成误差增大，甚至可能丢失信号；专业级高精度GPS设备成本昂贵，不具备经济实用性。

精密GPS测量技术同时也在不断发展，如差分GPS技术、RTK（Real Time Kinematic）技术等，虽然能达到厘米的精度，但其位置更新速度仅在10 Hz 左右，并不能满足无人机在多种环境下的快速实时控制，以实现精准降落。鉴于现有的定位技术精度和速度不高，故而利用视觉方向的图像处理技术来进行无人机的定位辅助是一个可尝试的解决方向。对无人机视野中得到的特定目标进行图像相关的处理，利用目标跟踪算法实现检测、识别与跟踪降落目标，但是目前已有的算法并不能完全满足精准定位所需的精准度与实时性，因此如何优化跟踪算法以满足实际需求，仍是无人机精准降落的核心问题。

近年来在目标跟踪方向的算法研究取得了较大进展[5-10]，典型算法如KCF 算法，虽然该算法的实时性较好，但该算法在目标处于复杂背景中或者消失又重新出现视野中等情况时，会错误或丢失跟踪的目标。目前也有很多关于深度学习在跟踪目标方面的研究，这些算法即使可以达到较高的跟踪精度和实时性，但仍不能在长期跟踪目标方面实现突破。TLD 目标跟踪算法是一种综合性能较好的算法且能很好地适应长时间的跟踪，特别是在跟踪快速移动的目标、会被遮挡的目标、消失又重现的目标及其他复杂情况时，其性能相对优于其他算法，但是由于该算法复杂度高，检测模块和学习模块计算量大，计算过程复杂，所以实时性仍差强人意。

本文在分析TLD 和KCF 算法的基础上，针对无人机自主精准降落过程的特点，用KCF 算法代替了TLD算法中的跟踪器，提高了TLD算法的鲁棒性，并提出在降落过程中采用一种基于方向梯度直方图特征（Histogram of Gradient，HOG）和支持向量机（Support Vector Machine，SVM）的目标识别方法，以实现目标检测自矫正，保证长时间准确跟踪目标，从而提高了算法跟踪目标的速度及精度。为了验证本文方法的有效性，针对无人机实际降落时的数据集进行测试，与其他几种跟踪算法进行了对比，最终进行了实际降落测试。

2 TLD算法组成框架

TLD算法由三个模块组成，如图1所示，分别为：跟踪模块、检测模块与学习模块[11]。跟踪模块采用光流法跟踪器，且为获取其中的稳定跟踪点，TLD 算法引入了基于NCC（Normal Cross Correlation）[12]相似性计算和前向后向跟踪法的失败检测机制，最后将稳定跟踪点之间的位移中值与尺度变化中值作为跟踪模块的输出。检测模块对每一帧采用多种尺度进行全局扫描，并将得到的检测窗口依次通过级联分类器，将最终通过的窗口作为检测模块的输出。跟踪模块与检测模块独立并行地对每一帧进行处理，将两者的结果依据一定的融合策略进行融合，得出最终的跟踪位置。学习模块根据跟踪结果对当前帧的正负样本进行采样，并采用P-N学习策略[13]对目标模型进行学习与更新。

图1 TLD算法组成框架

在TLD 算法的跟踪模块中，光流跟踪器在目标出现快速运动、遮挡或者光照发生变化等情况时易产生跟踪漂移[14-15]，进而导致跟踪失败。而在TLD 算法中，检测模块的训练样本是实时获取的，若算法运行初期，跟踪模块无法为检测模块提供“高质量”的训练样本，则检测模块的准确性无法得到提高，进而导致算法丧失重检测的功能。在实时性方面，为了选取稳定跟踪点，跟踪模块在光流法的基础上增加了前向后向跟踪机制和运算量较大的NCC 相似性计算[11]，因此算法的运行速度受到影响。综上所述，单纯的TLD 算法并不能满足无人机实现自主精准降落时所需要的实时性及鲁棒性。

3 基于TLD框架的目标跟踪算法

本文提出了一种基于TLD框架的改进目标跟踪算法，整体结构如图2 所示。在改进算法中，跟踪模块使用KCF 算法，该算法通过核函数对多通道的HOG 特征进行融合，其跟踪精度比传统TLD 算法中的光流跟踪器精度更高；同时该算法将将时域图像转换到频域处理，降低了算法的复杂度，满足了无人机降落的实时性需求。检测模块使用级联分类器对目标进行精确定位，提高了算法的检测效率。改进算法中包含的TLD学习部分，解决了当目标在当前图像中消失后，KCF 算法会将背景当做目标进行跟踪，而目标重新出现后无法继续跟踪原目标的问题。同时由于本算法应用于无人机自主精准降落，对第一帧降落目标的自主准确获取至关重要，同时后续长期的目标跟踪准确率也需得到保证，故而本文算法采用基于HOG和SVM的检测自矫正模块，以固定频率检验并矫正跟踪算法得到的目标位置。

3.1 基于KCF算法的跟踪模块

本文算法引入KCF 算法作为跟踪器，KCF 跟踪算法的核心思想是将跟踪目标区域进行循环移位，从而构造大量的样本来训练分类器；通过核函数来计算候选区域与跟踪目标的相似程度，选取相似度最大的候选区域为新的跟踪目标；同时利用离散傅里叶变换降低分类器训练和检测过程中的运算量。

3.1.1 训练样本集合

KCF 算法中一张目标区域的样本图样x 需要在训练分类器的过程中使用，记x 是l×n 的向量。但KCF算法与其他判别算法的不同点在于，在分类器的训练过程中，KCF算法并不严格区分正样本和负样本。

使用置换矩阵P 对唯一的目标区域样本图像进行循环移位，得到训练样本集合其中：

记Xi为循环移动i 位后的训练样本，Xi=Pix,∀i=0,1,…,n-1 构成循环矩阵X：

对于训练的样本Xi，赋予标签γi（γi值服从高斯分布）。

3.1.2 分类器训练

在KCF 算法中，分类器可以计算出所有候选区域成为跟踪目标的概率，判定概率最大值的候选区域为跟踪目标。训练分类器的过程可以用以下数学公式描述：

图2 本文算法整体结构

即找到最优的w，使得代价函数（4）最小。其中λ 用于控制系统的结构复杂性。

由文献[16]可知：

其中，αi为对应训练样本Xi的系数；φ(x)是将训练样本x 映射到高维度特征空间的函数，任意两个样本x和x*在高维度特征空间的相关性或相似度为φT(x)φ(x*)=κ(x,x*)，其中κ 为高斯核函数。

其中，F 为离散傅里叶变换；F-1为离散傅里叶逆变换。由所有训练样本Pix(i=0,1,F,n-1)构造该矩阵K，K 的元素Ki,j=κ(Xi,Xj)，由文献[16]可得：

其中a=[a1,a2,…,an]。对上式进行傅里叶变换：

3.2 TLD检测模块及学习模块

TLD检测模块采用扫描窗口对每一帧进行处理，并给出其中是否含有待检测目标。如此一来，检测部分可以得到目前为止所有目标的特征，而且在必要的时候矫正跟踪位置，不断修正跟踪器，检测模块部分其实是一种级联分类器结构，每个可能出现待检测目标的区域，依次经过方差分类器、集成分类器和最邻近分类器，上述任何一个分类器都可以判断当前检测区是否含有检测目标，但是只有这三个分类器均判断含有目标才能被确认当前检测区域含有检测目标。

学习模块[18]是TLD算法框架中的亮点和重点，该模块的作用是提高检测器的性能。学习器是一个在线的过程，在视频的每一帧中，学习器希望能够评估当前检测器，判断其是否出现错误并及时更新以避免将来出现类似的错误。该模块采用半监督的P-N学习模式，即当检测器对样本分类产生错误时，针对不同的错误提供不同的模型来进行纠正，其中P模型针对检测时漏检的正样本进行改正；N模型针对检测时误检的正样本进行改正。

3.3 基于HOG和SVM的检测自矫正模块

无论是TLD 算法还是核相关滤波算法，均为半主动跟踪，即没有目标的先验信息，需要外部的初始化，而在无人机自主精准降落的过程中，需要实现主动跟踪，即自动实现先验信息初始化。在本文的方法中，将通过边缘检测和轮廓提取的方法，确定有形状特征跟踪目标的先验信息，实现初始化。但在实际定位过程中，由于光照、移动、遮挡、尺寸变化等原因，跟踪目标的初始化往往会出现一些问题，因此本文采用了如图3所示的基于HOG[19]和SVM[20]的检测自矫正模块对先验信息进行矫正，以保证后续跟踪检测的准确度。

无人机降落过程中获得的图片通过上述流程后，将得到的预测结果同经过边缘检测和轮廓提取方法获得的跟踪目标信息相比较，计算两种结果的重合度，从而判定是否需要进行矫正，如若需要，则将最终通过矫正模块获得的结果作为初始化信息。

同时由于目前的跟踪算法都无法在长时间的跟踪过程中实现可靠的效果，本文还设置一定的时间节点（本文采用25 帧图片序列）进行检测矫正，重新检测跟踪目标，获得最小外接矩形框，同时调用本模块获得目标信息并计算重合度。此时，当出现跟踪失败的情形时，即两种结果重合度低于阈值时，可以实现及时对跟踪结果的矫正。

在无人机反复实现降落的过程中，本校正模块将在不同条件下获得的降落目标图像信息进行在线学习，不断提高本模块的矫正精度，为无人机的精准降落提供有力支持。

4 实验结果分析

图3 基于HOG和SVM的检测自矫正模块

为了验证本文改进算法（标记为Ours）的有效性，对其进行了定性及定量分析，最后还进行了无人机实际降落测试。实验的软件环境为Matlab2014a、Visual Studio 2013，测试硬件环境为Intel®Core™i7 2.8 GHz。用于进行实验对比的TLD 算法和KCF 算法均采用基于opencv3 的C++语言实现，且上述算法的源码均从其作者提供的网站上获得，被跟踪的目标均是由边缘检测及轮廓提取处理第一帧视频获得。为了验证本文算法的优越性，拍摄了模拟无人机实际降落至特定目标位置时的视频进行测试，这些视频均在同一拍摄条件、拍摄环境下完成，涵盖了目标快速移动、目标遮挡、相似目标干扰、目标尺度变化、目标旋转、目标出视野及光照强度变化等复杂情况，共计7 类视频序列40 组视频序列。实验中对于所有的测试视频，算法中的参数均保持不变。

4.1 定性分析

对本文算法在已有的40 组视频序列上进行测试，并与其他三种算法进行了比较，这三种算法分别：KCF、TLD和KCF+TLD，为了更直观地对算法进行定性分析，本文选取了组具有代表性的视频用于展示，图4为各组视频序列实验结果的部分截图。

目标遮挡：在名为Person、Paper、Similar-paper 的三类视频序列组中，目标均存在被遮挡的现象。以Person-1 为例进行分析，如图4（a）所示，目标被人遮挡后再次出现，KCF 将不能跟上重新出现在视野中的目标，而是将移动的目标判断为跟踪目标，表明本文算法相较于KCF而言跟踪效果更好。

目标旋转：在名为PR45、PR90、PR180、PR360 的四类视频序列组中，目标均存在旋转的现象，并旋转了不同的角度。以PR180-1、PR360-2 为例进行分析，如图4（b）及图4（c）所示，目标在进行不同程度的旋转后，只有本文算法能够精准地将目标包含在跟踪框内，其他算法均在一定程度上将多余的部分包含入目标框。

尺度变化：在名为SV 的这类视频序列组中目标均发生了尺寸变化，以SV-M 为例进行分析，如图4（d）所示，在目标的尺度逐渐变大的过程中，只有本文算法及KCF+TLD能准确的将目标包含在跟踪框内。

目标移出视野：在名为OV的这类视频序列组中目标有较长一段时间以不同次数消失在视野中，以OV-2分析为例，如图4（e）所示，可以看到只有本文算法能够从始至终的跟踪目标，跟踪结果不会因为目标移出视野受到影响。

光照强度：在名为LR 的这类视频序列组中目标受到的光照强度会发生变化且目标在LR-M 视频序列中会发生移动，以LR-M分析为例，如图4（f）所示，可以看到只有本文算法能够始终对目标保持稳定的跟踪。

复杂背景：在名为BC-person、BC-box、BC-pbox 的三类视频序列组中，目标均处于背景复杂的环境中，且在BC-pbox及BC-person视频序列中背景中均有移动物体，分别为人与纸箱。以BC-pbox1分析为例，如图4（g）所示，可以看到本文算法与其他算法跟踪效果均不错，始终可以对目标保持稳定的跟踪，不受移动的复杂背景影响。

4.2 定量分析

图4 跟踪算法的定性比较

定量分析采用的两种定量评价方式为：精度曲线（precision plot）和成功率曲线（success plot），评价时需要用到的两个指标是中心位置误差和重叠率，中心位置误差（Center Location Error，CLE）指的是目标跟踪位置与目标真实位置之间的平均欧氏距离，重叠率（Overlap Rate，OR）指的是跟踪目标区域和实际目标区域的交集与并集之比。精度曲线描述的是中心位置误差小于给定阈值的视频帧数占总帧数的比值，成功率曲线描述的是重叠率大于给定阈值的视频帧数占总帧数的比值。在本文中精度曲线和成功率曲线的阈值分别设置为20 pixel和0.5。

图5 为利用OTB2013 测试平台原理[21]在MATLAB软件平台上运行得到的精度曲线与成功率曲线对比图。由图可知，本文算法的精度和成功率在所有算法中均排第一，分别达到了90.80%和79.26%，较KCF算法提高了6.07%和7.06%，较TLD算法提高了6.54%和15.19%，较KCF+TLD算法提高了10.62%和5.27%。

图5 OTB2013测试标准得到的精度曲线与成功率曲线

表1、2描述了所有算法在本测试数据的7个属性上取得的精确度与成功率。由表可知，本文算法在尺度变化（SV）、快速运动（FM）、出视野（OV）、复杂背景（BC）、目标旋转（PR）和光照强度（LR）这6个属性上的跟踪精度及成功率均排第一，目标遮挡（OCC）这一属性上，两项指标以0.079和0.15的劣势仅次于KCF。

在跟踪速度上，各算法在7 类视频序列共计40 组视频序列上的平均帧率如表3所示，本文算法的平均帧率达到31.47 f/s，虽然本文算法的平均帧率并非最高，但本文算法相较于传统算法在各项属性及平均帧率上的综合表现，仍可认为本文算法取得了较好的实时跟踪效果。

表1 不同属性上各算法的精度对比

表2 不同属性上各算法的成功率对比

表3 各算法的平均帧率对比（f·s-1）

5 自主降落实验验证

为测试算法在真实环境下的性能效果，搭建了室内及室外的实验环境，如图6、7 所示，并进行了多次测试。实验采用的是型号为M100的大疆四旋翼无人机，降落图像信息通过无人机机载云台获取并通过图传设备进行传输，飞控系统和计算机之间通过无线数传进行通信。

图6 无人机在室内环境进行降落

图7 无人机在室外环境进行降落

无人机收到计算机给出的起飞指令后，按照既定路线飞行后到达降落地点（视野内出现特定降落目标），从距离地面5 m的高度开始进入自主精准降落程序，云台将含有降落目标的图像信息传给计算机，实时计算出无人机与降落目标的相对位置，再由无线传输将相对位置目标告知飞控系统，飞控系统控制无人机完成整个自主降落过程。

本文通过同一四旋翼无人机在同一飞控系统的控制下，分别在室外及室内实验环境下进行自主降落实验。为防止结果的偶然性，本文在室内或室外的同一环境下，每种算法均进行8次实验，总共进行了64次实验，每次实验过程中，上述的7项属性均在不同程度上对无人机的降落条件进行改变，同时在室外实验过程中，风速大小也将影响降落过程，此时对算法的实时性及精准性有较高的要求。降落结果评价方式分为平均降落时间、平均降落精度及降落成功率，其中降落精度为无人机云台中心与降落目标中心之间的水平距离。

图8 为实验过程中环境发生典型变化时无人机云台所获取的图像信息，表4则描述了各算法在室内及室外环境中分别进行实验的结果。由表4可知，虽然传统算法在部分实验过程中降落精度及降落时间优于本文算法，但传统算法均会在目标移动、旋转、遮挡等因素的影响下发生跟踪失败从而降落过程被迫中断的情况，如KCF算法在目标上方出现移动遮挡物后，将出现跟踪错误目标的情况；TLD 算法则由于其实时性较差，若在室外实验的过程中风速较大，无人机将难以控制其保持在降落区域，从而降落时间较长，甚至最终完全偏离降落地点；KCF+TLD 算法在多数情况下虽然能够较为快速而精准的降落，但面对一些干扰，如降落目标移动、遮挡物遮挡等，仍会出现跟踪错误的情况，由于没有检测自矫正模块，无人机仍将跟踪错误从而降落失败。本文算法在数次实验中出现失败在于降落阶段风力超过4 级（吹起尘土、沙粒、降落目标纸张等），即使算法的实时性能够满足要求，飞控系统也较难控制无人机实现精准降落。综上，通过实际实验验证，本文算法的鲁棒性、实时性和精准度均优于其他算法，能够有效地实现无人机全自主精准降落。

图8 无人机在变化环境下降落的云台信息

6 结束语

本文针对在光照变化、运动模糊以及目标遮挡等复杂情况下，传统TLD算法及KCF算法易出现跟踪失败、实时性较低等问题，在TLD 算法框架下引入了KCF 跟踪器，并根据无人机实际降落需求及流程，增加了基于HOG和SVM的检测自矫正模块，提高了长时间下跟踪算法中心位置点确定的精准度即跟踪的准确性，同时算法的实时性也得到了提高，为后续无人机得到相关位置信息从而进行控制打下了坚实的基础。本文对改进的算法利用OTB2013测试标准及测试视频序列组进行评价，结果显示改进算法的跟踪精度与成功率分别达到了90.80%和79.26%，在所有测试视频上的平均帧率达到了31.47 f/s。对本文改进算法在数据集中各个属性上的定性分析表明，在尺度变化、快速运动、出视野、复杂背景、目标旋转和光照强度变化这几种复杂情况下，改进算法与其他三种算法相比，具有更好的准确性与鲁棒性。通过在室内及室外进行自主降落实验，验证了本文算法在不确定环境下相较于其他算法的良好降落性能。

表4 各算法的降落结果对比