无人机地面目标跟踪相关理论与技术研究

首先归纳了实现无人机地面目标跟踪的基本要求和干扰因素，针对跟踪过程中出现的问题总结了前辈的解决思路，通过分析无人机航拍视频的特点，阐述常用的无人机地面目标跟踪的方法，分析比较不同算方法的优缺点及场景适应性。

无人机通过目标跟踪算法，实时准确的估计视频序列内目标的状态信息来完成对目标的跟踪任务。目前已经涌现出非常多的目标跟踪算法，并划分了一些类别，这些算法都有各自的优势和缺陷，但并不都适用于无人机航拍视频图像的目标跟踪，且大多数算法是针对某一特定的场景或应对某一干扰因素的影响，无法满足实际复杂场景的需求。本章根据无人机航拍视频图像的特点，分析影响目标跟踪的关键因素，最后阐述常见的无人机地面目标跟踪方法，总结其适用范围及场合并分析其优缺点，为本文算法奠定了理论基础。

无人机目标跟踪的特点

无人机由于体积小、灵活性强、研发成本低等特点，广泛应用于军事领域并逐渐在民用领域快速延展，将目标跟踪算法运用于无人机上，实现对感兴趣目标的实时跟踪具有实际意义和应用价值。一个鲁棒的跟踪算法应该满足以下四个基本要求：

(1)实时性。跟踪算法必须能够高速处理机载相机捕获的实况图像帧，这样才能满足现实需求；

(2)鲁棒性。跟踪算法可以有效地抵御实际环境中出现的多种干扰因素的影响，正确跟踪目标；

(3)准确性。目标跟踪算法对目标中心位置、尺度和旋转角度的准确估计；

(4)目标再确认性。当目标消失再出现时，跟踪算法仍然可以及时捕获目标，继续进行跟踪。

无人机航拍视频图像中，目标尺寸较小，视野范围较大，常常存在目标尺度变化，地面环境复杂，相似目标出现等复杂的背景信息。虽然目标跟踪技术日益成熟，但是由于实际环境中仍然存在众多干扰因素，实现复杂环境下准确稳定跟踪目标对象，且要保证实时性，依然是一个极大的挑战。无人机视频目标跟踪主要存以下五类干扰因素：

(1)复杂的背景。复杂的背景指的是图像中存在阴影、光照变化或相似目标，阴影不属于运动目标区域，却会随着目标一起运动，光照变化导致目标区域亮度不均匀，相似目标的存在会诱导算法收敛到相似目标的位置，造成跟踪漂移。

(2)目标外观变化。目标外观变化主要是指目标旋转角度和尺度的改变，跟踪的目标主要有刚性和非刚性两种类型，刚性目标是指物体不会发生形状上的改变，如汽车、水杯、玩偶等；非刚性目标是指物体外形出现变化，目标外观的变化会造成初始模板或特征失效的后果，进而造成跟踪器发生漂移现象，最终导致跟踪失败。

(3)局部遮挡变化。视频序列中，由于新物体的出现导致目标被部分遮挡，引起目标特征信息变化，严重影响跟踪器的性能，使跟踪不稳定。

(4)目标消失再出现。目标消失之后，无法获取当前帧图像目标的任何信息，只能根据目标的先验知识来预测目标的位置，当目标再出现，且其运动状态发生较大变化时，会使跟踪结果出现较大的偏差。

(5)相似目标干扰。在跟踪的画面当中，含有与跟踪目标的颜色、外形、尺寸等相似的目标出现，由于目标和相似目标之间具有相似的特征，导致相似目标被当作目标，造成追踪失败。

上述的干扰因素成为阻挡无人机目标跟踪技术走向工程应用的拦路虎，为此，全球各地的研究人员提出了许多解决办法，如在线性、非线性有着较好应用的卡尔曼滤波和粒子滤波；基于分类思想的目标跟踪算法，标记正负训练样本，送入分类器进行学习，能够有效的解决目标本身变化的问题。但是这些算法都只是针对特定的一种或几种干扰因素，无法满足实际复杂场景的跟踪需求。

目标跟踪问题的解决思路

总体来说，针对目标跟踪问题的解决思路主要分为两类：(1)自底向上。该方法无需依赖目标的先验知识，直接利用图像中的相关信息跟踪目标；(2)自顶向下。该方法通过计算后验概率或者置信值进行跟踪，通常依赖目标的先验知识。

(1)自底向上。自底向上思路解决目标跟踪的代表思想是David Marr的视觉计算理论，通过恢复3D图像得到目标的空间位置。而目标跟踪就是从场景中得到目标相关信息，这与Marr视觉计算理论不谋而合。自底向上跟踪方法通常总结为四步：首先进行预处理，主要去除噪声，获得质量较高的图像以便后续使用；其次检测活动目标，获得只包含活动目标的相关运动信息；再次判别目标，运用分类器识别运动目标，判断是否为跟踪的目标，最后达到目标跟踪的目的。采用自底向上方法可以对目标快速检测并进行跟踪，因此该方法通常用于实际项目中。但是当摄像机处于运动状态时，该方法难以检测和跟踪运动目标，使得该方法在应用方面受到极大限制。

(2)自顶向下。Bar-Shalom的目标跟踪与关联思想是解决目标追踪问题最典型的方法，运用贝叶斯理论框架时，通常以状态空间法对运动目标进行跟踪，假设运动目标的状态向量由{Xk}k=0,1,2,...描述，k表示离散时间序列，状态方程为：

其中，Fk为状态转移矩阵；Vk是状态噪声。

其次是观测确定向量{Zk}k=0,1，k代表离散时间序列，观测方程如式(2)：

其中，Hk为测量矩阵；Wk为测量噪声。

在式(1)和式(2)中，假设{Vk}k=0,1,2,...和{Wk}k=0,1,2,...噪声变量都服从于独立的同分布。

在k时刻，假设状态的先验概率是p(Xk|Z1：k)，其中，Z1：k={Z0,Z1,...Zk}表示从一开始到k时刻的所有观测量。将目标追踪过程可由以下两个步骤得到：

第一步预测：

第二步更新：

至此，获得k+1时刻的后验概率p(Xk+1|Z1：k+1)。其中，p(Xk+1|Xk)用来描述目标状态转移几率，用来呈现系统的动态特性。当系统噪声服从于高斯分布，且Fk和Hk符合线性关系时，可以采用卡尔曼滤波获得后验概率，同时p(Xk|Z1：k)和p(Xk+1|Z1：k+1)都必须服从高斯分布。当Fk和Hk之间是非线性关系时，可以使用扩展的卡尔曼滤波获取后验概率，同时此后验概率仍服从高斯分布。卡尔曼滤波常用于处理线性、高斯的单一情况，而实际场景中后验概率的分布通常是非线性、非高斯的复杂情况，这种情况下通常使用粒子滤波方法跟踪目标。

当使用自顶向下的思路进行目标跟踪时，使用数学模型来描述目标的先验知识难度很大，而采用模型匹配方法却消耗大量的时间，实时性较差。

无人机地面目标跟踪方法方

与一般摄像机拍摄的视频相比而言，无人机航拍视频的特点是无人机距离目标更远，视野范围更大，视频帧中存在大量道路、树木和城市建筑等背景信息，目标占视频帧的比例相对较小，通常适合处理一般视频的跟踪算法不一定适合于无人机视频的跟踪。例如目前的基于深度神经网络的目标跟踪算法，由于处理速度慢，不能满足无人机目标跟踪的实时性要求，TLD算法针对含有相似目标出现干扰因素的视频跟踪，跟踪容易漂移且实时性较差。

近年来，众多科研人员提出较多的目标跟踪算法，常用于无人机视频的目标跟踪方法的分类情况如图1所示。

基于光流的目标跟踪方法

光流可以描述连续视频帧之间的变化，该方法实现目标跟踪的思想是首先从视频序列中计算得到光流场，然后通过光流矢量信息确定下一帧目标大概位置。

目标跟踪过程中，当连续视频帧之间存在目标位移时，目标与背景之间就会存在相对位移，光流法就是根据这种相对运动来检测出运动目标。基于光流法目标跟踪以三个假设为前提：

(1)目标区域像素亮度恒定；

(2)目标在视频相邻帧间的运动较为“微小”；

(3)相邻像素点具有相似的运动。

在不借助目标的先验知识的条件下光流法在动态背景中可以估计目标的运动状态，但其对光照和噪声变化比较敏感。

基于滤波的目标跟踪方法

基于滤波的目标跟踪方法主要包括CamShift目标跟踪方法，卡尔曼滤波和粒子滤波方法。以下分别对其简述。

(1)MeanShift目标跟踪方法

1975年，Fukuang等提出Meanshift目标跟踪方法，Meanshift目标跟踪是一种基于核密度估计的非参数特征匹配跟踪方法，只对数据本身进行特征提取，因此该算法在实际应用中有较强的适应性。

图1 目标跟踪算法分类

(2)CamShift目标跟踪方法

1998年，Bradski提出Camshift目标跟踪方法。由于该方法中的模板不能进行实时更新，而且跟踪过程中核函数的带宽固定不变，当目标尺度变化或者受到外界干扰时，跟踪器性能明显下降。而CamShift方法进行逐帧MeanShift运算，这样既可以实现对目标模板实时更新，也可以使跟踪窗口自适应变化。

(3)卡尔曼滤波方法

卡尔曼滤波方法为一种小方差最佳线性递推方法，通过预测能够获取下一帧目标的位置。卡尔曼滤波方法可根据状态方程和预测方程来实现，状态方程可对系统状态进行客观描述，预测方程用来预测下一时刻的状态。

(4)粒子滤波方法

从p(x0：k|z1：k)中获取粒子，根据重要密度函数q(x0：k|z1：k)对粒子采样，粒子权值可以表示为：

假设已经获得k-1时刻的后验密度，为了近似后验密度重要密度函数可以转化为：

通过式(6)对粒子进行权重的分配，实时更新粒子的权重，为了便于计算，可以将p(x0：k|z1：k)做以下调整：

即，

权重更新方程如式(10)：

采样函数具有无后效性的特性，因此公式(10)可以转化为：

通过递推方式可以计算粒子的重要性加权值。但粒子滤波方法中存在粒子退化的问题，经过多次迭代之后，大量的粒子的权值比较小而被忽略，丢失样本有效性与多样性。

基于特征匹配的跟踪方法

图2 云台控制相机转动实验结果

图3 目标被局部遮挡实验结果

基于特征匹配的跟踪方法主要是通过特征辨别视频图像中的目标和背景来跟踪目标，因此选择特征至关重要，在选择特征进行匹配时，应该以量少质优为原则，若特征数量较多，匹配过程中会消耗大量的时间，实时性较差；若特征数量较少，又不能够准确描述目标，难以分辨背景和目标，所以选取合适的特征和特征数量是至关重要的。

基于学习的目标跟踪方法

基于学习的目标跟踪方法是对目标样本和周围背景样本进行分类学习，通过分类器辨别两者，从而获取目标的位置，实现对目标的跟踪。由于分类器需要实时更新，因此能够有效地应对运动目标存在的形变问题，但不可避免的是分类器在更新过程中会出现分类错误的情况，最终导致跟踪漂移，跟踪结果不稳定。

图4 目标被消失再出现场景的跟踪结果

图5 目标形变场景的跟踪结果

图6 目标形变场景的跟踪结果

实验结果与分析

为了验证系统的跟踪性能，本节对系统设置多种特殊场景进行实验，图像采集部分采用Gopro运动相机，该相机自带一个小型两自由度的云台，可以实现水平旋转和垂直俯仰功能，且提供软件的二次开发包。云台水平旋转角度(-45̊～45̊)，垂直俯仰角度(-135̊～90̊)。

实验环境：CPU 2.1GHz以上，GPU gtx960 1400MHz, 安装内存4GB，硬盘空间10G以上处理器，windows10操作系统。

(1)云台控制实验

云台控制实验结果如图2所示，当目标距离无人机20m左右，横向运动速度变化在0.3m/s～6m/s，横向行进30m，可仅通过云台控制使目标保持在画面中心1/3范围内，从测试实验结果可以看出，云台能够控制镜头，使目标处于视野范围内。

(2)目标被局部遮挡

实验跟踪结果如图3。将行人作为目标进行跟踪实验，目标跟踪过程受到雨伞遮挡，最大遮挡达到60%时，系统仍然能够正确跟踪目标。

(3)目标消失再出现实验

跟踪结果如图4所示。根据系统设定，所跟踪的目标最大消失时间为15s，从测试实验结果得出，当目标消失再次出现时，系统仍然可以准确跟踪目标。

(4)目标发生形变实验

测试实验结果如图5所示。经系统设定，目标蹲下又站起，存在目标形变形变干扰因素。对此系统具有鲁棒的跟踪结果。

(5)相似目标干扰

测试实验结果如图6所示。系统跟踪目标过程中，出现同行行人的相似目标干扰因素，从实验结果可以看出，系统跟踪的有效性不受同行行人的影响，可以正确跟踪目标。

(参考文献：略。如有需要，请联系编辑部。)