基于机器视觉的非特定目标实时跟踪研究

曹 超，管沁朴

（1.中航电测仪器股份有限公司，陕西西安 710117；2.北京市智行者科技有限公司，北京 102200）

在过去的几十年中，计算机和视觉传感器性能不断提高且成本大幅下降，这为计算机视觉的发展提供了很好的硬件基础[1-3]。视觉跟踪作为机器视觉的关键技术，在众多场合都有着广泛的应用前景和价值[4-5]。而小型无人机在空中拥有着天然的广阔视野优势，可以对目标进行跟踪直接获取现场情报，研究无人机目标实时追踪具有重要的实用价值[6-7]。考虑到跟踪鲁棒性、快速性、精度以及功耗等问题，目前现有的跟踪算法往往难以兼顾所有方面，文献[8]为提高无人机在目标跟踪运动中的精度，提出一种基于相关滤波器的响应融合策略，利用融合响应图对目标进行精准的追踪，该方案有效解决视差和光照变化的不利影响，但是鲁棒性较差；文献[9]提出一种综合级联分类器与卡尔曼滤波的无人机目标追踪方案，能够过滤错误目标，在对实时性要求不高的场合具有良好的应用效果；文献[10]提出一种基于深度学习的无人机目标追踪算法，能够在复杂环境中准确识别追踪目标，但是对平台要求较高，实际应用仍需要进一步研究。结合无人机的目标追踪的实际应用的需求与特点，研究一种高速度、低功耗和高鲁棒性的目标跟踪算法具有重要意义。

1 目标跟踪技术

1.1 基于相关滤波的目标跟踪算法

目前主流的目标跟踪算法按照跟踪原理的不同可分为判别类和生成类[10-12]。判别类目标跟踪算法主要通过分类器对目标的前景图像和背景图像进行辨别，跟踪鲁棒性好，在线学习分类耗时较长；生成类目标跟踪算法中，基于相关滤波的跟踪算法的应用较为广泛，国际知名跟踪算法网站VOT 排名前三的算法：DSST、SAMF 和KCF 全部采用了相关滤波，其中速度最快的KCF的平均跟踪速度达到了172 fps。近些年深度学习同相关滤波相结合的算法逐步兴起，但是采用深度学习的算法在运算速度上依旧难以满足实时性的要求，无法应用于小型计算平台。考虑到无人机对于目标跟踪算法在跟踪实时性、鲁棒性和准确性的要求，该文采用相关滤波目标跟踪算法。

相关滤波（Correlation Filter,CF）源于信号处理领域，目前广泛应用于图像处理领域[13]。相关滤波分为Cross-correlation 和Auto-correlation，而该文使用的一般Cross-correlation，即互相关。该滤波函数定义如式（1）所示：

其中，f*代表f的复共轭，★代表互相关运算。

相关滤波衡量了输入信号和模板信号在某时刻的相似程度，可以设计模板信号，使该信号作用到跟踪目标时响应最大，算法跟踪时选取响应最大的输入图像作为跟踪的目标。假设最大响应目标函数为g(x)，在跟踪前根据输入图像f(x)（跟踪目标）生成一个合适的模板信号h(x)，则三者满足以下条件：

计算相关函数时可以使用快速傅里叶变换，避免矩阵求逆，计算速度快。相关函数和傅里叶变换具有如式（3）～（4）所示的关系。

其中，ℱ 代表傅里叶变换；⊙代表点乘。

求得H后只需进行傅里叶逆变换即可得到时域内的模板函数，至此训练基本完成。目标跟踪时在目标可能存在的区域采样进行相关滤波操作，寻找响应最大的输入作为跟踪结果。对于多个图像（假设m个）的训练，需要寻找H使得所有的训练样本误差最小，如式（5）所示。

1.2 目标跟踪特征

图像特征的选取原则是计算量小、特异性强，但实际应用的技术难以实现理想的特异性，需要目标跟踪算法避免特异性误差带来的误匹配问题[14-15]。此外，不同的跟踪目标具有不同的特点，在提高特征的特异性的同时，需要考虑应用场景中目标的特点。无人机在执行跟踪任务时，主要的跟踪目标有行人、车辆、船舶、建筑等。这些跟踪目标的主要特点如表1 所示。

表1 无人机跟踪目标的特点

SIFT、SURF、FAST 等特征点需要选取图像中部分特殊的点进行特征计算，不便于建立完备图像，该文不选用以上特征。HOG 和LBP 特征在表现性能上比较接近，两者运行速度较快，对光照不敏感，且包含一定的边缘和纹理信息，比较适合相关滤波跟踪[16]。HOG 特征将图像分为若干区域进行归一化梯度统计，而LBP 通过对单个像素点的邻域像素值进行对比得到特征值，LBP 对车辆、建筑等刚体目标的跟踪效果并不如HOG 特征。由于刚体目标跟踪场景在无人机的应用中更为常见，因此该文采用HOG作为主要的图像特征。

考虑到无人机在白天对目标进行跟踪时，通常采用信息更加丰富的可见光相机，仅仅采用HOG 这类表征结构信息的特征会丢失大量颜色信息。颜色信息包含了目标的大量表面材质信息，对区别目标有着重要作用；此外HOG 特征并不能适应于跟踪大形变目标，因此该文引入颜色特征作为辅助特征，颜色特征采用颜色直方图，利用积分图进行简化计算，不占用太多计算资源，对目标形变不敏感，有效弥补了在彩色图像跟踪时的短板。

综上，该算法最终选取HOG 特征和颜色直方图作为本跟踪算法的跟踪特征。

2 跟踪算法设计

2.1 目标跟踪算法

首先设计目标评估函数f，使得评估结果最大的图像即为所跟踪的目标，如式（6）所示。

其中，pt为第t帧图像中跟踪目标所在的矩形；St是第t帧图像中所有可能的矩形；T为图形图像变换函数；θt-1为上一帧的模型参数。

评估函数f由两部分组成，分别为模板评估函数和颜色直方图评估函数，模板评估函数使用HOG 特征点对结构进行评估。具体公式如式（7）～（9）所示。

损失函数如式（10）所示，理想的情况下，单图像的损失函数如式（11）所示，相关参数的计算如式（12）所示。该文的损失函数采用最小二乘损失和二次调节器，可以在封闭的形式下获得解，不会因为样例的增加而额外增加内存需求。

2.2 在线跟踪学习

单张图像损失计算公式如式（13）所示，其中hk代表多通道图像h的第k通道，y是预想的响应函数。

为降低信号的边缘效应，该文应用汉宁窗，根据在DSST 代码中的方法，采用式（16）求近似解，在线更新方程如式（17）所示。

颜色跟踪评估函数需要从每张图像中进行学习，包括前景目标和背景目标。考虑到颜色跟踪只是用于辅助HOG 特征跟踪，且颜色特征在光照变化时极易发生较大变化，在颜色跟踪学习中作如下处理：在当前跟踪时，根据前一帧的结果和当前帧的情况对颜色特征进行处理，前一帧之前的数据不再引入计算中。将计算结果同HOG 特征跟踪响应相融合，从而决策出融合后的目标位置。具体步骤如下：

1）根据前一帧的计算结果，划定前景目标（跟踪目标）和背景目标（跟踪目标周围的环境）；

2）分别统计前景目标和背景目标的颜色直方图；

3）根据上一帧预测的目标区域，放大一定比例作为搜索区间；

4）对搜索区间内的所有像素，统计其在前景目标和背景目标中出现的次数Num_F 和Num_B；

5）对搜索区间内的像素，计算其数目目标的概率：(Num_F)/(Num_F+Num_B)；

6）以任一点为中心，统计周围（目标框内）概率总和，进行概率归一化，使实际目标中心点响应最大；

7）将该概率响应融合叠加到HOG 特征对应的频率响应中。

3 仿真实验

3.1 实验环境与测试指标

为验证跟踪算法性能是否满足要求，采用了业内公认的标准测试集测试该文算法的跟踪性能，同时将本算法的表现与其他算法结果进行比对，验证该文算法的有效性和先进性。在测试序列上，选择VOT2014的3 个测试序列进行分析对比，分别是Suv、Car 和Sunshade。此测试序列覆盖面广，场景比较复杂且较为典型，包括光影变化、尺度变化、遮挡和消失等。测试指标方面，用跟踪结果和真值重叠部分占两者总面积重叠率Sarea表征跟踪效果，结果越接近1，说明跟踪效果跟真值越接近；如果小于0.5，则认为跟踪失败。误差指标用算法输出的结果中心点的集合距离与真值矩形框对角线的距离的比值Sdis来表征，比值越小，说明跟踪结果跟实际值越吻合；当大于0.5，则认为跟踪失败。

3.2 仿真结果分析

1）测试集Suv

该测试集为灰度图，无彩色特征，在小型无人机跟踪场景中较为常见，当小型无人机夜间执行任务时，通常使用红外相机对目标进行拍摄，在这种情况下只能得到目标的低分辨率灰度图像。

测试结果如图1～3 所示。根据跟踪结果对比可以看出，该算法跟踪表现情况比较优秀；Struck 算法则在受到遮挡后出现较大误差，甚至出现了失败的情况。目标重叠率方面，KCF 算法、DSST 算法和该文算法表现优秀；Struck 算法在大约650 帧后丢失目标，发生跟踪错误。跟踪结果中心点偏差得分方面，该算法的表现优秀，在目标受到严重遮挡期间，仅仅产生10%左右的偏差。

图1 测试集Suv简图

图2 测试集Suv面积重叠率对比

2)测试集Car

图3 测试集Suv中心点偏移比例对比

测试结果如图4～6 所示。该测试集为乡间公路的一辆小汽车由远及近，最后离开的过程。跟踪过程中发生较大的视角变化以及尺度变化；中途有一定的树木遮挡。该测试集难度高，从图中明显看出，该文跟踪算法比其他算法表现更好，只有大约两帧左右出现跟踪失败（小于0.5），而其他算法结果跟踪失败明显严重许多。

图4 测试集Car简图

图5 测试集Car面积重叠率对比

图6 测试集Car中心点偏移比例对比

3）测试集Sunshade

测试结果如图7～9 所示。该测试集展示了一个载人摩托车从隧道中逐渐驶出的过程，视角保持在目标后方。该测试集主要考察跟踪算法对光照变化的适应能力。在该测试集中，该文算法相对KCF 和Struck 算法表现出了巨大的优越性，自始至终都保持了很好的跟踪效果。KCF 勉强能保持跟踪，但是跟踪结果却逐渐变大，丧失了足够的精确性；Struck 则出现严重失误，尺度估计严重出错，跟踪失败。

图7 测试集Tunnel简图

图8 测试集Tunnel面积重叠率对比

图9 测试集Tunnel中心点偏移对比

综合测试集测试结果，对跟踪精度和帧率取加权平均，得到对比结果如表2 所示。文中算法在跟踪精度方面同DSST 算法类似，都有着极高的跟踪精度；在鲁棒性方面，该文算法要领先其他3 个对照算法；在速度方面，该文算法单线程运行跟踪帧率超过60 fps，已经足以满足普通计算平台的实时跟踪需求。

表2 跟踪算法性能对比

4 实际飞行实验

4.1 实验平台

该实验所用主要平台及硬件如表3 所示。安装完毕后的无人机如图10 所示。

图10 飞行硬件平台

表3 飞行实验主要硬件模块

4.2 测试结果分析

1）地面静态标识跟踪

该跟踪目标为草地中的一个H 标识。初始化跟踪框后开始跟踪，然后无人机绕目标旋转一周，目标始终被跟踪程序锁定。该过程的部分画面如图11 所示。该次跟踪效果很好，目标自始至终都精确位于跟踪框内，没有出现明显的偏差和跟踪失败的情况。

图11 静态目标跟踪

2）简单背景下行人跟踪

该跟踪目标为草地背景中的行人，行人有各种折返运动、转身、跳动以及在灌木丛中下蹲等动作。跟踪过程同样平稳可靠，并且目标始终被锁定在画面中。抽取的部分跟踪画面如图12 所示。从图中可以看出，此次跟踪效果依然很好，行人在地面上的运动丝毫没有对跟踪算法造成任何问题，始终被锁定在画面中，没有出现跟踪误差增大以及丢帧等现象。

图12 简单背景动态目标跟踪

3）复杂背景行人跟踪

该跟踪目标为复杂背景下的行人，该行人在路边行走，中途在一辆车旁躲闪的情景。抽取部分关键画面如图13 所示。从图中可以看出，此次跟踪效果很好，没有出现跟踪失败或者跟踪偏离的情况。

图13 复杂背景动态目标跟踪

根据实际飞行实验可以看出，无论是静态目标还是复杂背景下的运动目标，该文目标跟踪算法都保持了非常好的跟踪效果，从未出现跟踪误差偏大、跟踪结果跳动以及丢失跟踪目标等问题，验证了所提出算法的有效性和实用性。

5 结论

目前已有的无人机目标跟踪算法存在各种局限性，难以同时在鲁棒性、准确性和快速性等方面同时取得非常理想的效果。该文所提出的目标跟踪算法采用HOG 特征和颜色特征作为输入，以最小方差原则在频域内训练相关滤波器；在目标检测时将颜色特征置信概率融合到相关滤波响应中，选取综合得分最高的点作为跟踪结果。采用HOG 特征代替图像灰度作为输入，使得该算法对目标小变形和旋转的敏感性显著下降，提高了鲁棒性；在滤波器检测到的响应中加入颜色特征的置信概率，则提高了该算法对目标发生大变形时的跟踪能力，降低了失败率。

需要注意的是，无人机跟踪算法需要在实际使用平台上进行优化加速。文中算法在部分关键特征计算方面采用了SSE 加速的方式，如果应用于ARM平台，则需要改用NEON 进行运算加速。