一种多特征自适应学习机制的目标跟踪算法*

甘展鹏 许华荣，2 何原荣 曹 卫

（1.厦门理工学院计算机与信息工程学院 厦门 361024）（2.厦龙工程技术研究院 龙岩 364000）

1 引言

随着计算机和科学技术的发展，机器视觉广泛的应用于人们生活中的方方面面。在实际的生活中，目标跟踪技术已经广泛地应用于智能视频监控、汽车导航、无人机的目标跟踪、智能交通等行业中［1～5］，而相关滤波凭借的高速的处理能力和良好的跟踪正确率受到人们的青睐。在2010年，Bolme［6］等人，通过计算最小均方误差（MOSSE）计算相似性，首次将时域转换到频域进行计算；2014年，Henriques等提出了多通道HOG特征的核相关滤波器KCF［7］；Danelljan提出了具备尺度变化判别的DSST算法［8］；2014年的SAMF［9］提出一种将灰度、HOG和CN相结的多特征表示以及加入尺度估计实现目标跟踪；在2016年，Bertinetto等提出STAPLE［10］，利用颜色直方图滤波器和HOG滤波器进行互补学习跟踪；在2017年，Danelljan提出ECO［11］通过因式分解卷积的方法简化特征提取。

上述的算法对相关滤波目标跟踪进行了一定程度上的改进。但是依旧存在以下几个问题：跟踪的精度和正确率有待提高；在运动模糊或者遮挡情况下，容易发生漂移或者跟踪失败。针对以上问题，本文分别单独训练HOG+Gray滤波器和CN滤波器，然后线性加权融合两个滤波器的响应图，来提高判别器判别能力；通过构建尺度池，求取最大尺度来响应输出最佳尺度变化，以及融入反向检测输出正确尺度；通过目标历史运动状态以及响应变化提出一种自适应学习率机制，实现动态的模型更新。

2 KCF跟踪算法

在跟踪器的训练过程中，KCF利用循环矩阵进行密集采样，得到样本集：{x1，x2，x3，...， }xn构建线性岭回归模型：

其中，yi是样本xi的标签，f为滤波器，ω为滤波器参数，λ为正则化系数。

对线性岭回归进行求解可得：

其中，X为样本的循环矩阵，I为单位阵。

为了提高跟踪器的判别能力，利用非线性函数φ(x)将样本集映射到高维空间，此时

其中，α是w的对偶空间变量。并且引入核技巧，最终岭回归的解为

其中，K为核相关矩阵。借助循环矩阵的性质，最终求得在频域中的解为

其中，∧表示傅里叶变换，k∧xx表示样本x在傅里叶中的自相关。

3 一种多特征自适应学习机制的目标跟踪算法

3.1 多特征线性融合

为提高跟踪器的判别能力，将HOG、GRAY和CN三种不同属性的特征进行线性加权融合。首先训HOG+GRAY特征的滤波器和CN颜色滤波器。其次，计算两个滤波器的APCE［12］（average peak to correlation energy）响应值。最后，线性加权融合两个滤波器的输出响应，得到最终响应。其中，APCE计算如下：

其中，R是响应图，“mean”为均值操作。

分别计算两个滤波器输出响应的置信值APCEHOG+GRAY，APCECN来自适应线性加权得到最终响应R：

其中，RHOG+GRAY、RCN分别是HOG+GRAY和CN滤波器两个滤波器的输出响应图。

3.2 尺度滤波器与反向检测

针对KCF不具备尺度变换问题，文献［8，13］采用一个一维的尺度估计滤波器来输出对应目标的尺度，并加入反向检测机制，提高尺度判别准确的。

通过当前帧目标的宽P、高R以及尺度因子a来确定目标的尺寸：

根据式（10）生成对应大小的图像块，并且提取每个图像块的d维特征，从而训练一个尺度滤波器h。

虽然通过尺度滤波器能够较好地在物体发生尺度变换的情况下正确的框出大小，但是难免会出现尺度估计错误的情况。如图1 human3中，目标尺度发生很微小的变化，但是由于尺度滤波器错误估计，导致纳入太多错误背景信息，发生滤波器跟踪丢失。

图1 human3视频序列

因此，本文针对上述问题，提出一种反向检测的方式来避免错误的尺度估计。具体流程：首先通过尺度滤波器输出最佳目标尺度，然后将得到的新尺度反向的进行上述的HOG+Gray滤波器和CN颜色特征滤波器检测并线性融合得到新的响应图R，通过计算当前估计尺度下目标的APCE置信度和前一帧APCE置信度的大小。当反向检测最终的APCE满足APCEt<β*APCEt-1时候，停止更新目标尺度；否则更新目标尺度。

3.3 自适应学习率

由于传统的KCF采用固定的学习率进行更新模型逐帧更新，所以当物体发生快速运动或者遮挡的时候容易导致模型污染。针对以上问题，本文提出一种根据物体运动速度与APCE相结合的自动学习率调整模型。在先前提到的APCE中，其可以反映响应图的波动情况。当目标快速移动或者发生遮挡的时候APCE会出现明显的下降，意味着当前的响应置信度不高，此时可以通过调低学习率或者禁止模型更新，防止模型引入过多的噪声干扰。更新率θ1与APCE取值之间的关系满足以下公式：

其中，mean_apce是历史帧的均值，公式如下：

图2 APCE的变化-更新率曲线

在式（11）和（12）中的APCE由式（6）计算得到。

有时候，单独的使用APCE来计算更新率不一定能够很好地反映物体的运动状态。因此引入物体运动速度来估计模型的更新率。当物体快速移动的时候，应加大更新率，防止模型更新过慢而导致跟丢；当物体运动较为缓慢，可以降低更新率。本文将上一帧目标的中心位置与当前帧目标的中心位置的欧氏距离视为物体每一帧的运动速度。更新率θ2与速度v之间的关系式如下［14］：

当物体发生遮挡的时候，根据文献［13，15］提出的遮挡判别策略，本文将两者的优点融合在一起，用于物体发生遮挡的时候，停止模型更新。

首先，计算当前的相邻两帧的峰值变换情况：

其次分别计算历史峰值变换均值：

根据式（12）计算历史均值mean(APCE)与APCEt之间的比例关系。在两种同时满足一点比例的时候，说明物体发生了遮挡应以较小的学习率更新模型或者停止模型的更新。

最终，为了得到更加鲁棒的自动更新率，本文将两者进行线性融合，每隔两帧计算最终的学习因子η，如下：

3.4 算法步骤

本文算法步骤如下：

输入：视频帧frames.

输出：目标框target_sz，中心位置Pos.

1）初始化HOG+Gray位置滤波器和CN位置滤波器，尺度滤波器h.

2）对于第i帧，根据式（7）计算位置滤波器最终的响应图R.

3）根据位置滤波器得到的目标位置，通过尺度滤波器计算S个尺度下对应的响应，输出尺度滤波器最佳尺度S_Best，并将该尺度反向传回到位置滤波器HOG+Gray和CN进行计算APCE置信度，从而输出最终的最佳目标尺度.

4）每隔两帧计算当前目标的学习因子，更新目标滤波器的模型.

4 分析与讨论

4.1 实验环境

实验以Matlab 2015a为开发平台，在Windows 10系统，处理器Inter（R）Core（TM）i5-9300H CPU@2.40GHz的电脑上测试。实验用的是Visual Tracker Benchmark测试的OTB-100数据集进行测试［16～17］。在整个目标跟踪实验里，与主流的跟踪算法DSST、MOSSE_CA［18］、DCF_CA［18］，KCF、SAMF、CT［19］、CSK［20］共七种算法进行对比实验。

4.2 实验系数确定

经过实验表明，在算法跟踪矩形框与实际标注框的中心距离设置为20的情况下，自动学习率的系数选择为b=0.018，c=0.01实验成功率最好。

表1 不同系数下的目标跟踪成功率

4.3 定量分析

经过试验分析，本文的参数选择为首帧学习率learning_factor=0.02；动态学习率更新系数b=0.018，c=0.01，β=0.95，η1=1.5，η2=0.45，KCF和DSST的λ=10-4。其余参数和KCF、DSST一样。

从上图可以得知，本文的算法在OTB-100数据集上，选择OPE评测方法得到的DP和OP相较于其他7种算法具有较好的成功率和精度。在精度曲线图设置评测阈值为20像素点的情况下，DP得分为0.776，相较于SAMF和DCF_CA分别提升了2.5%和3.2%；在重叠率阈值为0.5的情况下，OP得分为0.699，相较于SAMF和DSST提升了3%和8.6%。为了更好地评测本文算法与其他算法的性能差异，在OTB-100数据集中11种不同属性目标跟踪场景下进行分析。表2～3中格数据加粗的为评分第一，下划线为第二。

图3 8种算法在OTB-100中得到的精度曲线图和成功率曲线图

从表2～4可以看出，在保持较好的跟踪速度的同时，本文算法还能够具备较优的跟踪准确率。

表2 8种目标跟踪算法在11种不同场景下的距离精度DP评价指标

表3 8种目标跟踪算法在11种不同场景下的成功率OP评价指标

表4 8种算法在OTB-100上的平均速度和精度

5 结语

本文算法是在传统的KCF核相关滤波框架上，提出一种多特征融合、尺度判别和自适应学习率的跟踪算法。经过实验表明，本文算法在目标尺度变换、遮挡、快速运动以及光照变化等具有较好的跟踪鲁棒性。同时，在跟踪速度上平均帧率为45.5fps，满足实时物体跟踪要求。本文算法主要是针对目标跟踪的短时跟踪，接下来的工作可以从长时间目标跟踪入手；本文选择的特征主要是传统的手工特征，为了达到更好的跟踪效果，未来可以尝试更具深层次的深度特征。