基于PSR样本分类的自适应去污算法

史思琦，马彦军，李南廷，郑莉平

1.西安理工大学 自动化与信息工程学院，西安 710048

2.西安理工大学 电气工程学院，西安 710048

3.陕西省复杂系统控制与智能信息处理重点实验室，西安710048

基于相关滤波的目标跟踪算法具有速度快、精度高等特点，广泛应用于对跟踪实时性要求较高的应用领域，如智能视频监控、人机交互和精确制导等[1-2]。该类算法在跟踪过程中通过寻找滤波器响应峰值来定位目标位置。实际跟踪过程中受目标形变、姿态变化、交替遮挡和背景光照等干扰因素的影响，采集到的目标样本通常会受到严重污染[3-4]从而造成滤波器参数训练错误和模型漂移，最终导致目标跟踪失败。

针对样本严重污染导致目标跟踪失败的问题，学者们提出了许多解决方法。文献[5-7]在训练过程中直接丢弃受到污染的样本，容易导致滤波器模型漂移和跟踪失败。Bolme等人对峰值旁瓣比（peak sidelobe ratio，PSR）较小的新样本不予以保留，一定程度上提高训练样本的质量[8]。Kalal等人通过基于空间和时间约束生成的正样本和负样本解决模型漂移问题[9]。Supancic等人提出重新访问被拒绝样本来更新训练集的策略[10]。Hong等人采用基于关键点的长期记忆组件来检测遮挡并刷新短期记忆，提高了遮挡场景下目标跟踪性能[11]。上述方法虽然有效提高了污染场景下算法的跟踪性能，但是难以应对复杂污染场景。

Danelljan等人在2016年提出了一种基于跟踪模型与训练样本权值联合学习的样本集自适应去污算法（AdaDecon）[12]。该方法采取在线共同优化滤波器参数和样本权值的方式，通过大量样本训练重新确定每帧的样本权值从而纠正模型漂移的错误。该算法在一定程度上提高了复杂污染场景下滤波器的性能，然而面向持续遮挡等严重污染场景下的样本去污效果较差，容易造成目标跟踪失败。

针对上述问题，本文研究了样本分类机制，对滤波器参数及样本权值进行动态更新，提出了一种基于PSR样本分类的自适应去污算法，提高复杂污染场景下目标跟踪的准确性和鲁棒性。

1 AdaDecon算法

AdaDecon算法[12]将跟踪过程中采集的所有样本作为下一帧的训练样本，通过最小化损失函数训练相关滤波器参数θ和更新样本权值α，从而实现样本自适应去污。

AdaDecon算法的损失函数如公式（1）所示：

其中，αk是第k帧的样本权值，nk是第k帧中样本数量，(xkj,ykj)是第k帧中第j个样本，R(θ)为正则项，μ和λ为正则化参数。LCF是相关滤波器的损失函数。

先验权值函数ρk根据时间对样本权值进行赋值。时间越近，样本权值的先验值越大。先验函数ρk如公式（3）所示：

其中，K表示最新的样本数。学习率η满足η∈[0,1]。常数m的定义如公式（5）所示：

采用ACS迭代法[13]获得公式（1）中LAD(θ,α)的最优解。在单次迭代中，参数θ和α的求解方法如下：

更新θ：令α=αi-1,αi-1表示i-1次迭代的权值。当i=1时，α为上一帧计算出的权值。固定α的值，利用公式（6）来求θ，求解θ的方法与具体的滤波器相关。公式（6）为相关滤波器的损失函数。

采用凸二次规划对公式（8）求解，即可求出该次迭代中的α。

2 基于峰值旁瓣比样本分类的自适应去污算法

针对AdaDecon算法在复杂污染场景下容易导致模型漂移、跟踪失败等问题，本章提出了基于峰值旁瓣比样本分类的自适应去污算法提升目标跟踪的鲁棒性。

2.1 响应图特性分析

相关滤波器响应图是对目标跟踪结果的矩阵描述，能够直观反映了应相关滤波器的跟踪状态性能。峰值旁瓣比（PSR）[8，14]是分析滤波器响应图特性的一种方法，其定义如下：

其中，gmax、gmin和gx,y分别表示响应图G中最大、最小和坐标为(x,y)的响应值，N为响应图G中元素个数。

图1给出了应用SRDCF算法[15]对Box序列跟踪的实验结果。图1（a）为存在严重污染时目标跟踪结果，其跟踪框内目标外观变化十分明显。图1（b）为图1（a）对应污染帧滤波器的输出响应，其响应图发生剧烈震荡和多峰现象。图1（c）为跟踪成功过程中的滤波器响应图psr的变化曲线，其中受到严重污染视频帧所对应滤波器的psr值非常小且变化幅度大。

通过分析图1发现：目标外观变化程度和滤波器响应图震荡程度与psr值成反比关系。psr值越小，响应图震荡程度越剧烈、目标外观变化越大；psr值越大，响应图震荡程度和目标外观变化越小。由于遮挡、形变、背景干扰等污染因素通常导致目标外观发生变化，因此，滤波器响应图的psr值能够直观反映目标受污染程度。

图1 相关滤波器响应图特性分析Fig.1 Characteristic analysis on response map of correlation filter

2.2 样本分类机制

通过深入分析psr值与目标污染程度之间的相关性，本节提出了基于psr的样本分类机制来提高训练样本类别的多样性。

样本分类的关键是建立合理的分类阈值选取准则。通过大量实验分析发现，当psr下降到10左右时，目标发生遮挡或剧烈形变[16]，提取的样本污染程度高、有效特征信息量少。为了有效训练滤波器参数，通常设定最小分类阈值pmin来丢弃低于该阈值的样本。当psr高于100时，目标形态发生变化较少、差异性小，提取样本的污染程度较低。因此，为了保证样本分类的有效性和合理性，本文设定对于样本划分，分类阈值应具有较大的梯度，从而保证不同分类区间所对应的样本具有明显的差异性。同时，为了增强样本种类的丰富性，将高于最大分类阈值pmax的样本作为一个样本集。

基于上述分类阈值的选取准则，本文采用样本分类函数对所有样本进行合理分类。具体分类过程为：首先在第一帧将psr取值范围划分为M个子区间，对每个子区间初始化出大小为N的样本集，在后续帧中计算出响应图的psr值，通过样本分类函数将该帧提取的样本划分到对应的子样本集中。样本分类后将得到第t帧的M个样本集合

样本分类函数的定义如下：

本文将所提出的样本分类机制方法与SRDCF跟踪算法相结合，验证样本分类的有效性。图2给出了Basketball序列的分类结果（第140帧）。其中，公式（10）中相关参数设定为：M=2,pmin=10,pmax=p1=25,p2=2 500。从图2可以看出，两个样本集之间具有较大的差异性。样本集#1中大部分样本受到遮挡、形变等因素污染，样本集#2中样本之间的相似度高、基本无污染。结果表明，本文提出的样本分类机制不仅有利于区别不同样本之间的差异性，而且有效增强了训练样本集的多样性。为了降低样本集的冗余性和保证实时性，可以进一步合理减小样本集容量。

图2 样本分类结果Fig.2 Results of sample classification

2.3 动态更新策略

与AdaDecon去污算法不同，本文算法在跟踪过程中需要同时更新不同样本集中的样本权值及其对应的相关滤波器参数。考虑到直接对各个样本集进行操作会大大增加计算复杂度、降低跟踪实时性，本节提出了滤波器参数和样本权值的动态更新策略。

通过分析发现，跟踪过程中每一帧提取的目标样本只能划分到某单个样本集中，即在每一帧中只有一个样本集更新了样本。因此，本文引入psr值动态筛选有新样本加入的特定样本集，把该样本集作为参数更新和训练相关滤波器的特定对象。而且，本文简化了参数更新的过程，提出了更新特定样本集中样本权值和滤波器参数的处理方法。

这里，在2.2节提出样本分类阈值的基础上，分别训练出不同样本集对应的SRDCF滤波器，从而获得融合后的滤波器（公式（11）和（12）所示），通过对比不同滤波器的跟踪结果，验证SRDCF算法分类阈值动态更新策略的有效性。图3给出了不同滤波器对Tiger序列的跟踪结果对比。滤波器#1和滤波器#2分别为样本集#1与样本集#2所训练出的滤波器。从图中可以看出，子滤波器#1跟踪目标时出现了位置偏差，滤波器#2和融合后的滤波器跟踪比较准确。原因为样本集#1的分类阈值小，样本污染程度高，训练出的滤波器可靠性低；样本集#2的分类阈值大，样本污染程度小，训练出的滤波器可靠性高，跟踪目标时，该类别对应的滤波器具有更大的权值。跟踪结果的对比验证了滤波器融合方法的有效性。

图3 滤波器跟踪结果对比Fig.3 Comparison of tracking results of filters

2.4 算法实现流程

本文提出的样本去污方法适用于现有相关滤波跟踪框架。为进一步说明其实现过程，将本文方法与SRDCF跟踪算法相结合提出了改进SRDCF算法用于目标跟踪。

改进SRDCF算法的损失函数定义为：

改进SRDCF算法的实现流程如下：

初始化：在第一帧中设置样本分类阈值pn及其分类样本集数量M，对每类样本集设置大小相同的滤波器。

3 实验与分析

3.1 实验环境、参数及评价指标

实验平台的环境如下：CPU主频为1.60 GHz的Intel Core i5-8250U，GPU为NVIDIA GeForce MX150，运行内存为8 GB；仿真软件为MATLAB2018b。

实验测试数据选取TC-128和OTB-50公开数据集，用于检验样本去污效果及其目标跟踪性能。

由于受实际硬件平台的制约，实验参数设置为：样本集的分类数量M=2（即高污染和低污染两类），单个样本集的最大样本容量N=30,样本分类阈值pmin=8，p1=25,p2=2 500，所选取的对比算法中滤波器等参数均与原论文保持一致。

实验结果评估采用通用的OPE指标，包括精确度曲线和成功率曲线。精确度是指中心位置误差（CLE）小于设定阈值的帧数所占比值。CLE表示为：

其中，(xi,yi)表示滤波器预测的目标中心位置，(x0,y0)表示人工标注的目标实际位置。实验中，中心位置误差阈值设置为20个像素。

成功率是指跟踪边界框与人工标注真值框之间的重叠率超过设定的阈值帧数所占的比例，重叠率（OR）计算公式为：

其中，rt为跟踪框，ra为真值框。实验中，重叠率阈值均设置为0.5。

3.2 样本去污能力

为了评估本文方法的样本去污能力，对存在遮挡污染的Lemming序列进行跟踪。将2.4节提出的改进SRDCF算法与基于AdaDecon样本去污的SRDCFDecon算法和原始SRDCF算法进行对比实验。

图4给出了上述算法在第330帧（发生遮挡）和第375帧（遮挡结束）的跟踪结果和样本权重曲线。从两帧的样本权重曲线可以看出，375帧遮挡结束时，本文算法与AdaDecon算法均降低了330帧中污染样本的权值，但AdaDecon算法仍保留有较多污染样本且污染样本权值仍比较高，反映出该算法去污能力较弱。同时，该算法在去污过程中丢弃了先前大量低污染的高质量样本，增加了污染样本对滤波器的影响，容易引起滤波器漂移，因此在遮挡结束时跟踪失败。

图4 样本去污效果对比Fig.4 Comparison of sample decontamination

相比之下，本文提出的样本去污方法不仅显著减小了遮挡区间内污染样本的数量及其权值，而且保留了较多未受遮挡影响的低污染样本，并赋予了这些高质量样本较高的权值，从而降低了严重污染样本对于滤波器训练的不利影响，有效抑制了滤波器漂移，提高了跟踪算法的准确性和鲁棒性，因此能在遮挡结束后保持目标的准确跟踪。

3.3 目标跟踪性能

为了评估样本去污对目标跟踪性能的提升，选取SRDCF、KCF[17]、DSST[18]、BACF[19]、SAMF[20]、FAST和ECO-hc[21]等主流跟踪算法，将2.4节中改进SRDCF算法与上述相关滤波类算法进行对比，并对实验结果进行定量分析。

图5给出了各类跟踪算法在OTB-50和TC-128数据集上OPE评估曲线。从图中可以看出：与SRDCFDecon算法相比，改进SRDCF算法的跟踪精确度（OTB50：75.14%，TC128：66.73%）分别提高了9.50%和4.73%，跟踪成功率（OTB50：77.86%，TC128：71.32%）分别提高了5.32%和2.40%。此外，改进SRDCF算法的跟踪成功率均优于其他算法。

图5 目标跟踪性能评估Fig.5 Performance evaluation of target tracking

表1和表2分别给出了上述算法在不同污染场景下目标跟踪成功率的统计结果。这些污染场景包括光照变化（IV）、平面外旋转（OPR）、尺度变化（SV）、遮挡（OCC）、形变（DEF）、运动模糊（MB）、快速运动（FM）、平面内旋转（IPR）、移出视野（OFV）、背景杂波（BC）和低分辨率（LR）。从表中可以看出，在上述11种污染场景中，特别是形变、快速运动、运动模糊和平面外旋转等场景，SRDCF算法的跟踪成功率明显领先其他跟踪算法。

表1 OTB-50数据集上的目标跟踪成功率对比Table 1 Comparison of tracking success ratio on OTB-50 dataset

表2 Temple-Color数据集上的目标跟踪成功率对比Table 2 Comparison of tracking success ratio on Temple-Color dataset

以上实验结果表明，本文方法能够在不同污染场景下增强滤波器性能、提高跟踪算法的成功率。

3.4 严重污染场景

为了更直观地分析严重污染场景下改进SRDCF算法的目标跟踪性能，在存在多种污染因子的Basketball、Girlmov以及Yo-yos-ce2三组典型视频序列上，将改进SRDCF算法与3.3节中跟踪成功率较高的BACF、ECO-hc和SRDCF三种相关滤波算法进行对比实验，并对实验结果进行定性分析。

图6给出了上述跟踪算法对三种典型视频序列的跟踪结果。在Basketball序列中，由于光照、形变等污染因素影响，其他三种跟踪算法学习了大量污染样本的信息，导致滤波器模型发生漂移、跟踪精度降低，而改进SRDCF算法降低了污染样本的影响，保证了跟踪的准确性。在Girlmov序列中，目标长时间被遮挡导致其他三种跟踪算法中滤波器完全失效、跟踪失败，而改进SRDCF算法由于具有对低污染样本的记忆能力，在遮挡结束后快速、准确地恢复了跟踪。在Yo-yos-ce2序列中，由于目标形态过小且运动速度快，四种算法均跟踪失败，但改进SRDCF算法在较长时间内能够保持对小球的有效跟踪。

图6 典型场景视频序列跟踪结果对比Fig.6 Comparison of tracking results on representative video sequences

以上三组典型视频序列的实验结果表明，改进的SRDCF在严重污染场景中具有更好的跟踪稳定性，也进一步验证了本文方法的去污能力。

4 结论

针对训练样本被污染容易导致相关滤波目标跟踪算法发生模型漂移、跟踪失败的问题，本文采用峰值旁瓣比对所有训练样本进行分类处理并动态更新样本集的权值及其对应相关滤波器的参数，提出了基于样本分类的自适应样本去污算法。该算法适用于现有相关滤波目标跟踪框架，能够有效提高复杂场景下滤波器的跟踪性能。在后续工作中，将进一步研究复杂场景下弱小目标的样本去污方法。