采用核相关滤波器的长期目标跟踪

杨德东，蔡玉柱，毛　宁，杨福才

(河北工业大学 控制科学与工程学院，天津 300130)



采用核相关滤波器的长期目标跟踪

杨德东，蔡玉柱*，毛宁，杨福才

(河北工业大学 控制科学与工程学院，天津 300130)

针对核相关滤波器(KCF)跟踪算法在目标跟踪中存在尺度变化、严重遮挡、相似目标干扰和出视野情况下跟踪失败等问题，提出了一种基于KCF的长期目标跟踪算法。该算法在分类器学习中加入空间正则化，利用基于样本区域空间位置信息的空间权重函数调节分类器系数，使分类器学习到更多负样本和未破坏的正样本，从而增强学习模型的判别力。然后，在检测区域利用Newton方法完成迭代处理，求取分类器最大响应位置及其目标尺度信息。最后，对最大响应位置的目标进行置信度比较，训练在线支持向量机(SVM)分类器，以便在跟踪失败的情况下，重新检测到目标而实现长期跟踪。采用OTB-2013评估基准50组视频序列验证了本文算法的有效性，并与30种其他跟踪方法进行了对比。结果表明：本文提出的算法跟踪精度为0.813，成功率为0.629，排名第一,相比传统KCF算法分别提高了9.86%和22.3%。在目标发生显著尺度变化、严重遮挡、相似目标干扰和出视野等复杂情况下，本文方法均具有较强的鲁棒性。

核相关滤波器；长期目标跟踪；空间正则化；支持向量机(SVM);在线SVM分类器

*Correspondingauthor,E-mail:caiyuzhu001@sina.com

1　引　言

目标跟踪是计算机视觉的最重要组成部分之一，其可用于监控、人机交互和医疗图像[1]。目标跟踪，是在视频序列的初始帧，给定目标的初始状态(比如位置和尺寸)，并在随后的视频序列中估计出目标的状态。影响跟踪算法性能的因素很多，比如尺度变化、遮挡、出视野等，目前也不存在可以处理所有应用场景的跟踪方法。

近年来，对目标跟踪问题的研究取得了许多进展，涌现了很多跟踪算法。根据目标外观模型的表达策略，可将跟踪方法分为生成式方法[2-3]和判别式方法[4-12]。生成式方法，学习一个外观模型来表示目标，然后在图像区域进行搜索，将与外观模型最相似的区域作为目标。生成式方法丢弃了在目标周围能够将目标从背景中区分出来的有用信息。判别式方法是将跟踪看成一个二元分类的问题，其利用训练数据学习到一个分类器，将目标从背景中分离出来。

最近，已有学者将基于相关滤波器的方法[13-20]成功应用在目标跟踪问题中。Bolme等[13]提出了一种在灰度图像上学习一个最小输出平方误差和(MOSSE)相关滤波器的跟踪算法，该算法只需要一个目标区域的样本图像训练目标外观模型，通过离散傅里叶变换将目标与所有候选区域之间的相似度计算转换到频域，显著地提升了跟踪算法的运行速度。Henriques等[14]提出了循环结构的检测跟踪(CSK)算法，该算法对训练样本进行循环移位，可近似看成对目标的密集采样，从而得到大量训练样本的训练分类器。另外，对候选图像块同样采用循环移位，构造大量候选图像块区域用于分类器的检测过程。分类器的训练和检测过程都可以利用离散傅里叶变换在频域实现快速计算。Danelljan等[15]提出了自适应颜色属性视觉跟踪(CN)算法，使用颜色属性扩展CSK跟踪器，并且采用自适应降维技术将11维的颜色属性特征向量降到了2维，实时地选择比较明显的颜色属性特征，实现了自适应颜色跟踪。Zhang等[16]提出时空上下文跟踪(STC)算法，主要利用深度时空上下文信息，将目标周围的背景信息加入到卷积滤波器模型的训练当中，以减弱部分遮挡对目标的影响，对遮挡因素具有一定的抵抗力。Henriques等[17]在CSK的基础上提出核相关滤波器(KCF)跟踪算法，使用方向梯度直方图(HoG)[21]特征代替原来的灰度值特征，将相关滤波器由单通道扩展到多通道，提升了跟踪性能。

为解决相关滤波器方法无法处理目标尺度变化问题，Li等[18]提出了一种基于特征融合的尺度自适应核相关滤波器(SAMF)算法，其融合了颜色属性特征和HoG特征，应用尺度池解决尺度变化；文献[19]在传统的基于检测的目标跟踪框架下，设计了一种尺度估计策略，实现了自适应尺度目标跟踪；文献[20]提出了一种基于相关滤波器和尺度金字塔的尺度估计机制，并设计了遮挡检测模块，降低遮挡对尺度变化估计的影响。

当目标受尺度变化、严重遮挡、相似目标干扰和出视野等因素影响时，KCF算法很容易出现跟踪失败的问题。针对这一问题，本文在KCF的基础上，引入空间正则化和在线SVM分类器重定位组件，解决了KCF跟踪器在跟踪过程中目标因严重遮挡、相似目标干扰和出视野因素而造成的跟踪失败问题，实现了基于KCF的长期跟踪。为验证本文方法的有效性，利用OTB-2013[22]评估基准的50组完全标注的视频序列以及跟踪-学习-检测(TLD)[6]算法提供的两组长期跟踪视频序列进行测试，并与KCF及OTB-2013评估基准所包含的29种跟踪算法进行了对比。

2　KCF跟踪器

KCF[17]跟踪器是一种基于检测的密集采样的跟踪器，利用循环矩阵理论在目标区域进行移位，为分类器构造了大量样本，解决了稀疏采样的样本冗余性问题，提升了跟踪性能和跟踪速度，并在OTB-2013评估基准中取得了最好的跟踪性能和高速的运行速度。

2.1循环矩阵

针对传统的基于检测的跟踪算法稀疏采样的样本存在冗余性问题，KCF跟踪器利用循环矩阵理论在目标区域进行循环移位，为分类器构造大量的训练样本。KCF跟踪器利用基准样本(正样本)和通过循环移位获得虚拟样本(负样本)训练分类器。为表述简单，记基准样本x是n×1向量。利用置换矩阵P对基准样本x做循环移位操作，移位后的样本为Plx，故获取训练分类器的样本集合{Plx|l=0,1,…n-1|}。其中置换矩阵

(1)

循环矩阵X,将对n×1向量x所有可能的移位进行组合：

(2)

其中循环矩阵X的第一行为向量x，第二行是将向量x元素向右移动一位，其他行以此类推。由于循环特性，每移位n次，可以周期性获得基准样本。同样，可以等效地看成循环矩阵X的前半部分对向量x元素的移位沿着正方向，而循环矩阵X的后半部分的移位则沿着反方向。

循环矩阵X可通过离散傅里叶变换变成对角矩阵，可以表示为

(3)

2.2分类器训练

在许多实际问题中，由于岭回归对于任意输入都有简单的闭式最优解，不需要复杂的迭代、最小化序列优化等，不仅降低了计算复杂度，还能够获得与支持向量机(SVM)相近的分类性能。

为此，KCF聚焦岭回归，利用一组训练样本{xi,yi}，从中寻找对样本xi和回归目标yi最小化平方误差的函数f(z)=wTz，其中w为分类器参数，z为检测图像块

(4)

其中λ是控制过拟合的正则化项参数。

由Representer定理[23]给出公式(4)最小化解：对输入的训练样本线性组合

(5)

其中φ(xi)为将训练样本映射到高维特征空间的函数。

定义核函数k(x,x′)=φT(x)φ(x′)，其中核函数k为高斯核函数或者多项式核函数。n×n核矩阵K由所有样本对的点乘Kij组成

Kij=k(xi,xj)

(6)

核函数k是酉不变核函数，则以Kij为元素的K核矩阵是循环矩阵[14]。其中，径向基核函数、多项式核函数和高斯核函数都是酉不变核函数。

然后，基于核的正则化最小二乘[24]给出岭回归简单的闭式解

α=(K+λI)-1y,

(7)

其中K为核矩阵，I为单位矩阵，向量y的元素为yi，向量α的元素为αi。

由于核矩阵K具有循环特性，利用公式(3)的性质对公式(7)进行离散傅里叶变换：

(8)

其中kxx为核矩阵K=C(kxx)的第一行元素。

2.3快速检测

KCF跟踪算法，对于新输入图像块z，分类器的响应为：

(9)

对图像块z进行循环移位构造候选图像块，可利用候选图像块的循环结构，同时计算出分类器对检测区域中的所有位置的响应。

记Kz为训练样本和所有候选图像块的核矩阵。由于训练样本由基准样本x循环移位构成，候选图像块由基准图像块z循环移位构成，利用酉不变核函数定理，可知Kz为循环矩阵。

Kz=C(kxz),

(10)

Kz表示训练样本和所有候选图像块之间的核矩阵，kxz表示x和z之间的核相关。

利用公式(9)和公式(10)，可计算出所有候选图像块的分类器响应

f(z)=(Kz)Tα,

(11)

其中f(z)是一个向量，包含z所有循环移位的输出，即所有检测结果。

为有效计算公式(11)，可利用Kz的循环特性，及公式(3)的性质对公式(11)进行离散傅里叶变换：

(12)

其中 · 表示点乘。

3　采用KCF的长期跟踪算法

由2.1节可知，KCF跟踪算法中，训练样本周期性循环移位产生。然而，这种周期性循环移位对样本产生了不必要的边界效应。

KCF算法在理论上对跟踪性能的影响主要体现在以下几方面。(a)由于KCF算法限制了分类器的检测区域和训练区域为目标大小的四倍，无法跟踪快速运动目标；负样本数量比较少，KCF算法的学习模型过拟合，相似目标容易混淆；(b)由于周期性循环移位对样本产生了不必要的边界效应，限制了KCF算法只在靠近搜索区域的中心位置跟踪准确，因而在严重遮挡和出视野情况下表现不好。

本文通过扩大样本区域，引入空间正则化和在线SVM分类器重定位组件，解决了KCF算法在尺度变化、严重遮挡、相似目标干扰和出视野因素下跟踪失败的问题。

3.1空间正则化组件

空间正则化，是在分类器学习过程中利用正则化权重τ调节分类器参数w。正则化权重τ是基于分类器搜索范围的先验信息分布的。在背景区域，赋予较高的正则化权重τ来调节分类器参数w，以便减轻背景信息对分类器在学习过程中的影响。

假定所有样本具有同样的空间尺寸M×N,即样本的空间位置(m,n)∈Ω:={0,…,M-1}×{0,…,N-1}。在学习过程中，为调节分类器参数w，引入空间权重函数τ:Ω→R。空间正则化权重根据空间位置决定分类器参数w的重要性，背景区域赋予较高空间权重，目标区域内赋予较小的空间权重。利用空间正则化权重τ代替公式(2)中的正则化项λ：

(13)

其中空间正则化权重函数

τ(m,n)=u+η{(m/P)2+(n/Q)2}.

(14)

最小空间正则化权重τ=u=0.1，正则化影响因数η=3，P×Q表示目标尺寸。

由帕塞瓦尔定理可知，函数平方的和等于其离散傅里叶转换式平方之和。对公式(13)应用帕塞瓦尔定理

(15)

其中*表示循环卷积。

公式(15)第二项遵循逆离散傅里叶变换的卷积属性，公式(15)向量化：

(16)

(17)

定义τ′为大小为MN×MN块对角矩阵，每个对角块等于C。

(18)

(19)

(20)

3.2模型训练

(21)

(22)

3.3快速子网格检测

(23)

其中i表示虚部。快速子网络检测，获取的是检测值最大化的子网格位置(u*,v*):

(u*,v*)=argmax(u,v)∈[0,M)×[0,N)s(u,v),

(24)

本文利用子网格插值策略，获取分类器对样本zr分类器得分sr的最大值，利用最大分类器得分sr的子网格位置更新目标位置。对样本zr的每个尺度层，做独立的快速子网格检测，从中找到获取分类器最高得分的尺度层，用以更新目标尺度。

3.4重定位组件

长期跟踪过程中，重定位组件对于目标因受到长期遮挡或者出视野等因素导致跟踪失败后重新定位目标位置至关重要。对于重定位组件，由于跟踪实时性的要求，本文并不是对每帧图像都训练一个目标相关滤波器，而是独立地训练一个在线SVM分类器。

长期跟踪算法TLD采用对视频序列的每帧图像都执行重检测的策略。而本文采用阈值θre激活策略，激活重定位组件。当max(sr)<θre时，即当分类器检测值最大值小于重定位激活阈值时，激活目标重检测，利用在线SVM分类器扫描整帧图像，获取在线SVM分类器的重检测结果，通过比较目标的置信度确定是否采用重检测结果。

本文采用一种半监督学习方法训练在线SVM分类器，以增强重定位组件的定位性能。利用标记集Ll={[xre,yre]}和未标记集Uu，其中l≪u，xre和yre分别为重定位组件训练在线SVM分类器的样本及标签。标记集选取第一帧给定目标图像块和与第一帧给定目标框重叠率在(0.6,1)之间的图像块作为正样本，而负样本为与第一帧给定目标框重叠率在(0,0.2)之间的图像块。与正负样本来源于第一帧的标记集不同，未标记集在跟踪过程(帧数i≥2)中产生，选取与跟踪的目标框重叠率在(0.6,1)之间的图像块作为正样本，而负样本为与跟踪的目标框重叠率在(0,0.2)之间的图像块。

4　实验结果与分析

为验证本文算法的有效性，利用OTB-2013[22]中大约29 000帧图像的50个完全标注的视频数据集包含11种属性进行评估，并与KCF以及OTB-2013代码库中所包含的29种跟踪算法进行了对比。OTB-2013代码库所包含了以下跟踪算法：CSK, Struck, SCM, TLD, CT, VTD, VTS, CXT, IVT, ASLA, DFT, LSK, CPF, LOT, VR-V, KMS, L1APG, MTT, MIL, OAB, SemiT, ORIA, SMS, Frag, BSBT。OTB-2013视频数据集包含了以下属性：光照变化(IV)、尺度变化(SV)、遮挡(OCC)、形变(DEF)、运动模糊(MB)、快速运动(FM)、平面内旋转(IPR)、平面外旋转(OPR)、出视野(OV)、复杂背景(BC)、低分辨率(LR)。

4.1实验环境及参数设置

本实验基本配置，Matlab2013a，Intel(R) Core(TM) i3-2350 CPU，主频2.3 GHz，4 GB内存。类似于KCF算法，本文算法采用HoG特征，大小为4 pixel×4 pixel的单元。采用M×N的网格单元表示样本大小，并与目标框区域成比例。KCF算法将样本区域设置为初始目标框区域的4倍，本文充分考虑到快速运动目标连续两帧之间真实目标框的中心位置的偏移大于20 pixel这一情况，以及充分考虑分类器训练、检测效率，将样本区域设置为初始目标框区域的16倍。空间正则化权重函数为τ(m,n)，最小空间正则化权重τ=u=0.1，正则化影响因数η=3，P×Q表示目标尺寸，尺度数量S=7，尺度增量因子a=1.01。重定位组件设置如下，设置θre=0.5用以激活在线SVM分类器，设置θa=0.5用以更新重定位目标模型。模型更新中，学习效率γ=0.01。对于实验中所有的视频数据集，实验参数均保持一致。

4.2性能评估方法

为了评估跟踪算法的性能，本实验采用了OTB-2013中的两种评估方法作为定量评价指标：精确度图(Precision plot)和成功率图(Success plot)。

在跟踪精度评估中，广泛应用的是中心位置误差(CLE)。中心位置误差定义为跟踪目标的中心位置和手工标定的准确中心位置之间的平均欧式距离。

精确度图，能够显示目标中心位置误差小于阈值的帧数占视频总帧数的百分比。实验中阈值选定为20 pixels。

成功率图，能够显示重叠率S大于给定阈值t0的帧数占视频总帧数的百分比。其中，重叠率S定义为，S=|Rt∩Ra|/|Rt∪Ra| ，Rt为跟踪的目标框，Ra为准确的目标框，∩和∪分别表示两个区域的交集和并集，|·|为区域内的像素点的数量。成功率给出了阈值t0从0到1变化时，成功的帧数所占的比例，利用成功率图曲线下的面积(AUC)作为跟踪算法性能的评价准则。

4.3性能比较

本实验采用基于精确度图和成功率图的一次通过评估(OPE)方法评估跟踪算法性能。利用OTB-2013评估策略,对共计30个跟踪算法进行性能比较。为了显示清楚，本文在精确度图和成功率图上只显示排序靠前的10个跟踪算法的结果。

4.3.1定量比较

A) 整体性能分析

图1为整体性能排名前10的OPE精确度图和成功率图。依据精确度图和成功率图，两个图中本文算法均排在第一位。在精确度图中，本文算法精确度为0.813，相比于KCF和CSK算法分别提高了9.86%和49.1%。在成功率图中，本文算法成功率为0.629，相比于KCF和CSK算法分别提高了22.3%和58%。

B) 基于数据集属性的性能分析

为充分评估本文算法跟踪性能，利用OTB-2013视频数据集的11个属性进一步评估本文算法的性能。图2(彩图见期刊电子版)为排名前10的跟踪算法在包含11个属性数据集上的精确度图，由图2可知，本文算法除了在复杂背景、低分辨率和光照变化这3个属性精度图上排名第二，其余8个属性的精度图上都排名第一。对比其他算法中效果最好的KCF算法，在尺度变化、遮挡、出视野和快速运动属性精度图上，本文算法分别提高了14.7%、5.74%、23%和16.7%。

图3(彩图见期刊电子版)为排名前10的跟踪算法在包含11个属性数据集上的成功率图，本文算法在11个属性的成功率图上都排名第一位。在尺度变化、遮挡、出视野和快速运动这4个属性的成功率图上，本文算法较KCF算法分别提高了40.5%、20.2%、15.6%和 23.3%。

对于OTB-2013具有遮挡属性的29个数据集，本文算法在精确度图和成功率图上均排第一，相比排名第二位的KCF分别提高了5.74%和20.2%，取得了不错的改进效果。本文算法的样本区域比KCF算法的扩大了4倍，并通过加入空间正则化组件，以有效地学习更多的背景信息，获取更多的负样本和未被破坏的正样本，增强了分类器将目标从背景中区分的能力，即处理遮挡数据集的能力。

对于OTB-2013出视野属性的6个数据集，本文算法在精确度图和成功率图上均排序第一，相比排名第二位的KCF分别提高了23%和15.6%。这是因为本文算法加入了重定位模块，当相关滤波器确定的目标置信度比较低时，采用阈值激活重定位SVM分类器方法，重新确定目标位置，并在目标位置区域进行采样训练SVM分类器，提高重定位能力。

图1　排名前10跟踪算法OPE的精确度图和成功率图Fig.1　Precision plots and success plots of OPE for the top 10 trackers

图2　排名前10跟踪算法在11个属性的精确度图(标题上的数字表示此种属性的数据集数量)Fig.2　Precision plots of videos with 11 different attributes for the top 10 trackers.(The number in the title indicates the number of sequences.)

图3　排名前10跟踪算法在11个属性的成功率图(标题上的数字表示此种属性的数据集数量)Fig.3　Success plots of videos with 11 different attributes for the top 10 trackers.(The number in the title indicates the number of sequences.)

4.3.2定性比较

A) 抗遮挡性能分析

图4(彩图见期刊电子版)显示了10种算法在3个经历严重遮挡数据集上的几帧具有代表性跟踪结果。在Jogging数据集中，在第67帧目标被灯杆几乎完全遮挡。10种算法中，只有本文算法、TLD和CXT算法能够重新定位到目标，例如第79帧、第130帧和第288帧。在Woman数据集中，目标人物经历了长时间持续遮挡，本文算法、 SCM算法和Struck算法都能够正确跟踪目标人物，例如第165帧、第337帧和第477帧。在Suv数据集中，目标车辆频繁地被茂密的树木遮挡，例如第513帧、第535帧和第778帧。本文算法、SCM算法、TLD算法和CXT算法均取得了不错的跟踪效果，例如第578帧和850帧。在这3个经历严重遮挡的数据集中，KCF算法、CSK算法都无法准确跟踪目标，表现不好。由以上结果可知，本文算法通过扩大样本区域，利用空间正则化组件对遮挡具有抵抗力。

图4　10个跟踪算法在经历严重遮挡的数据集Jogging,Woman,Suv上定性结果显示Fig.4　Qualitative results of 10 trackers over sequences Jogging,Woman and Suv,in which the targets undergo heavy occlusion

B) 相似目标干扰性能分析

图5(彩图见期刊电子版)显示了10种跟踪算法在经历相似目标干扰的数据集上具有代表性的跟踪结果。在数据集Deer中，在第30帧和第55帧目标鹿的头部与周围干扰鹿的头部相似度极高，对目标鹿的跟踪产生一定的干扰。

KCF算法的跟踪结果(淡青色目标框)与目标鹿头部真实位置有一定的误差，而本文算法的跟踪结果(鲜红色目标框)与目标鹿头部真实位置一致。在数据集Football中，由于要跟踪的目标只是橄榄球运动员的头部，而橄榄球运动员都带着同样的头盔，目标远动员与周围的运动员头部的相似性极高。在第283帧，目标运动员头部被37号运动员头部遮挡。而在第310帧，KCF算法跟踪到了37号运动员的头部，出现跟踪错误；而本文算法能够正确跟踪目标运动员的头部，未被37号运动员头部干扰。在数据集Liquor中，第327帧中左侧的瓶子与中间位置的瓶子具有一定的相似性。在第550帧、第751帧、第970帧和第1 539帧，KCF算法受相似目标的干扰，出现了错误跟踪；而本文算法均能够正确跟踪真实目标，未受相似目标干扰而跟踪失败。

图5　10个跟踪算法在经历相似目标干扰的数据集Deer,Football,Liquor上定性结果显示Fig.5　Qualitative results of the 10 trackers over sequences Deer,Football and Liquor,in which the targets undergo disturbance of similar target.

C)尺度变化性能分析

图6显示了10种跟踪算法在具有较大尺度变化的数据集上具有代表性的跟踪结果。在Carscale数据集中，目标车辆经历了显著地尺度变化，例如第149帧、第165帧、第185帧和第252帧。CSK算法由于采用简单的灰度特征进行跟踪，与当目标车辆在第165帧受到树木遮挡，导致模型特征发生变化时，出现跟踪失败(如第185帧所示)。在这10种算法中，本文算法对于Carscale数据集中目标车辆具有最好的跟踪效果，对显著尺度变化具有较强的鲁棒性。在Car4数据集中，目标车辆尺度由大变小，并受到严重的光照变化影响，例如第187帧和第303帧。本文算法、TLD算法和SCM算法均能较好地处理目标车辆的尺度变化，而CT算法由于采用随机投影矩阵对高维特征进行降维，故特征选取不显著，在跟踪过程中出现跟踪漂移。在Singer1数据集中，由于镜头拉远，目标人物尺度由大变小，经历了显著的尺度变化，并且受到严重的光照变化影响，例如第80帧和第150帧。与KCF算法、CSK算法、CT算法和VTD算法相比，本文算法在处理目标尺度变化问题上具有一定的优越性，对显著的尺度变化具有较强的鲁棒性。

图6　10个跟踪算法在经历尺度变化的数据集CarScale,Car4,Singer1上定性结果显示Fig.6　Qualitative results of the 10 trackers over sequences CarScale,Car4 and Singer1,in which the targets undergo scale variations.

D)出视野性能分析

图7显示了10种跟踪算法在目标出视野的数据集上具有代表性的跟踪结果。由于超出视野数据集在OTB-2013评测数据集中只有6个，本文选取了超出视野因素影响比较大的Lemming数据集和TLD算法所提供的Motocross和Carchase数据集进行分析。在Lemming数据集中，旅鼠玩偶目标超出视野(如第556帧)，一段时间后又完全回到视野中(如第610帧)，本文算法可以正确跟踪到旅鼠玩偶目标，而KCF算法则跟踪失败。在Lemming数据集中，多次出现平面外和平面内旋转因素的影响，给跟踪增加了难度，但是本文算法仍然能够正确跟踪。在数据集Motocross中，目标经历了超出视野(如第31帧和第493帧)、外观严重变化(如第427帧和第552帧)影响，本文算法都能正确跟踪。在Carchase数据集中，目标车辆经历完全出视野一段时间又回到视野中(如第377帧和第389帧)，本文算法和TLD算法由于加入了重定位组件，即使在目标完全出视野一段时间后又回到视野中这种复杂情况下仍然能够跟踪正确，而KCF算法由于没有重定位模块故在目标出视野一段时间后重回视野后，无法重新定位目标的位置而跟踪失败。

图7　10个跟踪算法在经历出视野的数据集Motocross,Carchase,Lemming上定性结果显示Fig.7　Qualitative results of the 10 trackers over sequences Motocross,Carchase and Lemming,in which the targets undergo out of view.

5　结　论

针对KCF算法在尺度变化、严重遮挡、相似目标干扰、出视野等复杂情况下出现跟踪失败的问题，本文提出了基于核相关滤波器的长期跟踪方法。在模型学习过程中，本文通过扩大样本区域(相比KCF算法样本区域扩大了4倍)，加入空间正则化组件，利用基于样本区域的空间先验信息的空间权重函数，减轻样本区域中的背景信息对于分类器学习的影响。解决了KCF算法在产生训练样本过程中利用周期性假设而带来的边界效应(正样本被损坏)，学习更多的未被损坏的正样本和负样本，从而提高了学习模型的判别能力。另外，本文通过加入重定位组件，解决了目标出视野一段时间后重回到视野中跟踪问题。利用OTB-2013的50个数据集进行试验，结果显示本文方法的整体精度为0.813，成功率为0.629，相比KCF算法分别提高了9.86%和22.3%。通过基于数据集的属性的定量和定性分析表明，在目标发生显著尺度变化、严重遮挡、相似目标干扰和出视野等复杂场景下，与OTB-2013代码库中的29种算法以KCF算法相比，本文方法具有更强的鲁棒性。

[1]SMEULDERS A W M, CHU D M, CUCCHIARA R,etal.. Visual tracking: An experimental survey [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2014, 36(7): 1442-1468.

[2]ROSS D A, LIM J, LIN R S,etal.. Incremental learning for robust visual tracking [J].InternationalJournalofComputerVision, 2008, 77(1-3): 125-141.

[3]KWON J, LEE K M. Visual tracking decomposition [C].IEEEConferenceonComputerVisionandPatternRecognition(CVPR), 2010: 1269-1276.

[4]BABENKO B, YANG M H, BELONGINE S. Robust object tracking with online multiple instance learning [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2011, 33(8): 1619-1632.

[5]HARE S, SAFFARI A, TORR P H S. Struck: Structured output tracking with kernels [C].IEEEInternationalConferenceonComputerVision(ICCV), 2011: 263-270.

[6]KALAL Z, MIKOLAJCZYK K, MATAS J. Tracking-learning-detection [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2012, 34(7): 1409-1422.

[7]ZHANG K, ZHANG L, YANG M H. Real-time compressive tracking [C].EuropeanConferenceonComputerVision(ECCV), 2012: 864-877.

[8]陈东成,朱明,高文,等. 在线加权多实例学习实时目标跟踪[J].光学 精密工程, 2014, 22(6): 1661-1667.

CHEN D CH, ZHU M, GAO W,etal.. Real-time object tracking via online weighted multiple instance learning [J].Opt.PrecisionEng., 2014, 22(6):1661-1667. (in Chinese)

[9]程帅,孙俊喜,曹永刚,等. 增量深度学习目标跟踪[J].光学 精密工程, 2015, 23(4): 1161-1170.

CHEN SH, SUN J X, CAO Y G,etal.. Target tracking based on incremental deep learning [J].Opt.PrecisionEng., 2015, 23(4): 1161-1170. (in Chinese)

[10]修春波,魏世安. 显著性直方图模型的Camshift跟踪方法[J].光学 精密工程, 2015, 23(6): 1750-1757.

XIU CH B, WEI SH AN. Camshift tracking with saliency histogram [J].Opt.PrecisionEng., 2015, 23(6): 1750-1757. (in Chinese)

[11]郭敬明,何昕,魏仲慧. 基于在线支持向量机的Mean Shift彩色图像跟踪[J].液晶与显示, 2014, 29(1): 120-128.

GUO J M, H X, W ZH H. New mean shift tracking for color image based on online support vector machine [J].ChineseJournalofLiquidCrystalsandDisplays, 2014, 29(1): 120-128. (in Chinese)

[12]李静宇,王延杰. 基于子空间的目标跟踪算法研究[J].液晶与显示, 2014, 29(4): 617-622.

LI J Y, W Y J. Subspace based target tracking algorithm [J].ChineseJournalofLiquidCrystalsandDisplays, 2014, 29(4):617-622. (in Chinese)

[13]BOLME D S, BEVERIDGE J R, DRAPER B A,etal.. Visual object tracking using adaptive correlation filters [C].IEEEConferenceonComputerVisionandPatternRecognition(CVPR), 2010: 2544-2550.

[14]HENRIQUES J F, CASEIRO R, MARTINS P,etal.. Exploiting the circulant structure of tracking-by-detection with kernels [C].EuropeanConferenceonComputerVision(ECCV), 2012: 702-715.

[15]DANELLJAN M, KHAN F, FELSBERG M,etal.. Adaptive color attributes for real-time visual tracking [C].IEEEConferenceonComputerVisionandPatternRecognition(CVPR), 2014: 1090-1097.

[16]ZHANG K, ZHANG L, LIU Q,etal.. Fast visual tracking via dense spatio-temporal context learning [C].EuropeanConferenceonComputerVision(ECCV), 2014: 127-141.

[17]HENRIQUES J F, CASEIRO R, MARTINS P,etal.. High-speed tracking with kernelized correlation filters [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2015, 37(3): 583-596.

[18]LI Y, ZHU J. A scale adaptive kernel correlation filter tracker with feature integration [C].EuropeanConferenceonComputerVision(ECCV), 2014: 254-265.

[19]张雷,王延杰,孙宏海,等. 采用核相关滤波器的自适应尺度目标跟踪[J].光学 精密工程, 2016, 24(2): 448-459.

ZHANG L, WANG Y J, SUN H M,etal.. Adaptive scale object tracking with kernelized correlation filters [J].Opt.PrecisionEng., 2016, 24(2): 448-459. (in Chinese)

[20]余礼杨,范春晓,明悦. 改进的核相关滤波器目标跟踪算法[J].计算机应用, 2015, 35(12): 3550-3554.

YU L Y, FAN CH X, M Y. Improved target tracking algorithm based on kernelized correlation filter [J].JournalofComputerApplication, 2015, 35(12):3550-3554. (in Chinese)

[21]DALAL N, TRIGGS B. Histograms of oriented gradients for human detection [C].IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition(CVPR), 2005: 886-893.

[22]WU Y, LIM J, YANG M H. Online object tracking: A benchmark [C].ProceedingsoftheIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition(CVPR), 2013: 2411-2418.

[23]SCHOLKOPF B, SMOLA A J.LearningwithKernels:SupportVectorMachines,Regularization,Optimization,andBeyond[M]. MIT press, 2002.

[24]RIFKIN R, YEO G, POGGIO T. Regularized least-squares classification [J].NatoScienceSeriesSubSeriesIIIComputerandSystemsSciences, 2003, 190: 131-154.

蔡玉柱(1990-)，男，山东日照人，硕士研究生，2013年于天津职业技术师范大学获得学士学位，主要从事目标检测、目标跟踪方面的研究。E-mail：caiyuzhu001@sina.com

导师简介:

杨德东(1977-)，男，辽宁阜新人，副教授，硕士生导师，2000年、2003年于大连铁道学院分别获得学士、硕士学位，2007年于东北大学获得博士学位，主要从事智能感知与控制、目标检测与跟踪等方面的研究。E-mail：ydd12677@163.com

(版权所有未经许可不得转载)

Long-term object tracking based on kernelized correlation filters

YANG De-dong, CAI Yu-zhu*, MAO Ning, YANG Fu-cai

(CollegeofControlScienceandEngineering,HebeiUniversityofTechnology,Tianjin300130,China)

As Kernelized Correlation Filters (KCF) tracking algorithm has poor performance in handling scale-variant, heavy occlusion, similar target interfere and out of view, this paper proposes a long-term tracking approach based on the KCF. Firstly, a spatial regularization component was introduced in the learning of a classifier , the classifier coefficients were penalized depending on the weight function of spatial location information in sample locations. By which the classifier could learn significantly larger set of negative training samples and uncorrupted positive samples, so that the discriminative power of learned model was increased. Then, the Newton method was used to complete the iteration and obtain the maximizing response location and target score of the classifier in the detection area. Finally, to re-detect the target in the case of tracking failure and achieve a long-term tracking, the confidence of the target with the maximum response score was compared and an online Support Vector Machine (SVM) classifier was trained. To verify the feasibility of the proposed algorithm, fifty groups of OTB-2013 benchmark video sequences were tested and the obtained results were compared with thirty kinds of other tracking algorithms. Experimental results indicate that the precision and success rate from the proposed method are respectively 0.813 and 0.629, ranking first. Compared with traditional KCF tracking algorithm, the proposed approach respectively improves by 9.86% and 22.3% in the precision and the success rate. Moreover, it is robust to significant scale changing, heavy occlusion, interfere with similar target, out of view and other complex scenes.

kernelized correlation filter; long-term object tracking; spatial regularization; Support Vector Machine (SVM); online SVM classifier

2016-04-18；

2016-06-22.

国家自然科学基金资助项目(No.61203076)；天津市自然科学基金资助项目(No.13JCQNJC03500)

1004-924X(2016)08-2037-13

TP391

A

10.3788/OPE.20162408.2037