运动目标跟踪技术综述

仝晓龙等

摘 要：运动目标跟踪是一个颇具挑战性的问题，文章对当前运动目标跟踪问题的相关方法进行分析研究。首先从一个崭新的角度提出了一套分析运动目标跟踪技术的体系结构方法。然后采用这种体系结构对列举的每种跟踪算法方案进行阐述和归类，指出了每种方案适用范围及其局限性。最后针对研究过程中所面临的难题，展望了运动目标跟踪技术新的发展趋势。

关键词：运动目标跟踪；特征模板提取；跟踪算法框架；运动目标预测

绪论

运动目标跟踪是一门多学科交叉的技术，是计算机视觉领域的一个重要课题，它综合应用了图像处理、模式识别、自动控制、人工智能等学科的理论知识。运动目标跟踪，是指给定一段视频序列，在该视频序列的每帧图像中实时地找到感兴趣的运动目标，并评估其运动轨迹。一般来说，典型的目标跟踪系统一般包含的四个过程[1]：目标初始化，特征模版表示，相似性度量和运动估计，进行目标定位。运动目标跟踪问题的难点如：目标本身特征的多样性和不稳定性、外部环境的复杂多变性、目标之间的遮挡等。解决跟踪问题的关键点在于：完整地分割目标、有效地表示目标和准确识别目标。

通过对于大量目标跟踪领域文献的阅读，可以分析出之前较多的目标跟踪综述文献[1][2][3]主要是从特征模版表示或不同跟踪算法等角度对跟踪进行分类，但是对于读者对整个跟踪系统框架把握不清。文章根据目标跟踪系统中实现过程，从一种新颖角度总结出一般的目标跟踪方法体系结构分为以下三个部分：（1）运动目标的特征选取和表示；（2）运动目标跟踪常用算法框架；（3）运动目标预测算法。

目标跟踪算法一般的都不会超出这三个部分。分别从这三个部分进行跟踪算法的分析研究，第一考虑选取不同的目标特征，如颜色、纹理、形状等；根据选择目标特征，运用合理的目标表示方法，如颜色直方图，纹理直方图、轮廓特征模板等；第二，选择一种或几种适合的跟踪算法框架。第三，采用目标跟踪预测的方法更加合理准确的找到目标。我们结合目标跟踪领域提出的许多方法，论述了三个部分如何有机组合实现有效的运动目标跟踪。此外，文中所列举的大量跟踪方法实例都可以从以上三个部分进行归类，这将有助于相关领域的研究人员清晰的把握目标跟踪技术脉络，让研究人员尽快的从以上三个方面进行深入研究，并提出相应改进和创新方法。

1 运动目标特征提取

1.1 目标特征

特征是一个物体具有可靠性、独立性、且可区别于其他物体的属性，一个运动目标一般具有很多特征，充分的了解这些特征将有助于提高解决运动目标跟踪问题的效率和准确性。一般来讲，常见的运动目标的特征包括：颜色、纹理、边缘、运动等如何根据特定的场景选择合适的目标特征，成为影响跟踪效果好坏的重要因素。希望通过有效特征选取，来区分感兴趣运动目标和场景中其他运动目标。例如，在足球比赛中，对特定某个运动员跟踪，而选择了不恰当的特征，例如形状，接下来在运动员遮挡的时候，就很难正确跟踪了。对于特定场景的应用，特征的选择十分重要，因而作为跟踪方法结构的第一部分，文章所举出的是基本的视觉目标特征，研究人员也可以采用或设计一些新的视觉特征来更好实习目标的跟踪。

1.2 目标特征提取

目标特征提取，是指使用运动目标的某些显著特征表示目标。也可将其分解为两个部分视觉表征和统计模型。视觉表征目标是采用各种不同的视觉特征构建鲁棒的目标描述。统计模型是采用统计学习的方法建立有效的分辨目标的数学模型。

在运动目标跟踪过程的开始阶段，首先要选择感兴趣的跟踪目标，通过图像分割或人为框选得到覆盖整个目标的区域（该区域比目标稍大，可以是矩形或椭圆形），然后采用目标的某些特征来有效地表示该运动目标。实际中的运动目标往往具有很多特征，如果将其所有特征都记录下来，就需要计算机花大量时间计算，从而满足不了要求实时性的跟踪。所以，不需要考虑运动目标的全部特征，而只需要利用一些显著特征即可，所提取的特征应尽量做到计算简单，以便快速识别。另外，选用的特征应尽量具有相对稳定性，即对图像的旋转、平移、尺度变化、光照条件变化等不敏感，从而减轻外部环境对跟踪效果的影响。

在处理跟踪问题时，跟踪系统将要跟踪的运动目标用其显著特征表示，计算机处理这个“表示”的过程是将目标的显著特征数据从高维的原始特征空间，通过映射变换到低维空间，形成简化计算量的可供计算机理解的数据，同时计算机认为该特征数据即为运动目标的特征模板，即计算机“认识”了要跟踪的目标。计算机将运动目标用其模板表示的目的是为后续的跟踪工作做准备。常用的目标模板包括：颜色直方图、灰度共生矩阵、纹理直方图等（图1a）。在实际应用中，上述这些模板可以进行适当的改进以提高跟踪的鲁棒性。

2 跟踪算法框架

2.1 目标特征模版更新

我们可以比较容易的提取一般图像的特征，然而是否这些特征可以有效表达要跟踪的目标，经常需要根据特定的环境采用不同的特征还可能采用多特征联生成有效的目标模板。上一节在介绍目标特征提取时候，可以将提取特征模板直接作为生成的目标的特征模板直接使用，还可以选用这些特征模板来生成新的目标特征模板，往往这样做会更有效的表达表达目标。

目标特征模板生成后常常不是唯一不变，在目标运动的过程中由于目标的形变和光照的变化会影响目标的有效表达，因此需要对目标模板运动跟踪过程中进行更新。目标特征模版更新问题在跟踪领域关注度越来越高，主流的研究方法是在线特征选择，需要用特征模版和当前图像的目标数据进行比对来决定是否进模版更新。还有一种模版的更新策略，根据跟踪到的目标实时的更新目标的模版而不进行比对。模版更新问题较为困难，首先如果在目标存在遮挡情况下，模版更新较快很容易造成错误的模版更新。其次，模版更新较慢不能适用目标快速变化的情况。一般来说，感兴趣目标在一段视频序列中不会发生特别大的改变，鲁棒的模版更新机制也就没有必要了。当然，在要求严格的自动化商业系统中，一般是需要通过有监督的方法辅助进行模版更新。endprint

2.2 模板匹配

跟踪系统在将运动目标用其特征模板表示之后，跟踪过程也进入了计算相似性度量阶段。在视频图像的后续帧中，采用一定的相似性度量方法，通过计算目标模板与后续帧中所有候选目标区域的相似性函数值，选择函数值最大的候选目标区域（也即与目标特征模板最相似的区域）作为运动目标在新一帧图像中的位置。用这样的方式在每一帧图像中进行计算相似性度量，就可以实现运动目标的连续跟踪。在图像处理与分析理论中，常用的相似性度量方法有欧式距离、加权距离、Bhattacharyya系数等。

2.3 分类学习

利用分类器将跟踪目标从背景中分割出来是以模式分类的方法解决视频跟踪问题。我们把跟踪看作分类问题，通过训练分类器来区分背景和目标。通过在参考图像中提取每一像素的一个特征向量，经过训练得到一个分类器来识别一个像素是属于目标还是背景。给定新的一帧图像，我们使用训练好的分类器测试侦查区域里的像素并得到置信图，我们认为图中的峰值点就是物体移动到的地方。

3 运动预测

运动预测，相当于是一个动态的状态评估的问题，在跟踪上一帧的运动个目标后，提出目标特征，然后在下一帧图像中采用特征匹配或训练分类器分类方法进行目标跟踪。但是为了减少搜索特征匹配的区域，提高实时性，我们常常对目标运动轨迹预测选取最可能的目标区域。状态评估公式：xt=f（xt-1，vt-1）和zt=h（xt，wt），其中xt是当前状态，f是状态方程，vt-1是过程噪声，zt是当前观测值，h是测量方程，wt是测量噪声。

一般常用预测方法有如，固定搜索窗半径r（r为大于0的实数），r的大小是根据跟踪目标的不同设定的。我们以上一帧目标所在位置为中心r为半径，产生多个检测窗口进行当前帧搜索计算找到最大可能的位置作为本帧目标位置。还可以统计之前N（N=2，3，…）帧跟踪的目标位置信息，计算出目标运动的大致方向和速度，预判下一帧中可能的目标位置，从而减少计算量。比较经典的预测方法如：Ellis等2010年提出线性回归预测算法，、Kalman在1960年提出的Kalman滤波器预测算法、Isard 和Blake等1998年提出的粒子滤波器预测算法，选取最可能的目标区域。文章主要的任务是让读者有一个关于跟踪目标算法清晰的思路，快速的了解目标跟踪技术关键要点。在这里不再具体的详述具体预测算法。

4 经典跟踪算法

一般的运动目标跟踪的实现，必然是采用具体某种跟踪算法作为依托。首先，文章将介绍的四种经典的运动目标跟踪算法：基于Mean Shift目标跟踪；基于卡尔曼滤波目标跟踪；基于粒子滤波目标跟踪；基于支持向量机SVM分类学习目标跟踪。人们目前常用的跟踪方法一般都会采用这四种经典的跟踪算法一种或几种，去实现运动目标的高效、稳定的跟踪。然后，文章列举的大量的实例依据文章所提出的跟踪算法体系结构的组成部分进行分析分解，这样做有助于相关领域的研究人员，清晰的把握实例中采用的跟踪算法结构。最后，介绍了近年来提出一些受到研究人员越来越多关注的新的跟踪算法。

4.1 基于Mean Shift目标跟踪

Mean Shift（均值移动）算法由Fukunaga于1975年在一篇关于概率密度梯度函数的估计的文章中首次提出，其含义为移动的均值向量，该算法计算简单，实时性强，对目标的形状变化、尺度变化不敏感，但是对颜色相近的干扰情况，跟踪效果不够理想。Mean Shift算法是一个迭代收敛的过程，即计算当前点的偏移均值，移动该点到其偏移均值，然后以此为新的起始点继续移动，直到满足一定阈值条件或迭代次数限制条件的约束。Comaniciu最早将Mean Shift算法应用于图像滤波、分割和目标跟踪领域。Camshift算法是一种基于均值漂移（Mean Shift）的算法，在连续帧上使用Mean Shift算法就是Camshift跟踪算法。Camshift同经典的均值移动跟踪算法的基本思想是相同的，所不同的是，Camshift是建立在颜色概率分布图和矩的基础之上，Camshift算法对室内环境下的目标跟踪具有较高的鲁棒性。

陈建军[4]等人提出了一种基于核共生矩阵的均值移动跟踪算法，使用目标的纹理特征作为跟踪线索，将灰度共生矩阵改进成核共生矩阵作为特征模板，采用Bhattacharyya系数度量核共生矩阵的相似度，在Mean Shift跟踪算法基础上实现了人脸的跟踪；田纲[5]等人使用目标的颜色和运动特征，将目标的运动矢量作为特征模板，在Mean Shift跟踪算法基础上实现了跟踪；袁广林[6]等人使用目标的颜色特征，通过多颜色直方图自适应组合作为特征模板，利用目标区域对每一颜色直方图的概率图的均值和方差的比值，自适应计算权值，在Mean Shift跟踪算法基础上实现稳定跟踪，该方法对目标外观变化具有较强的鲁棒性。

4.2 基于卡尔曼滤波目标跟踪

卡尔曼滤波算法是一种经典的预测估计算法，如果已知目标运动是线性的，且图像噪声服从高斯分布，便可应用卡尔曼滤波预测目标下一帧位置，从而实现目标跟踪。卡尔曼滤波器是一个最优化自回归数据处理算法，对动态系统的状态序列进行线性最小方差估计，利用状态方程和观测方程描述动态系统，根据之前的状态序列对下一个状态作最优估计，预测时具有无偏、稳定的特点，在存在部分短暂遮挡的目标跟踪中有很好的跟踪效果。其计算量小，实时性强，可以准确预测目标的位置和速度，但是它只适合于线性高斯系统。

徐哈宁[7]等人使用目标的运动特征，提出一种交互多模型作为目标特征模板，交互多模型包括匀速模型、加速度模型、转弯模型以及“当前”统计模型等，并将传统的卡尔曼滤波跟踪算法基础上进行改进，即在去偏转换测量卡尔曼滤波器（CMKF-D）框架下完成了体育视频中球类目标的跟踪；齐美彬[8]等人提出一种基于自适应权值的区域马尔科夫随机场（MRF）分割与跟踪方法，利用相邻像素的空间相关性，自适应更新系统能量函数中的参数，使用目标的灰度直方图特征，建立分片积分直方图特征模板，在卡尔曼滤波算法基础上实现部分遮挡和光线变化时的准确分割与跟踪。endprint

4.3 基于粒子滤波（Particle Filter）目标跟踪

粒子滤波是上世纪90年代后期发展起来的，是一种基于蒙特卡罗和贝叶斯估计理论的最优算法，其基本思想是用随机样本描述概率分布，以递归的方式对测量数据进行序贯处理，无须对之前的测量数据存储和处理，根据测量数据调节各粒子权值的大小和样本的位置，适合于非线性非高斯跟踪系统，有效克服了卡尔曼滤波的缺点，同时可以跟踪运动速度较快的目标。但粒子滤波算法的计算量会随着所选取粒子数目的增加而骤增，因此较难满足跟踪的实时性要求。

王欢[9]等人利用目标的颜色、纹理、边缘、运动的融合特征，并将这四种特征用统一的直方图模型来表示，在Auxiliary粒子滤波算法基础上将所有特征观测进行概率融合，实现了复杂背景干扰和遮挡时的刚体和非刚体目标的跟踪；夏利民等人使用目标的颜色、Harr小波和LBP纹理特征，利用背景信息和目标信息建立特征分类器，自适应地更新目标的特征模板，在粒子滤波跟踪算法基础上实现了稳定跟踪；赵晓林等人提出基于活动基模型的目标跟踪方法，用一定数量的粒子表示运动目标的轮廓，以目标的局部边缘作为特征，以活动基模型（局部边缘特征模型）作为特征模板，在粒子滤波算法基础上进行非刚体目标跟踪，该方法在目标发生形状变化以及存在遮挡情况下有很好的跟踪性能。

4.4 基于支持向量机SVM分类学习目标跟踪

有效的区分目标与背景是非常重要的，通过特征评价算法建立对目标和背景具有良好可分性的的视觉特征实现跟踪。Avidan以支持向量机SVM离线学习得到目标与背景特征，称为支持向量机跟踪算法（SVM-Tracking）。

Tian等人利用一组线性支持向量机分类器构建了SVM分类模型，这些分类器在跟踪中不同时期具有自适应加权判别功能，在外观变化较大时候跟踪结果比较鲁棒。但是，对于背景和目标相似情况，会产生起凡是和不可靠的训练样本选择。Lu等人 设计SVM分类器采用多内核学习（MKL）的视觉目标跟踪，MKL的目的是学习的最佳线性组合不同的内核的基础上的不同特征，包括颜色信息和视觉词空间金字塔直方图，解决了上面文献的问题。

4.5 跟踪算法框架融合应用

上面介绍的三种跟踪算法除了可以单独作为框架使用，还可以进行多算法框架融合使用，以提高跟踪的可靠性和准确性。例如：姚红革等人使用目标的颜色特征，把目标的颜色直方图改进成颜色概率分布图，以加权颜色概率分布模型作为目标的特征模板，采用Bhattacharyya度量系数，在Mean Shift和卡尔曼滤波跟踪算法基础上实现了人的部分遮挡时的跟踪；王相海等人利用目标的颜色特征，以基于重要区域的目标颜色直方图统计模型作为特征模板，在Mean Shift、卡尔曼滤波和粒子滤波融合跟踪算法基础上实现了车辆的有效跟踪；王鑫等人融合目标的颜色和运动特征，以颜色直方图和运动直方图作为目标的特征模板，使用改进的Camshift算法嵌入到粒子滤波算法中实现了人手和杯子的有效跟踪。

4.6 目标跟踪研究最新发展

除了以上介绍的四种经典算法外，近年来发展起来的一些视频目标跟踪算法如，TLD、CT、Struck、MILTrack等，也越来越受到了研究人员的广泛关注。简要的介绍前两种算法：TLD是Zdenek Kalal 等提出的一种新的单目标长时间跟踪算法。该算法结合传统检测和跟踪算法来解决被跟踪目标在被跟踪过程中发生的形变、部分遮挡等问题。同时，通过一种改进的在线学习机制不断更新跟踪模块的“显著特征点”和检测模块的目标模型及相关参数，从而使得跟踪效果更加稳定、鲁棒、可靠。压缩感知跟踪（CT）算法是Zhang等人通过一定的宽松规则，生成一个稀疏的投影矩阵，然后直接将压缩后的数据作为特征使用，可以进行快速的运动目标跟踪。对于目标的旋转和缩放变化的有较好处理，理论上有了较大的突破。

5 结束语

运动目标跟踪作为计算机视觉领域研究的一个重要内容，融合了多学科知识，具有很好的发展前景。尽管近年来运动目标跟踪领域取得了很大进步，性能优异的跟踪算法不断被提出，但仍存在许多需要解决的问题。研究出一种通用性好、实时性强、准确度高的跟踪算法是未来的发展方向。对已有的跟踪算法进行优化可以提升跟踪的可靠性和精度。根据文章提出的运动目标跟踪方法分析流程体系结构图，可以在特征的选择、跟踪算法框架、运动预测算法这三方面做出创新，充分利用上下情景信息、背景和辅助目标信息，在一些特定的场合，适当增加机位扩展视频的拍摄角度，更多的获取目标特征信息，再对这些特征信息进行融合来降低跟踪的难度，有效解决遮挡的跟踪问题。

参考文献

[1]X. Li，W. Hu，C. Shen，Z.Zhang，A. Dick，and A. Hengel.“A Survey of Appearance Models in Visual Object Tracking” TIST，2013.

[2]张娟，毛晓波，陈铁军.运动目标踪算法研究综述[J].计算机应用研究，2009，26（12）.

[3]薛陈，朱明，刘春香.遮挡情况下目标跟踪算法综述[J].中国光学与应用光学，2009，2（5）.

[4]陈建军，安国成，张索非，等.基于核共生矩阵的均值移动跟踪算法[J].中国图像图形学报，2010，15（10）：1499-1506.

[5]田纲，胡瑞敏，王中元.一种基于运动矢量分析的MeanShift目标跟踪算法[J].中国图像图形学报，2010，15（1）：85-90.

[6]袁广林，薛模根，谢恺，等.多颜色直方图自适应组合MeanShift跟踪[J].中国图像图形学报，2011，16（10）：1832-1840.

[7]徐哈宁，肖慧，侯宏录.体育视频序列中基于IMM的运动目标跟踪算法[J].中国图像图形学报，2009，14（5）：920-924.

[8]齐美彬，杨立宾，蒋建国.自适应权值的MRF分割与跟踪方法[J].中国图像图形学报，2011，16（4）：572-578.

[9]王欢，王江涛，任明武，等.一种鲁棒的多特征融合目标跟踪新算法[J].中国图像图形学报，2009，14（3）：489-498.endprint