曾巧玲,文贡坚
(国防科学技术大学 电子科学与工程学院, 长沙 410073)
运动目标跟踪综述
曾巧玲,文贡坚
(国防科学技术大学 电子科学与工程学院, 长沙410073)
摘要:运动目标跟踪的任务是准确、鲁棒和实时地获取序列图像中的感兴趣目标,然而目标跟踪系统中存在许多固有限制因素。针对运动目标跟踪的研究任务和复杂性,讨论分析了传统运动目标跟踪方法的优劣,阐述了各方法的最新发展。研究了当前目标跟踪领域的2个热点方向,并提出了基于多条件约束的目标跟踪技术方案。对基于序列图像的运动目标跟踪技术的发展趋势进行了展望。
关键词:运动目标跟踪;序列图像
随着数字化技术的不断发展和推广,视频序列数据的应用越来越广泛。运动目标跟踪作为视频数据分析的一大分支,对序列图像中的运动目标进行提取和追踪,为高层次的视频理解和场景解释提供依据,在交通管制、视觉导航以及军事侦察、战场监视等诸多领域有着广阔的应用前景。各国对运动目标跟踪技术在民用及军事上的应用给予了高度重视。基于序列图像的运动目标跟踪技术已经成为一个重要的研究方向。
基于视频图像的目标跟踪问题存在许多方面的限制因素,使得序列图像中动目标跟踪技术的研究在理论和方法上都面临着巨大的挑战。
1) 跟踪目标的多样性
首先,序列图像中待跟踪的对象往往是多个运动目标,这些目标具有不同的形状、颜色等特征,难以利用统一的外观特征模型来描述;其次,通常待跟踪的机动目标的运动规律十分复杂,简单的运动模型往往不能精确描述目标的运动特性;第三,在序列图像获取过程中,待跟踪对象的运动也会导致其外观特征的变化;此外,多个运动目标之间可能发生相互遮挡,运动目标本身也会出现变形。
2) 跟踪场景的复杂性
首先,场景中光照的变化、大气状况的变化以及天气等的影响会对跟踪目标造成严重干扰;其次,当场景中存在与目标外观特征相似的地物时,运动目标的跟踪位置可能发生偏移,将增加运动目标跟踪的难度;另外,跟踪目标在运动过程中可能被场景中的物体遮挡,造成目标运动轨迹中断等问题。
3) 应用需求的多样性
机动目标跟踪算法的主要指标包括跟踪的准确性、稳定性、抗干扰性以及计算的实时性。然而,不同的应用背景对序列图像中运动目标跟踪算法的性能指标不尽相同。现有的许多跟踪算法计算复杂度高,跟踪精度受参数设置的影响严重,并且抗干扰性不高。
4) 目标检测存在误差
目标检测过程中不可避免存在的误检、漏检等现象,将会在目标跟踪时产生漂移,进而影响目标跟踪的精度。
本文对传统的序列图像中运动目标跟踪方法进行归纳总结,并针对运动目标跟踪的复杂性,对比分析各方法的优缺点以及跟踪性能,阐述各方法的最新发展。
2.1目标跟踪方法分类及性能分析
2.1.1基于实时检测的运动目标跟踪
基于实时检测的跟踪方法的基本思路是:利用正负样本训练分类器,并用该分类器对目标和背景进行分类,实现目标检测的同时以置信度最高的图像块作为目标位置[1]。该类方法的典型代表有Tracking Learning Detection(TLD)方法[2-4]、Online Boosting方法等[5-8]。
通常基于实时检测的跟踪方法是在线方法。该方法的优点是利用当前图像帧的采样数据更新分类器,因此对目标的变化具有一定的自适应能力。
然而,分类器的分类精度常依赖于目标特征的表达能力,因此当场景中出现较严重的目标遮挡时该方法性能较差。同样,该方法区分场景中相似目标的能力也很有限。
2.1.2基于模板匹配的运动目标跟踪
基于模板匹配的目标跟踪方法主要包含3个方面:一是正确地表达运动目标;二是对运动目标与现有模板的相似性进行度量;三是从众多匹配结果中寻找运动目标的最优匹配。根据这3方面的差异,基于模板匹配的目标跟踪方法又可分为基于全局模型的跟踪方法、基于区域模型的跟踪方法、基于特征的跟踪方法以及基于变形模型的跟踪方法。
1) 基于全局模型的运动目标跟踪方法
基于全局模型的跟踪方法针对运动目标的外形特征建立模型,通过运动目标与该模型的匹配实现目标跟踪,并不断更新目标模型。对运动目标进行外形建模时,通常采用线图模型、2D模型、3D模型[9-10]以及稀疏编码模型[11]。
基于全局模型的跟踪方法具有较好的鲁棒性,不易受观测角度、遮挡物等的干扰,对于刚体目标的运动变化捕捉能力强,相应的模型匹配的精度高。
该方法的缺点在于其性能主要取决于建立的模型是否准确,对运动过程中形状随机变化的目标而言,获取精确的几何模型难度高,难以采用该类方法进行有效跟踪。
2) 基于区域模型的运动目标跟踪方法
基于区域模型的运动目标跟踪方法将运动目标划分为不同的部件,并对各部件分别建立模型;通过部件模型与目标模型之间的匹配以及各部件之间的时空关联实现运动目标跟踪。WREN CR等[12]将人体运动目标划分为头部、四肢、躯体等10个部分,并利用各个区域块的时空关联实现人体目标的跟踪。
基于区域模型的跟踪方法的优点是:在运动目标不被遮挡或目标形变不大时,不仅跟踪稳定,而且能够保证较高的跟踪精度。
然而,当运动目标出现较严重遮挡或者尺寸的剧烈变化时,部件之间的关联匹配难度很大,这将大大影响模型匹配的精度,甚至造成运动目标的跟踪丢失。此外,全图搜索匹配区域非常耗时,影响系统的实时性。
3) 基于变形模型的运动目标跟踪方法
基于变形模型的跟踪方法实质上是一种基于目标边缘信息的方法,该类方法的典型代表是基于Snake模型的跟踪方法。其主要思想是构成一定形状的轮廓线,在内部力、外部力和约束力的作用下,反复对曲线的能量函数进行迭代,使曲线上的轮廓点向使能量函数极小化的方向移动,从而实现运动目标跟踪[13-15]。
基于变形模型的跟踪方法不需要利用目标的任何先验信息,且在跟踪过程中充分运用了目标轮廓的全局信息、几何信息,跟踪效果比较可靠。
然而,该类方法逐步迭代寻找最优轮廓线,因此计算量大,算法实时性较差。另外,目标在运动过程中发生剧烈形变时,Snake模型的跟踪精度将受到影响。
4) 基于特征的运动目标跟踪方法
基于特征的跟踪方法主要包括特征提取和特征匹配2个步骤。特征提取时一般选择具有平移、旋转、缩放不变性的全局特征譬如质心、颜色、角点、Hu矩等[16]。首先,以运动目标区域的特征信息作为目标描述模型,然后利用特征匹配计算当前帧提取的特征与目标描述模型的相似程度,并选择最可靠匹配作为跟踪结果。该类方法应用范围广泛,典型代表是MeanShift均值漂移算法[17-19]。
基于特征的跟踪方法对目标的形状、尺度等变化不敏感,跟踪的稳定性好,甚至在目标被部分遮挡的情况下,仅仅依赖能够提取到的特征也能实现良好的跟踪效果。
然而,大多数图像特征对周围环境譬如光照变化等敏感,增加了特征提取的难度。此外,当背景特征与目标特征相似或者跟踪对象遮挡严重时,难以获得准确的特征匹配结果,将会导致跟踪目标错误甚至丢失。
2.1.3基于贝叶斯滤波的运动目标跟踪
贝叶斯方法是协调先验信息和当前信息的统一方法,基于贝叶斯滤波的跟踪方法的实质是利用当前帧之前的先验信息对目标在当前帧图像的状态进行最优估计[20]。该类方法的典型算法有卡尔曼滤波算法[21-27]、粒子滤波算法等[20,28-32]。
传统的卡尔曼滤波是一种利用线性系统状态方程,通过系统输入输出观测数据,对系统状态进行最优估计的算法。该算法能够对现场采集的数据进行实时的更新和处理,是目前应用最为广泛的滤波方法,但其致命缺陷在于使用范围的局限——卡尔曼滤波只适用于线性高斯系统。
相比卡尔曼滤波算法,粒子滤波算法的思想基于蒙特卡洛方法,用随机样本来描述概率分布,然后在测量的基础上调节各粒子的权重和样本的位置,不断逼近真实的概率分布。由于非参数化的特点,粒子滤波算法在处理非线性非高斯问题时效果显著,应用范围相当广泛。
然而,粒子滤波算法常常由于要保证滤波精度而产生大量粒子,而所需粒子数越多,算法的复杂度就越高。此外,重采样技术的应用带来了粒子退化的问题,制约了粒子滤波跟踪运动目标的性能。 针对传统贝叶斯跟踪方法的缺陷,新近提出了无迹粒子滤波算法(UPF)[33]、Rao-Blackwellized粒子滤波算法(RBPF)[34]等。另外,随着生物智能的不断发展,遗传算法与粒子滤波的结合开始受到关注。有实验表明:将改进的遗传算法应用于粒子重采样中,改善了样本的多样性,改进后的基于遗传算法的粒子滤波跟踪算法不仅保持了较高的运算效率,而且较好地提高了跟踪稳定性和准确性[35-38]。
2.2传统目标跟踪方法的发展
传统的目标跟踪方法由于其逻辑思路的不同而各有优劣。各方法的发展与改进不仅要考虑实际目标跟踪问题的复杂性,还要相互补充和借鉴。
1) 提高运动目标特征描述能力
对被跟踪目标进行高效、动态的特征描述,能够保证目标跟踪算法在目标外观改变等复杂情况下,保持良好的准确性和稳定性。
由于颜色特征对平移、旋转、尺度变换以及目标遮挡等都具有比较强的鲁棒性,因此常采用颜色特征来表征跟踪目标的外观,目前颜色直方图是最常用的颜色似然模型。但是,颜色直方图忽略了像素的空间位置分布信息,当跟踪目标周围出现具有相似颜色分布的干扰目标或背景时,跟踪算法就有可能出现跟踪偏差[39]。
针对复杂背景序列图像中出现的颜色干扰、纹理干扰、形状干扰等,基于多特征融合的外观判别模型能够更加精确地区分跟踪对象与其他目标、背景[39-42]。譬如基于传统Snake模型最新提出的Velocity Snake模型[43],就是将时间约束加入能量函数中,一定程度提高了跟踪算法的稳定性。基于多特征融合的MeanShift算法[1-3]避免了单一特征发生变化时对特征提取和匹配造成的不良影响,增强了算法的抗干扰能力。
另外,基于在线学习的外观判别模型具有较高的自适应能力[44],能够在目标外观变化时依然准确地描述目标特征,进而提高模型匹配的精度。
2) 提高系统实时性
在实际应用中机动目标常常以成组的方式分布在相机或传感器的视场范围内。因此,同时对这些分布式的目标进行跟踪,提高实时追踪运动目标的能力是运动目标跟踪的一个关键问题。
传统的目标跟踪方法往往对场景范围内所有区域进行匹配搜索,寻找目标的最优匹配。这种搜索策略需要遍历很多冗余区域,大大影响到跟踪算法的实时性。
为此,常常需要多种方法相结合来缩小目标搜索范围。为达到该目的,可以采用基于贝叶斯理论的滤波算法对运动目标在下一帧的状态进行预测,并在预测区域附近确定适当的搜索范围。李敏敏等[45]、周鑫等[46]分别在TLD检测器中引入Kalman滤波器和基于马尔科夫模型的方向预测器,在降低计算量的同时增强了分类器对相似目标的辨识能力。近年来提出的基于Kalman滤波的Snake模型[43,47-48]算法有效减少了传统Snake跟踪算法的计算量,提高了跟踪效率。同样地,MeanShift方法与Kalman滤波的结合缩小了模型匹配时的搜索范围,成为当前基于特征的目标跟踪方法发展的新趋势[49-51]。
3) 提高算法通用性
目前的跟踪算法大多基于特定的数据集和应用场景,然而序列图像的目标跟踪中具有的一些典型共性问题,譬如如何准确跟踪被遮挡的目标,亟待提出更好的解决方案。
对于处于遮挡状态的运动目标来说,它在序列图像上的外观等信息不能正确表征该目标。因此,处理运动目标遮挡可从以下两方面着手:一是对目标所处的遮挡状态进行分析,再根据序列图像的上下文知识以及目标的运动规律,在一定范围内对遮挡目标进行轨迹预测;二是将基于区域的跟踪方法的思想考虑进来,对被跟踪目标的部件或者局部进行跟踪,进而获得目标整体的跟踪结果,如SHU G等提出的基于运动目标分割的跟踪方法,构造多个目标局部分类器,提高了遮挡情形下的目标跟踪精度[52]。
传统的目标跟踪方法依然处于蓬勃发展的阶段,针对目标跟踪问题的种种复杂性,不断涌现出新的、更全面的解决方案。然而,由于问题的复杂性和各传统方法本身的缺陷,目前在目标跟踪领域仍有许多共性问题亟待解决。本文就该领域的2个最新的热点方向展开深入研究,并提出基于多条件约束的运动目标跟踪技术方案。
3.1基于数据关联的运动目标跟踪
实际应用的跟踪场景中多个目标同时存在,并具有不同的运动规律。多目标跟踪算法的研究内容就是如何在保持多个运动目标属性的同时获得相应的运动轨迹。
数据关联作为多目标跟踪中最为核心的技术,受到了广泛关注。数据关联方法的主要思想是:以运动目标检测结果作为输入,对多帧图像数据中所有可能的轨迹同时计算关联概率,采用特定的准则对每条轨迹的真实性作出判断,不断剔除虚假轨迹,进而获得目标真实轨迹及当前位置。典型的基于数据关联的跟踪方法有联合概率数据关联算法[53-56]、多假设检验方法[57-59]以及动态规划方法[60-62]等。近年来,HUANG C等针对复杂场景中的多目标跟踪,提出了多层次数据关联目标跟踪框架,将目标轨迹的关联问题转化为求解目标最大后验概率问题,取得了较好的跟踪精度[63-67]。XIANG J等[68]也在这个开放的跟踪框架中引入了基于在线学习的霍夫森林模型,对目标进行了更有效的表达,实现了更准确的多目标跟踪。
数据关联方法的显著优点在于采用多帧检测信息用于跟踪,有效降低了单帧错误检测带来的误差漂移,因此方法的抗干扰能力优越。但是该方法的计算量随着目标数量增加而迅速增长,对硬件计算能力和存储性能要求高,算法实时性受到限制。
3.2基于能量最小化的运动目标跟踪
人类视觉在目标跟踪方面具有先天优势,基于能量最小化的目标跟踪方法就是充分模拟人类认知,根据同一目标在运动过程中呈现出的外观一致性、运动参数连续性、运动范围有限性以及目标遮挡等,建立合理的能量函数,并对该函数进行迭代求解以获得目标在整个时间范围内的运动轨迹[69-71]。
基于能量函数最小化的跟踪方法在关注运动目标与背景间差异的同时,充分考虑场景中外观相似、距离相近的目标,因此该方法的跟踪结果和逻辑思路具有一定的可靠性和借鉴意义。然而在实际应用中,为了更加可信地表示多个目标状态信息,能量函数的建立需要综合考虑跟踪对象的外观特征、运动规律以及物理约束等。因此,过于简单的能量函数不能准确反映目标的运动过程,而过于复杂的目标能量函数往往不能获得最优解。
针对能量函数建立与求解的矛盾,本文认为有3种解决思路:一是对目标检测结果进行采样,得到有限的初始化解空间,加快能量函数的收敛速度[72-73];二是寻找更加合理的模型或者函数表述跟踪问题,譬如王长辉等采用在线学习条件随机场模型对跟踪问题进行建模[74];三是采用新的优化方法求解能量函数的最小值,譬如MILAN A 等建立连续的能量函数,采用共轭梯度下降法获得能量函数的局部极小值,并结合周期跨维跃迁方法,在多维空间中跳过弱局部极小值,不断逼近全局最优化解,最终得到可靠的轨迹组合[75-76]。
3.3基于多条件约束的运动目标跟踪
由于基于数据关联的目标跟踪方法处理场景中相似目标的能力不足,而基于能量最小化的目标跟踪方法又难以得到能量函数的全局最优解。本文在传统目标跟踪方法的基础上以这2个研究方向作为突破口,提出基于多条件约束的动目标跟踪方法技术方案。
该方法以多帧目标检测结果为输入,首先,利用相邻帧上目标属性特征的一致性,通过在线学习方法建立外观判别模型,以此保证该判别模型能够随目标的外观变化自适应更新,由此形成一阶属性约束。其次,考虑相邻帧上目标运动距离的合理性,建立各个运动目标的运动范围图,形成一阶运动约束。第三,利用多帧序列图像上目标运动的连续性,建立基于速度、加速度自适应变化的目标机动模型,形成高阶运动约束。另外,受传统方法单帧检测-跟踪的启发,根据相邻帧间的目标匹配关系来确定目标是否被漏检或被严重遮挡,进而对漏检或遮挡目标进行位置更新甚至补充。
由于同时考虑了目标运动过程中的一阶约束和高阶约束,基于多条件约束的运动目标跟踪算法将对每一帧上的目标形成多层次轨迹,并对多层次轨迹进行逐步优化求解,最终得到目标物体在整个序列长度内的真实轨迹,并获得动目标在每一帧中所在的位置。
基于序列图像的运动目标跟踪融合了视频图像处理、计算机视觉、模式识别和人工智能等领域的知识,是当今国际上的研究热点。本文对基于序列图像的运动目标跟踪技术展开了深入研究,对运动目标跟踪的复杂性、关键问题和主要方法进行了综述,对比分析了不同方法的优劣,概括总结了各方法的前沿发展,提出了基于多条件约束的运动目标跟踪算法。随着运动目标跟踪技术在理论研究方面的蓬勃发展,目前已经有部分成果进入实用化阶段,但是当前仍面临着巨大挑战,基于序列图像的运动目标跟踪技术仍有广阔的发展空间:
1) 正确、合理地将目标先验知识运用到运动目标跟踪算法中,提高算法的准确性;
2) 建立高效、动态的目标特征描述模型,提高算法抗干扰能力;
3) 对目标的运动状态变化进行更复杂的建模,精确地刻画目标运动规律;
4) 多种跟踪技术联合应用,克服单一技术的局限性;
5) 编写并行化目标跟踪程序,提高系统实时跟踪不同目标的能力。
参考文献:
[1]WANG W.Method for moving target detection and recognition in intelligent visual surveillance[D].Doctoral Dissertation.Xi’an:Xi’an Electronic and Science University,2013.[2]KALAL Z,MIKOLAJCZYK K,MATAS J.Tracking-Learning-Detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(7):1409-1422.[3]KALALZ Z,MIKOLAJCZYK K,MATAS J.Face-TLD:Tracking-Learning-Detection applied to faces[C]//International Conference on Image Processing.USA:[s.n.],2010:3789-3792.
[4]WANG R,SANG N,WANG R.Detection and tracking strategy for license plate detection in video[J].Optik-International Journal for Light and Electron Optics,2014,125(10):2283-2288.
[5]GRABNER H,BISCHOF H.On-Line boosting and vision[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2006:260-2267.
[6]GRABNER H,GRABNER M,BISCHOF H.Real-time tracking via on-line boosting[C]//Proceedings of British Machine Vision Conference.USA:[s.n.],2006:47-56.[7]FANG X.Online boosting for car detection[D].Beijing:Beijing University of Posts and Telecommunications,2009.[8]BABEKO B,YANG M H,BELONGIE S.Robust object tracking with online multiple instance learning[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(8):1619-1632.
[9]LEUNG MK,YANG Y H.First Sight:A human body outline labeling system[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1995,17(4):359-377.
[10]LIANG J.Research on Motive target tracking arithmetic in video[D].Shanghai:Shanghai Jiao Tong University,2008.
[11]JIA X,LU H,YANG Y H.Visual tracking via adaptive structural local sparse appearance model[C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Providence,R1,USA:[s.n.],2012:1822-1829.
[12]WREN C R,AZARBAYEJANI A,DARRELL T.Pfinder:Real-time tracking of the human body[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997,19(7):780-785.
[13]KASS ML,WITKIN A,TERZOPOULOS D.Snakes:active contour models[J].International Journal of Computer Vision, 1988,1(4):321-331.
[14]LI T,ZHANG Y,LIU Z,et al.An overview on Snakes models[J].Computer Engineering.2005,31(9):1-3.
[15]ROH M C,KIM T Y,PARK J H.Accurate object contour tracking based on boundary edge selection[J].Pattern Recognition,2007,40(3):931-943.
[16]YAN J.Intelligent monitoring of moving target in complex traffic scene[D].Beijing:University of Science and Technology of China,2014.
[17]FUKUNAGA K,LARY D HOSTETLER.The estimation of the gradient of a density function,with applications in pattern recognition[J].IEEE Transactions on Information Theory,1975,21(1):32-40.
[18]CHENG Y.MeanShift,mode seeking and clustering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1995,17(8):790-799.
[19]COMANICIU D,MEER P.Robust analysis of feature space:color image segmentation[M].USA:IEEE Los Alamitos,1997:750-755.
[20]GUO X,LI Y,GUO J.Research on Bayesian target tracking method[J].Computer Engineering,2009,35(12):137-142.
[21]WELCH G,BISHOP G.An Introduction to the Kalman Filter[R].USA:University of North Carolina at Chapel Hill,1995.
[22]JANG D S,KIM G Y,CHOI H K.Filter incorporated model updating for real-time tracking[C]//IEEE TENCON-Digital Signal Proceeding Application.USA:IEEE,1996:878-882.
[23]EFE M,ATHERTON D P.Maneuvering target tracking with an adaptive Kalman Filter[C]//Proceedings of the 37th IEEE Conference on Decision and Control Tampa.USA:IEEE,1998:737-742.
[24]JANG D S,CHOI H.Active models for tracking moving objects[J].Pattern Recognition,2000,33(7):1135-1146.
[25]KUMAR P,SENGUPTA K,HUANG W.Cooperative multi-target tracking with efficient split and merge handling[J].IEEE Transactions on Circuits and Systems For Video Technology,2006,16(12):1477-1490.[26]HOU J.Research on fire detection of large space building based on video image[D].Beijing:Tsinghua University,2010.[27]LIU F,LUO P.Statistical signal processing[M].Changsha:National University of Defense Technology Press,1999.
[28]GORDON N,SALMOND D.Novel approach to nonlinear and non-Gaussian Bayesian state estimation[J].Proceedings of Institute Electric Engineering,1993,140(2):107-113.
[29]王绍珏.基于粒子滤波器的运动目标跟踪方法研究[D].长沙:中南大学.2008.
[30]CHANG C I.An information-theoretic approach to spectral variability,similarity,and discrimination for hyperspectral image analysis[J].IEEE Transactions on Information Theory,2000,46(5):1927-1932.
[31]YOON CH,CHEON M,PARK M.Object tracking from image sequences using adaptive models in fuzzy particle filter[J].Information Sciences,2013:74-99.
[32]VERMAAK J,PEREZ P.Monte Carlo filtering for multi-target tracking and data association[J].IEEE Transactions on Aerospace and Electronic Systems,2005,41(1):309-331.
[33]RUI Y,CHEN Y.Better proposal distributions:objects tracking using unscented particle filter[C]//IEEE Conference on Computer Vision and Pattern Recognition.USA:IEEE,2001:786-793.
[34]VIHOLA M.Rao-Blackwellised Particle filtering in random set multi-target tracking[J].IEEE Transactions on Aerospace and Electronics Systems,2007,43(2):689.
[35]OSHMAN Y,CARMI A.Attitude estimation from vector observations using genetic-algorithm-embedded quaternion particle filter[J].Journal of Guidance Control and Dynamics,2006,29(4):879.
[36]YE Z,LIU Z.Tracking human hand motion using genetic particle filter[C]//IEEE International Conference on Systems,Man and Cybernetics.USA:[s.n.],2006:4942-4947.
[37]HO M,CHIANG C,CHEN Y.A genetic particle filter for moving object tracking[C]//The 4th International Conference on Image and Graphics,USA:[s.n.],2007:524.
[38]陈善静,杨华,曾凯,等.基于遗传算法的粒子滤波跟踪算法[J].光电工程,2010,37(10):16-22.
[39]马加庆.视频运动目标的跟踪方法[M].北京:电子工业出版社,2013.
[40]孙学彬.基于多对象特征获取的多目标跟踪算法研究[D].南宁:广西大学.2014.
[41]YANG X,FEI S,LI G,et al.Improved mean shift tracking algorithm based on complicated feature fusion[J].Control and decision making,2014,7(29):1297-1300.
[42]贾旭.基于局部外观模型的目标跟踪方法研究[D].大连:大连理工大学.2013.
[43]PETERFREUND N.Robust tracking of position and velocity with Kalman Snakes[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1999,21(6):564-569.
[44]LI F,PAN P.The research and progress of dynamic models for maneuvering target tracking[J].Fire Control and Command Control,2007,32(10):1163-1167.
[45]LI M.Object tracking based on TLD[D].Xi’an:Xi’an Electronic and Science University,2013.
[46]周鑫,钱秋朦,叶永强,等.改进后的TLD视频目标跟踪方法[J].中国图象图形学报,2013,18(9):1115-1123.
[47]岑峰,戚飞虎.短程线主动轮廓跟踪算法的研究-在复杂背景和非刚性运动目标跟踪的应用[J].计算机研究与发展,2003,40(2):283-288.
[48]王爱平.视频目标跟踪技术研究[D].长沙:国防科学技术大学,2011.
[49]COMANICIU D,RAMESH V.MeanShift and optimal prediction for efficient object tracking[C]//IEEE International Conference on Image Processing.USA:IEEE,2000:70-73.
[50]COMANICIU D,MEER P.MeanShift:A robust approach toward feature space analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):603-619.
[51]金鹏,刘惠义,杨战军.一种改进的视频图像检测跟踪算法[J].计算机与数字工程,2015,4(43):576-590.
[52]SHU G,DEHGHAN A,OREIFEJ O.Part-based multiple person tracking with partial occlusion handling[C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.USA:IEEE,2012:1815-1821.
[53]BARS Y,BIRMIWAL K.Consistency and robustness of PDAF for target tracking in cluttered environments[J].Automatica,1983,19(4):431-437.
[54]MESSAOUDI Z,OULDALI A,OUSSALAH M.Joint multiple target tracking and classification using controlled based cheap JPDA-multiple model particle filter in cluttered environment[C]//International Conference on Image and Signal Processing.USA:[s.n.],2008:562-569.
[55]LEE H,KO H.Predictive estimation method to track occluded multiple objects using joint probabilistic data association filter[C]//International Conference on Image Analysis and Processing.USA:[s.n.],2005:852-860.
[56]SHAFIQUE K,LEE M,HAERING N.A rank constrained continuous formulation of multi-frame multi-target tracking problem[C] //IEEE Conference on Computer Vision and Pattern Recognition.USA:IEEE,2008:1-8.
[57]BLOSTEIN S,HUANG T.Detecting small moving objects in image sequences using sequential hypothesis testing[J].IEEE Transactions on Signal Processing,1991,39(7):1611-1629.
[58]CHIA A Y S,HUANG W.Multiple objects tracking with multiple hypotheses dynamic updating[C]//International Conference on Image Processing.USA:[s.n.],2006:569-572.
[59]CHIA AYS,HUANG W,LI L.Multiple objects tracking with multiple hypotheses graph representation[C]// International Conference on Pattern Recognition.USA:[s.n.],2006:638-641.
[60]BARNIV Y.Dynamic programming solution for detecting dim moving targets[J].IEEE Transactions on Aerospace and Electronics Systems,1985,21(1):144-156.
[61]BARNIV Y,KELLA O.Dynamic programming solution for detecting dim moving targets Part Ⅱ:Analysis[J].IEEE Transactions on Aerospace and Electronics Systems,1987,23(6):776-788.
[62]曲长文,黄勇,苏峰.基于动态规划的多目标检测前跟踪算法[J].电子学报,2006,34(12):2138-2141.
[63]HUANG C,WU B,NEVATIA R.Robust object tracking by hierarchical association of detection responses[C].European Conference on Computer Vision.USA:[s.n.],2008:788-801..
[64]WU B,NEVATIA R.Detection and tracking of multiple,partially occluded humans by Bayesian combination of edgelet based part detectors[J].International Journal of Computer Vision,2007(6):247-266.
[65]BABENKO B,YANG M,BELONGIE S.Visual tracking with online multiple instance learning[C]//IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2009:983-990.
[66]KUO C,HUANG C,NEVATIA R.Multi-target tracking by on-line learned discriminative appearance models[C]// IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2010:685-692.
[67]YANG B,NEVATIA R.An online learned CRF model for multi-target tracking[C]//IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2012:2034-2041.
[68]XIANG J,SANG N,HOU J.An on-lined learned Hough forest model for multi-target tracking[C]//IEEE International Conference on Image Processing.USA:[s.n.],2014:2398-2402.
[69]韩崇昭,朱洪艳,段战胜.多源信息融合[M].北京:清华大学出版社,2006.
[70]BERCLAZ J,FLEURET F,FUA P.Robust people tracking with global trajectory optimization[C]//IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2006:744-750.
[71]LEIBE B,SCHINDLER K,GOOL LV.Coupled detection and trajectory estimation for multi-object tracking[C]// International Conference on Computer Vision.USA:[s.n.],2007:1-8.
[72]HENRIQUES J,CASEIRO R,BATISTIA J.Globally optimal solution to multi-object tracking with merged measurements[C]//IEEE International Conference on Computer Vision.[S.l.]:IEEE,2011:2470-2477.
[73]PIRSIAVASH H,RAMANAN D,FOWLKES C.Globally-optimal greedy algorithms for tracking a variable number of objects[C]//IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2011:1201-1208.
[74]王长辉,罗晴.基于能量最小化的多目标跟踪算法研究[J].科学技术与工程,2014,14(17):253-259.
[75]ANDRIYENKO A,SCHINDLER K.Multi-target tracking by continuous energy minimization[C]//IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2011:1265-1272.
[76]MILAN A,SCHINDLER K.Continuous energy minimization for multi-target tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence.2014,36:58-72.
(责任编辑杨黎丽)
收稿日期:2016-01-12
作者简介:曾巧玲(1994—),女,硕士研究生,主要从事空间信息获取与处理、计算机视觉研究;文贡坚(1972—),教授,博士生导师,973首席科学家,主要从事摄影测量与遥感、空间信息获取与处理研究。
doi:10.3969/j.issn.1674-8425(z).2016.07.018
中图分类号:TP3.9
文献标识码:A
文章编号:1674-8425(2016)07-0103-09
Review of Moving Target Tracking
ZENG Qiao-ling,WEN Gong-jian
(School of Electronic Science and Engineering,National University of Defense Technology, Changsha 410073, China)
Abstract:The top priority of moving targets tracking is extracting the objects interested accurately, robustly and in real-time. However, caused by the variety of targets, the complexity of scene and universality of application requirements, target tracking systems are suffering restriction for further development. Aiming at the tasks and difficulties in target tracking, this review was carried out to discuss the advantages and disadvantages of mainstream methods proposed currently and to summary about pros and cons of each method were given as well. On this basis, the review generalized several key issues in the future development of target tracking. To better solve these issues, we delved into two hot topics in the targets tracking research and raised a technical proposal of multi-targets tracking based on multiple constraints. Furthermore, the trends and promising prospects in moving targets tracking were presented.
Key words:moving targets tracking; sequence image
引用格式:曾巧玲,文贡坚.运动目标跟踪综述[J].重庆理工大学学报(自然科学),2016(7):103-111.
Citation format:ZENG Qiao-ling,WEN Gong-jian.Review of Moving Target Tracking[J].Journal of Chongqing University of Technology(Natural Science),2016(7):103-111.