运动目标跟踪方法综述*

王明波

(92493部队98分队 葫芦岛 125000)



运动目标跟踪方法综述*

王明波

(92493部队98分队 葫芦岛 125000)

综述了当前普遍使用的运动目标跟踪算法的思想和它们的适用范围、优缺点；通过对各种方法的多方面比较，提出了改进思想，总结了目标跟踪的选择方法。对于不同的目标和场合, 选择上述不同的方法来实现目标跟踪,具有较高的跟踪精度和较好的实时性。最后探讨了目标跟踪方法中有待进一步研究的问题。

动目标跟踪; 分析; 匹配

Class Number TN911

1 引言

目标跟踪是指计算机或其他仪器设备依据某种算法实现对目标的跟踪与定位, 并根据目标的位置和动向采取相应措施。在现代战争中，对于飞机、舰船、导弹等军事目标，如果能实时地加以识别跟踪，对掌握战场主动权和正确打击目标、显著地提高未来指挥作战系统的性能，具有重要意义，是当代军事领域研究热点。

文中将动态目标跟踪方法分为基于运动分析的方法和基于图像匹配的方法，并对各类方法具体分类。通过对各种传统方法及最新方法的介绍，总结了不同方法的基本属性，分析了各自的优缺点及相应的改进措施。在此基础上，讨论了某些具体问题的优化技术，指出了目标跟踪算法的发展方向。

2 基于运动分析的方法

基于运动分析[1]的方法概括地说，是利用时变图像强度的时空变化来确定运动物体的空间位置，即通过检测序列视频图像视场中目标和背景的不同运动速度来发现目标存在的区域，从而实现跟踪。运动目标检测的方法可以分为帧间差分方法、光流分割法和频率域方法三种。

2.1 帧间差分方法

图像运动意味着图像变化。运动估计算法[7]中的一个基本依据是图像强度的变化，可以用图像序列中相邻时间的一对图像的差来表示强度的相对变化，图像差运算定义为

fd(X,t1,t2)=f(X,t2)-f(X,t1)

(1)

式中fd是差分图像。上式运算只涉及对应像素强度的相减运算，因此这种算法是相当简单的，并且

适合于并行实现。图像差分在某种程度上反映了景物的较高层次性质或蕴含在图像平面上传感器运动的变化。如果景物中存在几个相互独立的运动物体，差分图像就是这些运动效应的组合。

当摄像机位置固定时，只要对相邻帧的图像直接作差分运算，就可以检测出视场中的差异部分，发现运动目标的存在区域，解决目标跟踪问题。还可以对差分后的图像取阈值并累加来提取目标的运动轨迹。如果目标的速度不变化，在累加的图像中，目标的运动轨迹会形成一条直线，可以通过Hough变换来检测这条直线，从而找到目标。

对相邻帧图像直接做差分的方法只适合摄像机不动的情况。如果摄像机自身也处于运动状态，则由于目标和背景同时处于运动中，而不能通过简单的检测视场中的差异部分来提取目标，要通过对背景的运动进行补偿后，才能将目标的运动从背景的运动中区分出来。还可以通过贝叶斯方法计算光流来找到大面积背景的运动，将两帧图像根据这个运动重新对齐，使背景重合，再用图像相减的方法检测出相对背景运动目标。

2.2 光流分割法

光流是空间运动物体的被观测表面上的像素点运动的瞬时速度场，是指图像灰度模式的表面运动。基于光流估计的方法都是基于以下假设：图像灰度分布的变化完全是由于目标或背景的运动引起的，也就是说，目标和背景的灰度不随时间变化。

通过光流分割法检测目标时，要根据不同的情况区别对待。如摄像机运动而目标静止；摄像机静止而目标运动；或者两者都处于运动中。如果背景不动，可以检测光流图像中的最大值来提取目标，如果背景运动，需要利用先验知识，根据光流的变化来区分目标与背景。光流法可以描述多种目标运动情况，在动态视频中，目标的运动通常可以用以下四种运动的某种组合来描述：在与摄像机距离固定的平面内的平移；在摄像机景深方向的移动；在与摄像机距离固定的平面内沿视轴的旋转；垂直于视轴的平面物体的旋转。这些运动方式产生的运动向量也各有特点：在一定距离平面内的平移表现为平行的运动向量；在景深方向的移动形成的速度向量都经过一点，这个点叫做汇集点；在固定距离内的旋转形成一组具有公共圆心的运动向量；垂直于视轴的平面物体的旋转形成一组或几组以直线为起点的向量。基于以上结论，通过对光流的简单处理就可以识别这些基本的运动，例如，对平移运动来说，如果平移不是处于固定的景深内，则光流向量不平行，而是指向汇集点；如果平移在固定的景深内，则汇集点在无穷远处。如果图像中存在多个移动目标，每个目标都有自己的汇集点。

2.3 频率域方法

将视频图像序列变换到频率域，然后根据变换系数的幅值或相位来检测目标的运动。Fourier变换是常用的频率分析方法[1]。其中，利用变换系数幅值的方法，是根据在空间域的卷积等于在频率域相乘这个Fourier变换性质，将图像中的模板相关转换到频率域实现，以增加运算效率。利用变换系数相位的方法根据空间域的平移对应于频率域内的相移这个Fourier变换性质来检测目标的运动。从傅氏变换可以知道，空域中的位移表现为频域中的相位差。通过计算频域中的相位差就可以反过来求出空域中的位移，这就是基于频域的跟踪方法[1]的理论基础。一般使用傅氏变换和带通滤波器等做变换。小波[1]也是一种非常重要的信号分析工具，可以用来进行运动分析。小波变换作为时频分析的方法，也可以对图像序列中的运动进行分析，与Fourier变换相比，因为增加了空间域内的定位信息，更有利于运动目标的检测。但是目前小波对于运动分析来讲还并不十分有效，因为输入信号的一个小的扰动，就会引起小波系数非常大的变化。

3 基于匹配技术的方法

基于图像匹配的方法可以识别待定目标及确定运动目标的相对位置，正确截获概率和定位精度是图像匹配的主要性能指标。基于匹配的原理，该方法可分为基于区域的模板匹配跟踪方法和基于特征的匹配跟踪方法。

3.1 基于区域的模板匹配跟踪方法

图像空间的匹配可以在图像的整个区域上进行，也可以在很小的图像子区域(窗口)上进行。可以使用的匹配准则包括，最大互相关函数、最小均方差函数、最小平均绝对差值函数、最大匹配像素统计等。不同的匹配准则的数学含义不同，计算代价也不同，但是总的来说运算量都很大。通过并行处理或多分辨率匹配可以加快匹配速度。

归一化相关或模板匹配[3,9]的方法是一种常用的匹配的方法。目前电视跟踪的相关跟踪方式就是在图像子空间利用模板匹配方法进行像素灰度匹配。这种方法在每帧图像中，根据匹配准则，在所有可能的位置搜索与图像模板最一致的区域。在像素(m,n)处的归一化相关系数可以表示为

(2)

(3)

(4)

(5)

其中的分子为模板与图像的相关系数，分母中C1(m,n),C2(m,n)分别为模板的自相关系数和匹配处图像的自相关系数，对相关系数进行归一化处理。模板的自相关系数与位置(m,n)无关。在当前图像的搜索区域内，使归一化相关系数最大的那个位置既是当前图像中的目标位置。

二维最小绝对差累加和算法(MAD)[5]是一种应用于工程系统较为普遍的相关跟踪算法，它与上述基于归一化互相关的模板相关跟踪算法相似，该相关匹配算法采用二维最小绝对差累加和作为子图和目标模板相似度的度量。如：

(6)

在图像匹配跟踪过程中，参考模板图像在当前帧搜索区内滑动与实时子区图像作相关运算，寻找最佳匹配点，当使D(i,j)取得最小值Dmin时的D(i,j)即为所求的最佳匹配点。由于MAD算法直接采用图像各像素点的灰度值作绝对差累加和运算，虽然计算量比归一化互相关运算要少，但需要计算的点数也很多，而且MAD算法对图像灰度变化较敏感，在图像低对比度区域及对比度变化情况下，目标跟踪性能将下降，甚至丢失目标。

3.2 基于特征的匹配跟踪方法

在基于图像特征的匹配方法中，运动目标跟踪是在视频图像序列中找到与目标特征相匹配的特征点来实现的。如果图像被选中的部分f(i,j)和g(i,j)样板都用特征向量来表示：

Y=(y1,y2,…,yk)X=(x1,x2,…,xk)

(7)

则X和Y的向量差可用差向量的范数来表示：

(8)

则向量差最小的即为寻找的特征向量，从而使得计算量大为减少。基于特征的匹配跟踪算法的跟踪效果与特征有关，可以采取的特征最好具有平移不变性、旋转不变性和尺度不变性等。

4 各类方法优缺点比较及改进措施

4.1 基于运动分析的方法

光流的计算有全局优化和局部优化两种。局部优化的光流计算方法能够反映出运动边缘处的运动信息，但是对于图像中的弱纹理区域不敏感；全局光流的计算方法能够得到每个像素点处的光流，但是对于运动边界处的光流变化不敏感。光流场方法[3]的优点在于不需要目标的先验知识，计算比较精确。但大多数的光流计算方法相当复杂，且抗噪声能力差，如果没有特别的硬件装置则不能被应用于全帧视频流的实时处理。光流分割方法不适合目标只有几个像素的情况，这时光流计算的误差容易产生虚警。另外，光流法只有当图像捕获的间隔很短时才适合。但是，它对照度变化和噪声较敏感、计算量也比较大。而且由于实际景物中的速度场不一定总是与图像中的直观速度场有唯一对应的关系，偏导数的计算又会加重噪声水平，使得基于光流的方法在实际应用中常常不稳定。

频域方法相比其它基于空域的方法有很多优点。首先，它对图像整体的亮度变化不敏感，对噪声也不敏感。其次，有较高的定位精度，可以达到亚像素级。此外，对匹配区域发生的一些小扰动具有一定的鲁棒性。但是，基于傅氏变换的方法只对于均匀背景下的目标运动才有效。虽然可以采用局部窗口变换来尽量避免这个问题，但是该算法的应用仍受到很大限制。

基于运动的方法考虑了整个区域的信息，因此增加了跟踪的鲁棒性[4]。依靠增加时间域的支撑，获得在低信噪比和复杂背景条件下检测目标的能力。但是这种方法需要找到整个图像区域内的逐点对应，通常很费时，而且局限于目标与背景的灰度保持不变这个假设条件下。如果图像中的目标尺寸较大，有明显的形状或纹理等信息，就应该根据图像自身的特征利用下面介绍的基于匹配技术的方法来检测和跟踪目标。

4.2 基于匹配技术的方法

基于区域的图像模板匹配[2,8]能利用目标图像中的所有信息，对目标对象的识别能力强、精度高，但对旋转和缩放(非本质变化)目标图像的识别能力较差。图像特征匹配是现在研究的热点,它具有稳定性好、易于实现、匹配效率高、对图像的旋转和缩放不敏感、抗噪性能好等特点，但是计算量大，跟踪效果与选取的特征直接相关。在基于图像特征的匹配方法中，运动目标跟踪是在视频图像序列中找到与目标特征相匹配的特征点来实现的。简单的特征包括点、线段、边缘、轮廓，复杂的特征可以是它们的组合。

在图像域内直接利用灰度跟踪的方法的优点是，直接利用目标的像素灰度组成模板，找到不同帧之间的图像灰度对应关系，因此不需要提取目标特征和建模等计算，方法相对简单，但这种方法完全依据于图像数据，存在以下缺点：

1) 互相关算法的运算量大。

2) 对于尺度、旋转等图像变形问题，模板匹配很困难。

3) 目标或背景的亮度、对比度变化会导致模板匹配不稳定。

由于这些缺点的存在，这种归一化相关或模板匹配方法只限制在目标运动简单、只有平移运动、视角固定或变化缓慢、背景也相对简单的情况。另外，当跟踪图像中存在杂波、噪声，目标存在较大的尺度方位变化时，这种跟踪方法不再可靠，容易产生跟踪点偏离。如果把模板匹配的方法改为对图像的变形参数进行优化方法来寻找与模板的最佳匹配，可以解决尺度、方位变化的问题。但是由于图像是离散的，要用插值方法对变形后的模板进行像素级的模板重建来与图像匹配，运算量很大。

与直接用灰度模板相关的目标跟踪方法相比，基于特征匹配进行跟踪的方法具有如下的优点：

1) 与灰度模板相关方法比较，所处理的数据量大大减少。

2) 抽取特征方法对几何变形、亮度变化、对比度变化具有鲁棒性。

3) 基于特征的方法可以根据精度的需要来选取使用的目标特征数量。

这类方法的特点是，它们对于图像灰度的整体变化不敏感，但是对于图像模糊、噪声等比较敏感；图像特征的提取效果也依赖于获取它们的各种算子及其参数设置。图像的特征看似简单，但是由于容易受到噪声影响，在很多环境下并不适用。而且帧间的特征对应关系也较难确定，尤其是当特征数目不一致、存在漏检或者新增的特征时。所以，一般来讲这类算法主要应用于纹理信息比较丰富、结构清晰的大目标。

5 方法的选择

由于运动场景下的目标跟踪具有很强的随机性，任何算法都不是绝对准确的，都不能通用于任何场景，但是跟踪方法的选择还是有一定的规律性：

1) 从单目标和多目标来看，匹配法多适用于单目标；而运动分析法多适用于多目标，特别是光流法可以解决目标之间重叠的问题。

2) 从目标的特征来看，如果图像中的目标尺寸较大，有明显的形状或纹理等信息，就应该根据图像自身的特征于匹配方法来检测和跟踪目标，否则，采用基于运动分析的方法。

3) 从跟踪的精度高低来看，对于会议电视系统的跟踪来说，一般对跟踪的精度要求不高，只要能做到实时跟踪就可以，所以跟踪算法要求尽量简单，运算量小，采用简单的帧差法结合适当的背景补偿方法即可。

6 结语

随着数字信号处理技术的发展，一些新的方法如神经网络、遗传算法等也被应用到识别跟踪技术中。另外数据融合技术也被应用到识别跟踪技术中，如基于多传感器的数据融合技术、基于多光谱的数据融合技术。取得了很好的效果，这些算法各有其优缺点，应用分别适用于不同的应用场合。这样，可以从多个角度、多个侧面进行识别定位，其识别定位的效果较单一方法、单一角度的识别定位更为准确有效。

通过研究并分析了几种典型的目标识别跟踪方法的基本原理、基本属性、存在弊端及发展过程，总结了目标跟踪的选择方法。对于不同的目标和场合,选择不同的方法来实现目标跟踪,使其运用在特定的领域能够更好地发挥出其在特定领域的优越性。跟踪算法的高实时性、高精确性是下一步要研究的重点。

以上各种方法各有千秋，对于每一种算法的弊端可以从以下几方面进一步完善：

1) 结合模糊神经网络的算法

以往对多目标跟踪的研究方法，是建立在各种机动目标的数学模型和各种滤波方法上。虽然能对机动没有进行有效的跟踪，但计算量大，跟踪过程很复杂，而且机动目标的运动描述很复杂，难以用一个准确的数学模型来描述。而结合模糊神经网络结合[6][7]的方法，可以优势互补，可以将人的模糊判别的特点引入到跟踪系统中，用简单的程序完成复杂判别。

2) 人机交互由于运动场景的复杂及各种随机因素的产生，单靠计算机自动识别是有一定难度的，在适当的情况下，加入人为的指导作用，会起到事半功倍的效果。如随时指定要跟踪的目标，在目标辨别错误或丢失情况下，指定重新搜索等。

[1] 桑爱军,宋建中.基于跟踪度的cabor小波特征跟踪方法研究[J].光学技术，2005,31(4):588-590. SANG Aijun, SONG Jianzhong. Gabor wavelet feature tracking method based on criteria of trackin[J].OpticalTechnique.2005,31(4):588-590.

[2] 常发亮,马丽,乔谊正.遮挡情况下基于特征相关匹配的目标跟踪算法[J].中国图像图形学报,2006,11(6):887-882. CHANGFaliang, MALi, QIAOYizheng. Targettrackingalgorithmunderocclusionbasedoncorrelationmatching[J].J.Imagand Graphics,2006,11(6):877-882.

[3] Shi Rong, Li Zaiming. The Compensation for High-speed Optical Flow Estimation with Displacement Motion[C]//IEEE communication, circuit and system International Conference,2002(6):595-599.

[4] H.Tao,H.Sawhney and R.Kumar. Dynamiclayer representation with applications toTracking[C]//Proc. IEEE Conf. on Comp. Vision and Pattern Recogn.,2000:134-141.

[5] Stauffer C, GrimsonW E.Adaptive background mixturemodels for real-time tracking[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Fort Collins: IEEE Computer Society,1999:246-252.

[6] 夏佩伦,温洪.基于模糊推理的目标跟踪[J].控制与决策,2003,10(17):23-26. X IAPeilun, W ENHong.Target tracking based on fuzzy inference[J].Electronics Optics& Control,2003,10(17):23-26.

[7] 刘其真.模糊记忆方法用于红外图像飞机目标跟踪[J].工程图形学报,2000,23:40-44. LIU Qizhen. AFuzzyremembranceApproach ForTrackingFlyingObjectof InfraredImage.Journal of Engineering Graphics,2000,23:40-44.

[8] 张娟,毛晓波.运动目标跟踪算法研究综述[J].计算机应用研究，2009，16(12)：4407-4408. ZHANG Juan, MAO Xiaobo, et al. Surveyofmoving object tracking algorithm[J].ApplicationResearch ofComputer,2009,16(12)：4407-4408.

[9] 薛陈,朱明.遮挡情况下目标跟踪算法综述[J].中国光学与应用光学,2009,2(5)：387-391. XUE Chen, ZHU Ming. Reviewof tracking algorithms under occlusion[J]. Chinese Journal ofOptics andAppliedOptics,2009,2(5):387-391.

[10] 江泽涛,赵榕春,黎明.一种基于相关的分层匹配与目标跟踪算法[J].航空学报,2006,27(4):670-675. JIANG Zetao, ZHAO Rongchun, LIMing. Acorrelationbasedlayeredmatchingandtargettrackingmethod[J].ActaAeronauticaet,AstronauticsSinica,2006,27(4):670-675.

Research on Moving Target Tracking

WANG Mingbo

(Unit 98, No. 92493 Troops of PLA, Huludao 125000)

In this paper ,some representative methods which include the basic principle , applicability,virtues and drawbacks ,etc, are introduced. The improved idea is put forward and the selected method of target tracking is summarized based on comparison different methods in many sides. Using them in certain area can reach a good real-time tracking precision for different targets and situations. It has good tracking precision and character of real-time. Finally, the direction needed to beinvestigate further is discussed.

moving target tracking, analyzing, matching

2016年5月14日,

2016年6月27日

王明波,男,工程师,研究方向：电子对抗总体技术。

TN911

10.3969/j.issn.1672-9722.2016.11.015