融合块显著质心描述和多级关联的多目标跟踪

路 红，李宏胜，费树岷，程 勇

（1.南京工程学院自动化学院，南京江苏211167；2.东南大学自动化学院，南京江苏210096）

融合块显著质心描述和多级关联的多目标跟踪

路 红1，李宏胜1，费树岷2，程 勇1

（1.南京工程学院自动化学院，南京江苏211167；2.东南大学自动化学院，南京江苏210096）

提出一种融合目标分块、显著质心建模和多级关联的多目标跟踪（multi-target tracking，MTT）方法，用于提高互遮挡、相似目标干扰场景中的跟踪鲁棒、准确性。利用自适应阈值背景差分检测运动区域；将目标区域分块，根据块中运动像素处背景差分值计算色彩显著度，建立运动、色彩显著质心模型；建立目标间、目标与运动检测间全局、块级数据关联，判别互遮挡目标及块，并据块遮挡矩阵更新目标模板；利用有效色彩和运动信息计算块质心转移向量及融合权值，获得目标全局质心转移向量以定位目标。实验结果表明该方法对互遮挡、相似目标干扰及外观变化的多目标均具有稳定跟踪性能。

多目标跟踪；显著质心；多级关联；块质心转移

0 引 言

基于视觉的多目标跟踪（multi-target tracking，MTT）是计算机视觉领域的一个重要研究方向，也是国际计算机智能视频监控领域研究的热点，在地面交通管制、工业机器人手眼系统和港口监视等多方面都具有广泛应用。但由于复杂场景中遮挡、相似特征目标（或背景）干扰、目标外观变化等影响，MTT的鲁棒性、准确性和实时性问题仍未得到完善解决［1］。

早期MTT侧重于目标运动分析法［2-3］，近年来，针对测量-跟踪间分配问题，基于外观模型的MTT研究逐渐成为热点。由于色彩直方图（color histogram，CH）［3］等能较好刻画目标外观特征，准确定位动态遮挡引起的运动检测合并区域中的单个目标，基于运动特征和CH的多特征融合MTT方法［3-5］得到一定应用。同时，针对CH光照敏感问题，考虑光照容忍的目标描述研究也开始涌现，如边缘方向直方图［6］、局部二值模式［7］等。上述经典直方图特征由于忽视空间信息，在相似特征目标或背景干扰、目标外观变化（由旋转或部分遮挡等引起）时鉴别力下降。因此针对如何建立鲁棒的目标外观模型以提高目标描述力成为研究热点。其研究成果目前主要集中在单目标跟踪上，并在旋转和缩放预测、拥挤和部分遮挡场景中取得良好跟踪结果，如共生色彩对相关图描述［8］、基于水平集背景消除的面积加权质心描述［9］、非对称核函数加权模型［10］等，这些研究考虑了特征空间分布信息，相比经典全局特征方法，能够提高目标描述力，对提高MTT鲁棒性具有重要意义。文献［11］针对单目标和MTT，在Log-euclidean块分割外观模型中融入全局和局部外观空间信息建立目标模型，具有抗部分遮挡和光照鲁棒性，但是遮挡判别依赖块自身特征协方差，没有发挥多目标间相互作用。

对于固定场景中的多运动目标检测，背景差法是最佳的，其中背景重构等问题得到了广泛研究，如背景数学建模［4］和像素灰度选择［1213］方法的应用等。基于运动检测的MTT能自动起始跟踪，快速关联独立运动目标，若辅以鲁棒的目标外观模型匹配跟踪，则有利于实现互遮挡目标合并区域中测量－跟踪间准确分配。与多特征融合相对应，多种检测和跟踪算法融合也成为关注的焦点，如背景差法与均值漂移（mean shift，MS）融合［4］、背景差法与粒子滤波（particle filter，PF）融合［3］、MS与卡尔曼滤波（Kalman filter，KF）融合［6］等。文献［4］利用目标运动检测框间重叠与否判断遮挡，采用前景检测消除背景对目标特征模型的影响，并将互遮挡目标作为一个整体进行核掩膜MS跟踪；由于遮挡目标全局模板在整个遮挡过程中不更新，因此在长期部分遮挡并发生目标外观渐变时，难以持续准确跟踪；若互遮挡目标外观相似，则将会因缺乏合并过程中目标个体的确切位置信息，引起目标分离时单个目标定位错乱。还有一些与特征模型相对应的目标检测新方法，如基于PF贝叶斯状态推理的目标检测和跟踪方法［11］、一步质心转移法［9］等。文献［9］针对单目标跟踪提出一步质心定位概念，利用目标区域中各色彩覆盖面积计算该色彩质心在目标定位中的权值。由于色彩质心对像素数目变化不敏感，因此具有目标定位稳定性。但当目标与所处背景色彩大面积相似或受邻近相似特征目标干扰时，将产生跟踪漂移。一步质心定位克服了经典迭代搜索和大量样本训练方法的计算量问题，但目前仅局限于单目标跟踪，若合理拓展到MTT框架中，将有利于提高跟踪效率。

经典数据关联方法主要针对空中目标或点目标跟踪，联合概率数据关联［1415］等理论得到了广泛应用。这些方法主要集中在利用概率分析推理测量－跟踪间分配问题，方法复杂、计算耗费大。针对地面小目标跟踪，文献［16］采用两级目标检测和跟踪算法，在低级阶段利用目标位置和形状信息进行聚类以获得测量信息，在高级阶段进行联合概率数据关联跟踪。最近的MTT研究集中在基于外观模型的方法上，针对单一数据关联方法难以应对复杂场景中目标行为、外观变化多样性，多种关联融合方法得到广泛研究，在遮挡推理、部分可观测区域关联及歧义目标跟踪方面取得一系列成果。如针对动态遮挡MTT的基于PF估计和区域关联算法［3］，基于中心最近邻、尺度最近邻和MS融合算法［4］，针对拥挤场景MTT的基于运动估计、Hungarian算法和场景推理的三级关联算法［17］，以及针对摄像机抖动场景中MTT的目标组数据关联和单个目标独立匹配两级关联算法［5］等。从数据关联机制上看，若对目标区域分块，建立不同（互遮挡）目标间基于块的数据关联，则可将遮挡判断精确到块级，同时可利用局部可观测块提高测量－跟踪间分配以及模板更新效率。

本文针对多目标互遮挡、相似特征目标干扰问题，设计了一种有效增强目标描述力、提高测量－跟踪间分配鲁棒、稳定性的多目标全自动跟踪方法。将自适应运动检测、运动和色彩显著质心模型描述、基于两级关联的遮挡块定位、块质心转移向量融合及模板更新融入MTT框架。实验结果表明：本文算法与面积加权质心转移算法、掩膜MS跟踪算法相比，具有遮挡跟踪稳定、抗相似特征目标干扰能力强等特点，在目标持续合并和遮挡、合并和分离交替以及外观变化过程中均具有鲁棒定位性能。

1 运动检测和目标描述算法

1.1 运动检测

运动检测方法中，背景差分法因其能获得相对当完整的运动区域、计算量小等优点得到广泛应用。为了使检测算法对场景及光照渐变具有自适应性，这里采用阈值迭代算法获取当前帧It与背景Bt色彩分量绝对差分图像｛｜ΔIr，t｜，｜ΔIg，t｜，｜ΔIb，t｜｝各自的自适应分割阈值｛τr，t，τg，t，τb，t｝，如式（1）所示。

式中，｜ΔIr，t｜＝｜Ir，t－Br，t｜。

通过融合分量分割结果获得当前帧中二值运动检测区域Ot（x），如式（2）所示。

1.2 运动像素色彩显著度

人眼跟踪目标时，依据的不仅仅是目标主色彩（覆盖面积大）对视觉的刺激，那些相对背景对比度大的运动像素和显著色彩，即使覆盖面较小，在主色彩和背景色彩相近、目标被部分遮挡时，却往往能成为目标定位的重要依据。由于｜ΔIr，t｜能直观反映前景与背景间色彩差异，因此这里用其来计算运动像素xi处色彩u＝［｜ΔIr，t（xi）｜，｜ΔIg，t（xi）｜，｜ΔIb，t（xi）｜］的显著度wt（u，xi）。将u视为3位（M+1）进制数，以其十进制表示的归一化值作为xi处显著度，如式（3）和图1所示。

式中，M为灰度级。图1（a）为原图的16×16×16色彩空间降维图像（M＝15），蓝色外接矩形框包围的为目标区域；图1（b）为目标二值运动区域；图1（c）中色彩代表wt（u，xi）值：目标头部和裤子相对背景的区分度较大，对应显著度值较大，而覆盖面积较大的上衣由于与背景色彩相似，呈现出较低显著度值。

图1 运动像素色彩显著度图

1.3 分块显著质心描述

将目标区域沿水平和垂直方向均分为互不重叠的L1×L2块，获得各块中心坐标、尺度、面积和运动像素占空比；以第n个块中运动像素色彩显著度（u，xi）加权各色彩u的坐标xi，获得该块色彩质心以及质心显著度，建立块级运动像素色彩显著度加权质心模型，如式（4）和式（5）所示。

式中，Rn为块n中二值区域“1”的个数；δ为狄拉克函数。

2 块质心转移融合和多级关联MTT

2.1 算法总体流程

设第t－1帧跟踪目标为s1（s1＝1，2，…，N1），第t帧运动检测目标（二值联通域）为k（k＝1，2，…，N2）。定义：、和分别为第s1个目标跟踪矩形框中心坐标和尺度；和分别为第k个运动检测区域外接矩形框中心坐标和尺度；、和分别为目标映射矩形框中心坐标、第n1个块中心坐标和尺度为］确定的检测区域；为［］确定的映射区域；（+Δ）为由［，+Δ］确定的目标映射扩展矩形，Δ为扩展的像素数目。如图2所示，红色实线框为第t－1帧目标跟踪框，绿色虚线框、红色点线框和黄色点划线框分别为第t帧目标检测矩形、映射矩形和映射扩展矩形。

图2 目标跟踪、检测、映射和扩展矩形框

图3为本文算法总体流程框图。首先建立上一帧跟踪与当前第t帧运动检测间一级全局关联，初步判断目标运动状态，如遮挡、断裂（包括分离）及新出现等。然后根据二级全局关联和块间关联确定哪些目标间发生了互遮挡，并定位发生遮挡的局部块区域；针对不同目标运动状态，切换跟踪方案：如对断裂目标基于块质心转移向量融合以定位目标；对于遮挡目标，将块遮挡标志融入块质心转移向量融合过程以定位目标；采用遮挡自适应的块级模板更新方法，即使目标处于在遮挡中，其局部可观测区域仍可得到鲁棒更新。最后根据目标相邻块间有效色彩质心距离更新尺度。

2.2 多级数据关联和遮挡定位

处于互遮挡中的多目标经常是部分可观测的，若能准确判断遮挡发生的位置和区域，则可利用即使是片段的部分可观测信息，实现目标定位和模板更新。为了提高关联效率，采用以下数据关联步骤，其中，λ，α1，α2，β为比例因子。

步骤1 基于中心和尺度关联，建立s1与k间一级全局关联，如式（6）所示。将满足一对一关联（对任意s1，只有唯一k与之对应，反之亦然）目标的检测区域与上一帧跟踪区域加权作为跟踪结果，即；对新出现目标（不存在与k对应的s1且为空集）利用运动检测对其初始化，并从目标出现的第2帧开始跟踪；对消失目标（不存在与s1对应的k且映射区域中无运动像素）暂存模板，若后续连续10～15帧中均未检测到运动像素存在，则退出跟踪；对断裂目标（多个k满足∩≠Φ，k≥1），只计算目标s1的映射区域。

步骤2 对互遮挡目标（多个s1对应同一个k），利用式（7）建立上一帧跟踪目标在当前帧映射矩形区域间二级全局关联。若式（7）成立，则判定目标s1和s2发生互遮挡。

步骤3 对满足式（7）的目标对（以s1，s2为例）利用式（8）在块n1（n1＝1，2，…，L1×L2）（s1的块）和n2（n2＝1， 2，…，L1×L2）（s2的块）间进行二级块关联。若式（8）成立，则判定块n1和n2发生互遮挡。

图3 MTT算法总体流程框图

2.3 块级模板更新

常用的全局模板更新方法，如参考模型与最佳候选模型的线性加权更新，在目标被部分遮挡时，容易在模板中引入遮挡物信息，在后续跟踪中产生累积误差。若根据二级块级关联建立块遮挡标志矩阵，并据此指导目标模板块级更新，则可使更新过程具有遮挡和外观自适应性。图4（a）为两个互遮挡目标s1和s2，图4（b）为映射框（实线框）和块（虚线框）间相对关系图。根据式（9）将满足式（8）块级关联条件的块区域标志置为“1”，否则置“0”，得到图4（c）和图4（d）所示遮挡标志矩阵。

图4 块遮挡标志矩阵

当目标满足一对一全局关联、为新出现或断裂时，块遮挡标志为“0”，因此该更新算法具有普遍适用性。

2.4 块质心转移向量及融合

运动像素占空比较低的块（如边缘轮廓块）往往包含重要质心转移信息，而占空比较大的块却可能包含无效质心转移信息，若能根据块包含的有效信息量合理融合各块，则可提高目标全局质心转移向量可靠性和目标定位精度。据此，块质心转移向量计算及融合步骤如下：

步骤1 对目标映射扩展矩形+Δ）分块，根据式（12）选择各块区域与模板对应块间共有色彩质心显著度，以去除无效信息。Δ取2～8个像素。当块n1未发生遮挡时（＝0），根据式（13）用加权块n 1中色彩u的质心转移向量），获得该块平均质心转移向量；当块n1发生遮挡时（＝1），由于遮挡过程中块模板未更新，需减去上一帧中对应块跟踪结果相对模板的质心转移向量以获得。

步骤3 根据式（15）融合各块获得目标s1的全局质心转移向量；并利用式（16）获得目标最优中心位置。2.5 目标尺度更新

目标外观色彩质心间距离变化与目标尺度变化密切相关。目标尺度变大时，色彩质心间距离变大，反之亦然。由于遮挡时部分色彩质心发生位置偏移，不能提供可靠尺度变化信息，因此利用未发生遮挡块间质心距离获得水平和垂直方目标尺度缩放参数。首先对ˆxst1为中心的目标映射扩展区域［+Δ］分块，计算各块质心模型和，并根据式（12）获得块有效色彩显著度。然后根据式（17）沿水平（或垂直）方向按n1→n1+1顺序计算相邻且未发生遮挡的第n1和n1+1个块间有效色彩质心距离；并以有效质心显著度乘积的归一化值作为质心距离权值，以使显著度较大的质心具有较高的距离表决权，经各邻块质心距离加权得到平均质心距离；其中当即相邻块同时未发生遮挡时，该邻块间色彩质心才参与距离计算；最后根据式（18）计算目标在邻帧间的质心距离比值得到水平（或垂直）方向目标尺度缩放参数，以自适应更新目标尺度；当未被遮挡块的数目＜2时，置＝1，不更新尺度。其中，γ为遗忘因子。

3 实验及结果分析

采用3组实验验证本文算法的有效性，实验视频中的多目标运动状态包括互遮挡、合并－分离混合和交替、断裂、外观变化、新出现和消失等。实验环境采用Matlab R2010b，2.1 GHz CPU PC；场景背景通过像素灰度归类法［13］离线重构获得。试验结果分别与面积加权质心算法［9］、核掩膜MS跟踪算法［4］进行对比。为了检测和对比本文方法在遮挡、相似特征场景干扰情况下目标个体定位性能，将面积加权质心转移算法、核掩膜MS算法纳入本文MTT框架，利用本文背景差分方法代替文献［4］和文献［9］的前景检测方法，以去除周围背景对目标初始模板的影响，仅在目标满足一对一全局关联、新出现、消失时采用本文跟踪策略，以不增加额外误差。考虑到目标数量和跟踪效率，取L1＝2，L2＝3。图5～图7中：实线框为目标跟踪结果；虚线框为运动检测连通域外接矩形，点线框为上一帧跟踪目标在当前帧中的映射区域。相关参数设置为λ∈［0.6，0.9］，α1＝0.5，α2∈［0.2，0.4］，β＝0.8，γ∈［0.1，0.4］。

3.1 运动检测和跟踪实验结果

实验1 证明初始分离→合并和分离混合→持续遮挡（部分遮挡）并伴随相似特征干扰场景中，本文算法的跟踪鲁棒、稳定性。选取一段CAVIAR商店走廊视频序列，分别采用本文算法、面积加权质心转移和核掩膜MS跟踪算法对第225帧中处于分离状态的3个目标基于本文运动检测算法自动起始跟踪，结果如图5所示。

图5中第1～2行分别为本文方法运动检测和跟踪结果，第3～4行分别为面积加权质心转移和核掩膜MS算法跟踪结果。红色框跟踪的目标1进入视场后逐渐把绿色框跟踪的目标2遮挡，蓝色框跟踪的目标3上衣色彩与背景相似；目标2头部色彩与目标3裤子色彩相似且像素邻近。可以看出，持续遮挡（第246帧中3个目标持续合并）、遮挡和分离混合（第267和291帧中：目标2和3持续遮挡，并与目标1分离）、断裂（第267帧中目标3头部和身体检测为两个运动区域，其中身体部分与目标2合并为红色虚线框包围的运动区域）并伴随相似特征干扰场景中，本文方法具有更准确的定位性能。面积加权质心算法在目标定位时，全局质心转移向量计算受相邻目标相似色彩影响，引起目标2跟踪框右偏、目标3跟踪框下偏；核掩膜MS算法受到的影响较大，引起目标2跟踪框严重偏移。

实验2 证明初始合并→持续遮挡（包括严重遮挡）→分离和合并交替并伴随相似特征干扰场景中，本文算法的跟踪鲁棒、稳定性。选取一段拍摄的校园行人视频序列，分别采用本文算法、面积加权质心转移和核掩膜MS算法，对第18帧中本文运动检测自动起始的2个目标进行跟踪，其中目标2是两个行人的合并，跟踪结果如图6所示。

图5 抗遮挡和相似特征干扰测试1

图6 抗遮挡和相似特征干扰测试2

图6中第1～2行和第5～6行为本文方法运动检测和跟踪结果，第3行和第7行为面积加权质心转移跟踪结果，第4行和第8行为核掩膜MS跟踪结果。从第50帧开始，目标1和目标2发生合并；第52帧中目标2内白色和蓝色上衣行人分离，同时与目标1合并、发生部分遮挡，目标2（断裂）中蓝色上衣行人单独检测为一个目标；第54帧中目标1与目标2再次合并，并将目标2中白色上衣行人几乎全部遮挡；第56帧和第58帧中目标1分别与目标2中蓝色上衣行人发生部分和严重遮挡；第60帧中目标2（断裂）分离为两个目标，本文方法根据块质心转移融合和尺度更新定位蓝色上衣行人并保持标号2，白色上衣行人作为新出现目标赋予标号3；第62帧中蓝色和白色上衣行人重新合并，但由于二者在前一次分离时已经具备了各自的显著质心外观模型，因此在之后的合并过程中，根据本文的块质心转移向量融合算法保持独立跟踪，有效提高了目标定位准确性。由于遮挡过程中目标1和目标2对向运动，黑色头发、裤子和背包，以及手臂和腿部皮肤色彩对彼此的全局面积加权质心及核掩膜直方图模型干扰较大，以至面积加权质心转移和核掩膜MS算法在跟踪过程中发生误跟踪和误起始。

实验3 证明目标外观渐变、合并、新出现和消失场景中，本文算法的跟踪鲁棒、稳定性。选取一段拍摄的交通视频序列，分别采用本文算法、面积加权质心转移和核掩膜MS算法进行跟踪，结果如图7所示。第1行和第2行分别为本文算法运动检测和跟踪结果，第3行和第4行分别为面积加权质心转移和核掩膜MS算法跟踪结果。在第450帧中根据运动检测自动起始跟踪6个目标，对满足一级一对一全局关联的目标，直接融合当前检测和上一帧跟踪以定位目标和更新尺度。第482帧桔红色框跟踪的目标7，起始跟踪后在连续帧中运动检测面积为零，引起映射点线框滞后累积，导致核掩膜MS丢失跟踪，该目标再次出现时被作为新目标9重新跟踪；而本文方法和面积加权质心转移算法凭借映射扩展区域与新检测区域间交集，获得了质心转移向量，从而能保持跟踪。目标5连续检测失败超过限定帧数，视为消失，取消跟踪。随驶离摄像头渐远，目标变小、模糊，一些邻近目标检测为合并（未遮挡），如第538帧和第554帧中目标3和目标4。由于未更新模板，面积加权质心和核掩膜MS算法发生误跟踪和丢失跟踪。本文算法则可根据最近的模板定位目标，有效提高了跟踪性能。

图7 目标外观渐变、合并、新出现和消失测试3

3.2 跟踪结果统计及分析

为了对所采用算法的目标跟踪准确度进行定量分析，表1分别给出了本文算法、面积加权质心转移及核掩膜MS算法在跟踪3个视频序列时的“丢失跟踪”“误跟踪”和“准确跟踪”统计。丢失跟踪指一个跟踪框没跟踪到对应的目标；误跟踪指对一个目标的跟踪精度≤50%；准确跟踪指对一个目标的跟踪精度≥80%。定义“跟踪精度”为跟踪框与对应目标实际外接矩形框的交叉面积占目标实际外接矩形框面积的百分比；表1中数据为丢失跟踪率、误跟踪率和准确跟踪率，即：丢失跟踪、误跟踪和准确跟踪目标数目分别与跟踪过程中目标总数目的比值。从实验数据比较可以看出，对于遮挡、相似目标干扰场景中的MTT，所提出的算法具有丢失跟踪和误跟踪率低，准确跟踪率高的特点，较面积加权质心转移和核掩膜MS算法具有更高的跟踪鲁棒、稳定性能。这是由于面积加权质心转移算法在候选目标区域计算全局质心时，与之发生遮挡的目标外观相似色彩对该目标的质心坐标计算产生了较大影响，从而降低了质心转移向量的精度，引起误跟踪率上升，准确跟踪率下降；核掩膜MS算法虽然在初始模板中去除了背景影响，但直方图固有的统计特性丢失了特征空间位置信息，而MS易陷入局部最优的特点使得该算法在多目标合并区域中依靠迭代定位目标个体的准确性下降、误跟踪率增加。交通视频场景中，面积加权质心转移和核掩膜MS算法具有较高的误跟踪率，主要是由于目标尺度和外观变化过程中模板没有更新以及个别目标运动区域检测不完整，从而引起跟踪滞后甚至丢失。

表1 跟踪误差分析

进一步优化算法，实现MTT实时跟踪是下一步工作。与核掩膜MS算法相比，本文算法虽然在目标分块和遮挡定位方面有一定耗时，但是一步质心转移定位目标不需要迭代，有利于提高系统实时性。与面积加权质心转移方法（针对单目标跟踪，跟踪速度可达0.001 4秒／帧）相比，本文算法针对一对一关联目标，采用基于检测和跟踪融合的简单算法；针对多目标遮挡和合并，根据目标相互间关联关系判断和定位遮挡，而不是单目标个体的独立判断，有利于进一步提高多目标的平均跟踪速度。

4 结 论

针对制约MTT性能的互遮挡、相似特征目标干扰问题，提出一种基于分块显著质心描述和多级关联的多目标全自动跟踪方法。采用自适应阈值分割背景差分图像以检测运动区域和初始化新目标，提高了运动检测算法的场景及光照变化自适应能力；目标区域分块、块运动像素色彩显著质心建模、基于信息量占空比加权的块质心转移向量融合算法，计算效率高、抗遮挡和相似特征目标干扰能力强；利用多级数据关联和块质心转移向量融合解决多目标测量－跟踪间分配问题，能准确判别互遮挡目标及发生遮挡的块区域，并指导块模板自适应更新，提高目标跟踪效率。实验结果表明，本文算法比面积加权质心转移算法、核掩膜MS算法具有更强跟踪鲁棒、稳定性。

［1］Yang H X，Shao L，Zheng F，et al.Recent advances and trends in visual tracking：a review［J］.Neurocomputing，2011，74（18）：3823-3831.

［2］Xu M，Ellis T.Tracking occluded objects using partial observation［J］.Acta Automatica Sinica，2003，29（3）：370-380.

［3］Choeychuen K，Kumhom P，Chamnongthai K.Robust ambiguous target handling for visual object tracking［J］.International Journal Electronics and Communications，2010，64（10）：960-970.

［4］Beyan C，Temizel A.Adaptive mean-shift for automated multiobject tracking［J］.IET Computer Vision，2012，6（1）：1-12.

［5］Cao X B，Shi Z R，Yan P K，et al.Tracking vehicles as groups in airborne videos［J］.Neurocomputing，2013，99（1）：38-45.

［6］Liu W J，Zhang Y J.Edge-color-histogram and Kalman flterbased real-time object tracking［J］.Journal of Tsinghua University（Sci&Tech），2008，48（7）：1104-1107.（刘惟锦，章毓晋.基于Kalman滤波和边缘直方图的实时目标跟踪［J］.清华大学学报（自然科学版），2008，48（7）：1104-1107.）

［7］Zhao Z X，Yu S Q，Wu X Y，et al.A multi-target tracking algorithm using texture for real-time surveillance［C］∥Proc.of the International Conference on Robotics and Biomimetics，2009：2150-2155.

［8］Zhao Q，Tao H.A motion observable representation using color correlogram and its applications to tracking［J］.Computer Vision and Image Understanding，2009，113（2）：273-290.

［9］Lee S H，Kang M G.Motion tracking based on area and level set weighted centroid shifting［J］.IET Computer Vision，2010，4（2）：73-84.

［10］Liu Q，Tang L B，Zhao B J，et al.Improved mean shift target tracking algorithm［J］.Systems Engieering and Electro-nics，2013，35（6）：1318-1323.（刘晴，唐林波，赵保军，等.改进的mean shift目标跟踪算法［J］.系统工程与电子技术，2013，35（6）：1318-1323.）

［11］Hu W M，Li X，Luo W H，et al.Single and multiple object tracking using Log-Euclidean Riemannian subspace and blockdivision appearance model［J］.IEEE Trans.on Pattern Analysis and Machine Intelligence，2012，34（12）：2420-2440.

［12］Hou Z Q，Han C Z.A background reconstruction algorithm based on pixel intensity classification［J］.Journal of Software，2005，16（9），1568-1575.（侯志强，韩崇昭.基于像素灰度归类的背景重构算法［J］.软件学报，2005，16（9）：1568-1575.）

［13］Lu H，Fei S M，Zheng J Y，et al.Moving object segmentation based on background reconstruction and shadow elimination［J］.Journal of Image and Graphics，2009，14（10）：2023-2028.（路红，费树岷，郑建勇，等.基于背景重构和阴影消除的运动目标分割［J］.中国图象图形学报，2009，14（10）：2023 -2028.）

［14］Quan W，Chen J X，Yu N Y.Adaptive collaborative tracking for multiple targets［J］.Measurement Science and Technology，2012，23（12）：5407-5417.

［15］Kang J，Li Y B，Lin Y，et al.Joint probability data association algorithm based on evidence theory［J］.Systems and Engineering and Electronics，2013，35（8）：1620-1626.（康健，李一兵，林云，等.基于证据理论的联合概率数据关联算法［J］.系统工程与电子技术，2013，35（8）：1620-1626.）

［16］Laet T De，Bruyninckx H，Schutter J D.Shape-based online multitarget tracking and detection for targets causing multiple measurements：variational bayesian clustering and lossless data association［J］.IEEE Trans.on Pattern Analysis and Machine Intelligence，2011，33（12）：2477-2491.

［17］Huang C，Wu B，Nevatia R.Robust object tracking by hierarchical association of detection responses［C］∥Proc.of the 10th European Conference on Computer Vision，2008：788-801.

Block-level saliency centroid representation and multi-level association based multi-target tracking

LU Hong1，LI Hong-sheng1，FEI Shu-min2，CHENG Yong1
（1.School of Automation，Nanjing Institute of Technology，Nanjing 211167，China；2.School of Automation，Southeast University，Nanjing 210096，China）

A novel frame-work of multi-target tracking（MTT）based on block-division，saliency centroid modeling and multi-level association is presented to enhance the robustness and accuracy of tracker under occlusion among targets and disturbance caused by similar target.Self-adaptive threshold value based background difference is employed to detect motion regions.Based on block-division of target region，the block-level color saliency computed from background difference at each moving pixel，is utilized to model the centroid being with motion and color saliency.To discriminate the targets and blocks being in occlusion，the global and bolck associations are established among tracked targets and motion regions，and the block occlusion matrix is built to update the target model.The valid color and motion pixels are utilized to calculate the shifting vetor and fusion weight of each block centroid，then the global centroid shifting vetor is gained and used to locate the target.Experiments demonstrate that the proposed method is robust enough for tracking the multi-target in scenarios of occlusion，similar target disturbance and appearance change.

multi-target tracking（MTT）；saliency centroid；multi-level association；block centroid shifting

TP 391 文献标志码：A DOI：10.3969／j.issn.1001-506X.2015.09.34

路 红（1973-），女，副教授，博士，主要研究方向为计算机视觉、运动目标检测和跟踪。

E-mail：zdhxlh＠njit.edu.cn

李宏胜（1966-），男，教授，博士，主要研究方向为人工智能、机器人控制技术、模式识别。

E-mail：zdhxlhs＠njit.edu.cn

费树岷（1961-），男，教授，博士，主要研究方向为计算机视觉、机器人控制技术、非线性控制系统分析与综合。

E-mail：smfei＠seu.edu.cn

程 勇（1975-），男，副教授，博士，主要研究方向为计算机视觉、运动目标检测和跟踪。

E-mail：chengy＠njit.edu.cn

1001-506X（2015）09-2182-09

2014-10-23；

2015-03-03；网络优先出版日期：2015-05-04。

网络优先出版地址：http：／／www.cnki.net／kcms／detail／11.2422.TN.20150504.0941.002.html

国家自然科学基金（61305011）；江苏省自然科学基金（BK20131342）；南京工程学院创新基金（CKJA201203，QKJB2011009）资助课题