基于分块与前景/背景信息的Mean Shift目标跟踪

顾幸方

(南京理工大学自动化学院，江苏南京210094)

0 引言

视频中的运动目标跟踪是计算机视觉的一个重要研究领域，它在智能监控、人机交互、机器人导航和基于运动的识别等领域有着广泛的应用前景［1］。至今已经有许多视频跟踪算法被提出，其中基于Mean Shift的跟踪框架［2］自提出起就受到研究者的广泛关注。该框架利用空间加权的颜色直方图作为目标模型，用Bhattacharrya距离度量目标与候选目标之间的差异度。它将跟踪问题转化为最大化相似度量的优化问题，通过Mean Shift迭代来找到目标函数的局部最优值。该方法具有计算负荷小、跟踪效果较好的优点，自提出以来吸引了大批研究者的关注。但是，此跟踪框架也具有明显的缺陷。由于目标模型是建立在全局颜色直方图上，因而丢失了目标各个部分的位置信息。所以在遇到遮挡问题时目标位置会产生漂移，当遮挡面积大于一定程度时甚至会丢失目标。文献3提出了将目标分块以克服遮挡的思想，文中采用了穷搜索的方式来跟踪目标，当目标尺寸稍大时难以保证实时性。另一方面，跟踪窗口中难免掺杂背景象素，目标中也可能存在与背景颜色相似的部分，这些都对跟踪的稳健性造成影响。本文采用目标分块的Mean Shift跟踪，并且通过对前景与背景直方图的分析来抑制目标中与背景相似象素的权重，从而提高了跟踪的稳健性，并且具有较好的实时性。

1 基于分块的Mean Shift跟踪算法

1.1 分块方式

首先将跟踪目标分为若干不重叠的子块，3种分块方式如图1所示。选择某种分块方式与实际目标尺寸、遮挡出现的位置和遮挡面积大小等因素相关。分块过多会影响跟踪的实时性，分块过少使抗遮挡的性能下降。

文献4采用图1(b)、(c)结合的分块方式。对类似人脸形状目标，本文采用图1(a)所示分块方式，而对于行人采用图1(b)所示分块方式。对于遮挡面积在70%以上的情况，图1(a)中仍可保证2个子块能够获得比较好的跟踪效果。如果分块过多，每个子目标覆盖的面积太小以至直方图模型易受干扰产生漂移，影响跟踪效果。

图1 目标分块方式

1.2 分块跟踪与整体目标位置确定

基于分块的Mean Shift跟踪框架下每个分块成为一个独立的目标。每个分块跟踪结束后，计算候选子目标与原子目标之间的相似度。设ρj表示第j个分块的Bhattacharyya系数。选出候选目标与原目标最相似，也就是Bhattacharyya系数最大的子块的位移作为整个目标的移动方向和距离。然后以整个目标的新位置更新其他分块的位置，再进行下一帧的处理。但是，当目标受到遮挡时仅仅依赖一个子块的跟踪来确定整体的位置是有风险的，有时会产生目标漂移，所以需要综合考虑多个子块的跟踪情况。当ρj＜ρ_th时认为所在子块j所在区域有遮挡出现，本文取ρ_th=0.7。记录没有被遮挡子块的个数Nnon，若Nnon≥1，则候选目标的位置由相似度最高子块j*的位置与其他未发生遮挡子块(ρj≥ρ_th，j≠j*)的位置加权决定:

式中，yj是每个分块在Mean Shift迭代收敛后的位置，devij是每个分块的中心相对整体目标中心的偏移，λ表示其权重，本文取λ=0.8。当Nnon=0，即所有候选目标中分块与原分块之间的相似度都较小，候选目标位置由所有分块按各自相似度加权决定:

2 基于前景/背景信息的跟踪

在视频目标跟踪系统中，如果目标模型(前景)与背景环境有比较好的区分度，那么简单的跟踪算法就能获得比较好的跟踪效果。文献5提出一种计算跟踪窗口中象素隶属目标概率的方法，其主要思想为在跟踪窗口外设置一个背景窗口分析前景与背景的直方图信息。如图2(a)所示，红色窗口为跟踪窗口，绿色与红色窗之间是背景窗口。设hob和hbg分别表示跟踪窗口和背景窗口的归一化颜色直方图，则跟踪窗口中的象素xi属于前景的隶属度为:

式中，u=b( xi)表示象素xi的灰度值(彩色图像中为RGB值在直方图中的索引值)。ε是为了保证分母和对数函数的自变量不为零。

由式3的定义，L(xi)＞0表示颜色b(xi)属于目标的概率较大，反之属于背景的概率较大。当L(xi)接近0时，颜色b( xi)在目标与背景中有相似分布。采用sigmoid函数将L(xi)的值限定在区间(0，1)之间，即令λu=1/(1+e－Lu/0.5)。将λu作为象素属于目标的隶属度引入直方图的计算，用来抑制直方图中属于背景的分量。因此，目标与候选目标的直方图模型如:

式中，k(x)为核函数的轮廓函数，常用Epanechnikov核、高斯核等，C与Ch分别为归一化系数。在跟踪结束后，以整体目标位置及其周围背景重新计算{λu}u=1，…，m更新直方图分量的权重系数。图2(b)～(d)显示了上述前景与背景分割方法的效果，为了能直观地展示效果将窗口内满足L(xi)≤0的象素点设置为白色，满足L(xi)＞0的象素点保持不变。

图2 前景与背景的分割

3 实验结果及分析

本文的实验在VC++6.0环境，以及内存1G、主频1.83GHz的笔记本上完成。并实现了经典的Mean Shift跟踪算法与文献6所述分块跟踪算法用于和本文算法进行对比。目标RGB颜色直方图模型的分辨率为16×16×16。本文算法在两段测试视频上的跟踪效果如图3、4所示。根据目标形状不同，对人脸采用3×3的分块(如图1(a))，而对行人采用如图1(b)所示分块。图3显示了各个子块的跟踪情况，图中小矩形框是满足ρj≥ρ_th的分块。图3(a)～(d)显示随着遮挡面积的增大能满足上述条件的分块个数逐渐减少。但是，整体目标的定位仍不受遮挡的影响。

图3 子块跟踪结果

一段行人跟踪的测试结果如图4所示，由于行人姿态变化、背景变化和摄像机移动等不利因素，所以这段视频更具挑战。图4中红色与绿色窗口分别表示本文算法与经典Mean Shift跟踪算法。从结果中可以看到，本文方法能够比较稳健地跟踪行人，在其受到遮挡以及渐远的过程中基本能保证目标定位的准确性，而经典方法下目标位置有较大偏移。

图4 行人跟踪结果对比

此外，与文献6提出的分块Mean Shift跟踪算法相比，本文算法具有更准确的目标定位能力。如图5(a)所示，文献6算法在受到不同方向的遮挡干扰情况下目标窗口有相应偏移，而本文算法的偏移量相对较小。图5(b)显示了3种算法的跟踪偏差，其中真实位置由文献3提供。图中每隔5帧记录上述算法结果与真实位置的欧式距离。从图中可以看到本文算法明显优于经典Mean Shift算法，而且在绝大多数帧中偏差小于文献6算法。

4 结束语

本文提出了一种基于目标分块与前景/背景信息的Mean Shift跟踪算法。分块表达提供了目标各个部分的位置信息，而前景与背景直方图的分析抑制了跟踪窗口内掺杂的背景象素和与背景相似的目标象素对跟踪效果的干扰。实验结果显示本文方法能够有效克服短时遮挡问题，具有较强稳健性，并且能够满足实时性的要求。另外，对目标尺度的估计是未来研究的重点与难点，使跟踪窗口与实际目标尺度保持一致可以进一步增加跟踪的稳健性。

图5 本文算法与经典Mean Shift及文献6算法的对比

［1］ Alper Yilmaz，Omar Javed，Mubarak Shah.Object tracking:A survey［J］.ACM Computing Surveys，2006，38(4):1 －45.

［2］ Comaniciu D，Ramesh V，Meer P.Kernel－based object tracking［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2003，25(5):564－575.

［3］ Amit Adam，Ehud Rivlin，Ilan Shimshioni.Robust Fragments－based Tracking using the Integral Histogram［C］.New York:Proceedings of IEEE conference on Computer Vision and Pattern Recognition，2006:798－805.

［4］ 颜佳，吴敏渊，陈淑珍.应用Mean Shift和分块的抗遮挡跟踪［J］.光学精密工程，2010，18(6):1 413－1 418.

［5］ Robert Collins，Yanxi Liu，Marius Leordeanu.Online Selection of Discriminative Tracking Features［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(10):1 631－1 643.

［6］ Fanglin Wang，Shengyang Yu，Jie Yang.A novel fragments－ based tracking algorithm using mean shift［C］.Hanoi:Proceedings of IEEE International Conference on Control Automation Robotics and Vision，2008:694－698.