基于改进连续自适应均值漂移的视频目标跟踪算法

李子龙

摘要：针对连续自适应均值漂移算法仅限于跟踪人脸的缺点，对原算法进行改进使其能有效跟踪其他目标。在改进的算法中，提出使用HSV三个通道的直方图，并为每个通道直方图分配灵活的级数。为了避免相同颜色的影响，分析和处理了直方图反向投影所得的概率分布图像。同时，使用卡尔曼滤波对视频目标位置进行预测和调整，将过往运动信息加入到目标跟踪中，提高了跟踪的准确度。

关键词： 目标跟踪； 自适应均值漂移； 直方图； 概率分布图像； 卡尔曼滤波

中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2016）27-0150-03

Abstract：An improved camshift algorithm is proposed. The three dimensional histogram is used to represent the features of the tracking objects. Taking the different influences of the hue channel， saturation channel， value channel into account， the distribution methods of the dimensions of three channels are assigned adaptively. In the tracking process， first， the object position in a frame is predicted by the Kalman filter， then the camshift algorithm is used on the predict position. The improved algorithm makes the searching convergence speed faster， and avoids the disadvantage of the old algorithm which is only fitted for face tracking.

Key words：visual object tracking； continuously adaptive mean shift； histogram； probability distribution image； kalman filter

1 引言

1975年，文献[1]提出了均值漂移算法，该算法主要对扫描窗口中的点使用核函数不断进行加权平均，直到加权平均收敛，得到最终的目标窗口。文献[2]对均值漂移算法进行了改进，将其应用到计算机视觉领域，得到了广大学者们的关注。文献[3]则在均值迁移基础上提出了连续自适应均值算法，并将其从人脸跟踪扩展至视频目标跟踪领域中。文献[4]对连续自适应均值算法受视频获取条件的影响进行了分析。文献[5]融合卡尔曼滤波算法和连续自适应均值漂移算法来对手势进行实时跟踪。

连续自适应均值漂移算法初衷是用于人脸的检测和跟踪，不适合跟踪快速的其他目标，且与目标相似的背景颜色容易干扰跟踪效果。为了解决连续自适应均值漂移算法中的这些问题，本文提出了一种改进的连续自适应均值漂移算法。本文算法可以实现对其他目标的准确跟踪，而且有效解决了算法的同色背景干扰问题。

2 连续自适应均值漂移算法

2.1 算法原理

连续自适应均值漂移算法是在时序图像上颜色动态变化概率分布基础上进行的一种有效的目标跟踪算法。根据视频目标的颜色特征确定目标的位置和大小，并用其在下一帧图像中初始化搜索窗口，不断重复这个步骤最终实现连续地跟踪目标。该算法能够根据图像的颜色直方图估算颜色的概率分布，当视频不断移动时，图像的颜色概率分布也会改变，由此可以根据这种变化来进行目标跟踪。

2.2 算法的步骤

连续自适应均值漂移算法是用颜色作为特征，且颜色直方图能容忍目标适度的旋转、变形，对于目标中心的像素会根据核函数给予较大权重，而远离中心的像素则会给予较小权重。这能确保该算法在遮挡和背景动态变化方面具有较强的适应性。算法的流程如图1所示。

3 连续自适应均值漂移跟踪算法的改进

为了解决算法的不足之处，我们对算法进行下面一些改进：

1）提出了多种有效的直方图级数分配方式；

2）使用卡尔曼滤波算法对视频目标位置进行预测和调整，充分利用了前帧图像中视频目标的运动信息，提升跟踪效果；

3）在算法中加入对概率分布图像的分析与处理，以减少背景中相同颜色的干扰。

3.1 三维直方图及各通道级数的分配

传统的连续自适应均值漂移算法只使用H通道（色调）构造直方图，不考虑亮度和饱和度的作用，且主要用于人脸跟踪方面。而连续自适应均值漂移算法则能跟踪任意目标，这样就需要将三个通道的信息都要考虑进来。因此，需要采用HSV空间三维直方图作为特征进行运动目标跟踪。考虑到H、S、V对目标跟踪效果的不同影响，我们可以定义浮动的直方图级数分配方式[6]。根据不同的视频序列，可以比较直方图的不同分配方式的跟踪效果，选择最优的直方图维数分配方式。

3.2 目标位置的预测和调整

在原算法中，如果目标运动速度较快，则会出现搜索窗口跟不上目标运动变化的情况，难以保证跟踪效果。这种情况往往是由于在一些帧中视频目标的起始位置确定的不够好。而视频目标历史的运动信息对当前帧图像中目标的位置进行预测，进而可以确定目标真正的位置，从而实现视频目标的快速跟踪。

在实际中，实现目标的预测有很多种方法。卡尔曼滤波具有很少的计算量，实时性好，能很好地对目标运动轨迹进行估计和预测。它是使用最小均方误差对系统状态进行估计，是一种在时域内所使用的递归滤波的方法。利用每帧图像中视频目标的位置可生成运动目标的运动轨迹，进而可以使用卡尔曼滤波算法根据历史位置信息来预测当前帧图像中目标的位置，最后就在这个可能的位置的周围寻找真正的目标。因此，本文在充分利用了视频目标历史的运动信息，增强了跟踪效果。

3.3 概率分布图像的分析和处理

在本文算法中，为了避免背景中与视频目标相同颜色的影响，分析和处理了直方图反向投影所得的概率分布图像，以期达到好的跟踪效果。

为了得到概率分布图像，可以计算每帧图像直方图的反向投影。概率分布图像中每个像素的灰度值代表着该点是目标的可能性有多大。也就是说，像素灰度值越高，属于目标的概率就越高，否则就相反。当存在背景颜色干扰，概率分布图像中不仅包含视频目标区域，也包含了与视频目标相同颜色的背景区域，为此，本文提出了相应的办法来避免背景的影响。

1）使用上一帧中视频目标的位置来排除干扰

如果视频目标的位置不会变化太大，则可以利用上一帧图像中目标的位置来预测当前帧图像中视频目标的位置。可以预先设定目标的最大位移，进而可以确定目标在当前帧的可能位置。对于不在这个可能位置的区域可以将其所有像素的值置为0。

2）根据预测的位置来过滤

当发生明显遮挡时，能基本预测出正确的位置。可根据预先设定的最大误差值，确定一个可能位置的附近区域，并认为目标可能在附近区域内出现。对于不在这个附近区域的所有像素，在概率分布图图像上的像素值都置为0。

3）根据连通区域的面积来过滤

通过前面的两个步骤，得到经过处理的概率分布图像。然后再通过预设的阈值，对概率分布图像二值化。再对该二值化的图像进行形态学运算、边缘检测等处理，去除空洞，获得互不连通的独立的区域。这些区域可能是目标也可能使与目标颜色相近的其他目标。

为了消除那些不属于目标的连通区域，考虑在二值标记图像上目标所在的连通区域的面积，其中i表示帧序号。在通常的情况下，第i帧和第i-1帧的目标连通区域的面积和之间，在着一定的变化关系。根据视频目标序列的不同特性，可以对其变化作出不同的约束。

其中，是绝对变化的阈值，和是相对变化的阈值。

根据式（1）或者（2），可以过滤掉二值标记图像中不满足上述变化约束的连通区域，得到处理后的二值标记图像。对于二值标记图像中像素值为0的点，在概率分布图像中的相应点也置为0。

根据以上多种方法，可以实现对概率分布图像的预处理，减少了同颜色背景对均值漂移搜索的干扰。

4 实验结果及分析

4.1算法的处理过程

图2以对一个小球的视频的跟踪为例，说明算法的处理过程。其中蓝色矩形代表预测的目标位置，红色矩形代表世纪的搜索结果。在场景中，有一个凳子，它的颜色与小球类似。在跟踪过程中，小球会滚动到凳子的附近。在概率分布图像上，凳子的区域和小球所在区域都是高亮的，本章算法会对凳子产生的颜色干扰进行处理和过滤。

在图2中，（a）- （c）分别为只使用H、S、V通道图像直方图反向投影后产生的概率分布图像；（d）是使用H、S、V三通道图像直方图反向投影后产生的概率分布图像； （e）是处理后的概率分布图像，可以看出，同颜色背景（凳子）的干扰已经消除了；（f）是根据（e）进行自适应均值漂移搜索后得到的结果，可以看出，尽管离同色的凳子很近。算法仍准确定位目标。

4.2与原算法的跟踪效果对比

图3显示了分别用原算法和本章算法对小球的跟踪效果的对比。图3 （a）是采用原连续自适应均值漂移算法的跟踪结果，（b）是采用本章算法的跟踪结果。可以看出，在小球和凳子距离较远时（第70、80帧），两种算法的效果差不多。但当小球靠近凳子时（第125、137帧），原算法中凳子的位置会影响小球的位置的搜索，导致搜索结果中，小球所在区域变大，并且向凳子方向偏移，而应用本章算法则能得到较好的效果。

5 结论

本文对传统的连续自适应均值漂移跟踪算法进行了改进，引入卡尔曼滤波器来预测目标位置，采用级数灵活分配的HSV三维直方图来计算概率分布图像，然后根据目标在前一帧的位置，预测位置以及连通区域标记等对概率分布图像进行分析和处理，然后进行自适应均值漂移搜索。实验结果表明，在出现背景同色干扰时，本章算法比传统的连续自适应均值漂移跟踪算法效果更好，而且即使目标发生较大形变时，仍然能实现对目标的准确跟踪。

参考文献：

[1] Fukunaga K，Hostetler L D.The estimation of the gradient of a density function，with application in pattern recognition [J].IEEE Transactions on Information Theory，1975（21）：32-40.

[2]Cheng Y.Mean shift，mode seeking and clustering [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1995，17（8）：790?799.

[3]Bradski R.Computer vision face tracking for use in a perceptual user interface [J].Intelligence Technology Journal，1998（2）：1-15.

[4]Boyle M.The effects of capture conditions on the CAMSHIFT face tracker [D].Canada：University of Calgary，2001.

[5]Liu N J，Brian C.MMX-Accelerated real-time hand tracking system [C] // Proceedings of Image and Vision Computing New Zealand.Dunedin，New Zealand，2001：381-385.

[6]Kwolek B.Object tracking using discriminative feature selection [C] // Proceedings of Advanced Concepts for Intelligent Vision Systems.Antwerp，Belgium，2006：287-298.