基于目标运动信息的Mean Shift 跟踪算法研究

王 辉，于立君，郭 涛，原 新，陈虹丽

（哈尔滨工程大学 自动化学院，黑龙江 哈尔滨 150001）

视觉目标跟踪[1]是计算机视觉研究中的一个重要课题，是目标行为理解的基础，是图像系统连续准确工作的重要环节。但是如何增强跟踪算法对外界干扰因素的鲁棒性，仍是视觉目标跟踪亟待解决的问题。

计算机视觉实践课程中，学生一般采用经典跟踪算法[2-3]。目前，经典的跟踪算法框架主要包括卡尔曼滤波[4-5]、粒子滤波[6]、Mean Shift[7-8]算法等，其中Mean Shift 算法作为一种核密度估计算法，是Yizong Cheng 等人在1995 年提出的。该算法具有计算量小，对边缘遮挡、目标形变以及背景运动不敏感等优点，但同时也存在相似背景颜色干扰等问题。针对这种算法的不足，文献[9]提出了一种基于颜色纹理联合特征直方图的自适应Mean Shift 跟踪算法，文献[10]提出了一种基于视觉显著性特征的自适应目标跟踪算法，文献[11]提出了一种基于改进背景加权的Mean Shift跟踪算法，目的都是用来克服背景颜色干扰造成跟踪算法不稳定的问题。本文在借鉴上述研究成果的基础上，提出一种基于目标运动信息的Mean Shift 跟踪算法。该算法利用改进的MOG（混合高斯模型）算法提取分割出运动目标信息，然后将其作为辅助信息实现对目标模型的加权描述，从而更好地描述目标与背景的显著性区别，对背景进行有效抑制，提高了跟踪的准确性。

1 Mean Shift 跟踪算法

Mean Shift 跟踪算法是一个迭代寻优的过程，通过自适应步长迭代，寻找概率密度分布的局部极值点[12]。若 {,n是目标模板区域以y0为中心像素位置的n个像素点，则以目标的颜色直方图作为搜索特征，利用核函数构建目标模型m级直方图的颜色概率分布函数为：

式中，k为核函数；h为核函数带宽；b(xi)表示样本点xi处像素的特征值；u为直方图特征值的索引；δ为Delta 函数；δ[b(xi) -u]用来判别目标区域的像素值xi是否归属于第u个颜色特征值，属于则为1，不属于则为0；C为归一化系数，目的是使概率和为1，则：

在建立了目标和候选目标的模型后，目标跟踪可以简化为寻找最佳位置y，使得qu与pu最相似。两者之间的相似性可用Bhattacharyya 系数来度量，即：

对式（3）进行Talor 展开计算，通过Mean Shift迭代计算核密度估计的局部极大值点，则可得到目标在当前帧的新位置为：

式中：g(x) =-k(x), {n为每个像素的权重。

通过迭代计算式（5），直至Bhattacharyya 系数最大，将其定位为目标最终中心位置，然后停止迭代。

2 运动信息检测MOG 算法的改进

2.1 MOG 算法分析

MOG（mixture of gaussian）算法[13]是一种流行的聚类方法，主要用于运动目标检测。它主要使用若干个单高斯分布来表征视频图像中每个像素点的特征，如果当前帧的某像素特征与高斯分布相匹配，则被判定为背景像素，否则为前景像素。对t时刻每个像素点x建立混合高斯模型，其概率密度函数公式为：

其中，η(xt,μ i,t,τi,t)为第i个高斯分布；μi,t为其均值；τi,t为其协方差矩阵；ωi,t为t时刻第i个高斯分布的权重；K为高斯分布个数。通过选取合适的阈值T可以对估计背景B进行判断：

当出现新图像时，将当前像素值xt1+与第k个高斯模型按式（9）进行比较，其中只要有一个满足：

中阿公司有一句脍炙人口的广告语——“丰收三要素：阳光、雨露、撒可富”。然而，对于肥料产品来说，口碑的积累需要一个过程。舒兰市天德乡天河村村民于小明是个水稻种植大户，也是舒兰地区最早使用撒可富肥料的农户之一。姜友善介绍说，前些年，由于早稻的收购价格一路走低，于小明觉得用不起撒可富，便换用了其他品牌的低价肥料，结果连续几年都遭遇减产和倒伏。去年，于小明又找到姜友善，点名要买撒可富，使用后出苗又齐又壮，且没有受到旱灾的影响，当年就实现了增产增收。

则此像素xt1+在t+1 时刻是属于背景的，否则，属于运动目标。其中λ是预设的阈值，此阈值就是判断当前时刻像素值与均值之差的绝对值较方差的倍数范围，根据经验一般取λ=2.5时提取的运动信息效果最好。tσ为方差。

MOG 算法作为背景差分法中通过建立数学模型进行运动目标检测的经典算法[14]，受背景扰动的影响很小，但也存在缺陷，例如由于要对场景中的每个像素点都进行逐一建模，会造成检测效率低下。

2.2 MOG 算法的改进

在保证检测效果的前提下，为提高原MOG 算法的检测效率，本文通过引入显著性检测MSS 算法[15]，将输入图像分为显著与非显著区域，来动态调整MOG算法的建模过程，减少髙斯模型中的资源浪费，并准确检测出运动目标。对于一幅大小为h×w的图像I，显著图S定义为：

式中，S(x,y)是像素点(x,y)的显著性值；I f(x,y)是平滑后图像中像素点的CIELAB 颜色特征值。图像全部像素点的特征值I μ(x,y)可通过下式计算：

偏移量0x、y0以及子图像的面积S 的计算公式为：

因此，本文首先利用MSS 模型对输入的当前视频帧提取其显著图，如图1 所示。图中的显著性运动目标均没有漏检现象，并且非显著的背景区域能够被很好地过滤掉，符合目标检测要求。

图1 显著图提取

然后，在此基础上利用MOG 算法提取场景中的运动信息，如图2 所示。道路上的运动车辆和行走中的人物都获得了比较完整的检测效果。

图2 运动信息检测

在检测结果得以证明的前提下，改进前后MOG算法对每帧图像进行检测的时间对比如图3 所示。改进后的MOG 算法的每帧处理时间明显小于原MOG算法，有效克服了原MOG 算法需逐点建模，从而导致计算量大的问题。从以上仿真结果分析可知，本文结合MSS 算法改进的MOG 运动信息检测算法，可以满足准确性和实时性要求，实现快速稳定的运动目标检测效果。

图3 运动目标检测时间对比图

3 基于目标运动信息的Mean Shift 跟踪算法

本文利用改进后的MOG 算法计算出各帧图像中相应的运动目标前景二值图像，其中前景点的像素值由1 表示，背景点由0 表示。目标运动信息的提取按式（13）进行：

考虑到Mean Shift 跟踪算法中目标近似位置及该位置处的特征模板是已知的，所以在提取运动信息后，就可以考虑在基于颜色特征的Mean Shift 跟踪算法中，根据式（14）建立目标模型ˆuq：

同理，可计算候选目标模型ˆup，并在以后计算目标新位置时，将权重iω重新定义为：

如前所述，跟踪过程中将剔除那些与目标颜色特征相近的伪特征干扰，即在复杂背景下跟踪将更加鲁棒。下面给出结合目标运动信息改进的Mean Shift 算法跟踪流程：

第一步：读入视频序列，初始化跟踪目标，确定目标中心位置y0及核函数带宽h等信息。

第二步：在当前帧中，采用改进后的MOG 算法进行运动目标检测，并进一步对检测结果进行二值化、形态学处理，目的是提取其像素点的运动信息，并根据式（14）计算基于运动信息加权的目标颜色直方图模型ˆuq。

第三步：读取下一帧视频图像，继续提取运动信息，并利用如下Mean Shift 迭代过程搜索目标在当前的最佳位置y1：①以上一帧目标位置y0初始化当前帧候选目标位置，计算候选目标的颜色直方图模型pˆu；②根据式（16）计算权重ω˜i；③通过式（17）计算目标的下一位置y1，如果 ||y1-y0||＞ε（ε为一个任意小的大于0 的值），则y1趋近于y0，跳转至①，否则停止迭代，显示跟踪结果。

第四步：判断跟踪是否结束，若否，返回第三步，在新一帧中继续定位目标；若是，则跟踪结束。

上述算法的跟踪框架流程如图4 所示。

图4 运动目标跟踪流程图

4 实验仿真

为了验证改进算法的实效性，通过实验1 和实验2与传统Mean Shift 算法进行比较。实验平台采用CPU型号为 i53210MD、内存为 4GB 的 PC 机，使用VS2010+OPENCV2.4.9 软件进行仿真实现。

实验1：对受背景颜色干扰的行人目标进行跟踪。本文从第270 帧开始跟踪，并分别取第280 帧、317帧、372 帧的跟踪结果进行展示。从图5 中可以看出，当目标在第317 帧、第372 帧发生了背景颜色干扰以后，传统的Mean Shift 的跟踪框发生了偏移，造成跟踪误差。而本文算法却能从始至终较好地完成跟踪任务。

图5 实验1 跟踪结果比较

实验2：对一段受背景干扰程度更大的行人目标进行跟踪。本文从第10 帧开始跟踪，并分别取第58帧、99 帧、130 帧的跟踪结果进行比较。从图6 可以看出，传统Mean Shift 在99 帧以后偏离目标，直到第130 帧时搜索框丢失目标，至此以后，跟踪框陷入局部最优，无法再跟踪目标。而本文算法同样能较好地完成跟踪任务。

图6 实验2 跟踪结果比较

图7 跟踪曲线误差对比图

为分析两个跟踪算法在不同实验环境下的跟踪性能，本文以中心误差作为衡量跟踪误差的指标。在计算中心位置误差时，由于要手动标记目标的真实位置，为方便计算，本文选择每隔5 帧对其进行标记，图7示出了这两种算法在实验1、实验2 的跟踪误差曲线，其中心位置误差定义如下：

式中，(xr,yr)为算法跟踪得到的目标中心坐标位置，(x g,yg)为真实的目标中心坐标位置。

从图7 可以看出，不论在实验1 还是实验2 中，改进后的算法较传统Mean Shift 算法在各个时刻的跟踪误差都要小，且在跟踪过程中没有太大波动，一直都能够稳定在一个较小的误差范围内，表明本文算法在各个时刻具有较高的精度和较强的稳定性。

为验证改进算法的实时性，表1 和表2 分别为这两种算法在实验1 和实验2 的跟踪时间对比结果。

表1 两种算法在实验1 的实时性对比

表2 两种算法在实验2 的实时性对比

从表中可以看出，改进后的Mean Shift 算法在提高跟踪准确度的基础上，虽然在时间花费上有所增加，但差异不大，依然在人眼可接受范围内，能够满足算法实时性要求。综合上述实验的跟踪效果及性能分析可以看出，本文提出的基于目标运动信息改进的Mean Shift 跟踪算法可以在复杂背景颜色干扰下，实现准确且实时跟踪目标的目的。

5 结语

本文对 MOG 算法进行改进，引入显著性检测MSS 算法来动态调节其建模过程，解决了原MOG 算法计算量大的问题。并利用改进后的MOG 算法检测场景图像中的运动目标信息，使其对Mean Shift 框架下的目标模型进行加权描述，以此来提高目标和背景的区分度，减少背景信息对目标定位的干扰。实验结果表明，应用改进后的Mean Shift 算法跟踪误差更小、鲁棒性更强，对复杂环境下的运动目标可以较准确地进行实时跟踪。改进的算法在实践教学过程中，大大提高了学生的学习兴趣和编程能力，推动了计算机视觉实践课程向自主创新方向发展。