基于多特征融合和反向投影的均值漂移改进跟踪算法∗

沈梦舟黎宁，2徐斌曹蔡旻顾晓蓉

基于多特征融合和反向投影的均值漂移改进跟踪算法∗

沈梦舟1黎宁1，2徐斌1曹蔡旻1顾晓蓉3

（1.南京航空航天大学电子信息工程学院南京211106）
（2.南京航空航天大学雷达成像与微波光子技术教育部重点实验室南京211106）
（3.南京航空航天大学理学院南京211106）

针对传统的均值漂移算法采用单一颜色特征导致的跟踪不稳定以及对于跟踪窗口无法根据目标大小自适应调整的缺点，提出一种多特征融合的跟踪窗口自适应的均值漂移跟踪算法。首先在传统均值漂移跟踪算法的单一颜色特征基础上，融合纹理特征对目标模型进行联合描述；然后为了进一步减少背景特征的干扰，引入背景加权思想，以提取出目标中区别于背景的特征；最后根据反向投影图和相似度比较实现跟踪窗口对于目标大小的自适应调整。实验表明，该方法在目标与背景特征相似的情况，以及目标大小变化的情况下可以实现稳定的跟踪。

目标跟踪；自适应跟踪窗口；纹理特征；反向投影

Class NumberTP301

1引言

目标跟踪技术对于视频监控，人机交互等领域有着广泛的应用价值。均值漂移算法是目前主流的跟踪算法之一，该算法具有计算简单，实时性好等优点。目前，大部分视频图像都采用彩色图像形式，传统的均值漂移算法采用颜色特征建立目标特征模型，但容易发生跟踪失效的情况［1］。这是由于算法仅仅采用单一的颜色特征，使得目标特征模板的鲁棒性不强［2］，容易受到光照、背景等其他因素的干扰，因此研究者们提出了多特征融合的方法，例如颜色特征联合空间直方图的方法［3～4］，颜色特征和尺度不变特征变换（Scale Invariant Feature Transform，SIFT）结合的方法［5～6］，梯度特征和颜色特征对目标联合建模的方法［7］，以及将颜色和纹理特征相结合［8］等方法，这些方法都在一定程度上提高了跟踪的稳定性。

目前，视频监控的覆盖面非常广泛，因此视频图像的场景也多种多样，在复杂的场景中，可能存在背景特征与目标特征相似的情况，在这种场景下，采用传统的均值漂移算法通常无法建立起一个准确有效的目标模板。因此，为了提取出目标的有效特征，研究者们提出了背景加权［9］的思想，通过目标特征和背景特征的对比，挑选出目标特征中区别于背景的特征，从而得到更准确的目标特征模型。

由于目标与摄像头距离的远近变化，会导致目标的大小在视频序列中发生变化。传统的均值漂移算法采用固定大小的跟踪窗口，因此在目标大小发生变化时无法实现持续稳定的跟踪，容易丢失目标［10］。目前常用的解决方法是三尺度比较法［11］，该方法通过尺度试探比较，将跟踪窗口大小分别增减10%，选择其中与目标模板特征相似度最大的窗口作为当前窗口大小，但基于该方法的窗口大小变化是线性的，并且对逐渐增大的目标跟踪效果不佳［12］。

针对单一颜色特征导致的跟踪不稳定问题，本文采取多特征融合的方法，在颜色特征的基础上，结合局部二值模式（Local Binary Pattern，LBP）纹理特征进行目标特征模板的计算。针对复杂场景下目标模板不准确导致的跟踪失效问题，本文引入背景加权技术，以提取出目标中区别于背景的显著特征，增强目标特征模板的准确度和可靠性。针对跟踪过程中目标大小变化的问题，本文通过反向投影首先判定目标大小的变化趋势，再通过相似度比较进一步确定目标尺度是否需要调整，最终实现持续稳定的跟踪。

2多特征融合的均值漂移改进

2.1多特征融合

RGB颜色空间是应用最为广泛的颜色空间之一，也称作计算机图形颜色空间，因此本文选择在RGB颜色空间中进行目标颜色特征的计算。

图像的纹理特征可以反映出某个区域内像素灰度的空间分布情况，是计算机视觉和模式识别领域中常用的一种特征。LBP［13～14］是一种可以有效描述图像纹理的特征，并且具有计算速度快、对光照敏感度低等优点，因此在纹理分析领域具有广泛的应用。如图1所示，LBP算子通过将邻域像素与中心像素比较并阈值化来对图像中的每个像素点进行标记，并将结果表示为二值模式。

图1 LBP示意图

具有旋转不变性的扩展LBP模式［15］定义如下：

0，8的像素点，在这些点上，按下式统计出颜色纹理联合直方图h ist(R，G，B，T)作为目标的特征描述：

2.2均值漂移

均值漂移算法首先在初始帧中为目标建立特征模板，然后在后续帧中搜索与目标特征模板最相似的区域，并确定该区域的位置，从而实现对目标的跟踪。目标特征模型可以表示为

其中，x0表示目标区域中心，k(x)为核函数的轮廓函数，h为核函数带宽，即初始帧中手动选定的目标区域大小。b() x用于计算像素点x的特征所归属的特征区间。δ[] b(xi)-u用于判断点xi处的特征值是否属于第u个特征区间，若属于则函数值为1，否则为0。C为归一化常量系数。常用的核函数有均匀函数、三角函数、高斯函数以及依潘涅契科夫函数。远离目标中心点的像素点属于背景区域的可能性更大，而距离目标中心更近的像素点对特征直方图的贡献应该越大。因此，本文选择依潘涅契科夫函数作为核函数，该函数具有单调递减的性质，可以赋予靠近区域中心的像素点更大的权值，从而起到减少外围背景和噪声干扰的作用。颜色纹理直方图hist(R，G，B，T)中R，G，B，T的每种不同取值组合都对应了一个特征区间u，因此式（5）中的变量u的取值范围由R，G，B，T各自的取值范围相乘得到。

同理，候选目标特征模板可表示为

本文中，候选目标与原始目标的相似性度量通过巴氏系数实现。在几何上，巴氏系数体现了两个向量的角度间的余弦值。其表达式为

计算出来的相似性函数的值在0～1之间。ρ^(y)的值越大，表示两个模型之间越相似。相似性函数ρ^(y)取得最大值时所对应的候选区域即为当前目标的位置。

对式（7）在ρ^(y0)处进行泰勒展开，可推导出均值漂移向量为

在当前帧图像中，将前一帧目标的位置y0作为初始位置，从y0点开始寻找候选模型。通过均值漂移向量确定目标的新位置，经过多次迭代后目标最终会转移到当前帧中的真实位置上，从而实现对目标的跟踪。

3背景加权

背景加权的基本思想是通过与图像背景模型的简单比较，强化目标特征模板中与背景模板不同的显著特征分量，从而达到减弱背景干扰的目的。

首先需要计算目标背景区域模板，背景区域为目标区域周围的一个回型区域，如图2所示的黑色区域。

图2 回型区域示意图

该回型区域的中心与原始目标区域（图2中白色区域）一致，其长、宽为原始目标区域的2倍，即背景回型区域的面积是目标面积的3倍。以相同方法计算回型背景区域内的特征直方图{o^u}，其中。以o*表示{} o^u中的最小非零值，背景加权系数的计算公式如下

当目标模板中的某个特征分量在背景区域具有较大的概率，即ou值比较大时，将ou作为背景加权系数的分母，可以使得o*ou具有很小的值，从而起到在目标模板中减弱该特征分量的作用。因此，通过将目标区域模板{} qu与背景加权系数相乘，可以减弱背景的主要特征分量，从而减少背景区域中较为显著的特征对于目标模板的干扰。本文在联合颜色纹理特征计算目标模板的基础上，再进行背景加权，以增强目标模板的准确性和鲁棒性。

4目标大小变化下基于反向投影的跟踪策略

反向投影图也称为概率分布图，可以反映输入图像中的像素点与目标特征直方图的对应关系。首先查找输入图像像素点所属的目标特征直方图的区间，用该区间上的概率值来代表该像素点的值，从而得到反向投影图，其计算公式如下

其中m表示特征直方图的区间总数，qu表示目标特征直方图中第u个特征区间上的概率值。假设目标特征直方图共有8个区间，每个区间的概率依次为｛0.05，0.2，0.02，0.23，0.03，0.22，0.01，0.24｝。δ[] b(xi)-u的取值只能为1或0，假设该函数在u=3时取值为1，即表明该点的特征属于第3个特征区间，则用该特征区间的概率值0.02作为反向投影图（backpro jection）中像素点xi处的值，代替原有的像素值。因此，反向投影图上每个点的值可以反映出该像素点属于目标的概率。对目标区域内的每个像素点采取上述操作，即可得到最终的反向投影图。

在跟踪过程中，由于摄像机与目标距离的变化，图像中目标的大小不是一成不变的。因此，在目标跟踪过程中，需要对跟踪窗口的大小不断进行调整以适应目标大小的变化，从而实现稳定的跟踪。由于反向投影图可以反映出像素点是否属于目标的概率情况，因此可以将其作为判断目标大小变化的一个参考依据。首先将反向投影图乘以255转化成灰度图，并求取目标窗口内像素点的像素值总和（b acksum）。如图3所示，当目标变大时，该和值也会变大，因此该和值可以用于判断目标大小的变化情况。

图3 反向投影图

由于目标矩形区域中仍可能包含部分背景像素或其他物体的像素点，因此为排除因背景点或其他物体的干扰而造成的反向投影图中像素和的变化，本文结合相似度进行二次判断以决定是否进行目标窗口大小的调整。具体的判断规则如下：

当概率分布图的像素和在连续三帧内都变大，则认为目标可能出现变大的情况，计算出前后两帧像素和之比，再计算h1=ratio·hpre，h2=hpre两种不同窗口下候选模板与目标模板的相似度。

若h1对应的模板计算出的相似度更大，则认为目标确实变大，以h1作为新的窗口大小，否则保持原窗口大小不变。

若概率分布图的像素和b acksum在连续三帧内都变小，则认为目标可能出现变小的情况，计算h1=ratio·hpre，h2=hpre两种窗口下候选模板与目标模板的相似度。

若h1对应的模板计算出的相似度更大，则认为目标的确变小，以h1作为新的窗口大小，否则保持原窗口不变。

5实验结果

在多特征融合时，本文将RGB颜色空间按R，G，B的范围各自等分成8份，即一共划分为8×8× 8=512个区间，由于纹理特征采用均匀模式，共9种不同的取值情况，因此本文的目标特征直方图中共有512×9=4608个不同的特征小区间，即式（5）中u的取值范围为[1，4608]。在具体计算时，首先计算出目标区域的LBP值，在目标区域中LBP值属于均匀模式的像素点处统计颜色纹理直方图作为初步的目标特征直方图；然后，以同样的方法统计目标区域外围的回型背景区域内的颜色纹理直方图，通过背景加权方法计算背景加权系数，将第一步得到的目标特征直方图乘以该加权系数以减少背景特征的干扰，从而得到最终的目标特征直方图，随后开始均值漂移跟踪过程；在跟踪过程中，首先通过计算连续三帧图像目标区域的反向投影图来判断出目标的变化趋势，当连续三帧的反向投影图像素和都变大或变小时，再根据与目标模板的相似度情况判定是否需要进行目标窗口大小的调整。

选取自拍视频以及PETS2009标准数据集对本文跟踪算法的有效性进行验证。自拍视频每帧大小为720×576像素，帧率为25帧/s。自拍视频序列中的目标身着粉色外套，与路面颜色相似，图4为传统均值漂移算法的跟踪结果，图5为结合了多特征和背景加权后本文算法的跟踪结果。从图中可以看出，若采用传统均值漂移算法，在目标与背景含有相同颜色时，跟踪窗口会随时间出现漂移，而本文算法的跟踪窗口可以将目标持续锁定在窗口的中心。

图4 传统均值漂移算法跟踪结果

图5 本文算法跟踪结果

其次，通过PETS2009标准数据集验证本文算法在目标大小变化情况下的有效性。该数据集图像为768×576像素，帧率为7帧/s。图6和图7分别为目标逐渐变大和目标逐渐变小情况下的跟踪结果。从图中可以看出，在目标变大或者变小的情况下本文算法可以对跟踪窗口进行自适应的调整以适合目标的实际大小，同时对于如图7的多人的复杂场景也可以实现稳定的跟踪。

图6 同一目标逐步变大情况下的跟踪结果

图7 同一目标逐步变小情况下的跟踪结果

最后对算法的计算时间进行分析，以验证本文算法的实时性能。在图4所示的自拍视频序列上进行计算时间的统计，结果如表1所示。当反向投影图的像素和没有在连续三帧内变大或变小时，算法无需进行尺度更新，只需耗时0.25s左右；当通过反向投影图像素和判定出目标尺度可能变化时，也只需要计算两个尺度与原模板的相似度，耗时在0.33s左右；而三尺度比较法在每帧都需要通过三个尺度的相似度计算试探目标尺度的变化趋势，因此无论目标尺寸是否变化，每帧耗时都最长，需要0.46s左右。

表1 两种算法所用平均时间

6结语

本文针对传统均值漂移算法采用单一颜色特征导致的目标与背景特征相似时跟踪失效的问题，以及算法中跟踪窗口大小固定导致在目标大小变化情况下无法持续锁定的问题，提出了一种改进的均值漂移跟踪算法，通过融合颜色和纹理特征以及背景加权方法，提高目标特征模型的稳定性和准确性，在目标与背景特征相似时也能有较好的跟踪效果；同时通过反向投影图判断跟踪目标大小的变化趋势，并结合相似度比较做出相应的尺寸调整，使得算法在目标变大或者变小的情况下都能保持持续稳定的跟踪。本文算法在实时性上较三尺度比较法已有了一定程度的提高，但如何进一步提高实时性以真正符合实际应用的需求还有待继续研究。

［1］李冠彬，吴贺丰.基于颜色纹理直方图的带权分块均值漂移目标跟踪算法［J］.计算机辅助设计与图形学学报，2011，23（12）：2059-2066.

LI Guanbin，WU Hefeng.Weighted Fragments-Based Meanshift Tracking Using Color-Texture Histogram［J］. Journal of Computer-Aided Desigh&Computer Graphics，2011，23（12）：2059-2066.

［2］王永忠，梁彦，赵春晖，等.基于多特征自适应融合的核跟踪方法［J］.自动化学报，2008，34（4）：393-399.

WANG Yongzhong，LIANG Yan，ZHAO Chunhui，et al. Kernel-based Tracking Based on Adaptive Fusion of Mul⁃tiple Cues［J］.Acta Automatica Sinica，2008，34（4）：393-399.

［3］Birchfield S T，Rangarajan S.Spatiograms versus histo⁃grams for region-based tracking［C］//San Diego：Proceed⁃ings of Computer Vision and Pattern Recognition，IEEE，2005，2：1158-1163.

［4］Hu J S，Juan C W，Wang J J.A spatial-color mean-shift objecttracking algorithm with scale and orientation estima⁃tion［J］.Pattern Recognition Letters，2008，29（16）：2265-2270.

［5］Zhou H，Yuan Y，Shi C.Object tracking using SIFT fea⁃tures and mean shift［J］.Computer Vision and Image Un⁃derstanding，2009，113（3）：345-352.

［6］刘阳.基于多特征融合的CamShift跟踪算法研究［D］.天津：天津大学，2012.

LIU Yang.Research on CamShift Tracking Algorithm⁃Based on Multi-feature Fusion［D］.Tianjin：Tianjin Uni⁃ vesity，2012.

［7］刘海燕，杨昌玉，刘春玲，等.基于梯度特征和颜色特征的运动目标跟踪算法［J］.计算机应用，2012，32（5）：1265-1268.

LIU Haiyan，YANG Changyu，LIU Chunling，et al.Track⁃ing algorithm for moving objects based on gradientand col⁃or［J］.Journal of Computer Applications，2012，32（5）：1265-1268.

［8］Ning J，Zhang L，Zhang D，etal.Robustobjecttracking us⁃ing joint color-texture histogram［J］.International Journal of Pattern Recognition and Artificial Intelligence，2009，23（7）：1245-1263.

［9］NingJ，Zhang L，Zhang D，et al.Robust mean-shift track⁃ing with corrected background-weighted histogram［J］. Computer Vision，2012，6（1）：62-69.

［10］谢捷.尺度自适应的扩展Mean shift跟踪算法［D］.南京：南京邮电大学，2013.

XIE Jie.An extended Meanshift tracking algorithm with scale adaptive［D］.Nanjing：Nanjing University of Posts and Telecommunications，2013.

［11］Comaniciu D，Ramesh V，Meer P.Kernel-based object tracking［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，2003，25（5）：564-577.

［12］Collins R T.Mean-shift blob tracking through scale space［C］//Madison：Proceedings of Computer Vision and Pattern Recognition，IEEE，2003，2：234-240.

［13］Ojala T，Pietikainen M，Maenpaa T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns［J］.IEEE Transactions on Pat⁃tern Analysis&Machine Intelligence，2002，24（7）：971-987.

［14］Ojala T，Valkealahti K，Oja E，et al.Texture discrimi⁃nation with multi-dimensional distributions of signed gray leveldifferences.Pattern Recogn［J］.Pattern Recog⁃nition，2001，34（3）：727-739.

［15］Zhao G，Pietikainen M.Dynamic texture recognition us⁃ing local binary patterns with an application to facial ex⁃pressions［J］.IEEE Transactions onPattern Analysis and Machine Intelligence，2007，29（6）：915-928.

An Improved Meanshift Tracking Algorithm Based on Multi-feature Fusion and Back Projection

SHEN Mengzhou1LI Ning1，2XU Bin1CAO Caimin1GU Xiaorong3
（1.Colloge of Electronicand Information Engineering，Nanjing University ofAeronautics and Astronautics，Nanjing 211106）
（2.Key Laboratory of Radar Imaging and Microwave Photonics，Ministry of Education，Nanjing University of Aeronautics and Astronautics，Nanjing 211106）
（3.Colloge of Science，Nanjing University ofAeronautics and Astronautics，Nanjing 211106）

The traditional MeanShifttracking algorithm is easy to faildue to its single colorfeature，also since its tracking win⁃dow size is fixed，it is unable to track size changed object successfully.Thus，a modified scale-adaptive MeanShift tracking algo⁃rithm based on multi-feature fusion and back projection is proposed.First，texture feature is fused with the originalcolor feature to describe the object.Then，in order to reduce the interference of the background，background-weighted algorithm is introduced to our method.Finally，adaptive tracking window is realized by back projection and similarity comparison.The experimental results show thatthe improved algorithm achieves better tracking results than the traditionalalgorithm.

objecttracking，adaptive tracking window，texture feature，back projection

TP301

10.3969/j.issn.1672-9722.2017.08.016

2017年3月3日，

2017年4月13日

中国民航总局科技基金项目（编号：1004-14000202）；南京航空航天大学理工融合项目（编号：1008-56XZA15009）资助。

沈梦舟，女，硕士研究生，研究方向：图像处理、目标检测与跟踪。黎宁，女，副教授，研究方向：图像处理、目标检测与跟踪。徐斌，女，硕士研究生，研究方向：图像处理、视频处理。曹蔡旻，女，硕士研究生，研究方向：图像处理、视频处理。顾晓蓉，女，副教授，研究方向：光电技术及其应用。