基于颜色-纹理特征的目标跟踪*

姚原青,李 峰,周书仁

(长沙理工大学计算机与通信工程学院，湖南 长沙 410004)

基于颜色-纹理特征的目标跟踪*

姚原青,李 峰,周书仁

(长沙理工大学计算机与通信工程学院，湖南 长沙 410004)

针对传统的基于颜色特征目标跟踪算法在一些复杂场景中存在的跟踪不稳定性，提出一种基于颜色-纹理特征的目标跟踪算法；在传统的基于颜色Mean-shift的目标跟踪算法中加入纹理特征,在提取目标颜色特征的同时提取目标的纹理特征,并且采取串接原则，在搜索目标新位置时仍然沿用传统的基于颜色的均值漂移跟踪算法，但在每一次迭代过程搜寻目标最佳的位置点即特征相似最大的区域时，利用纹理特征来实现，并且采用八邻域搜索法(候选区域周围扩大八个大小相等的区域)来解决部分遮挡的问题。通过对比实验表明，该算法在复杂场景中表现出的实时性和鲁棒性较好。

目标跟踪；颜色特征；均值漂移；纹理特征

1 引言

目标自动识别与跟踪技术是世界各国精确打击武器制导系统的关键技术，同时也是许多计算机视觉系统的关键底层技术，如监控、基于目标的视频压缩、基于内容的图像搜索系统、医疗用图像系统、机器人、计算机辅助驾驶系统等等[1]。

均值漂移(Mean-shift)方法[2]是一种快速的、沿着梯度方向进行迭代的方法,因此能够较快地找到核密度估计的峰值。它倾向于忽略离感兴趣区域较远的数据。均值漂移算法最初由Fukunaga K和Hostetle L D在1975年提出[3]，当时命名为“valley-seeking procedure”，其核心思想是利用核函数对窗口中的点进行加权平均，得到新的窗口位置，然后迭代进行加权平均直至收敛。

文献[4,5]定义了一系列核函数和权重系数,指出Mean-shift的应用领域。文献[6]把跟踪作为二值化分类问题来处理,通过在线方式训练弱分类器来区别对象特征和背景特征,强分类器用来计算下一帧的信任图, 通过Mean-shift算法找到信任图的峰值(对象的新位置)。通过不断地训练弱分类器,更新强分类器,使得跟踪器以较低的计算成本取得较好的健壮性。文献[7]通过把基于颜色特征的跟踪与纹理特征相结合，在人脸跟踪中，对复杂场景有一定的鲁棒性。文献[2]针对传统均值漂移算法的弱点，提出一种融合分级边缘特征的核密度估计算法，使得在长时间的跟踪以及场景变化的环境跟踪准确。

传统的基于核函数的目标跟踪方法是利用目标空间核加权的颜色特征直方图来描述目标。但是，通过实验表明，基于单个视觉特征的目标描述很难对一些复杂场景足够鲁棒，所以可进行特征融合，基于多个视觉特征的目标描述，利用各个特征的互补性，实现更为鲁棒的目标跟踪。本文在文献[7]的基础上，提出一种基于颜色特征与纹理特征相结合的跟踪算法，解决传统跟踪算法的局限性，对一些复杂场景，比如光照影响、旋转及部分遮挡的影响，具有一定的鲁棒性。与传统方法的实验结果比较表明，本文算法跟踪准确，实时性较好。

2 传统的Mean-shift目标跟踪算法

传统的目标跟踪算法的主要思想是：首先选取要跟踪的对象目标，计算目标的颜色特征密度分布函数以及候选目标的颜色特征密度分布函数；然后通过匹配的方法，搜索接下来帧中目标的位置，达到对目标的实时跟踪。

传统的目标跟踪算法中的匹配方法是基于Bhattacharyya系数的特征密度匹配。目标模型和候选目标模型之间的距离定义为:

(1)

其中,p是基于颜色特征的目标模板，q(y)是基于颜色特征的候选目标特征函数，S(y)是Bhattacharyya系数，具有如下形式：

(2)

由式(2)可以看出，ρ[p,q(y)]的极小化等价于S(y)的极大化，其极大化可以通过式(3)的Mean-shift迭代过程完成：

(3)

其中，xi表示像素在目标模板中的位置，yi表示像素在候选目标中的位置，g是核函数，g′是核函数的剖面函数，h是核函数带宽，wi表示权值。

基于Mean-shift的目标跟踪过程主要基于上式的迭代计算。给定的目标模型，迭代过程的初始值是目标在前一帧的跟踪位置，目标在当前帧的新位置使Bhattacharyya系数S(y)极小化[8,9]。

传统的目标跟踪算法有着良好的优点,实时性好，对于遮挡、目标形变有一定的鲁棒性。但是，通常一些应用背景相对比较复杂，比如背景颜色相似、光照强度影响目标颜色以及遮挡问题，基于颜色特征的建模就不能很好地表示目标特征，致使跟踪算法的性能下降。本文在传统的目标跟踪算法基础上，提出一种适应复杂背景的跟踪算法。

3 融合纹理特征的目标跟踪算法

3.1 图像纹理特征特性

纹理特征(LBP)是基于3×3的像素框，反映了中心像素灰度值与相邻像素灰度值的大小关系，LBP的计算过程为：

(4)

其中，gc表示中心像素灰度值，gi表示相邻像素灰度值。

对于传统算法中颜色特征的不足，纹理特征体现出的优势主要为：

(1)光照不变性。光照对图像纹理特征影响比较小。所以，在跟踪过程中，如果目标受到光照影响时，此时颜色特征变化比较大，但是纹理特征变化不大。如图1所示。

Figure 1 LBP numerical before the light impact and after the light impact图1 受光照影响前后的LBP特征值

图1所示为两个区域LBP计算，由式(4)得到的LBP值是一模一样的。这就是在光照的影响下，其LBP值不变的特点[10]。

(2)旋转不变性。图像发生旋转时，圆形邻域的灰度值在以gc为中心、R为半径的圆周上移动。只要LBP值不全为0或者不全为1，图像的旋转就会得到不同的LBP值，因此，Maenpaa T等人[11]又将LBP算法进行了扩展，提出了具有旋转不变性的LBP(Rotation Invariant LBP)。即不断旋转圆形邻域得到一系列初始定义的LBP值，取其最小值作为该邻域的LBP值：

LBP=min{ROR(LBP,i),i=0,…,p-1}

(5)

其中，ROR()表示通过向右移位取不同的LBP。

所以，在跟踪过程中，跟踪目标发生了旋转导致颜色特征发生变化时，则可以保持特征函数不变，与目标函数的匹配度增高，保持跟踪的准确性。

3.2 基于颜色-纹理特征的目标跟踪

文献[7]通过将目标颜色特征和纹理特征相结合，应用于人脸跟踪，与单一的特征跟踪算法实验相比较，跟踪的准确性得到了提高，并且能保持较好的实时性。本文考虑在传统的基于颜色Mean-shift的目标跟踪算法加入纹理特征，利用纹理特征在光照影响下的不变性，适应变化的场景。

如果将目标的颜色和纹理特征组合在一起表示成高维特征向量，在目标的空间用其特征直方图来描述目标，那么随着特征空间的维数增加，运算复杂度会急剧增加，从而使得实时跟踪变得不可能。本文采取串接原则，在搜索目标新位置时仍然沿用传统的基于颜色的均值漂移跟踪算法，但在每一次迭代过程搜寻目标最佳的位置点即特征相似最大的区域时，运用纹理特征来实现；并且采用八邻域搜索法(候选区域周围扩大八个大小相等的区域)来解决部分遮挡的问题。

在开始跟踪过程中，仍然采用传统的基于颜色的Mean-shift跟踪算法。算法中每一次迭代执行到公式(3)计算新位置时，传统跟踪算法中，在这个位置计算候选目标的特征函数，如果遇到遮挡或者光照影响时，目标的颜色会造成很大的变化，即计算出的候选目标特征函数将与目标函数的匹配度很低，造成在漂移过程中将会不定向，最终可能导致目标远离跟踪矩形框。计算出来的新位置很可能是不存在目标的。此时程序从没有目标的矩形框执行下去，会在以后的连续帧中继续丢失目标，导致跟踪的失败。

而本文算法考虑了遮挡和光照的影响因素，提出在每一次迭代计算目标新位置时，扩大搜索范围，即在新位置的矩形框周围扩大八个相等的矩形框(如图2所示)，计算这九个矩形框的LBP特征直方图，并与初始化时计算的目标模板LBP特征直方图比较，计算两者的相似度。可以确定相似度最大的矩形框作为新的候选区域，则下一次均值漂移迭代由这个矩形框内的像素点开始。

Figure 2 Diagram of increasing the search range around the candidate region by rules图2 在候选区域周围规则增大搜索范围示意图

计算目标模板的LBP纹理特征直方图[9]，设跟踪目标的中心位于图像的原点，用矩形区域表示目标，空间坐标为xi(i=1,2,…,n)。假设目标纹理特征空间被均匀剖分成m个直方图区间(bin),目标模型的直方图则表示为pv，每一个bin的直方图由式(5)计算：

(6)

其中,b(lbp(xi))表示像素xi的LBP特征值对应的直方图区间；v表示直方图区间；C表示相应的归一化常数。

在采用传统Mean-shift算法迭代公式计算得到新的位置时，计算通过新位置扩大的搜索矩形框的LBP特征直方图：

(7)

由于增大了候选区域，导致计算量增大，会引起算法的实时性下降。但是，由于纹理特征的计算简单的特点，本文将通过实验表明，即使是扩大了八个搜索区域，算法的实时性仍保持得较好。

具体改进算法流程如下：

步骤1对目标状态进行初始化y0，计算目标颜色特征模型p以及目标纹理特征函数pv。

步骤2获得新的一帧图像，计算候选目标的颜色特征模型q。

步骤3计算基于Bhattacharyya系数的相似度，此时相似度仍为颜色的相似度。

步骤4根据Mean-shift的迭代公式计算目标新的位置y以及通过漂移后新的候选区域。

步骤5在新的候选区域采用八邻域搜索法并运用LBP特征，从九个矩形区域中确定纹理特征相似度最大的矩形区域，作为新的候选区域。

步骤6如果平移向量范数Δy≤ε或者迭代次数大于N(N一般由人为选定，本文N取10)结束循环，即为目标在当前帧中的位置；否则，流程回到步骤2。

Figure 3 Diagram 1 of comparative experiment 1图3 对比实验1示意图1

Figure 4 Diagram 2 of comparative experiment 1图4 对比实验1示意图2

针对传统跟踪算法的不足，本文算法具有以下优点：在有光照的影响下的跟踪场景，颜色特征函数变化较大，但跟踪目标的纹理特征变化不大，在迭代确定新位置时，可以消去背景颜色与目标颜色相似带来的影响，更好地跟踪目标。在跟踪目标被部分遮挡时，通过设计增大搜索区域，能在目标重新出现后，在增大的矩形区域内重新利用LBP特征被检测出，能在部分遮挡后继续跟踪目标。对部分遮挡有一定的鲁棒性。

4 实验结果与分析

本文实验在MATLAB下进行仿真，实验图片序列来自CAVIAR项目具有固定背景的视频序列，视频库Crowd_PET09中的一段视频序列，以及自行拍摄的图片序列。本文实验跟踪的物体均在初始帧由人工选择(采用矩形框)。为了验证所提出算法的优势性，分别对上述几组图片序列进行测试，并对仿真结果进行了对比分析。

4.1 实验1

CAVIAR是关于动作识别的一个项目，提供了各种环境下的人体运动视频。本文从中选取一段在商店走廊的视频序列，这段视频背景环境较为复杂。图片序列一共252张，每张图片分辨率为384×288。视频库Crowd_PET09中的一段视频序列中，行人从光线较强的地方移动到了光照较阴暗的地方，序列由120张720×576 JPEG图片组成。两组实验对比本文算法和传统目标跟踪算法，实验效果如图3、图4所示。

图3实验选取了第1、90、120、160帧图片，选取第一帧矩形框内的行人为跟踪目标。第一组序列为传统的基于颜色的目标跟踪方法实验结果图，在发生遮挡时，丢失了目标。第二组为本文算法，在部分遮挡的影响下能稳定准确地跟踪目标。

图4实验选取第1、20、54、70帧图片，同样选取第一帧矩形框内行人作为跟踪目标，第一组为传统算法，第二组为本文算法。对比结果显示本文算法在光照影响条件下保持了跟踪的准确性。

图5为图像的纹理特征，分别为图4实验序列中第20帧和第70帧。由纹理特征图可较清晰地观察出目标行人在光照较强下和阴影下的纹理特征基本不变，验证了纹理特征对光照的不变性。

Figure 5 Texture characteristics of the image图5 图像的纹理特征

Figure 6 Diagram 1 of Comparative experiments 2图6 对比实验2示意图1

Figure 7 Diagram 2 of Comparative experiments 2图7 对比实验2示意图2

4.2 实验2

图片序列来源于200W像素手机相机自行拍摄，图片为640×352的JPEG图片。两组实验图片序列分别为753张、590张。拍摄的序列图片背景较为复杂，有光照以及树木或者其他行人的遮挡影响。主要验证本文算法对光照及遮挡的鲁棒性，并与传统的跟踪算法及基于LBP的跟踪算法进行了比较，相关的对比实验如图6、图7所示。

图6实验选取了第1、41、108、212、260帧图片。前两组图片分别采用基于传统颜色特征Mean-shift跟踪算法和基于纹理特征的Mean-shift跟踪算法，最后一组图片采用本文算法。实验均选取第1帧矩形框内的行人作为跟踪目标。如图所示，前两种跟踪方法分别在212帧和41帧后，由于复杂背景的影响，完全丢失了目标；而本文算法在树木遮挡或者光照以及背景颜色相似的影响下，仍能准确地跟踪到目标。

图7实验同样选取了一组有遮挡以及光照影响的图片，选取了第1、12、34、268、346帧图片。选取第1帧矩形框中的行人作为跟踪目标。前两组图片序列实验结果显示，在有其他行人遮挡或者树木遮挡以及光照影响时，先后有丢失跟踪目标的情况，整个跟踪过程不稳定，最终跟踪失败。第三组图片实验结果为本文算法结果，一直能准确跟踪目标，没有发生目标丢失现象。

4.3 算法的性能分析

通过以上实验仿真对比，可以观察出本文算法在一些复杂场景(光照以及部分遮挡)下，与传统的跟踪算法以及基于LBP的跟踪算法比较，跟踪的准确性最高。

实验1中，两组图片序列分别有部分遮挡和光照影响，本文算法运用图像纹理特征在增大的搜索区域内搜索匹配度最大的区域作为候选目标(算法步骤5)，能解决部分遮挡以及光照带来的影响，所以仍能准确跟踪目标。而传统算法因此跟踪失败。并且验证了纹理特征对光照的不变性(图6所示)。

实验2中两组自行拍摄的路人图片序列中的跟踪目标均有光照和其他行人遮挡的影响，实验结果显示本文算法能稳定准确地跟踪目标。而与本文算法相比较的两种传统算法均跟踪失败。基于LBP的跟踪算法由于没有增大搜索区域，当发生部分遮挡时，由于候选目标与目标的匹配度大大降低，导致跟丢了目标。传统的目标跟踪方法由于只考虑颜色信息而且没有增大搜索区域，所以当有光照影响或者发生部分遮挡时，也跟踪失败。实验结果表明了本文算法理论的可行性。其中实验2中三种算法的时间开销对比如表1所示。

Table 1 Comparison of time overhead表1 时间开销对比 s/帧

表1中三种算法时间开销的统计，均在相同的实验环境下针对相同的实验图片序列进行，并且对于每种算法，人工选定的跟踪区域的初始尺寸相同(因为跟踪过程中的时间开销与目标的尺寸成正相关，为了便于对比，必须保证三种算法选取的跟踪区域大小相同)。其中路人1跟踪区域长轴26，短轴8；路人2跟踪区域长轴18，短轴14。从统计结果来看，本文算法时间开销稍微高于传统算法，与基于LBP算法区别不大。因为本文是对于两种特征的融合以及增大了搜索区域，大大增加了算法计算复杂度。但是，从统计结果看来，本文算法的时间开销没有高出很多，仍能保持较好的跟踪实时性。

综合上述，本文基于颜色-纹理特征的Mean-shift目标跟踪算法适用于光照影响以及部分遮挡的跟踪场景中，与传统算法以及基于LBP的跟踪算法比较，鲁棒性方面有一定的优势，并能保持较好的实时性。

5 结束语

在一些受光照、背景颜色与目标相似以及遮挡旋转影响下的跟踪场景中，传统跟踪算法很难实现对目标的准确跟踪。为了适应跟踪场景的复杂性，本文提出一种基于颜色-纹理特征的Mean-shift跟踪算法，并在考虑已有的结合算法基础上采用串接原则进行结合，以及在候选区域采用八邻域搜索法解决部分遮挡问题。通过实验对比验证了本文算法的鲁棒性有一定优势，而且在加大了计算复杂度的同时还保持了跟踪的实时性。特征融合是跟踪领域的一大趋势，在将来的研究中应该考虑引入更有效的、互补性更强的特征对目标进行描述。

[1] Wang Liang, Hu Wei-ming, Tan Tie-niu. Recent developments in human motion analysis[J]. Pattern Recognition, 2003, 36(3):585-601.

[2] Sheng Zhi-yuan. An adaptive target tracking algorithm based on multi-feature fusion[C]∥Proc of International Conference on Biomedical Engineering and Computer Science, 2010:1-4.

[3] Fukunaga K, Hostetler L D. The estimation of the gradient of a density function with applications in pattern recognition[J].IEEE Transactions on Information Theory, 1975,21(1):32-40.

[4] Cheng Yi-zong. Mean shift, mode seeking, and clustering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1995, 17(8):790-799.

[5] Comaniciu D, Meer P. Mean shift analysis and applications[C]∥Proc of the the 7th IEEE International Conference on Computer Vision, 1999:1197-1203.

[6] Avidan S. Ensemble tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29 (2):261-271.

[7] Pouladzadeh P, Semsarzadeh M, Hariri B, et al. An enhanced Mean-shift and LBP-based face tracking method[C]∥Proc of 2011 IEEE International Conference on VCIMS 2011,2011:1-4.

[8] Li Pei-hua. Image sequences moving target tracking method[M]. Beijing:Science Press,2010.(in Chinese)

[9] Zhao Chun-hui, Pan Quan, Liang Yan, et al. Video imagery moving targets analysis[M]. Beijing:National Defense Industry Press,2011.(in Chinese)

[10] Chen Heng-xin,Tang Yuan-yan,Fang Bin,et al. For changes in illumination for face recognition the LBP improved method[J]. Computer Engineering and Applications, 2011,47(3):30-31.(in Chinese)

[11] Maenpaa T, Pietikainen M. Texture analysis with local binary patterns[M]∥Handbook of Pattern Recognition and Computer Vision 3 rd ed. Washington:World Scientific,2005:197-216.

[12] Ojala T,Pietikinen M. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7):971-987.

附中文参考文献：

[8] 李培华.序列图像中运动目标跟踪方法[M].北京:科学出版社,2010.

[9] 赵春晖,潘泉,梁彦,等.视频图像运动目标分析[M].北京:国防工业出版社,2011.

[10] 陈恒鑫,唐远炎,房斌,等.用于变化光照下人脸识别的LBP改进方法[J].计算机工程与应用,2011,47(3):30-31.

YAOYuan-qing,born in 1989,MS candidate,his research interests include

image processing, and pattern recognition.

李峰(1964-),男,湖南澧县人，博士，教授，研究方向为图像处理、模式识别和信息安全。E-mail:lifeng64@139.com

LIFeng,born in 1964,PhD,professor,his research interests include image processing,pattern recognition, and information security.

周书仁(1975-),男,江西都昌人，博士，讲师，CCF会员(E200027223G)，研究方向为图像处理、模式识别和人工智能。E-mail:zsr_hn@163.com

ZHOUShu-ren,born in 1975,PhD,lecturer,CCF member(E200027223G)，his research interests include image processing,pattern recognition, and artificial intelligence.

2014年全国高性能计算学术年会(HPCChina2014)

征文通知(第二轮)

由中国计算机学会主办、中国计算机学会高性能计算专业委员会、中山大学共同承办的“2014年全国高性能计算学术年会”(HPC China 2014) 将于2014年11月6日至8日在广州召开。全国高性能计算学术年会是中国一年一度高性能计算领域的盛会，为相关领域的学者提供交流合作、发布最前沿科研成果的平台，将有力地推动中国高性能计算的发展。

征文涉及的领域包括但不限于：高性能计算机体系结构、高性能计算机系统软件、高性能计算环境、高性能微处理器、高性能计算机应用、并行算法设计、并行程序开发、海量信息处理、科学计算可视化、云计算和网格计算相关技术及应用，以及其他高性能计算相关领域。会议录用论文将分别推荐到《计算机研究与发展》(EI)、《计算机学报》(EI)、《软件学报》(增刊，EI)、《计算机科学与探索》(正刊)、《计算机工程与科学》(正刊)和《计算机科学》(正刊)等刊物上发表。会议还将评选优秀论文和优秀论文提名奖各4名。

投稿须知：

本届大会接收中英文投稿。作者所投稿件必须是原始的、未发表的研究成果、技术综述、工作经验总结或技术进展报告。务必附上第一作者简历(姓名、性别、出生年月、出生地、职称、学位、研究方向等)、通信地址、邮政编码、联系电话和电子信箱，并注明论文所属领域。

投稿要求：稿件请参照《软件学报》的论文格式编排。参见《软件学报》的投稿指南：http://www.jos.org.cn/ch/reader/view_fixed_content.aspx?id=instructions以及《软件学报》模板及排版样例(http://www.jos.org.cn/ch/reader/view_fixed_content.aspx?id=download)。文章篇幅不做硬性规定，建议6～8页。

会议将邀请知名院士、学者做大会特邀报告，举行学术报告和分组交流，还将发布2014年中国HPC TOP100排行榜、进行高性能计算专题研讨、高性能计算相关的CCF ADL培训、高性能计算新技术与新产品展示等活动。本次会议邀请了美国HPC Advisory Council的加盟，还将邀请国内外知名超算中心主任参加，并举行形式多样、不同主题的论坛研讨，会议期间还将召开“CODESIGN国际研讨会”。从中您能了解到国内、外高性能计算的最新动态，获取对您个人的职业发展有益的各类信息。欢迎从事高性能计算及相关研究的同仁踊跃投稿。

论文提交截止日期：2014年07月15日 论文录用通知日期：2014年08月15日

正式论文提交日期：2014年09月15日

未尽事宜见下一轮通知。

联系人：李希代，陈晓南，李奈青，王晓路

联系电话：010-62600662，020-39943525，020-39943563 传真：020-39943537

电子邮箱：xidai.niu@gmail.com，hpcchina2014@163.com，sysusc@mail.sysu.edu.cn

会议网站： http://hpcchina2014.csp.escience.cn/dct/page/1

Targettrackingbasedoncolorandthetexturefeature

YAO Yuan-qing,LI Feng,ZHOU Shu-ren

(School of Computer and Communication Engineering,Changsha University of Science and Technology,Changsha 410004,China)

In some complex scenes of tracking, the traditional color feature based target tracking algorithm may have the unstable tracking. To solve this problem, a color and texture feature based target tracking algorithm is proposed. The texture feature is added in the traditional color Mean-shift based target tracking algorithm, and both the texture and the color features are extracted together. According to the sequence principle, the traditional color based mean drift tracking algorithm is still used to search the new position of the target, but, in each iteration process, the texture feature is used to search the optimal target position which has the largest similar feature. And the eight neighborhood search method (8 areas with the same size are expanded around the candidate area) is applied to solve the problem of partial occlusion. The comparative experiments show that the algorithm has better robustness and real-time performance in complex scenes.

target tracking;color features;Mean-shift;texture feature

1007-130X(2014)08-1581-07

2012-11-09;

：2013-04-10

国家自然科学基金资助项目(60973113)；湖南省自然科学基金资助项目(12JJ6057)；长沙市科技计划资助项目(K1203015-11)；湖南省标准化战略项目(2011031)

TP391.4

：A

10.3969/j.issn.1007-130X.2014.08.028

姚原青(1989-),男,湖南辰溪人，硕士生，研究方向为图像处理和模式识别。E-mail:qingyuanyao@sina.com

通信地址：410004 湖南省长沙市长沙理工大学云塘校区计算机与通信工程学院

Address:School of Computer and Communication Engineering,Yuntang Campus,Changsha University of Science and Technology,Changsha 410004,Hunan,P.R.China