融合局部三值数量和色度信息的均值漂移跟踪

张红颖 胡 正



融合局部三值数量和色度信息的均值漂移跟踪

张红颖*胡 正

(中国民航大学航空自动化学院 天津 300300)

该文提出了局部三值数量(Local Ternary Number, LTN)这一新的局部显著性纹理算子，并将其与色度信息相结合得到一种新的目标跟踪方法。该方法充分利用目标像素与其八邻域像素灰度值的大小关系，将局部显著性算子(Local Similarity Number, LSN)加以拓展，设计了局部三值数量这一新的局部显著性纹理算子，该算子能区分目标像素在同一局部显著度下的不同纹理结构；LTN掩膜提取边缘、线和角点上关键像素以提高纹理特征的区分能力，同时能够较完整地保留目标信息；在此基础上，将掩膜内目标像素的LTN特征与色度信息融合生成一种新的目标模型，并嵌入到均值漂移(Mean Shift, MS)框架完成目标的跟踪。实验结果表明，该文提出的目标跟踪方法在场景中存在相似颜色和光照变化干扰的情况下，仍能持续准确地实现目标的定位，提高了传统均值漂移跟踪算法的性能。

目标跟踪；均值漂移；局部三值数量；色度信息

1 引言

考虑到LSN算子的显著程度可能包含有多种不同的局部纹理结构，不利于区分颜色与背景相似的目标。本文在LSN算子基础上将邻域像素与中心像素的大小关系加以应用，提出局部三值数量(Local Ternary Number, LTN)这一新的局部显著性纹理算子，该算子能描述目标像素在每一局部显著程度LSN下的不同纹理结构，即使目标颜色与背景颜色相似也具有较好的区分能力。为了抑制纹理特征不明显的平坦区域并提取边缘、线和角点等重要像素，本文根据文献[14]中LSN掩膜方法生成LTN掩膜，然后将LTN特征与受光照影响较小的色度信息相结合来表示掩膜内像素，以增强目标特征的抗光照变化能力，最后将该目标表示方法嵌入到MS框架下得到一种新的跟踪方法。实验结果表明，本文提出的跟踪方法对场景中相似背景颜色和光照变化的干扰均具有较好的鲁棒性，能持续准确地实现目标跟踪。

2 均值漂移(MS)跟踪框架

均值漂移(MS)跟踪框架主要包括目标表示和均值漂移迭代进行目标定位两部分[8]。

2.1 目标表示

2.2 目标定位

3 局部显著性算子

3.1 LSN算子

文献[14]提出的LSN算子通过统计8邻域像素和中心像素灰度值相似的数量来衡量中心像素的局部显著程度定义为

3.2 LTN算子

由图1可知，LSN算子所表示的每一局部显著程度可能包含多种不同的局部纹理结构，该算子不能将这些不同的纹理结构加以区分，因此当目标存在于与其颜色相近的场景中时，目标像素与背景像素的局部显著度可能相似，使用LSN算子不能很好地区分目标和背景。

图1中心像素的9种不同的局部显著程度

其中

3.3 LTN掩膜

图1所示的9种局部显著程度分别包含有平坦区域、斑点、线、角点和边缘等多种纹理结构，文献[14]通过实验表明，LSN掩膜在提取目标上边缘、线和角点等关键像素的同时，能得到较完整的感兴趣目标，保留了较多的有用信息，从而取得更好的跟踪性能。本文借鉴LSN掩膜方法，定义LTN掩膜为

图2 两组LSN算子和LTN算子生成过程示例

图3为一组乒乓球运动员头部的目标块及其LTN掩膜提取结果。

由图3(a)可以看出，待跟踪的乒乓球运动员的肤色与背景存在一定的相似性，因此，直接将目标块上所有像素量化到特征空间可能会影响跟踪结果的准确性。而图3(b)表明，LTN掩膜在提取目标上边缘、线和角点等重要像素的同时，较好地保持了目标的完整性以提供更多的有用信息，并且抑制了颜色相似且纹理特征不明显的平坦区域。

4 融合LTN和色度信息的MS跟踪算法

图3 目标块及LTN掩膜

(7)若当前帧为最后一帧，则跟踪结束；否则，读取下一帧作为当前帧，返回步骤(2)。

5 实验结果与分析

该部分使用两组标准测试序列，分别测试了算法在背景颜色相似和光照强度变化的场景下跟踪性能，实验结果证实了本文算法的有效性。实验条件：配置为Pentium(R) Dual-Core 2.70 GHz CPU, 2 GB RAM的PC机；Visual Studio 2010; OpenCV 2.4.3。

实验1 选取文献[12]提供的运动小车序列作为试验数据，测试了本文算法的抗相似背景颜色干扰能力。该序列共有740帧，待跟踪的小车和场景的背景颜色有一定的相似度，图4给出了部分跟踪结果，其中红色方框为文献[8]基于传统颜色模型的跟踪结果，绿色方框为本文方法的跟踪结果。

由图4可以看出，文献[8]的跟踪方法在相似颜色的背景干扰下，存在着较大的跟踪误差，并且在第93帧之后发生目标完全丢失的严重后果。采用本文方法能持续准确地跟踪目标，主要是因为本文LTN特征具有较好的纹理区分能力，对颜色相似的目标和背景能通过纹理特征加以区分。

表1分别从平均跟踪误差、标准偏差、迭代次数和跟踪速度4方面，统计小车序列前100帧的目标跟踪结果(第93帧之后，采用传统颜色模型跟踪方法使目标完全丢失)，定量地分析了两种方法的跟踪性能。

表1两种方法对小车序列的跟踪性能

跟踪性能文献[8]方法本文方法 平均误差 11.83 3.32标准偏差 10.38 1.64平均迭代次数 5.78 2.75平均跟踪速度(帧/s) 62 78

从表1可以看出，本文方法的跟踪误差明显小于文献[8]基于传统颜色模型的跟踪方法。本文方法在计算LTN算子时有少量的耗时，但本文目标表示方法的区分能力较强，迭代次数约为文献[8]的一半，而迭代是MS跟踪框架中主要的耗时部分，因此本文方法的平均跟踪速度能略快于文献[8]的跟踪方法。图5给出了前100帧具体的跟踪误差和迭代次数曲线。

实验2 采用文献[16]提供的597帧woman序列，文献[16]用其验证了分块跟踪的抗遮挡性能。本文发现该序列的场景光强存在着一定的变化，取该woman上衣作为跟踪对象测试了本文算法对场景光照强度变化的适应性。图6为部分跟踪结果，其中红色方框为文献[8]采用传统颜色模型的跟踪结果，绿色方框为本文算法的跟踪结果。

从跟踪结果可以看出，基于传统颜色模型的MS跟踪方法易受户外光照强度变化的影响，导致目标的跟踪结果不准确。本文方法受光照变化影响较小，能取得较好的跟踪结果，这主要是由于色度信息具有对光照变化不敏感的优点，且LTN算子统计的是中心像素与邻域像素的灰度值大小关系，对场景光强的整体变化具有较好的适应性。表2分别从平均跟踪误差、标准偏差、迭代次数和跟踪速度4方面，定量地分析了两种方法对woman序列的跟踪性能。

表2两种方法对woman序列跟踪性能

跟踪性能文献[8]方法本文方法 平均误差标准偏差平均迭代次数平均跟踪速度(帧/秒)17.4612.553.711125.914.582.9395

由表2可以看出本文算法跟踪性能优于文献[8]的跟踪方法。图7分别给出了文献[8]跟踪方法和本文跟踪方法的MS迭代次数分布直方图。

由图7可以看出，本文方法的迭代次数更多地分布在1~3次，较基于传统颜色模型的MS跟踪算法具有更快的迭代收敛速度，这在一定程度上弥补了LTN算子的用时，因此本文跟踪方法的平均跟踪速度只是略低于基于传统颜色模型的跟踪方法。图8分别给出了两种表示方法跟踪woman序列的误差分布直方图。

图5 小车序列前100帧的跟踪曲线

图6 woman序列部分跟踪结果

图7 woman序列的迭代次数分布

图8 woman序列跟踪误差分布

对比图8(a)和图8(b)的误差分布可以看出，基于传统颜色模型的跟踪方法受光照影响较大，woman序列的跟踪误差较均匀地分布在0~20之间，而本文方法的跟踪误差较多地分布在0~15之间，且主要集中在0~10之间，较文献[8]的方法具有更高的跟踪精度，证实了本文方法对户外光照强度变化的鲁棒性。

6 结束语

基于目标表示方法对MS算法的跟踪性能具有重要影响这一重要事实，本文从提高目标模型的抗相似颜色干扰能力和光照变化适应性入手，提出了一种融合局部三值数量LTN和色度信息的目标模型，并将其引入到MS跟踪框架中。多组实验证明，该方法在场景中存在颜色相似的背景和光照强度变化情况下也能取得较好的跟踪效果，证实了本文算法对相似颜色和光照变化干扰的鲁棒性。本文方法易于与多种尺度自适应和分块跟踪抗遮挡等算法结合使用，下一步工作将致力于研究算法的尺度自适应和抗遮挡能力。

[1] Fang J, Yang J, and Liu H. Efficient and robust fragments-based multiple kernels tracking[J]., 2011, 65(11): 915-923.

[2] Chen Ken, Song Kang-kang, Kyoungho Choi,.. Optimized meanshift target reference model based on improved pixel weighting in visual tracking[J].(), 2013, 30(3): 283-289.

[3] 张炯, 宁继峰, 颜永丰, 等. 对立色LBP模型的目标跟踪[J]. 中国图象图形学报, 2012, 17(11): 1418-1424.

Zhang Jiong, Ning Ji-feng, Yan Yong-feng,.. Object tracking with opponent color LBP model[J]., 2012, 17(11): 1418-1424.

[4] 朱秋平, 颜佳, 张虎, 等. 基于压缩感知的多特征实时跟踪[J]. 光学精密工程, 2013, 21(2): 437-444.

Zhu Qiu-ping, Yan Jia, Zhang Hu,.. Real-time tracking using multiple features based on compressive sensing[J].2013, 21(2): 437-444.

[5] Fukunaga K and Hostetler L. The estimation of the gradient of a density function, with applications in pattern recognition[J]., 1975, 21(1): 32-40.

[6] 刘晴, 唐林波, 赵保军, 等. 基于自适应多特征融合的均值迁移红外目标跟踪[J]. 电子与信息学报, 2012, 34(5): 1137-1141.

Liu Qing, Tang Lin-bo, Zhao Bao-jun,.. Infrared target tracking based on adaptive multiple features fusion and mean shift[J].&, 2012, 34(5): 1137-1141.

[7] Ning J, Zhang L, Zhang D,.. Robust mean-shift tracking with corrected background-weighted histogram[J].2012, 6(1): 62-69.

[8] Comaniciu D, Ramesh V, and Meer P. Kernel-based object tracking[J]., 2003, 25(5): 564-577.

[9] 董文会, 常发亮, 李天平. 融合颜色直方图及SIFT特征的自适应分块目标跟踪方法[J]. 电子与信息学报, 2013, 35(4): 770-776.

Dong Wen-hui, Chang Fa-liang, and Li Tian-ping. Adaptive fragment-based target tracking method fusing color histogram and SIFT features[J].&, 2013, 35(4): 770-776.

[10] 徐少平, 李春泉, 胡凌燕, 等. 一种改进的颜色共生矩阵纹理描述符[J]. 模式识别与人工智能, 2013, 26(1): 90-98.

Xu Shao-ping, Li Chun-quan, Hu Ling-yan,. An improved color cooccurrence matrix texture descriptor[J]., 2013, 26(1): 90-98.

[11] Bousetouane F, Dib L, and Snoussi H. Improved mean shift integrating texture and color features for robust real time object tracking[J]., 2013, 29(3): 155-170.

[12] Ning J, Zhang L, Zhang D,.. Robust object tracking using joint color-texture histogram[J]., 2009, 23(7): 1245-1263.

[13] 李冠彬, 吴贺丰. 基于颜色纹理直方图的带权分块均值漂移目标跟踪算法[J]. 计算机辅助设计与图形学学报, 2011, 23(12): 2056-2066.

Li Guan-bin and Wu He-feng. Weighted fragment-based

meanshift tracking using color-texture histogram[J].&, 2011, 23(12): 2056-2066.

[14] Tavakoli H R, Moin M S, and Heikkila J. Local similarity number and its application to object tracking[J]., 2013, 10(1): 184-190.

[15] 张涛, 蔡灿辉. 基于多特征Mean Shift的人脸跟踪算法[J]. 电子与信息学报, 2009, 31(8): 1816-1817.

Zhang Tao and Cai Can-hui. A face tracking algorithm based on multiple feature mean shift[J].&, 2009, 31(8): 1816-1817.

[16] Adam A, Rivlin E, and Shimshoni I. Robust fragments-based tracking using the integral histogram[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, New York, NY, USA, 2006: 798-805.

张红颖： 女，1978年生，副教授，硕士生导师，研究方向为图像工程及计算机视觉.

胡 正： 男，1987年生，硕士生，研究方向为数字图像处理及计算机视觉.

Mean Shift Tracking Method Combing Local Ternary Number with Hue Information

Zhang Hong-ying Hu Zheng

(,,300300,)

A new local saliency texture descriptor named Local Ternary Number (LTN) is defined in this paper, and a new object tracking method combining LTN with hue information is proposed. Derived from Local Similarity Number (LSN), the new local saliency texture descriptor makes full use of pixel intensity relationship in a 8-connected neighbourhood. Compared with LSN, the LTN could distinguish different texture structures with the same local saliency degree. LTN mask not only extracts the key object pixels on edges, lines and corners to enhance the distinguish ability of texture feature, but also preserves the unity of the object. Then a new Mean Shift (MS) tracking method is built by utilizing the new object model, which integrating LTN with hue information from the object pixels within this mask. A large number of experiments are conducted and the experiment results demonstrate that the proposed method improve the performance of the traditional MS tracker, and the proposed method tracks object continuously and accurately even in the scene with similar color and illumination changing.

Object tracking; Mean Shift (MS); Local Ternary Number (LTN); Hue information

TP391

A

1009-5896(2014)03-0624-07

10.3724/SP.J.1146.2013.01155

2013-07-31收到，2013-11-08改回

天津市青年科学基金(12JCQNJC00600)资助课题

张红颖 carole_zhang0716@163.com