基于递推估计和上下文更新的鲁棒单目标跟踪方法

杨建辉，吴 聪，余梅生

(1.周口师范学院 数学与统计学院，河南 周口 466001；2. 周口师范学院 计算机科学与技术学院，河南 周口 466001；3.燕山大学 信息科学与工程学院，河北 秦皇岛 066004)

基于递推估计和上下文更新的鲁棒单目标跟踪方法

杨建辉1，吴 聪2，余梅生3

(1.周口师范学院 数学与统计学院，河南 周口 466001；2. 周口师范学院 计算机科学与技术学院，河南 周口 466001；3.燕山大学 信息科学与工程学院，河北 秦皇岛 066004)

针对杂乱背景和光照变化等容易使目标跟踪产生漂移的问题，提出一种基于递推估计和上下文更新的鲁棒目标跟踪方法，该方法是颜色粒子滤波目标跟踪的有效扩展。通过建立颜色粒子滤波跟踪的通用框架，利用上下文信息分配目标外观变化的置信度，在重采样阶段，采用递推估计从其外观相似度分数计算的权重选择粒子，并初始化异常粒子。形变和光照变化的视频测试表明，该方法可以克服光照变化和背景的影响，递推估计可以处理偏离整体估计的异常粒子。相比于标准颜色粒子滤波、粒子随机搜索法等方法，该方法在跟踪框中心误差和平均重叠方面均优于其他方法，在鲁棒性和准确性方面具有明显优势。

递推估计；上下文信息；目标跟踪；粒子滤波；鲁棒性

0 引 言

目标跟踪和检测技术在机器视觉、模式识别、图像检测等诸多方面有着很重要的应用。它以图像处理技术为基础，将光学电子、计算机和测试等技术融为一体[1]，构成一个综合体。目前目标跟踪技术已广泛应用于多个领域：军事中的空中目标跟踪、导弹制导[2]；气象中的云图分析[3]；工业中的视觉私服控制[4]、智能车辆；交通中的视频监控系统[5-6]等。在这些系统中，如何获得鲁棒跟踪，应对多种突发情况是研究的关键。

现存的大量跟踪算法主要包括3个组成部分：目标表示、时空预测和模型更新。目标表示方法有多种，如：颜色直方图[7]、直方图方向梯度(histogram of gradient，HOG)[8]和Harr特征描述符[9]等。这些特性可以用于2种不同方案：①整体方法[10-11]，即对整个目标应用单一外观模型；②基于子空间的方法[12-13]，将目标的不同部分与不同外观模型关联。

文献[10]提出了在定位目标的搜索机制中，使用基于时空预测的Kalman滤波器，估计过程的关键是匹配目标时空模型预测的外观模型。但这种方法容易陷入局部最优。粒子滤波的随机搜索方法[11]可以消除局部最小化问题，得到了广泛应用。一般情况下，目标的外观模型随时间变化，例如由于光照条件的改变，目标需要进行正则化更新。但是，不恰当的更新可能导致目标漂移，在真实场景中鲁棒性较差。

文献[12]通过在线更新外观模型，挖掘目标周围局部可视信息，在现有背景粒子的帮助下选择判别特征，但更新过程计算代价较大，实时性较弱。文献[13]采用自适应边界框和边缘图像块分布解决目标漂移问题，在丢失目标情况下，利用关联外观模型，自动检测粒子，并重新锁定目标。虽然将目标的不同部分与目标外观关联，但是如果存在较大面积的遮挡或目标长时间消失后再次出现，会出现严重的漂移现象。

很多方法的有效解在真实场景中难以达到期望要求，跟踪失败的主要原因包括背景杂乱的不恰当处理、光照变化和目标形变等[14]。为了处理上述问题，本文构建一种鲁棒单目标跟踪器，使其适用于杂乱和外观变化环境，扩展了的原始颜色粒子滤波，其主要贡献：①为了处理可能偏离整体估计的异常粒子，引入一种递推估计，可重新加权和重新初始化异常粒子；②采用上下文信息更新参考模型，克服了光度变化和背景影响。

1 杂乱环境下跟踪的背景问题

本文模型中，目标由一个矩形区域建模，其对应的目标边界框为

(1)

(1)式中：(Px，Py)表示边界框中心位置的x-y坐标，Hx,Hy分别为区域宽度和高度，如图1所示。

图1 跟踪器的边界框Fig.1 Tracker’s bounding box

(2)

(2)式中：M表示常量运动矩阵，为单位矩阵；vk～N(0,R)表示方差为R，均值为0的高斯噪声。

(3)

粒子的目标估计是通过所有粒子集的平均来计算获得，表示为

(4)

而参考模型的更新由(5)式获取

(5)

(5)式中，λr是权衡当前外观与之前参考外观估计的一些常量参数。即更新的参考外观模型构建为参考外观之前估计与目标外观当前观察的凸组合。

但是，通过(2)-(4) 式的估计可能不完全准确，尤其是在杂乱环境中。例如，当目标遇到相似背景，一些粒子产生的估计可能完全错误，因此，粒子分布产生不同聚类，导致边界框远离目标，如图2所示。类似地，(5)式更新状态的不准确会随着时间累积，产生严重漂移，实验的初衷是跟踪图2a左边的人，但存在另一个外观模型相似、朝相反方向行走的人， 交叉之前，目标看起来非常一致，各粒子相关的边界框重合，但是，交叉之后，由粗线框表示的估计完全偏离图2b中右边跟踪的人。这就是由于背景造成跟踪丢失的一个案例。

图2 杂乱环境下的失败模式Fig.2 Failure modes in environmental clutter

2 提出的单目标跟踪方法

为了解决第1节提到的杂乱环境中跟踪失败的问题，本文使用递推估计方法求解跟踪问题，提取上下文信息形成鲁棒模型更新。

2.1 递推估计

(6)

因此，所有粒子上的平均距离为

(7)

粒子i偏离标准估计，当且仅当

(8)

(8)式中，λd是与底层视频帧可变性相关的常量参数，较高的λd值将减少异常点数，当设置其值低于1时，将大幅增加异常点数。因此，本文设置的经验值为λd=2，可以满足大多数情况。

图3 重采样方案Fig.3 Re-sampling scheme

重采样策略如下。

步骤3 根据(3)式计算第p个粒子和第q个粒子的新权重，即，使用图3中的符号，表示为

(9)

(10)

步骤5 根据(4)式计算新全局估计；

步骤6 重复步骤(6)—(8)式，找出是否存在异常粒子。

迭代重采样步骤1—5，直到不再产生异常点。此外，实践中，上述迭代次数随着异常点数大幅减少，重采样之后趋于稳定。递推估计重采样的伪代码如算法1所示。

算法1 递推估计重采样。

2)FOR每个粒子i

END

4)当粒子j满足式(8)，DO

END

5)FOR每个粒子i

END

6)转至1)；

7)重复1)—6)，直到粒子j满足(8)式；

2.2 上下文信息更新解决背景问题

更新参考模型经常会发生难以预料的问题，这是由于很难预测将要发生的光照条件或视频序列变化。由于背景的可能影响，(5)式中，模型与目标外观之间的凸组合具有误导性，启发于文献[15]，首先，通过固定比例扩大估计的目标边框来解释背景；然后，选择(5)式中乘法因子λr来说明直方图每个bin区间上背景像素相对前景像素的比例，通过比较模型估计(前景)和参考背景之间的外观变化来实现，如果变化与背景非常相似，则分配较低的因子，否则，分配较高的因子。前景和背景区域的一个示例如图4所示，即扩大区域定义为前景区域补充的局部背景区域。

图4 前景和背景区域Fig.4 Foreground and background region

若每条边的缩放因子σ>1，则表明扩大了估计目标的边界框，如图 4所示，扩大区域的分辨率变为

(11)

(12)

实验结果表明，乘法因子σ=1.2较为合适[14]，接着，本文讨论权重因子

(13)

(14)

然后对(14)式进行归一化处理即可，即所有的bin除以其总和，单目标跟踪器的通用伪代码如算法2所示。

算法2 提出鲁棒单目标跟踪器。

3)递推估计；

b.FOR每个粒子i

END

d.当粒子j满足(8)式，DO

END

e.FOR每个粒子i

END

f.转至步骤a

g.重复步骤a—f，直到粒子j满足(8)式

3 跟踪性能分析与比较

3.1 评估指标

为了简化与基准数据集[16]的比较，利用2个指标评估跟踪器的性能：重叠和均方差(root mean square estimation，RMSE)，前者量化为

(15)

(16)

(16)式中，N是总帧数。

3.2 跟踪器性能比较

本节利用多个视频进行仿真实验，验证本文方法的有效性和鲁棒性。实验在配置英特尔i5双核CPU，2.98 GHz主频，4.0 GByte内存，Windows 7操作系统的PC机上实现，编程环境为Matlab2011b。

为了验证递推估计的效果，将本文的跟踪器应用到图2所示的视频，跟踪实验结果如图5所示，第1行为无递推估计；第2行为有递推估计，图5中移动的框体表示估计获得的目标跟踪框，框体周围模糊的阴影表示粒子。图5的第2行结果清楚地表明了递推估计克服了由异常粒子引起的退化影响。

图5 递推估计的跟踪实验Fig.5 Tracking experiment of recursive estimation

为了验证提出跟踪器上下文信息更新的有用性，从文献[7]和文献[16]选择2个具有挑战性的视频片段，一个是体操运动员视频，含有噪声背景，且目标会发生多个变形，另一个是David视频，具有较大的光照变化。提出的方法与无更新的标准颜色粒子滤波方法和有更新的方法进行比较，其中速度控制参数为0.5。

图6是发生多次形变的体操运动员视频的实验结果，第1行为无更新的颜色粒子滤波方法；第2行为有更新的方法；第3行为本方方法的跟踪结果。实验结果表明，无更新的颜色粒子滤波方法或其更新方法会发生一些视频帧上的目标丢失，本文方法可以在复杂形变的情况下准确跟踪。

图6 外观变化的跟踪实验Fig.6 Tracking experiment of self-deformation

从方法设计的角度看，无更新方法对处理形状变化和视频帧光照突变很不利，因为无法获得目标外观与原始参考帧之间的良好匹配，反过来，这也基本上解释了为什么这类情况下会使观察目标丢失。而有更新的标准颜色粒子滤波方法没有考虑背景杂乱的鲁棒性机制，从而也导致目标丢失。本文方法利用背景信息克服了这类困难。

图7是发生较大光照变化时各方法的跟踪结果，跟踪的目标发生了一定程度形变，其中第1行是无更新的颜色粒子滤波方法的跟踪结果，第2行为有更新的颜色粒子滤波方法的跟踪结果，第3行是本文方法的跟踪结果。可以看出，本文方法明显提升了跟踪性能。而其他2种方法由于不完美估计更新的误差累积导致了目标丢失，这进一步说明了本文方法对形变和光照变化的较强鲁棒性。

为了整体评估各方法，跟踪器在权衡曲线方面的性能如图8所示，曲线量化了成功跟踪目标时的帧数，即跟踪成功率。具有相同成功率情况下，重叠越高意味着跟踪器的检测能力越强，类似地，同一重叠级别，成功率越高则跟踪的鲁棒性越强。在外观变化视频和光照变化视频中，本文方法明显优于其他2种方法，准确度更高。

图7 光照变化的跟踪实验Fig.7 Tracking experiment of illumination change

图8 体操运动员和David视频的性能曲线Fig.8 Trade-off curve of Gym and David sequences

为了进一步比较，本文还使用其他涉及形状和光照变化的视频用于测试本文方法：篮球、交叉行走、夫妇、David3、地铁视频、步行和运动员。这些视频具有一定程度的遮挡场景、低分辨率、光照变化和杂乱的背景，视频取自文献[7]和文献[16]。本文方法与4种先进方法进行了比较，这4种方法为①标准颜色粒子滤波[17]；②基于类Haar特征分类[9]；③粒子随机搜索法[11]；④一种基于meanshift的颜色直方图方法[7]，充分利用了背景信息，是meanshift良好的改进算法，即纠正的背景加权直方图方法 (corrected background weighted histogram, CBWH)[7]。这4种方法中，文献[7]和文献[17]提供了matlab源码，文献[9]和文献[11]易于用matlab实现。

本文所有的跟踪器共享公共特征，利用外观模型表征每个实例，不同于运动或纹理特征。表1和表2分别是各方法对视频的平均重叠和中心误差。可以看出，本文方法在大多数视频的跟踪结果的重叠均达到最大，只在交叉行走和运动员视频中的跟踪重叠略低于其他方法，这是由于本文的递推估计更加偏重于跟踪框的中心位置，本文方法在中心位置误差方面均优于其他方法，而重叠偶尔会略低于其他方法。

表1 各方法对每个视频序列的平均重叠

表2 各方法对每个视频序列的中心误差(RMSE)

4 结论与展望

本文在颜色粒子滤波算法基础上，在多个方向进行扩展。首先，为了处理背景杂乱和光照变化造成的不确定性，通过扩大所估计目标区域的边界来考虑上下文信息，并进行比较。然后，通过引入的递推估计考虑粒子分布，减少了异常点对目标全局估计的影响。实验结果表明，本文方法在形变和光照变化方面具有明显的优势，鲁棒性较强。

未来将考虑将单目标跟踪器扩展到多个独立跟踪器，形成一个多目标跟踪系统，但要考虑身份切换、认证、多目标遮挡、冲突和多目标问题的收敛性问题，这将是未来的研究重点。

[1] 李静, 王军政. 图像检测与目标跟踪技术[M].北京：北京理工大学出版社, 2013：3-8. LI Jing, WANG Junzhen. Image detection and object tracking technology[M]. Beijing：Beijing Institute of Technology Press, 2013：3-8.

[2] 张君威. 基于数据融合的多模复合制导拦截技术的研究[D]. 哈尔滨：哈尔滨工业大学, 2009. ZHANG Junwei. Research on data fusion technology based on multimode compound guidance interception[D].Harbin：Harbin Institute of Technology, 2009.

[3] 谢永华,胡学岭,张恒德.基于多尺度分析的地基云图自动识别的研究[J].计算机仿真,2014,31(11):212-216. XIE Yonghua, HU Xueling, ZHANG Hengde. Research on Recognition of Ground-based Cloud Image Based on Multi-Scale Analysis[J].Computer Simulation, 2014, 31(11): 212-216.

[4] 王洪斌, 吕玲, 李萍. 在线估计雅可比矩阵的视觉伺服控制算法[J]. 系统仿真学报, 2010, 34(12): 2934-2937. WANG Hongbin,LV Ling,LI Ping.Study on Estimating Jacobian Matrix on-line Visual Servo Control Algorithm[J].Journal of System Simulation,2010,34(12):2934-2937.

[5] 周小娟, 李春晓. 基于偏最小二乘分析和稀疏表示的目标跟踪算法[J]. 重庆邮电大学学报：自然科学版, 2014, 26(1): 104-110. ZHOU Xiaojuan, LI Chunxiao. Object tracking via partial least squares analysis and sparse representation[J]. Journal of Chongqing University of Posts and Telecommunications：Natural Science Edition, 2014, 26(1): 104-110.

[6] 张英，樊亚翔，孙浩，等.基于元样本稀疏表示的目标跟踪算法[J].重庆理工大学学报(自然科学版)，2014(1)：91-95. ZHANG Ying, FAN Yaxiang, SUN Hao, et al. Object Tracking Algorithm Based on Sparse Representation for Meta-sample[J]. Journal of Chongqing University of Technology (Natural Science), 2014(1): 91-95.

[7] NING J, ZHANG L, ZHANG D, et al. Robust mean-shift tracking with corrected background-weighted histogram[J]. IET Computer Vision, 2012, 17(1): 62-69.

[8] LI W, LIN Y, FU B, et al. Cascade Classifier Using Combination of Histograms of Oriented Gradients for Rapid Pedestrian Detection[J]. Journal of Software, 2013, 8(1): 1532-1539.

[9] 魏运. 道路移动视觉环境感知中的多目标识别与跟踪方法研究[D]. 南京：东南大学, 2013. WEI Yuan. Research on multi target recognition and tracking method in the environment of moving visual perception[D].Nanjing：Southeast University, 2013.

[10] 李振颖. WSN中基于预测和量化的卡尔曼滤波目标跟踪[D]. 大连：大连理工大学, 2014. LI Zhenying.Target tracking based on prediction and quantization of Kalman filter in WSN[D].Dalian：Dalian University of Technology, 2014.

[11] LUO R, YING L I, QIAN G, et al. Particle Filter Algorithm Based on Improved Adaptive Resampling[J]. Opto-Electronic Engineering, 2014, 34(3): 1635-1641.

[12] 刘晨光, 程丹松, 刘家锋,等. 一种基于交互式粒子滤波器的视频中多目标跟踪算法[J].电子学报,2011, 39(2): 260-267. LIU Chenguang, CHENG Dansong, LIU Jiahui, et.al. Interactive Particle Filter Based Algorithm for Tracking Multiple Objects in Videos[J]. Acta Electronica Sinica, 2011, 39(2): 260-267.

[13] XIAO J,STOLKIN R，LEONARDIS A.An enhanced adaptive coupled-layer LGTracker++[C]//IEEE. IEEE International Conference on Computer Vision Works, ICCVW. Sydney, Australia：IEEE，2013, 137-144.

[14] YAO A, LIN X, WANG G, et al. A compact association of particle filtering and kernel based object tracking[J]. Pattern Recognition, 2012, 45(7):2584-2597.

[15] TALHA M, STOLKIN R. Particle filter tracking of camouflaged targets by adaptive fusion of thermal and visible spectra camera data[J]. Sensors Journal, IEEE, 2014, 14(1): 159-166.

[16] KRISTAN M, PFLUGFELDER R, LEONARDIS A, et al. The visual object tracking vot2014 challenge results[C]//Computer Vision-ECCV 2014 Workshops. Zurich, Switzerland：Springer International Publishing, 2014: 191-217.

[17] NUMMIARO K, KOLLER M E,van GOOL L. An adaptive color-based particle filter[J].Image and vision computing, 2003, 21(1): 99-110.

(编辑：王敏琦)

Robust single-object tracker method based on recursive estimation and contextual information updating

YANG Jianhui1, WU Cong2, YU Meisheng3

(1. School of Mathematics and Statistics, Zhoukou Normal University, Zhoukou 466001, P.R.China; 2.School of Computer Science and Technology, Zhoukou Normal University, Zhoukou 466001, P.R.China; 3.School of Information Science and Engineering, Yanshan University, Qinhuangdao 066004, P.R.China)

As the clutter background and illumination changing can easily make target tracking drift, a robust target tracking method based on recursive estimation and contextual information updating is proposed, which is an effective extension of target tracking based on color particle filter. Firstly, the general framework of tracking based on color particle filter is established. Then, the contextual information is used to allocate the confidence degree of changes of target appearance. Finally, in the period of re-sampling, recursive estimation is used to calculate the weight to choose particles from appearance similarity score, and the abnormal particles are initialized. The proposed method can overcome the influence of illumination changes and shape changes are verified by the video test on videos of shape changing and illumination changing. And the recursive estimation is proved to be able to deal with the abnormal particles that are deviated from the total estimation. Compared with standard color particle filter, particle random search method and other new methods, the proposed method is superior to other methods in terms of tracking box center error and average overlap. So the advantages of robustness and accuracy are obvious.

recursive estimation; contextual information; tracking; particle filter; robustness

10.3979/j.issn.1673-825X.2017.01.016

2015-10-16

2016-06-01 通讯作者：杨建辉 yangjhzknu@126.com

河南省高新领域科技攻关项目(122102210562)；河南省软科学研究计划项目(132400410934)

Foundation Items：The Key Project of Science and Technology of High-tech Fields in Henan Province (122102210562); The Soft Science Research Planning Project of Henan Province (132400410934)

TP391

A

1673-825X(2017)01-0106-07

杨建辉(1980-)，男，甘肃镇原人，讲师，硕士，研究领域为目标跟踪、智能优化算法等。E-mail：yangjhzknu@126.com。 吴 聪(1982-)，女，湖北崇阳人，讲师，硕士，研究领域为智能算法、目标跟踪等。 余梅生(1943-)，男，河北秦皇岛人，教授，硕士生导师，研究领域为目标跟踪、智能算法等。