基于粒子滤波后验概率分布的多特征融合跟踪*

顾 鑫,李 喆,王 华,张 尧,张 凤,岑小锋

(中国运载火箭技术研究院研究发展中心,北京 100076)



基于粒子滤波后验概率分布的多特征融合跟踪*

顾 鑫*,李 喆,王 华,张 尧,张 凤,岑小锋

(中国运载火箭技术研究院研究发展中心,北京 100076)

在光照和目标形变等外部条件变化的情况下,仅利用目标的单一特征难以鲁棒的跟踪目标。提出了一种基于粒子滤波后验概率分布的多特征融合跟踪算法,在粒子滤波跟踪框架下,用直方图模型表征目标的颜色和边缘特征,通过两种特征后验概率之间的“协作”与“学习”实现特征融合,各种场景的试验结果比较表明,新的融合跟踪算法比仅用单一特征跟踪、现有的多特征融合算法具有更好的稳定性和鲁棒性,特别是针对环境光照和目标背景变化较大的情况更具有优势。

目标跟踪;粒子滤波;特征融合;后验概率分布

目标跟踪是众多现代工程技术的一个重要组成部分,在很多领域都有应用,如:视频监控、运动目标捕捉、飞行器自主导航等[1]。在实际跟踪过程中,目标通常会面临很多复杂的场景,如:遮挡、光照变化等,因此如何提高跟踪鲁棒性成为目标跟踪的一个难点。

常用的跟踪算法主要包括两大类:基于特征匹配的跟踪和基于动态模型的跟踪,基于特征匹配的跟踪通过目标的显著特征及上一帧位置来定位目标,常用算法有:模板匹配、Mean-Shift等,该类算法在目标运动较快或分布复杂时鲁棒性较差。基于动态模型的跟踪算法通过引入动态模型,能够较好的处理目标运动快的问题,其经典的算法是基于递归贝叶斯框架的卡尔曼滤波、粒子滤波等[2]。粒子滤波通过序列蒙特卡洛算法,能够较好的处理非线性、非高斯问题,其核心是通过一组随机样本及其重要性权值离散表示所求解问题的后验概率分布,并依据这些样本及其重要性权值估计目标状态的统计特征[3]。

跟踪的一个关键是目标特征的选择,很多跟踪算法仅选取颜色[4]、边缘[5]、纹理[6]、SIFT点[7]等单一特征作为目标描述子。在实际应用中,背景的变化难以预测,目标特征会随时随地变化,如颜色会随环境光照、目标表面形变而变化;目标边缘易受背景边缘信息的影响,使用单一特征通常难以鲁棒的跟踪目标[8]。

为了提高跟踪的鲁棒性,研究人员提出了大量多特征融合算法[9-12],这些算法都是基于不同特征观测似然概率的融合,文章[9]提出的乘性融合策略提高了概率密度的鉴别能力,但放大了系统的噪声;文章[10]提出的加性融合策略抑制了噪声的干扰,但并不能提高系统的鉴别能力。本文选择颜色和边缘作为特征描述子,在粒子滤波跟踪框架下,通过不同特征后验概率之间的相互“协作”、“学习”,融合不同特征对应后验概率中的“优秀粒子”以提高跟踪系统的鉴定能力,且不放大系统的噪声。

1 粒子滤波

定义贝叶斯跟踪中目标状态如下:

xt=ft(xt-1,εt)

(1)

xt是目标在t时刻的状态向量,目标的状态递归估计如下:

zt=ht(xt,et)

(2)

zt是状态xt的观测值,假设过程噪声εt和观测噪声et独立同分布。

从贝叶斯估计角度说,跟踪问题就是根据给定观察序列递归估计目标状态,构造目标状态的后验概率分布p(xt|z1:t)。粒子滤波是基于序列蒙特卡洛和递归贝叶斯的估计方法,它将贝叶斯估计中无法数值解的积分运算转化为有限样本点的求和[13],即后验概率分布p(xt|z1:t)可近似表示为:

(3)

2 多特征融合

在粒子滤波算法中,后验概率分布是用一系列加权的粒子来表征的[13]。在同一个候选区域,不同特征后验概率分布是不一致的。基于粒子滤波后验概率分布的多特征融合是将不同特征后验概率分布中的粒子进行“协作”和“融合”,是一种决策级的融合。

(4)

(5)

图1 基于后验概率分布的多特征融合

(6)

(7)

(8)

其中,η是学习率,在实际应用中η取经验值0.25。

3 特征提取及算法实现

在算法实现中用椭圆来描述目标的状态x:

x={cx、cy、lx、lx、θ}

(9)

其中cx、cy、lx、lx、θ分别表示椭圆的中心坐标、长轴、短轴和偏转角度。选取颜色和边缘两种特征来描述目标的特性。用颜色直方图来表征颜色信息,Pérez给出了一种求解颜色直方图的方法[4]:

(10)

其中I(x,y)是候选区域的像素点值,Bc表示颜色直方图的长度,δ(·)是狄拉克函数。

用加权梯度方向直方图(Histogram of Oriented Gradients)来表征目标的边缘特征[7],首先计算目标区域内每个像素点的边缘强度G和方向角φ:

(11)

φ(x,y)=arctan(Ix/Iy)

(12)

以椭圆的长轴和短轴为对称轴,将其分为4个部分,对每个部分求出区域的方向直方图,并将目标区域内每个点的边缘强度信息融入其中求得梯度方向直方图并做归一化处理。

用Bhattacharyya距离来度量两种特征与模板之间的相似概率[15],具体算法流程如下:

⑤求出对给定区域内特征1和特征2下粒子的位置方差σ1和σ2,计算两特征不确定性β1、β2,并将两者作归一化处理;

⑩转向步骤②。

4 实验分析

为了验证算法的有效性,分别将本文算法和单一颜色特征跟踪、单一边缘特征跟踪进行比较,选择颜色和边缘两种特征采用加性融合策略和乘性融合策略与本文算法进行对比。为了验证算法的普适性,在数据源的选取上,本文选择在两段公共视频集上进行验证,两段视频分别为可见光数据源和红外数据源,图像的大小为320×240,粒子数目都选为100。本文所有算法均在Intel(R)Core(TM)i7 CPU 2.93 GHz,4 G内存的计算机上用MATLAB R2010a编程实现,在人工标定初始位置的前提下,分别进行各种算法的仿真。

实验1是单一特征跟踪与本文算法结果的对比。如图2所示,试验数据源是光学视频序列,跟踪对象是户外的汽车,第1行为颜色特征跟踪结果,第2行为边缘特征跟踪结果,第3行为本文算法跟踪结果。该视频序列跟踪的难点是目标所处的背景中存在树枝等较强边缘信息的干扰,目标不断的进出有树荫的阴影区,导致其颜色特征变化较大。当目标进入有树荫遮挡的阴影区时,其所处环境的光照发生较大变化,在第206帧颜色跟踪的结果和目标实际所处的位置相差很大。当目标出阴影区后再次进入有树荫遮挡的区域时(346帧),颜色跟踪完全失效。边缘跟踪过程中,由于背景中较强边缘信息的干扰,导致边缘跟踪失效(第246帧)。该试验结果表明,在复杂光照和背景情况下,单一特征对目标的跟踪结果较差,本文的跟踪算法在跟踪过程中根据外部环境的变化,通过不同特征后验概率中的粒子进行“学习”和“协作”实现对目标的全程跟踪。

实验2是不同融合策略结果的对比。如图3所示,第1行是加性融合算法跟踪的结果,第2行为乘性融合算法跟踪的结果,第3行为本文算法跟踪结果。该试验视频序列跟踪的难点是目标在运动过程中受到路灯的部分遮挡,此外该视频源是红外数据,其噪声大,在跟踪过程中目标容易受到其所处背景的干扰。第1行是采用加性融合策略的跟踪结果,在目标被路灯部分遮挡时(456帧),两者的灰度信息和边缘信息都比较相似,加性融合并不能提高系统的鉴别能力导致跟踪失效。乘性融的结果放大了系统噪声,在第456帧时对目标的位置估计已经有较大的偏差,但是仍然可以部分跟踪到目标,在第486帧时乘性融合完全失效。本文算法在跟踪过程中可通过对两种特征对应的后验概率分布进行融合,使颜色特征“学习”边缘特征的“优秀”粒子,可以对目标全程稳定跟踪。

表1给出了单一特征跟踪、不同融合策略跟踪与本文算法结果的对比。实验1结果表明:由于存在交叉遮挡、背景边缘等外界因素干扰,单一特征的跟踪易失效,而本文算法可以通过融合不同特征的后验概率分布,实现对目标的有效跟踪。试验2结果表明:加性融合并不能提高系统的鉴别能力,不能很好的处理目标被部分遮挡等问题,乘性融合会放大系统的噪声易受背景中噪声的影响,会对跟踪的结果造成偏差,本文算法通过融合不同特征的后验概率分布,在不提高系统噪声的前提下,提高了鉴别能力,可以一直对目标稳定跟踪。

表2给出了不同算法的跟踪速度(帧/s),由试验结果可知本文算法的复杂度比单一特征跟踪的复杂度要高,与加性融合和乘性融合的计算复杂度基本一致。

图2 实验1跟踪结果

图3 实验2跟踪结果

表1 试验结果对比

表2 5种算法的计算代价对比

5 结论

本文提出了一种基于粒子滤波后验概率分布的多特征融合跟踪,该算法通过对不同特征后验概率的粒子进行相互“学习”融合不同特征对应后验概率中的“优秀粒子”进而提高目标跟踪的准确性,本文算法对部分遮挡、背景干扰、光照变化等复杂环境中目标的跟踪均具有较好的鲁棒性。此外,本文跟踪算法亦可应用于其他跟踪,如计算机视觉的其他领域,如融合识别、检测等。

[1] 潘翔,童丸丸,姜哲圣. 用于UAV视觉导航的跑道检测与跟踪[J]. 传感技术学报,2010,23(6):820-824.

[2]余振华,周乾伟,谢东峰,等. 车辆磁场跟踪问题的几种非线性滤波方案研究[J]. 传感技术学报,2014,27(4):505-511.

[3]Crisan D,Doucet A. A Survey of Convergence Results on Particle Filtering Methods for Practitioners[J]. IEEE Transactions on Signal Processing,2002,50(3):736-746.

[4]Pérez P,Hue C,Vermaak J,et al. Color-Based Particle Filter[C]//Proceedings of the 7th European Conference on Computer Vision. 2002:661-675.

[5]Kim B G,Park D J. Unsupervised Video Object Segmentation and Tracking Based on New Edge Features[J]. Pattern Recognition Letters,2004,25(15):1731-1742.

[6]Bastos R,Dias J M S. Fully Automated Texture Tracking Based on Natural Features Extraction and Template Matching[C]//Proceedings of the ACM SIGCHI International Conference on Advances in Computer Entertainment Technology. New York,USA:ACM,2005:180-183.

[7]杜金辉,管业鹏,时勇杰,等. 基于快速SIFT匹配的行人信息检测[J]. 电子器件,2012,35(5):601-605.

[8]Yilmaz A,Javed O,Shah M. Object Tracking:A Survey[J]. ACM Computing Surveys,2006,38(4):13-58.

[9]Li P H,Chaumette F. Image Cues Fusion for Object Tracking Based on Particle Filter[C]//Proceedings of the 3rd International Workshop on Articulated Motion and Deformable Objects. Palma de Mallorca,Spain:Springer,2004:99-107.

[10]王欢,王江涛,任明武,等. 一种鲁棒的多特征融合目标跟踪新算法[J]. 中国图象图形学报,2009,14(3):489-498.

[11]Perez P,Vermaak J,Blake A. Data Fusion for Visual Tracking with Particles[C]//Proceedings of the IEEE. 2004,92(3):495-513.

[12]Wang X,Tang Z M. Modied Particle Filter-Based Infrared Pedestrian Tracking[J]. Infrared Physics and Technology,2010,53(4):280-287.

[13]李红春,赵晓光,谭民. 无线传感器网络中基于粒子滤波的人员跟踪方法[J]. 传感技术学报,2012,25(6):807-814.

[14]刘晴,唐林波,赵保军,等. 基于自适应多特征融合的均值迁移红外目标跟踪[J]. 电子与信息学报,2012,34(5):1137-1141.

[15]郑玉凤,马秀荣,赵晓琳,等. 基于颜色和边缘特征的均值迁移目标跟踪算法[J]. 光电子·激光,2011,22(8):1231-1235.

顾鑫(1986-),男,河南南阳人,硕士学位,工程师,2011年毕业于南京航空航天大学,主要研究方向为自动目标检测、目标跟踪,nync396@126.com;

李喆(1986-),男,山东菏泽人,硕士学位,工程师,2011年毕业于东南大学,主要研究方向为无线通信、传感器信号处理、传感器应用等,zheli@163.com。

FusingMultipleFeaturesforObjectTrackingBasedonthePosteriorProbabilitiesofParticleFilter*

GUXin*,LIZhe,WANGHua,ZHANGYao,ZHANGFeng,CENXiaofeng

(China Academy of Launch Vehicle Technology Research and Development Center,Beijing 100076,China)

The object tracking only using single feature is apt to make errors or lose the target if the illumination and size scale-change. This paper presents a novel adaptive tracking algorithm that fuses multiple features based on posterior probabilities of the particle filter. In this paper uses histogram to characterize color and edge in particle filter algorithms framework. The posterior probabilities of all features are different from each other,which further promotes the fault tolerance ability by cooperation and learning from each other. An extensive number of comparative experiments show that the proposed tracking algorithm is more stable and robust than the single feature and other feature fusion tracking algorithms especially in the case of the illumination and background-change.

object tracking;particle filter;multiple features fusion;the posterior probabilities

项目来源:国家自然科学基金项目(61305049,61370039)

2014-09-03修改日期:2014-11-04

TP391

:A

:1004-1699(2014)12-1676-05

10.3969/j.issn.1004-1699.2014.12.017