基于局部背景加权直方图的目标跟踪

顾　鑫, 费智婷,2

(1. 中国运载火箭技术研究院研究发展中心, 北京 100076;

2.南京理工大学电子工程与光电技术学院, 江苏 南京 210094)



基于局部背景加权直方图的目标跟踪

顾鑫1, 费智婷1,2

(1. 中国运载火箭技术研究院研究发展中心, 北京 100076;

2.南京理工大学电子工程与光电技术学院, 江苏 南京 210094)

摘要：针对传统的颜色直方图和加权颜色直方图跟踪算法难以在复杂环境下对目标进行有效跟踪的问题,提出了一种基于局部背景加权直方图的目标跟踪算法,该算法将目标的局部背景看作上下文,将其引入目标表征。在粒子滤波跟踪算法框架下,用局部背景加权直方图来表征目标,以增强目标与背景的鉴别性,从而突出目标区域内的前景信息。各种场景的实验结果比较表明,提出的跟踪算法比传统的颜色直方图和加权颜色直方图跟踪算法具有更好的稳定性和鲁棒性,特别是针对目标被局部遮挡及跟踪环境光照变化较大等情况。

关键词：颜色直方图; 目标跟踪; 局部背景加权直方图; 粒子滤波

0引言

视觉目标跟踪是目前的热点研究问题,它融计算机视觉、模式识别、图像处理及人工智能于一体,具有广泛的理论研究意义和实际应用价值[1]。由于跟踪场景及目标复杂多变、光照强度不稳定、部分或全部遮挡等问题的存在,使视觉目标跟踪仍然是一个经典难题。近十几年来,国内外有相当多的研究小组在该领域做了深入的研究,并提出了一些切实有效的算法。

在视觉目标跟踪研究初期,研究重点主要集中在光流法[2-4]及模板匹配[5]。随着研究的深入,视觉目标跟踪的研究主要集中在如下两方面:基于特征匹配的跟踪和基于动态模型的跟踪,基于特征匹配的跟踪通过目标的一些显著特征及上一帧位置来定位目标,常用的跟踪算法有:模板匹配、直方图匹配、Mean-Shift[6]等,该算法在目标运动较快或分布复杂时鲁棒性较差。基于动态模型的跟踪算法通过引入动态模型,能够较好地处理这些难点,其经典的跟踪算法是基于递归贝叶斯框架的卡尔曼滤波、粒子滤波等。粒子滤波通过序列蒙特卡罗算法,能够较好地处理非线性、非高斯问题,其核心是通过一组随机样本及其重要性权值离散表示所求解问题的后验概率分布[7-8]。

视觉目标跟踪的一个核心问题是选用何种特征来表征目标,颜色直方图是一种较为常用的目标特征表征方法,该方法对目标旋转等情况具有较好的适应性[9],但是传统的颜色直方图仅是对目标区域像素值的统计,缺乏目标区域的空间信息[10]。文献[11]提出了一种加权颜色直方图表征算法,该算法利用像素点与目标中心的位置和像素值来计算颜色直方图。以上两种特征描述子都忽略了局部背景的信息,因此在跟踪过程中,若目标的某个部分的颜色特征与局部背景非常相似,或者目标被部分遮挡的情况下,这两种特征描述算法极易失效,如何结合局部背景信息以提升目标描述能力备受关注[12]。

本文提出了一种新的局部背景目标跟踪算法,以局部背景加权直方图来表征目标,在粒子滤波目标跟踪框架下实现对目标跟踪,该目标描述方法引入了背景加权机制,由此降低了跟踪目标内背景像素的权重,从而有效地抑制目标内的背景信息,并突出前景信息,基于该目标描述方法可以有效地解决目标被部分遮挡及其所处环境光照变化的问题。

1粒子滤波

定义贝叶斯跟踪中目标状态如下:

(1)

式中，xt是目标在t时刻的状态向量,目标的状态递归估计如下:

(2)

式中，zt是状态xt的观测值;假设噪声εt、et服从独立分布。

从贝叶斯估计角度说,跟踪问题就是根据给定观测序列递归估计目标状态,求解目标状态的后验概率分布p(xt|z1∶t)。粒子滤波是基于序列蒙特卡罗和递归贝叶斯的估计方法,它将贝叶斯计算中无法数值解的积分运算转化为有限样本点的求和,即后验概率分布p(xt|z1∶t)可近似表述[13]为

(3)

2基于局部背景加权直方图的跟踪实现

2.1局部背景加权直方图

视觉目标跟踪问题是利用已获取的目标描述子,在当前帧的搜索区域内定位候选目标,搜索框通常由上一帧的目标位置决定。图1描述了各区域,包括:跟踪目标、局部背景、候选目标以及搜索区域。跟踪目标由前景(车辆)和目标内背景组成。目标跟踪的实质是利用目标的特征解算出目标的位置信息。

图1　局部背景的定义

传统的加权颜色直方图定义区域内不同位置点的像素对直方图的贡献是不一致的,距离目标区域中心较近的像素被分配较大的权值[11]。

(4)

加权直方图相对于传统的直方图仅解决了直方图缺乏空间特性的问题,而目标所处的局部背景信息可以作为目标在运动过程中的上下文信息,为了引入局部背景信息,本文定义局部背景加权直方图如下:

(5)

式中,vi为加权因子,表示第i个像素为前景的概率。对目标区域和局部背景内所有的像素,假设第i个像素为中心的一个3×3的邻域Ωi内,像素值Ii可以用下式表示:

(6)

(7)

式中,ai，bi为回归系数(在邻域Ωi内所有像素共用一组回归系统ai和bi),定义整体回归误差为

(8)

文献[14]定义整体回归误差满足下式:

(9)

(10)

(11)

γ为加权系数,则v存在闭合解如下:

(12)

式中，矩阵Id为单位矩阵。

2.2特征度量与模板更新

用局部背景加权直方图来表征目标,Bhattacharyya距离是度量两直方图相似性的一种常用方法[15]。用htar表示目标区域的背景加权直方图,hmo表示目标模板的背景加权直方图,则目标区域与模板的相似度ρ表征如下:

(13)

式中，Bin表示直方图的维度,则基于局部背景加权直方图的观测概率[16]为

(14)

式中，λi为粒子分布的方差系数,由于目标在运动过程中受周围环境等影响,其自身的模板发生较大变化,因此对目标的模板直方图hmo更新如下:

(15)

式中，β是更新率；η是阈值；ρ是欧氏距离。上式可以有效地避免模板的错误更新,大量实验结果表明针对慢速移动目标,β=0.01且η=0.1是较好选择。

3算法实现流程

具体算法流程如图2所示,在粒子滤波框架下,基于局部背景加权颜色直方图的粒子滤波跟踪算法总结如下:

(2) 预测目标的状态:由xt=Axt-1+W;

(3) 在上一帧的目标状态xt-1两倍大小的区域内计算局部背景加权颜色直方图;

(6) 根据式(15)更新目标模板hmo;

(7) 转向步骤(2)。

图2　算法流程图

4实验结果与分析

为了验证算法的有效性,分别将本文算法和传统的颜色直方图跟踪、加权颜色直方图跟踪进行比较。选择在两段公共视频序列上进行算法验证,两段视频序列图像分别为室外航拍数据(图像大小为640×480)和室内监控数据(图像大小为320×240),采用R、G、B3个分量构成目标特征空间,根据跟踪的精度和计算实时性的要求,直方图的长度采用8×8×8的划分原则,粒子数目选为100。本文所有算法均在Intel(R)Core(TM)i7CPU2.93GHz,4G内存的计算机上用MATLABR2010a编程实现。在同一数据源上,人工标定初始位置,用矩形来表征目标的状态,分别进行各种算法的仿真。

实验1是室外航拍数据,如图3所示,实验数据源是光学视频序列,跟踪对象是户外的汽车,第一行为传统颜色直方图跟踪结果,第二行为加权颜色直方图跟踪结果,第三行为本文算法跟踪结果。该视频序列跟踪的难点是目标所处的背景变化较大,目标不断的进出有遮挡区的丛林,导致目标受到局部遮挡,局部遮挡有两层意义,一是车辆在运动过程中不断的穿越丛林,车辆的颜色特征被树林部分遮挡,导致其局部的颜色特征发生变化;二是目标在不断运动中,其被遮挡的时间有限,遮挡的部位不断发生变化,在被遮挡几帧后,整个目标会再次进入跟踪区域。在第127帧,目标被遮挡后,颜色特征发生明显变化,导致传统的颜色直方图跟踪方式失效(127帧)。由于存在外部遮挡,加权颜色直方图跟踪的结果与目标实际位置出现了较大偏差(127帧),目标出丛林遮挡区域后,加权颜色直方图跟踪恢复正常(208帧)。目标再次进入遮挡区域后,此时目标被大部分遮挡,加权颜色直方图跟踪失效(250帧),本文算法在目标被大部分遮挡时通过结合局部的背景信息来抑制目标内被遮挡部分的背景信息,从而增强前景的显著性,最终提高目标的描述能力,可以全程鲁棒的跟踪目标。若目标被长时间的全部遮挡或者大部分遮挡,目标不能快速的从遮挡中运动出来,由于没有额外的信息用于提供目标观测,本文的跟踪算法将失效。

实验2是室内监控图像序列,如图4所示,实验数据源是光学视频序列,跟踪对象是室内的人员,第一行为传统颜色直方图跟踪结果,第二行为加权颜色直方图跟踪结果,第三行为本文算法跟踪结果。该视频跟踪的难点是目标不断的进出光照区域和阴影区,其所处环境的光照变化较大。光照变化主要包括以下几个方面,一是由于外部光线发生了变化,导致目标表面的特征发生变化;二是目标不断的进出光照不同区域,导致目标表面的特征发生了变化。实验二的场景中,目标运动的时间有限,外部光线没有发生明显变化,主要是行人不断的从建筑的阴影区进入无阴影的光照区,再由光照区进入阴影区,导致了目标颜色特征发生较大分变化。目标在运动过程中与其他行人交叉出现,导致颜色跟踪的结果偏差较大(211帧),在第308帧时目标的颜色特征和背景沙发的颜色特征相似,且目标处在阴影区与光照区的交界处,该处光照情况变化较大,颜色跟踪无法正常跟踪目标;第462帧目标从阴影区进入光照区域,目标区域的光照发生较大变化,导致加权颜色直方图跟踪失效。本文的跟踪算法在目标不断的进出阴影区和光照区时,可以充分利用局部的背景信息来克服光照变化对目标的影响,从而进一步增强前景的显著性,提高特征的鉴别能力,实现对目标的全程跟踪。如果目标所处环境的光照变化特别大,如直接从屋内的阴影部分快速走到外面的光照很强烈区域,并没有在两者阴影和光照区有任何停留,即目标处的背景光照发生剧烈变化,此时本文的算法将不能满足跟踪的要求。

图3　实验1跟踪结果

图4　实验2跟踪结果

表1给出了传统颜色直方图和加权颜色直方图作为目标的描述因子和本文算法跟踪结果对比。实验1结果表明:由于存在局部遮挡等外界因素干扰,传统颜色直方图和加权颜色直方图跟踪易失效,而本文算法通过结合局部的背景信息来抑制目标内背景,从而增强前景的显著性,提高跟踪的鲁棒性。实验2结果表明:本文算法对目标不断进出阴影区,所处背景光照变化较大的情况具有较好适应能力,可以一直对目标稳定跟踪。

表1　实验结果对比

表2给出了不同算法的跟踪速度fps,由实验结果可知本文算法的复杂度与传统颜色直方图和加权颜色直方图的计算复杂度基本一致。

表2　5种算法的计算代价对比　fps

5结束语

本文提出了一种基于局部背景加权直方图的目标跟踪算法,以局部加权直方图来表征目标,将局部背景看作跟踪目标的上下文信息,提出的算法通过引入局部背景能有效地降低目标内背景的影响,有效地解决目标被局部遮挡以及跟踪环境中光照变化较大的难题。此外,本文跟踪算法亦可应用于其他跟踪,如计算机视觉的其他领域,如融合识别、检测等。

参考文献：

[1] Gu X,Wang H T,Wang L F,et al. Fusing multiple features for object tracking based on uncertainty measurement[J].ActaAutomaticaSinica,2011,37(5):550-559.(顾鑫,王海涛,汪凌锋,等.基于不确定性度量的多特征融合跟踪[J].自动化学报,2011,37(5):550-559.)

[2] Baker S, Matthews I. Lucas-kanade 20 years on: a unifying framework[J].InternationalJournalofComputerVision,2004,56(3):221-255.

[3] Lucas B D, Kanade T. An iterative image registration technique with an application to stereo vision[C]∥Proc.oftheInternationalJointConferenceonArtificialIntelligence,1981,81:674-679.

[4] Shi J, Tomasi C. Good features to track[C]∥Proc.oftheIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition, 1994: 593-600.

[5] Porikli F, Tuzel O, Meer P. Covariance tracking using model update based on lie algebra[C]∥Proc.oftheIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition, 2006, 1: 728-735.

[6] Comaniciu D, Ramesh V, Meer P. Kernel-based object tracking[J].IEEETrans.onPatternAnalysisandMachineIntelligence, 2003, 25(5): 564-577.

[7] Arulampalam M S, Maskell S, Gordon N, et al. A tutorial on particle filters for online nonlinear/non-Gaussian Bayesian tracking[J].IEEETrans.onSignalProcessing,2002,50(2):174-188.

[8] Cheng J. Infrared target tracking based on particle filtering and hierarchical shape representation[J].SystemsEngineeringandElectronics, 2011, 33(6): 1217-1220.(程建. 基于粒子滤波与层级形状描述的红外目标跟踪[J]. 系统工程与电子技术, 2011, 33(6): 1217-1220.)

[9] Sun G, Wang B, Zheng Z H, Real-time target recognition and tracking using local intensity histogram[J].SystemsEngineeringandElectronics, 2011, 33(9): 1927-1931.(孙抗, 汪渤, 郑智辉. 基于局部亮度直方图特征的实时目标识别与跟踪[J]. 系统工程与电子技术, 2011, 33(9): 1927-1931.)

[10] Nummiaro K, Koller-Meier E, Van Gool L. An adaptive color-based particle filter[J].ImageandVisionComputing, 2003, 21(1): 99-110.

[11] Zhuang Y, Zhan H B,Wang W, et al. Weighted color histogram based particle filter for visual target tracking[J].ControlandDecision,2006,21(8):868-872.(庄严,战洪斌,王伟,等. 基于加权颜色直方图和粒子滤波的彩色物体跟踪[J]. 控制与决策, 2006, 21(8): 868-872.)

[12] Chu H X, Xie Z Y, Wang J X, et al. Mean shift target tracking with spatiogram corrected background-weighted histogram[J].ControlandDecision,2014,29(3):528-532.(初红霞,谢忠玉,王君祥,等.空间相关背景加权直方图均值漂移目标跟踪[J].控制与决策,2014,29(3):528-532.)

[13] Han S, Zhang X L, Chen L, et al. Object tracking method based on improved Gaussian particle filter[J].SystemsEngineeringandElectronics, 2010, 32(6): 1191-1194.(韩松,张晓林,陈雷,等. 基于改进高斯粒子滤波器的目标跟踪算法[J]. 系统工程与电子技术, 2010, 32(6): 1191-1194.)

[14] Ross D A, Lim J, Lin R S, et al. Incremental learning for robust visual tracking[J].InternationalJournalofComputerVision, 2008, 77(1/3): 125-141.

[15] Perez P, Vermaak J, Blake A. Data fusion for visual tracking with particles[J].ProceedingsoftheIEEE, 2004, 92(3): 495-513.

[16] Dalal N,Triggs B. Histograms of oriented gradients for human detection[C]∥Proc.oftheIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition, 2005.886-893.

顾鑫(1986-),男,工程师,硕士,主要研究方向为自动目标检测、目标跟踪。

E-mail:nync396@126.com

费智婷(1981-),女,高级工程师,硕士,主要研究方向为自动目标检测、雷达信号处理。

E-mail:susnnafei@163.com

网络优先出版地址：http://www.cnki.net/kcms/detail/11.2422.TN.20150706.1606.003.html

Object tracking based on local background weighted histogram

GU Xin1, FEI Zhi-ting1,2

(1.ChinaAcademyofLaunchVehicleTechnologyResearchandDevelopmentCenter,

Beijing100076,China; 2.SchoolofElectronicEngineeringandOptoelectronicTechnology,

NanjingUniversityofScienceandTechnology,Nanjing210094,China)

Abstract:For the object tracking based on traditional color histogram and weighted color histogram may be lost in the complex environment. An improved object tracking based on the local background weighted histogram (LBWH) is approached. The proposed tracking algorithm treats local background as the context, and introduces it into target representation. As a result, a target description, the LBWH is proposed in this paper. The LBWH enhances the discrimination between the target and background, so that highlights the foreground in the target region. An extensive number of comparative experiments show that the proposed tracking algorithm is more stable and robust than the traditional color histogram and weighted color histogram tracking algorithms, especially in the case of the object partial occlusion and illumination variation.

Keywords:color histogram; object tracking; the local background weighted histogram(LBWH); particle filter

作者简介：

中图分类号：TP 391

文献标志码：A

DOI:10.3969/j.issn.1001-506X.2016.01.31

基金项目：国家自然科学基金(61305214)资助课题

收稿日期：2015-01-21；修回日期：2015-05-27；网络优先出版日期：2015-07-06。