粒子滤波框架下多特征融合的视频目标跟踪方法

杨 永 超

(池州学院 数学与计算机学院，安徽 池州 247000)



粒子滤波框架下多特征融合的视频目标跟踪方法

杨 永 超

(池州学院 数学与计算机学院，安徽 池州 247000)

针对单一目标特征在复杂场景下难以实现有效的跟踪问题，提出了一种边缘纹理与颜色特征相融合的新方法。将Sobel算子与局部二值模式算子相结合，得到一种新的边缘纹理SLBP(SobelLocalBinaryPattern)特征提取方法，并与HSV(Hue，Saturation,Value)颜色特征融合应用于粒子滤波框架的视频目标跟踪。实验结果表明：本文提出的SLBP+HSV特征融合方法能够克服视频中光照变化、目标遮挡等复杂背景影响的问题，提高跟踪的精确度。

视频目标跟踪；SLBP；粒子滤波；HSV

粒子滤波(Particle Filter, PF)是以递归贝叶斯估计为基础的统计预测方法，其基本思想是采用蒙特卡洛模拟方法，使用一组随机样本(粒子)的加权平均值来近似概率密度函数的积分运算，当粒子数量足够多时，根据大数定理可获得较小的估计方差[1]。与其他的滤波算法相比，PF能够处理任意非线性非高斯问题，应用领域最为广泛。

1998年，Isard等[2]首次将PF框架引入视觉跟踪领域，提出了著名的CONDENSATION算法，在跟踪运动目标时表现良好。早期对PF框架的目标跟踪研究主要着眼于如何选择合适的重要性函数以提高跟踪的精确度，近年来，越来越多的学者致力于研究如何在PF框架下选择合理的目标特征，以实现鲁棒跟踪[1]。文献[3-4]表明，单一的目标特征在复杂场景下往往难以实现鲁棒的跟踪。因此很多学者提出使用目标的多种特征对目标模型建模[5-6]，利用特征信息间的互补来提高跟踪精度，比如当光照变化明显时，更多的依赖对光照不敏感的纹理特征；当目标形变明显时，更多的依赖对形变、大小不敏感的边缘或颜色特征。文献[7]提出了一种Sobel-LBP(Local Binary Pattern)算法，将边缘信息和纹理信息融合为一种特征：先使用Sobel算子获取二值边缘图像，然后对获得的边缘图像采用LBP算法提取纹理，存在的问题为二值边缘图像仅仅是灰度梯度有明显变化的像素的集合，导致大部分图像信息丢失。

本文借鉴文献[7-8]的思想，将Sobel边缘算子与LBP纹理特征相结合，利用Sobel八方向模板对LBP编码，得到一种融合边缘信息的SLBP(Sobel Local Binary Pattern)特征，然后结合边缘纹理特征与颜色特征建立目标模型，这样既保留了颜色的姿态改变与几何形变的不敏感特点，又引入了光照不敏感及保护边缘的纹理特征，进而提高目标跟踪的精确度。

1　特征提取

1.1HSV颜色特征

u=1,2,…,64

(1)

在计算出目标区域的颜色分布后，以同样的方式可计算候选区域的颜色分布，然后利用巴氏距离来衡量两种分布的相似程度，在得到两种分布间的巴氏距离dc后，可设计颜色观测似然函数[1]为

(2)

其中，σ2是高斯方差，实验中设为0.2，pc越大说明候选区域与目标区域的颜色越接近，是目标区域的概率也就越大。

1.2SLBP边缘纹理特征

LBP是一种局部的图像纹理描述算子，具有光照不敏感、计算量小等优点。原始的LBP算法为定义一个3×3的窗口，将窗口中心像素的灰度值作为阈值，邻域八像素灰度值分别与之比较，大于等于取1，小于取0，然后将得到的八个二进制值顺时针加权求和，得到的十进制数字作为中心像素的LBP值[8]。考虑到Sobel算子可用于提取图像边缘，将Sobel算子与LBP结合可得到融合边缘信息的图像纹理特征。

传统的Sobel算子只考虑了垂直及水平两个方向，而使用八方向的Sobel算子得到的图像边缘更清晰且富有层次[10]，因此本文考虑采用3×3窗口的八方向Sobel算子与中心像素的八邻域灰度矩阵(灰度级为256)相结合计算中心像素的SLBP值。Sobel算子的八方向分别为0°、45°、90°、135°、180°、225°、270°、315°，对应的模板如图1所示。

图1　Sobel八方向模板

定义3×3图像窗口W(x,y)如图2所示，图中P(·)表示像素的灰度。

图2　3×3图像窗口W(x,y)

中心像素的SLBP值计算公式如下

(3)

表1　SiW(x,y)的计算过程

本文以Matlab标准库的图片rice.png及coins.png为模板，对比SLBP与LBP的处理效果，如图3所示。经对比发现，SLBP算法得到的纹理图具有更为尖锐清晰的边缘。

为了比较目标区域与候选区域的相似性，SLBP仍采用直方图来描述其特征，使用巴氏距离表示其相似程度。假设目标区域与候选区域的巴氏距离为dslbp，则设计SLBP观测似然函数为[1]

(4)

其中，σ2是高斯方差，实验中设为0.1，pslbp越大说明候选区域与目标区域的SLBP边缘纹理越接近，是目标区域的概率也就越大。

2　多特征融合的目标跟踪算法

得到HSV颜色似然函数和SLBP边缘纹理似然函数后，可设计目标总的观测似然函数[1]：

p=αpc+βpslbp,α+β=1

(5)

α与β可根据具体的测试视频进行调整：如光照变化明显或目标颜色与背景颜色相近，则设置较小的α及较大的β，使得跟踪结果更依赖于目标的SLBP特征，而非颜色特征。

具体的算法步骤如下：

Step1：初始化。在第1帧图像中手动选择目标区域，以目标区域的中心像素为中心点，产生N个高斯随机粒子，每个粒子的初始权值为1/N。

Step2：预测。采用一阶自回归预测过程，根据上一帧目标的状态预测当前帧的状态X(i)，并叠加一个高斯扰动。

Step4：重采样。复制权值较大的粒子，抛弃权值较小的粒子，使得粒子总数保持为N，得到一组新的粒子{X(i),ω(i)}。

Step6：循环读取下一帧图像。如果是最后一帧，则结束；否则，返回Step 2。

3　实验及分析

为测试改进后的跟踪算法的性能，对视频序列分别使用基于HSV特征、HSV+LBP特征及HSV+SLBP特征的PF算法对目标进行跟踪。实验硬件平台为AMD Athlon 64×2双核5000+，2.6 GHZ；软件平台为Matlab R2014a。

测试视频1来自CAVIAR项目提供的标准测试视频OneLeaveShopReenter2cor.mpg[11]，该视频中有光线变化，走廊中有很多背景人物，衣着颜色与女子相近，在第180帧走廊上出现了一位男子，身形、衣着颜色均与女子相近并遮挡了目标，属于复杂背景的范畴。由于目标与背景颜色相近，本文(5)式中的α取0.3，β取0.7；参与跟踪的粒子数量定为50。以第180帧为初始帧，分别使用HSV特征、HSV+LBP特征以及本文的HSV+SLBP融合特征算法对走廊女子进行跟踪，图4为视频的第180、248、264、310帧的跟踪结果。图4(a)中，当男子出现时，由于衣着颜色与被跟踪目标相似，跟踪受到干扰，导致跟踪出现错误；图4(b)中，构建目标模型时，在HSV特征的基础上加入了原始LBP特征，较之单一的HSV特征，能够跟踪到目标，但跟踪误差较大；图4(c)中，在HSV特征基础上加入了SLBP边缘纹理特征，因此能准确区分目标与背景，当出现干扰时仍能比较准确地跟踪到目标。

(a)HSV特征(16×4×1量化级直方图)的PF

(b)HSV特征+LBP特征的PF

(c)本文算法的PF

测试视频2来自StanfordVisionLaboratory提供的用于人脸跟踪的图像序列Seq_ms[12]。图像序列拍摄过程中，目标男子双手不停地挥动造成干扰，并且出现4次双手完全遮挡住脸部的情况。考虑到手部肤色与人脸相近，因此本文(5)式的α取0.2，β取0.8；参与跟踪的粒子数量定为35。从第1帧开始，分别使用3种特征的PF算法跟踪目标男子脸部。图5为图像序列第1、20、37、40帧的跟踪结果。从跟踪结果可以看出：图5(a)中，仅使用颜色特征构建目标模型时，由于手部肤色与脸部相似，导致跟踪失败；图5(b)中，在构建目标模型时加入了原始LBP描述的纹理特征，跟踪结果有所改善；图5(c)中，使用本文算法，在HSV特征基础上加入了SLBP描述的边缘纹理特征，跟踪结果较为精确。

(a)HSV特征(16×4×1量化级直方图)的PF

(b) HSV特征+LBP特征的PF

(c) 本文算法的PF

为了进一步比较跟踪效果，本文计算了以上3种方法的跟踪均方根误差，计算公式为

(6)

其中，Z(i)为每帧目标中心位置估计值，T(i)为每帧目标中心位置真实值。由表2可以看出，本文算法得到的跟踪目标中心位置的均方根误差相对较小。

表2　跟踪目标中心位置均方根误差

4　结束语

针对单一特征目标跟踪精度不高的问题，提出了一种融合多特征的PF框架的目标跟踪新方法，即融合边缘信息的纹理特征描述算子SLBP，当与HSV联合表述目标模板特征时，跟踪效果良好。如何自适应地调整总的观测似然函数中的参数及参与运算的粒子数目，有待进一步研究。

[1] 胡士强, 敬忠良. 粒子滤波原理及其应用[M]. 北京: 科学出版社, 2010: 1, 106, 109.

[2]IsardM,BlakeA.Condensation-Conditionaldensitypropagationforvisualtracking[J].InternationalJournalofComputerVision, 1998, 29(1): 5-28.

[3]NummiaroK,Koller-MeierE,VanGoolL.Anadaptivecolor-basedparticlefilter[J].ImageandVisionComputing, 2003, 21(1): 99-110.

[4]VignonD,LovellBC,AndrewsRJ.Generalpurposereal-timeobjecttrackingusinghausdorfftransforms[C].IPMU2002:SpecialSessiononIntelligentSystemsforVideoProcessing, 2002: 1-6.

[5] 李远征, 卢朝阳, 李静. 一种基于多特征融合的视频目标跟踪方法[J]. 西安电子科技大学学报(自然科学版), 2012, 39(4): 1-6.

[6] 杨欣, 刘加, 周鹏宇, 等. 基于多特征融合的粒子滤波自适应目标跟踪算法[J]. 吉林大学学报(工学版), 2015, 45(2): 534-538.

[7]ZhaoSanqiang,GaoYongsheng,ZhangBaochang.Sobel-LBP[C].InternationalConferenceonImageProcessing, 2008: 2144-2147.

[8] 周书仁, 殷建平. 基于Haar特性的LBP纹理特征[J]. 软件学报, 2013, 24(8): 1909-1926.

[9] 徐少平, 张华, 江顺亮, 等. 基于直觉模糊集的图像相似性度量[J]. 模式识别与人工智能, 2009, 22(1): 156-161.

[10] 郑英娟, 张有会, 王志巍, 等. 基于八方向Sobel算子的边缘检测方法[J]. 计算机科学, 2013, 40(11A): 354-356.

[11]FisherR.CAVIARTestCaseScenarios[DB/OL]. (2011-05-12)[2016-03-30].http://homepages.inf.ed.ac.uk/rbf/CAVIARDATA1/.

[12]BirchfieldS.BMPImageSequencesforEllipticalHeadTracking[DB/OL]. (1998-08-07) [2016-05-03].http://www.ces.clemson.edu/～stb/research/headtracker/seq/.

An Algorithm of Video Target Tracking Based on Particle Filter Framework and Multiple Features

YANG Yong-chao

(College of Mathematics and Computer Science, Chizhou University, Chizhou, Anhui 247000, China)

To improve the performance of object tracking under complex environment based on single object feature, a new particle filter method base on the fusion of edge, texture and color feature is presented. Combined the Sobel-operator and the Local Binary Pattern, a new feature extraction method named SLBP (Sobel Local Binary Pattern) is proposed. SLBP contains the texture feature and the edge feature at the same time. The result shows that the proposed algorithm based on SLBP+HSV can overcome the complex environmental impact, such as occlusion and illumination change. The algorithm improves the tracking accuracy.

video target tracking; SLBP; particle filter; HSV

2016-04-07

池州学院自然科学研究项目(2015ZR006)。

杨永超，女，山东聊城人，硕士，池州学院数学与计算机学院教师，研究方向为模式识别、人工智能。E-mail:yyc0424@163.com

http://www.cnki.net/kcms/detail/34.1150.N.20160817.1131.015.html

TP391

A

1007-4260(2016)03-0050-05

10.13757/j.cnki.cn34-1150/n.2016.03.015