融合HOG与颜色特征的粒子滤波行人跟踪算法*

郝 溪 ，陈淑荣 ，尹道素 ，梁 晶

(1.上海海事大学 信息工程学院，上海 201306；2.中国石油工程建设公司华东设计分公司，山东 青岛 266071)

行人跟踪是运动目标跟踪的一部分。目前，运动目标跟踪方法主要包括基于主动轮廓、基于特征、基于区域和基于模型的跟踪[1]。参考文献[2]利用压缩感知技术对多尺度图像特征进行降维处理，并在线更新分类器；参考文献[3]提取光流特征来检测和跟踪目标，运用机器学习的正负反馈，达到有效跟踪目标，但两种方法对非刚性行人跟踪的鲁棒性较低。参考文献[4]提出基于颜色直方图的视觉跟踪，适用于行人形变、部分遮挡、旋转以及尺度变化，但仅利用颜色单一特征易造成背景颜色干扰。参考文献[5]将粒子滤波算法与Mean Shift算法相结合,短时间内能快速跟踪目标，但长时间遮挡易造成行人目标丢失。

本文融合梯度直方图HOG(Histograms of Oriented Gradient)[6]特征与加权的颜色直方图特征，利用粒子滤波实现了行人跟踪。提取HOG特征，抑制行人的形变干扰；利用加权的颜色直方图特征，降低背景干扰；引入颜色分块扩展相似度，解决了混合遮挡问题。算法框图如图1所示。

图1 行人跟踪算法框图

1 算法理论

1.1 HOG特征提取

HOG对图像几何形变、光学形变具有不变性，允许行人细微动作变化。先将图像分成小的单元，统计其中的梯度方向直方图，然后按block大小扫描整幅图像，最后获得block统计直方图并进行归一化，串联形成HOG特征向量。

图像中每一个像素点梯度为：

其 中 ，px(x,y)、py(x,y)、f(x,y)分 别 为 像 素(x,y)水 平 、垂 直方向梯度以及像素值。

每一个像素的梯度模的大小和方向为：

实验选取4×4像素为一单元，将单元角度离散至[0,π]的9个区间，统计每个区间的梯度幅值，设置 2×2个单元为一个block，以单元为步长扫描目标区域，利用式(5)归一化block，并串联作为HOG特征。

其中，e为略大于0的常数。

引入积分直方图[7]，简化HOG特征计算。从原点开始扫描，按照从上到下、从左到右的顺序，累计经过像素点9个方向的bin值，获得当前点的积分直方图。block区域的积分直方图通过加减4个角的点积分值来获得，计算过程如图2所示。积分直方图避免了扫描block重复区域像素点梯度的计算，加快了HOG特征提取。

图2 block积分直方图计算

1.2 颜色特征提取

颜色直方图对目标部分遮挡、旋转及形变等具有较强的适应性，且计算简易。

RGB空间受光照影响，易引起跟踪目标丢失，本文采用HSV空间模型。将图像离散成n个子区域，对每个像素采用式(6)所示的加权处理，实现对目标区域高加权，目标边缘区域低加权，获得式(7)所示的像素分布，通过统计加权后像素颜色向量落在子区域的频数得到颜色特征直方图，如图3所示。依据HSV对光照的敏感度不同，设置量化级数为 8×8×4。

图3 HSV空间模型颜色直方图特征提取

其中，r为像素点到目标行人中心的距离。

其中，x为行人中心位置，c=(cx,cy)为区域半径，δ为Kronecker delta函数，n为区域像素总个数，b为每个像素相应的颜色直方图条柱。

1.3 融合HOG与颜色特征的粒子滤波

粒子滤波适于非线性、非高斯的行人运动估计，分为预测和更新两个阶段。

预测阶段,利用系统模型预测状态的先验概率密度为：

更新阶段，用最新观察数据修正得到当前状态的后验概率密度为：

其中，N为粒子个数，为第i个粒子的权值。

权值更新为：

两个直方图模型相似度距离定义为：

其中，p为行人目标模型，q为行人侯选区模型。

利用相似度距离，得到粒子观测值为：

其中，σ2是缩放因子。

最后，得到颜色特征与HOG特征融合观测值为：

1.4 遮挡检测

为检测行人遮挡，以目标中心对称划分左右跟踪窗口与扩展窗口，如图4(a)所示。k时刻发生遮挡时，k-1时刻扩展窗口与k时刻跟踪窗口的直方图相似度较高，k-1时刻跟踪窗口与k时刻跟踪窗口相似度较低，利用式(14)和 式(15)判 断 遮 挡[8]。

其中，ρ1、ρ2分别表示k帧与k-1 帧的相似度，trck(x,k)为跟踪窗口，ext(x,k)为扩展窗口，x=(1,2)分别代表左右窗口，k为第k帧。

若 ρ2＞ρ1，则k时刻发生遮挡，不更新特征模板，保证遮挡结束后正确跟踪到行人，图4(b)为遮挡后跟踪效果图。

图4 遮挡检测跟踪结果

2 算法描述

算法实现的具体步骤如下。

(1)输入视频，读取第一帧图像，选择感兴趣行人区域，利用高斯噪声方式产生N个粒子{,i=1,2,…,N}，初始权重为1/N，取N为100。

(2)转换为灰度图像并归一化行人区域，计算图像梯度，得到简化的HOG特征。

(3)将目标图像转至HSV空间，加权颜色直方。根据式(14)和式(15)检测遮挡并处理，获得目标模板特征。

(5)依据步骤(2)和步骤(3)，获得预测粒子的颜色直方图特征、HOG特征，计算预测粒子与目标粒子相似度，得到融合观测值，通过式(13)计算粒子权重，按照式(16)归一化粒子权重。

(6)输出最优估计为：

依据状态向量位置坐标、长宽信息，画出行人预测矩形图和轨迹图。

(8)若视频未结束，置k=k+1，转到步骤(2)；否则，结束。

3 实验结果及分析

为验证算法有效性，采用PETS数据库进行行人跟踪实验,在VS 2010环境下开发，计算机配置为3 GHz CPU和2 GB内存，使用OpenCV 2.4.4开源库，并与经典粒子跟踪算法、Mean Shift结合粒子滤波算法进行比较。

图5为PETS数据库中行人3种算法的结果比较，从初始化至400帧正确跟踪。图5(a)中第500帧由于新进行人颜色直方图与目标行人颜色直方图相似，跟踪错误，在第600帧处错误跟踪至新进行人。图5(b)中Mean Shift与粒子滤波结合算法第500帧处仍可跟踪到部分行人，第600帧则急剧发散。图5(c)是本文算法跟踪结果，第500帧、第600帧处皆能正确跟踪，图示白线表明行人的运动轨迹。

图6给出了跟踪过程中，粒子最大权重值的变化。本文算法最大粒子权重值平均较高，表示跟踪过程中模板与粒子相似度较高。在第400帧～第500帧之间，由于行人间出现遮挡，经典粒子滤波平均权值较低，Mean Shift结合粒子滤波算法平均权值较大，而本文算法最大权重值较稳定，提高了行人跟踪的效果。

图6 粒子滤波每帧中最大权重值

表1列出实验视频中3种算法的平均处理时间，由于引入了HOG特征，本文算法所用时间相对经典粒子滤波跟踪时间较长，但仍能满足实时跟踪要求。

表1 几种算法跟踪平均每帧时间比较

本文融合简化HOG特征和加核的颜色直方图特征，实现了粒子滤波行人跟踪。采用积分图加速HOG特征提取，利用图像分块相似度检测，提高了行人间遮挡、背景行人混合遮挡情况下跟踪的准确性与鲁棒性。但由于HOG特征计算量较大，算法运行时间相对传统粒子跟踪方法较长，后续将进一步改进算法，提高算法运行速度。

[1]杨戈,刘宏.视觉跟踪算法综述[J].智能系统学报,2010(2)：1.

[2]ZHANG K,ZHANG L,YANG M H.Real-time compressive tracking[M].Computer Vision-ECCV 2012，Springer Berlin Heidelberg,2012：864-877.

[3]KALAL Z,MIKOLAJCZYK K,MATAS J.Tracking-learning detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(7)：1409-1422.

[4]NUMMIARO K,KOLLER-MEIER E,GOOL V L.An adaptive color-based particle filter[J].Image and Vision Computing,2003,21(1)：99-110.

[5]邢浪漫,范蟠果.基于 mean shift和粒子滤波的混合目标跟踪算法[J].微型机与应用,2011,30(20)：47-49.

[6]DALAL N,TRIGGS B.Histograms of oriented gradient for human detection[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recongnition(CVPR)，2005,1：886-893.

[7]PORIKLI F.Integral histogram：a fast way to extract histograms in cartesian spaces[C].IEEE Computer Society Conference on Computer Vision and Pattern Recognition,CVPR 2005,2005(1)：829-836.

[8]刘涛,程小平,向本科.改进的基于颜色的粒子滤波目标跟踪算法[J].计算机工程与设计,2010(8)：1750-1752.