复杂环境下基于相关滤波的行人跟踪方法研究

张亚须 云利军 龙晖

摘要：近几年，基于相关滤波的跟踪方法得到很大的改善，Staple跟踪算法在KCF跟踪方法的基础上引入颜色特征和多尺度检测，使得算法的跟踪准确度得到大的提升，但是因为Staple算法中模型一直更新，目标被遮挡一段时间后，模型不能很好地表达目标行人，导致跟踪效果下降。为此，在该文中，当方向梯度直方图特征模型大于给定的阈值时，仅仅使用梯度方向直方图特征进行跟踪，否则使用颜色特征对此进行补充，同时，颜色特征模型只有在大于给定的颜色特征模型响应阈值时才更新，仿真实验结果表明，此方法在一定程度上能够提高行人跟踪的准确度。

关键词：相关滤波；跟踪；遮挡；多尺度；阈值

中图分类号：TP3 文献标识码：A 文章编号：1009-3044（2018）09-0200-03

1 引言

目标跟踪是计算机视觉中的一个重要方向，不仅有着重要的研究价值，而且有着广泛的市场价值。最近十几年，行人跟踪得到快速发展，很多优秀的跟踪方法被提出，但是由于受到行人姿势改变、运动轨迹改变、环境等的影响，跟踪效果不理想。

行人跟踪常使用颜色特征、文理特征和HOG特征等。传统的均值漂移（Mean-shift）[1]算法就是使用的颜色特征，但是当背景与目标相似时传统的均值漂移算法会跟踪错误。文献[2]中把颜色特征和文理特征结合起来，在跟踪背景与目标颜色相似时，明显提高了跟踪的精确度。为了解决环境干扰和遮挡问题，文献[3]中结合居于颜色和文理特征的均值漂移跟踪方法和扩展的卡尔曼滤波方法。近几年，研究者把信号处理中的相关滤波应用到目标跟踪中，文献[4]中结合灰度空间特征和相关滤波来实现目标跟踪，跟踪速率达到300帧每秒，文献[5]中使用颜色特征，检测效果有所改进，但是检测速度下降到100帧每秒。文献[6]中引入核函数，被称为KCF跟踪方法，通过计算目标行人的HOG特征的模型的相关性大小得到目标行人的位置，文献[7]中提出Staple跟踪算法，结合颜色特征和HOG特征进行行人跟踪，同时对目标行人进行多尺度检测。

Staple跟踪算法虽然跟踪速度和准确度都不错，但是当目标行人被严重遮挡时，目标行人丢失，当目标行人再次出现在跟踪窗口时，不能正确持续地对目标进行跟踪。为了解决此问题，引入判别阈值，当目标行人的hog特征模型的响应值小于阈值时，认为目标行人被障碍行人遮挡，此时引用颜色特征对行人进行区分，当颜色特征模型的响应值小于阈值时，停止对颜色特征模型更新。

2 相关内容

2.1 相关滤波

原始相关滤波是用于信号处理方面，用来描述两个信号的相似性。

2.2 HOG特征

KCF行人跟踪方法以目标行人的HOG特征作为模型，用来计算搜索区域各个窗口的响应值。HOG特征描述子[8]通过计算和统计图像局部区域的梯度方向直方图得到图像特征，在图像处理、检测中得到广泛应用，HOG特征提取如下：

（1）计算图像各点的梯度方向值

计算每个像素水平方向和垂直方向上的梯度值，最终得到该点的梯度值，计算公式如下：

（2）计算梯度方向直方图

根据公式（5），把梯度方向划分到[0，π]上，如果[αx1，y1-αx2，y2=π]，则[αx1，y1]和[αx2，y2]落在同一个[bin]区间。把[αx，y]离散到到p个值上，则每一点离散值的计算如下：

将图像划分为小区间cell，统计每个梯度方向区间点的个数，则每个区间[p]维。这样每个小区间相当于p个通道，在KCF中，为了减少离散傅里叶时的计算量，加快速度，把各个通道的值直接相加。

2.3 颜色特征

颜色特征作为一种最直观的特征，很早以前就受到研究者的关注。 一般使用颜色特征时，是使用颜色直方图特征。首先将图像的各个通道的色彩值划分为多个区间，计算每个像素点对应的像素值属于哪个区间。

2.4 多尺度检测

KCF方法跟踪目标行人的过程中行人窗口固定不变，当行人远离摄像头时，行人逐渐变小，行人在目标框中所占区域越来越小，目标行人特征在模型中的影响越来越弱。因此，为了使模型能够很好地表示目标行人，需要对目标行人窗口进行多尺度检测，得到最佳的目标行人窗口。

在多尺度检测时，以检测到的目标行人窗口的中心点pos取多个尺度的窗口，行人多尺度窗口大小计算如下：

其中[wind]為上一帧目标行人的实际窗口大小，[scale]为对应的尺度变化参数。根据pos和swind，提取目标行人各个尺度下的hog特征，然后计算hog特征模型在各个尺度下的响应值，根据最大响应值对应的尺度，计算目标行人在当前帧的最佳窗口。

2.5 计算跟踪精度

在计算目标跟踪准确度时，使用检测目标的中心点与对应帧图片中目标行人的标注中心点的距离，令距离为[d]，当距离[d]小于阈值[T]时认为目标行人跟踪准确。

3 本文改进方法

3.1 模型更新

在现实中，行人跟踪环境复杂多变，常常被别的行人遮挡，此时不能正确地跟踪到目标行人，为此引入颜色特征进行区分。颜色特征是一种最直观的特征，具有旋转、缩放等不变性，当行人被严重遮挡时，颜色特征变化极大，因此，为了更好地对颜色特征模型进行更新，当颜色特征模型的响应值小于颜色特征模型阈值时，停止颜色特征模型更新。其更新公式如下：

3.2 模型响应值计算

在跟踪过程中，根据模型响应最大值在搜索窗口寻找目标行人窗口，当hog特征模型的响应值大于阈值[T_h]时，认为目标行人没有被遮挡，根据hog特征模型的最大响应值计算目标行人位置；否则认为目标行人被遮挡，引入颜色特征模型，加权求两种模型响应值的和，根据加权后的响应值计算目标行人的窗口位置。其模型响应值计算如下：

4 仿真实验与结果分析

本文选择行人跟踪视频集Benchmark中的27个行人视频作为研究，下图为KCF、Staple和本文方法在27个视频中进行行人跟踪，目标行人中心偏移阈值与准确度平均值图。

由图1可知，KCF跟踪方法的准确度最低，本文方法准确度最高，Staple方法比本文方法稍微差些。在KCF跟踪方法中仅仅使用hog特征，当遇到相似目标遮挡时，容易丢失目标；在Staple跟踪方法中，引入了颜色特征，可以区分不同颜色的行人，同时引入多尺度处理使窗口自适应行人大小；本文方法与Staple方法相似，但是本文中，当hog的响应值较大时，认为很好的跟踪到目标行人，不使用颜色特征，当hog响应值较小时，加入颜色特征用于区分目标行人窗口和非目标行人窗口，同时只有当颜色特征模型的响应值大于阈值时，才对颜色特征模型更新，得到的颜色特征模型能够更好的表达行人。

下面为三种跟踪方法在girl2中的跟踪效果图，其中黄色窗口为KCF跟踪方法结果，绿色窗口为Staple方法的跟踪结果，黑色窗口为本文方法跟踪结果。

由图2可知，在第108帧时，障碍行人完全遮挡了目标行人，导致目标行人丢失，在第304帧时，目标行人再次进入跟踪窗口中，在第325帧时，仅有本文方法准确的跟踪到目标行人。因为本文方法在行人响应值太小时，认为目标行人被遮挡，停止对颜色特征模型更新，当目标行人再次进入跟踪窗口时，行人模型能够很好地表示目标行人。而KCF和Staple方法因为目标长时间丢失，模型根据错误目标持续更新，导致模型不能很好地表达目标行人，所以在目标再次出现在窗口中时，不能再对目标行人持续正确地进行跟踪。

5 结论

本文引入阈值与颜色特征模型，当hog特征模型响应值小于阈值，引入颜色特征用于区分目标行人和障碍行人，同时为了使颜色特征模型更好的表示目标行人，当颜色特征模型响应值小于阈值时停止更新。实验结果表明，此方法在復杂环境中具有较好的跟踪效果。

参考文献：

[1] Comaniciu D， Ramesh V， Meer P. Kernel based object traing[J]. IEEE Trans on Pattern Analysis and Machine Intelligence， 2003， 25（5）： 564-577.

[2] 戴渊明， 韦巍， 林亦宁. 基于颜色纹理特征的均值漂移目标跟踪算法[J]. 浙江大学学报（工学版）， 2012， 46（2）： 212-217.

[3] 贾松敏， 王爽， 王丽佳. 多特征自适应均值漂移算法的目标跟踪[J]. 光电子?激光， 2014， 25（10）： 2018-2024.

[4] Henriques J.F， Rui C， Martins P. Exploiting the Circulant Structure of Tracking-by-Detection with Kernels[J]. European Conference on Computer Vision， 2012， 7575 （1）： 702-715.

[5] Danelljan M， Khan F.S， Felsberg M. Adaptive Color Attributes for Real-Time Visual Tracking[J]. Computer Vision & Pattern Recognition， 2014： 1090-1097.

[6] Henriques J.F， Rui C， Martins P. High-Speed Tracking with Kernelized Correlation Filters[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2015， 37 （3）： 583-596.

[7] Bertinetto L， Valmadre J， Golodetz S， et al. Staple： Complementary Learners for Real-Time Tracking[C].IEEE Conference on Computer Vision and Pattern Recognition，2016，7：1401-1409.

[8] Dalal N， Triggs B. Histograms of oriented gradients for human detection [C]. IEEE Computer Society Conference on Computer Vision & Pattern Recognition，2005， 1 （12）： 886-893.