基于相关滤波器的尺度自适应目标跟踪算法

周广宏,张楠



基于相关滤波器的尺度自适应目标跟踪算法

周广宏,张楠

无锡职业技术学院控制技术学院, 江苏 无锡 214121

针对跟踪目标外观尺寸发生变化，造成跟踪效率较低的问题，本文提出一种基于相关滤波的尺度自适应目标跟踪算法。该算法利用多个通道的颜色特征描述目标外观，通过学习得到的位置相关滤波器估计目标的中心，并据此提取多尺度样本来构建模板，继而利用空间学习获得的尺度滤波器评估目标最优尺度，从而实现尺度自适应目标跟踪。实验验证该算法在目标尺度发生变化时鲁棒性强。

滤波器; 自适应尺度; 目标跟踪

目标跟踪技术是利用图像传感器进行数据采集，视频监控、异常行为检测等，是计算机视觉领域中不可或缺的一部分[1,2]。然而在真实场景应用过程中，目标尺度的缩放、光照的剧烈变化以及旋转形变会使跟踪性能下降明显[3]。当今跟踪技术的需求日益旺盛，国内外专家提出很多新的算法或者改进方法[4,5]。

文献[4]提出一种密集采样的策略来获得样本，通过循环矩阵训练核函数建立核相关滤波器，将响应最大的位置作为目标的中心位置。Martin等[5]针对循环结构核相关滤波跟踪算法[4]中利用灰度特征描述目标状态的不足，提出联合多个通道的颜色特征来描述目标，采用径向基函数核建立核相关滤波器来实现跟踪，并且提出了一种可自适应降低颜色空间维度的方法实现快速跟踪。

在目标外观尺度发生明显变化时，构建高效、鲁棒的跟踪算法是视觉跟踪方面的难点，也是研究热点[6,7]。然而文献[5]所提的CN(Color name)跟踪算法未考虑目标外观大小发生明显变化的情况，无法适应目标外观尺度的变化。针对目标尺度发生较大变化时，算法的精度大幅度下降的问题，本文在CN跟踪算法基础上，提出一种基于相关滤波方法的多尺度跟踪算法，实现尺度自适应的相关滤波跟踪。

1 CN跟踪理论

1.1 传统相关滤波跟踪的方式

假设存在两组信号，即信号和信号。两组信号的相似度可以定义为它们的相关性。

其中，*表示的复共轭[8]。

相关滤波器是利用相似度高的信号之间卷积时响应高来反映相似程度。在跟踪过程中，滤波器模板卷积样本区域，将响应最高的样本作为目标区域。相关滤波跟踪算法有以下三个步骤：

第1步：在-1帧时，在目标位置附近提取大量训练样本，训练相关滤波器；

第2步：在时，提取候选样本，利用相关滤波器卷积候选样本，计算对应的响应；

第3步：将响应最强的样本区域作为时刻目标区域。

1.2 CN算法训练滤波器

在相关滤波跟踪过程中，需要利用采集窗口位移操作来提取大量的样本。考虑到样本间存在大量的冗余特征，CN跟踪算法提取目标位置信息形成循环矩阵，通过循环位移操作近似采样窗口的位移操作，构建出滤波器的训练样本。

其中，()由1×的图像向量转置循环得到×的循环矩阵。

其中，()表示核函数将映射到Hilbert特征空间，(,¢)=á(),(¢)ñ为核函数，y为样本x的期望输出，为取值为0.01时的正则化参数。

其中，-1表示傅里叶逆变换函数，表示傅里叶变换。为向量的傅里叶变换。U=(u)，u=(,x)为核函数的输出，表示目标的状态。

假设跟踪到新的一帧，获取图像块，由上述理论可知，图像块区域对应的分类器响应输出为：

1.3 CN算法颜色自适应

CN算法提取样本图像块11个通道的颜色特征，分别为黑、蓝、棕、灰、绿、橙、粉、紫、红、白和黄颜色特征。在帧时，将图像块x转换成Θ1维数据，通过实时选择2个较显著的颜色特征来表示目标状态，利用最小代价函数找到当前帧帧合适的降维映射为：

其中，投影矩阵DÎΘ1×Θ2可以将11维的颜色特征降维成为2维颜色特征。

最终利用公式(7)获得目标响应区域，得到目标中心位置。

2 改进的跟踪算法

针对文献[5]中CN模型未考虑目标外观尺度变化的情况，在目标外观尺度变化较大时，CN算法无法有效提取特征，容易导致丢失目标的情况，本文借用聚类思想筛选构建多尺度模板空间，提出基于CN跟踪方法的多尺度目标跟踪算法。

本文通过提取多尺度模板空间中的模板训练学习尺度相关滤波器；根据CN模型来估计目标中心点的位置，提取出多个尺度的矩形样本，引入方向梯度直方图特征，从而可以利用尺度相关滤波器卷积矩形样本；最终根据响应最高的样本获得目标区域以及目标的最优尺度，实现尺度变化的实时目标跟踪。

2.1 相似度匹配

假设存在两个图像块，通过双线性插值变换得到统一尺度16×16的图像块和。为了获取图像块方向梯度直方图特征，计算图像块中像素的方向和梯度值。其中16×16图像块在像素点（,）的水平方向G(,)和垂直方向G(,)上的梯度可表示为：

其中，І(,)表示像素点(,)处的像素值。因此像素点(,)处梯度幅值和梯度方向可表示为：

将每40度划分为一个方向块，得到9个方向块，然后建立方向梯度直方图特征f。利用图像块、的方向梯度直方图，来计算相似度的方法为：

其中‖*‖表示欧式距离，利用相似度的值反映图像块、的相似程度，越大，相似度越高。

2.2 构建多尺度模板空间

考虑到目标跟踪过程中首帧目标位置准确度最高，因此将首帧目标区域1归一化为16×16的图像块，设置为模板1，添加到多尺度模板空间中，并且在后续模板空间更新过程中保持不变；然后将跟踪到的每一帧的目标区域D都进行16×16的归一化操作，并且设置为模板T；为了保持多尺度模板空间中模板的多样性，提升尺度相关滤波器的有效性，因此通过借鉴聚类思想筛选模板（图1）。

图 1 模板空间的构建

本文通过筛选规则，选择（实验中取10）个最具代表性的模板来构建更新模板空间。在时刻，构建更新模板空间的过程如下所示：

第1步：将时刻跟踪的目标区域D转为灰度图像块，并且将图像块归一化为16×16的图像块І；

第2步：计算图像块І的方向梯度直方图特征f_Dt；

第3步：令¢=f_Dt，=È¢；

第4步：若>，计算模板空间中相似度矩阵S={(T,T)|TÎ,TÎ}，获得相似度最低的模板对

第6步：若S_min1≥S_min2，调整模板空间=-T1，反之，=-T2；

第7步：构建更新结束。

2.3 尺度滤波器获取尺度

其中，U为多个尺度模板图像块的核函数输出的傅里叶变换。是分类器的期望输出。

将33个不同尺度的样本通过双线性插值方法，均归一化为16×16的图像块。

2.4 尺度更新

根据公式(5)和(6)，利用最新的目标尺度以及目标区域更新位置相关滤波器。再根据2.2节构建方法更新多尺度模板空间，更新尺度相关滤波器。

3 算法流程

构建循环矩阵获得训练样本，利用CN颜色空间降维，训练位置相关滤波分类器，获得目标中心点；引入方向梯度直方图特征学习尺度相关滤波器，利用尺度相关滤波器计算响应，获得目标最优尺度。算法流程如下：

第1步（初始化）：初始化设置首帧的目标区域，利用降维的颜色特征训练位置相关滤波器。利用方向梯度直方图特征训练尺度相关滤波器；

第2步（跟踪处理）：读取下一帧，利用位置相关滤波器获取响应最高的位置作为目标中心点；基于中心点提33个不同尺度的样本，利用方向梯度直方图卷积样本，以响应最高的样本区域为下一帧的目标区域，并且得到目标最优尺度；

第2.1步：利用公式（11）降维颜色特征，如公式（7）所示利用位置相关滤波器获取响应最高点作为目标中心点；

第2.2步：如公式（12）所示，基于目标中心点位置提取33个不同尺度的样本，利用公式（15）尺度相关滤波器卷积样本，最后利用公式（17）得到响应最高的样本区域作为目标区域，且获得目标最优尺度；

第3步（更新多尺度模板空间）：得到目标最优尺度后，利用公式（18）更新目标区域，利用2.2节方法更新多尺度模板空间；

第4步（更新相关滤波器）：从多尺度模板空间中提取模板训练学习尺度相关滤波器。利用公式（5）和（6）更新位置相关滤波器；

第5步（结束）：跳转到第2步。

4 目标跟踪效果与分析

本文算法在Intel(R)Core（TM）i5-3230M 2.60GHz，内存8.00 GB的笔记本电脑上，利用Matlab与C++混编实现。为了验证本文算法的准确性和有效性，本文在两组复杂背景下尺度变化的视频序列进行实验[1]。除此之外，将本文算法与CN算法[5]，STC(Spatio-Temporal Context)算法[9]这两种基于相关滤波的跟踪算法进行了对比说明，通过定性的跟踪效果和定量的重合率来说明跟踪效果，重点检验本文算法的鲁棒性。

4.1 对目标旋转形变以及尺度变化的实验

Dog1视频图像序列实验过程中，目标出现持续的尺度无规律变化，同时目标Dog1也发生旋转形变。对Dog1视频序列进行实验主要是验证目标出现无规律尺度变化时，即使是伴随着发生旋转和形变的情况下，算法的抗干扰性能强。

从#553帧中可以看出，目标Dog1发生旋转形变（图2）。从#986帧可以看出，目标Dog1出现明显尺度变大，CN算法的跟踪窗明显小于目标区域，跟踪效果很差。从#1338帧中可以看出目标尺度又出现明显的变小，虽然CN跟踪算法框住了目标区域，然而已经发生偏移，并且由于未考虑目标尺度变化，导致跟踪窗无法随目标尺度的变化而实时改变。STC跟踪算法添加了尺度更新方式，因此可以实现多尺度跟踪。相比而言本文算法(简称Our)由于利用多个通道的颜色特征表示目标状态，并且实现了尺度随目标外观大小变化的更新方法，所以跟踪目标尺度变化明显的视频序列效果最佳。

图 2 Dog1图片序列跟踪效果

图 3 Dog1序列的跟踪重叠率曲线图

4.2 对剧烈光照变化及尺度变化的实验

Singer1视频序列实验过程中，目标尺度持续缩小，并且在运动过程中出现剧烈的光照干扰。该实验主要是验证目标出现明显尺度变化时，目标遭受剧烈光照干扰，算法的抗干扰能力。

可以看出目标尺度持续缩小，且伴有剧烈光照变化（图4）。在#85帧时目标遭受剧烈光照干扰，CN算法由于未考虑尺度问题，CN算法跟踪窗始终不变，开始遭受背景干扰。从#161帧我们发现STC算法由于遭受光照干扰，尺度无法有效更新，导致尺度变化失效。而Our算法择优选取最能表示目标状态的颜色特征，因此受光照影响较小，并且本文算法利用动态多尺度模板空间来学习尺度相关滤波器，其尺度更新策略更为健壮，跟踪效果最佳。

从跟踪重叠率曲线图（图5）可以看出，在目标出现持续尺度缩小以及光照变化时，CN算法无尺度变化，重叠率最低，跟踪效果最差。STC跟踪算法受到剧烈光照干扰，尺度更新机制失效，随着目标逐渐缩小，重叠率持续降低。而本文算法在受到尺度逐渐缩小以及剧烈光照干扰的情况下，重叠率依然保持0.6以上，说明了本文算法在剧烈光照干扰下，尺度更新机制依然健壮。在Singer1视频序列实验的跟踪速度达到16帧/s，基本满足实时性要求。

图 4 Singer1图片序列跟踪效果图

图 5 Singer1序列的跟踪重叠率曲线图

5 结论

本文算法针对CN跟踪算法无法实现尺度跟踪的缺陷，提出利用方向梯度直方图特征学习尺度滤波器来实现尺度自适应跟踪的效果。本文算法一方面学习尺度滤波器解决目标变尺度难跟踪的问题；另外一方面以跟踪的最优尺度更新目标区域，有益于提升相关滤波器的跟踪性能。通过变尺度的视频序列进行实验验证，说明了本文算法在目标剧烈光照变化、旋转形变尤其是尺度明显变化时，具有良好的鲁棒性。

[1] Wu Y, Lim J, Yang MH. Object Tracking Benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015,37(9):1834-1848

[2] 黎万义,王鹏,乔红.引入视觉注意机制的目标跟踪方法综述[J].自动化学报,2014,40(4):561-576

[3] 蒋敏,吴佼,孔军,等.基于时空模型的尺度自适应跟踪算法[J].小型微型计算机系统,2016,37(7):1522-1525

[4] Henriques JF, Rui C, Martins P,. Exploiting the Circulant Structure of Tracking-by-Detection with Kernels[C]. Florence Italy: Processing of European Conference on Computer Vision, 2012:702-715

[5] Martin D, Fahad SK, Michae F,. Adaptive Color Attributes for Real-Time Visual Tracking[C]. Columbus: Processing of Computer Vision and Pattern Recognition, 2014:1090 -1097

[6] Zhang H, Hu S, Zhang X,. Visual Tracking via Constrained Incremental Non-negative Matrix Factoriztion[J]. Signal Processing Letters, 2015,22(9):1350-1353

[7] Martin D, Gustav H, Fahad SK,. Accurate Scale Estimation for Robust Visual Tracking[C]. Nottingham, UK: Processing of British Machine Vision Conference, 2014

[8] 赵翱东,石磊,刘飞.基于时空特征的实时相关滤波目标跟踪[J].传感器与微系统,2016,35(8):119-122

[9] Zhang KH, Zhang L, Yang MH. Fast Visual Tracking via Dense Spatio-Temporal Context Learning[C]. Zürich: Processing of European Conference Computer Vision, 2014:127-141

Algorithm of Self-Adaptive Scale Target Tracking on Correlative Filters

ZHOU Guang-hong, ZHANG Nan

214121,

Aim to a question of low tracking efficiency when the scale of tracked target was changing, this paper proposed the algorithm of self-adaptive scale target tracking on correlative filters. The algorithm utilized multichannel color features to describe the objective appearance and estimate the objective center by way of learning to get the location correlative filters, and hereby extract multi-scale samples to establish the model and then the optimal target scale was assessed by scale filter obtained with space learning thereby to implement target tracking with scale self-adaptive. The experiment had verified that the proposed method was strongly robust to scale changing.

Filter; self-adaptive size; target tracking

TP273+.2

A

1000-2324(2018)05-0836-05

10.3969/j.issn.1000-2324.2018.05.023

2017-10-06

2017-11-12

国家自然科学基金项目(61503188);无锡市工业AGV技术应用及推广公共服务平台(CMB41S1703)

周广宏(1977-),男,硕士,讲师,研究方向为智能控制及机器人导航. E-mail:zhough@wxit.edu.cn