双HOG 特征的相关滤波目标跟踪

2019-08-08 10:19林淑彬
关键词:跟踪器傅里叶滤波器

林淑彬

(闽南师范大学计算机学院,福建漳州363000)

视觉目标跟踪[1]是计算机视觉中的一个热点问题,涉及图像处理、模式识别、人工智能、自动控制等不同领域[2],在安全监控、人机交互、无人驾驶、医疗诊断系统、机器人学等方面[3]有广泛应用,因此得到极大关注.视觉目标跟踪的难点在各种各样的挑战中,如局部遮挡、变形、运动模糊、快速运动、光照变化[4]、背景杂乱[5]、目标再识别和尺度变化[6]等.目前已经提出了许多跟踪算法来处理不同的对象跟踪问题,基于相关滤波器(Correlation Filter, CF)的跟踪方法[7]和基于判别相关滤波[8](Discriminative Correlation Filter, DCF)的跟踪方法因其性能优异、速度快而备受关注.

CF 主要应用于信号处理,用来描述两个信号之间的相关性,其最大的优点是计算速率高,利用假设训练数据的循环结构,目标和候选区域能在频域[9]进行表示并通过快速傅里叶变换(FFT)操作.Bolme 等[10]首次将CF 应用于跟踪提出MOSSE 算法,其利用FFT 的快速性使跟踪速度达到了600-700fps.DCF 通过跟踪训练滤波器模型中目标的位置,提取出HOG 特征,训练出一个滤波器模板,对于新的可能目标区域,提取出该区域HOG 特征,与滤波器模板作相关.重复上述步骤进行后续的目标跟踪与模型训练[6],从而实现模型的在线训练[12]与目标的实时跟踪[13].实验表明,凭借HOG 特性,DCF 比顶级跟踪器[11]表现更加出色,能以每秒数百帧的速度运行.

由于设计满足各种挑战性场景的特征融合方法的难度很大,为了获得更好的性能,让跟踪器可以可靠地处理各种问题,跟踪器的单一性能有时会出现不稳定的情况,但是跟踪器的多种特征融合[14]可以有效地增强其鲁棒性[15].受DCF 算法的启发,本文提出一种有效的双HOG 特征目标跟踪(Dual HOG feature correction filter,DHCF)方法.该方法结合不同类型的特征,通过DCF 构造两个HOG 特征,一个是HOG1,另一个是HOG2, 接着利用判别相关滤波器框架对两个特征进行滤波处理, 使它们都各自独立地跟踪目标,然后从处理好的两个特征中选择最优特征,根据特征获得响应图,在响应图中寻找最大值位置,就是预测出的新目标位置.其相关运算在傅里叶域中使用傅里叶变换进行计算, 通过使用多维特征和改进的滤波器训练方法[18]进一步提高了性能和计算效率.

DHCF 跟踪器具有双HOG 特性,与许多复杂的跟踪器性能相当,在OTB-2013[26]、OTB-2015[27]基准上与其他算法对比取得了良好的效果.为了验证DHCF 跟踪器的性能, 通过与Staple[17]、SAMF、LCT、KCF、DSST[20]、HOG 这六个跟踪器进行了比较,图1 显示了两个基准序列上各种跟踪器的比较结果.

图1 各跟踪器比较效果图Fig.1 Each tracker comparison renderings

1 相关滤波器

本节引入相关滤波的概念, 相关滤波是用来描述信号处理领域中两个信号之间的相似程度.以下主要讨论与本文密切相关的两类跟踪器,1.1 节介绍相关滤波器,1.2 节介绍判别相关滤波器.

1.1 相关滤波器

2010 年CVPR,David S.Bolme 首次将相关滤波用在了跟踪领域[11].相关滤波目标跟踪方法的基本思想是:跟踪中的两个信号越相似,其相关值就越高,越接近所需的目标区域.实验中通过设计相关滤波模板来实现,如图2 所示.

图2 相关滤波模型Fig.2 Correlation filtering model

Bolme 提出了一种使用误差最小平方和滤波器(MOSSE)的跟踪器,MOSSE 的思想[21]是,找到一个跟踪滤波器,使它在目标上的响应输出值最大,则公式如下

其中g、h、f 分别表示响应输出、滤波模板、输入的图像.上式的计算是进行卷积计算,计算耗时,因此对其采用快速傅里叶变换(FFT),把卷积计算变成点乘操作,能够极大减少计算量,从而将上式简变为

根据该式找到H

在实际跟踪过程中,为了提高滤波器模板的鲁棒性,以目标的m 个图像作为参考,从而提出模型公式如下

为了得到MOSSE 的最小值,将上式进行转换求导最后得到H 为

上式即滤波器的模型公式.

考虑滤波器的鲁棒性,对模板进行如下策略更新

这里将模型公式更新分为分子At和分母Bt两个部分,η 表示学习率.

CF 通过 MOSSE 算法显示出巨大潜力,从此 CF 跟踪算法得到瞩目,大量基于 CF 的跟踪算法相继出现.Heriques 等利用训练块的循环结构,提出在具有HOG 特征的核空间[20]训练相关滤波器.Zhang 等[14]将上下文信息合并到过滤器学习中.SRDCF 跟踪器[24]通过对相关滤波系数进行空间位置惩罚来减轻边界效应[23],通过减少样本的破坏来增强边界效应.

CF 的缺点是输入的特征为单通道灰度图像,特征表达能力有限;没有尺度更新,对于尺度变化的跟踪目标[24]不敏感.因此DCF 在多通道特征上做了优化.

1.2 判别相关滤波器

DCF 是Visual Tracking 领域应用最为广泛的跟踪算法.其核心思想是: 在目标跟踪过程中训练一个跟踪器,使用该跟踪器去检测预测的目标位置,然后再使用检测结果来更新训练集从而更新目标跟踪器.在训练目标跟踪器时采用HOG 特征[20]来描述感兴趣目标,选取的目标中心区域划分为正样本,目标周围区域划分为负样本.DCF 通过目标的循环移位构建训练样本,利用循环矩阵的特殊性,在离散傅里叶域进行求解,再借助于FFT 变换,将卷积变换[25]为频域的点乘,大大降低了计算的复杂度,提高了处理速度.

2 双HOG 特征的相关滤波器目标跟踪

针对环境变化对目标跟踪的影响,在HOG 特征基础上,本文提出基于双HOG 特征的相关滤波器目标跟踪方法,见图3.

图3 双HOG 特征相关滤波目标跟踪系统框图Fig.3 Block diagram of dual HOG feature correlation filtering target tracking system

2.1 HOG 特征

在计算机视觉以及图像处理中,方向梯度直方图是图像局部区域的梯度特征量统计,它的基本思想是采用梯度的统计信息来更好地描述目标的边缘信息,并通过局部梯度的大小对图像局部的外观和形状进行特征化.HOG 特征的提取过程为:首先为了减少光照以及背景等因素的影响,将颜色空间的对比度归一化;其次把图像划分成多个大小一样的单元,并计算各自相应的梯度直方图信息;然后把单元中所有特征串联起来,构成大的相互有重叠的块,然后统计整个块的直方图特征;为了进一步减少光照因素及噪声的影响,再对每个块内的梯度直方图进行归一化处理;最后将整个窗口中所有块的HOG 特征向量串联起来.

针对HOG 特征在目标跟踪中的特性, 提出以其作为进行目标位置估计的滤波器.由于HOG 是低级特性,为31 维度,所以不进行从粗到细的融合,只是简单地将它们连接起来构建DCF.为了获得更多特征,实验将补丁中所有像素的平均灰度值作为1 维特征,并将其与HOG 特征连接到一个32 维向量中,然后将其平均分解为两个16 维特征, 分别记为HOG1 和HOG2.HOG1 表示前面16 维特征,HOG2 表示后面16 维特征,两个特征线索各自进行相关滤波响应,最后选择响应值最大的特征进行目标位置的预测.

这里主要涉及线性回归问题,实质上是一种改良的最小二乘法.训练滤波器的目的是找到一个函数f(k)=wdk 使样本 xi及其回归目标 yi的平方误差最小

在傅里叶域中工作,其中的量通常是复数,推广到复数域,求得公式

根据循环矩阵在傅立叶空间可对角化的重要性质得到

其中,X 是循环矩阵,F 是离散傅里叶变换矩阵, X^表示离散傅里叶变换.

对矩阵进行整合

其中,*表示矩阵复共轭,根据点乘运算,上式可表示为

则所求线性回归的解的傅里叶变换可以表示为

因此,通过公式(15)计算具有相同大小x 的特征图矩形区域k 的响应值R,并搜索R 的最大值来识别新的目标位置

其中,d 表示特征维数,取值范围从1 到D.

2.2 算法

根据上述过程,双HOG 特征相关滤波算法DHCF 如下.

算法: 双HOG 特征相关滤波目标跟踪(DHCF),

输入: 视频系列S1...Sn,以及第一帧的跟踪目标位置,

输出: 视频系列的跟踪目标位置P1...Pn.

1: 提取第一帧跟踪目标位置P1;

2: 初始化目标跟踪器;

循环直到视频结束:

3: 计算第t 帧的HOG 特征,并分割成HOG1 和HOG2,分别进行相关滤波处理;

4: 分别利用循环矩阵进行离散傅里叶变换,选择滤波处理的最佳结果;

5: 计算滤波处理好的特征响应图;

6: 在响应图中寻找最大值的位置,即预测出新的目标位置Pt+1.

返回视频系列的目标位置.

3 实验结果及分析

双HOG 特征目标跟踪方法在OTB-2013 和OTB-2015 两个基准上进行实验,其中OTB-2013 共有50个视频序列,OTB-2015 共有100 个视频序列, 将该跟踪器算法与六个跟踪器算法(Staple、SAMF、LCT、KCF、DSST、HOG)进行对比.

3.1 实验装置

实验环境为MATLAB R2018b,CPU 为i7 处理器,内存8G,64 位的Windows10 操作系统.实验按照标准DCF 方法[23]中的参数来构造HOG 特征,在OTB-2013、OTB-2015 两个基准数据集上进行测试评估.

3.2 参数设置

正则化参数λ 设置为0.01, 期望的相关输出标准差设置为位置滤波器的目标大小的1/16 和比例滤波器的1.5,过滤器大小M*N 设置为初始目标大小的两倍,学习率η 设置为0.025.将单元大小设置为1*1,用图像灰度特征增强HOG 特征,使用块大小为4*4 提取PCA_HOG 特征,将固定的补丁大小设置为初始目标大小.最后,提取的特征总是乘以一个Hann 余弦窗口.

3.3 实验结果

基于双HOG 特征的目标跟踪方法在精度和成功率上都提高了跟踪性能.图4、 图5 是在100 个序列运行后的成功率和精度图,从图中可看出DHCF 跟踪器在很多环境变化中性能优于其他跟踪器.

Staple、SAMF 和LCT 算法均以SRDCF 为基线,能够有效缓解边界效应,且优于标准DCF.DSST 采用了新颖的尺度算子,更好地融合了尺度特征.DHCF 算法只是以简单的DCF 为基准,上述算法和其他新技术也可以集成到该方法中,进一步提高性能.由于DHCF 算法为基于多特征的DCF 跟踪器提供了更好的替代方案,其他具有多种特征的跟踪算法也可以从该方法中受益.在图4 中,提出的DHCF 跟踪器在目标跟踪中取得了较好的性能,其成功率和精度在快速运动、背景混乱、形状变化等方面均优于其他算法,与传统HOG 算法相比也具有较优越的性能.图5 中,DHCF 跟踪器在跟踪成功率和精度方面总体性能都较好,其跟踪精度在面内旋转和光照变化方面不是最优的,分别为0.740 和0.732,都仅次于Staple 跟踪算法,分别为0.749和0.766, 分别相差0.009 和0.034.然而在低分辨率方面其跟踪精度取得了最佳为0.840,Staple 算法为 0.780, 传统HOG 算法为0.761, 比Staple 算法和传统HOG 算法分别高0.06 和 0.079.总体上看,DHCF 跟踪器显示的结果与其他跟踪器相比具有较好性能,并且在各种指标上均领先其他方法.

图4 各算法跟踪精度和成功率对比图Fig.4 Comparison chart of tracking accuracy and success rate of each algorithm

图5 各算法跟踪精度和成功率对比图Fig.5 Comparison chart of tracking accuracy and success rate of each algorithm

4 结论

本文提出了一种基于双HOG 特征的目标跟踪方法,充分展示了两个特征的优点.该方法中的两个特征通过不同的目标跟踪分析线索,选择最优的特征来确定跟踪结果.双HOG 特征在快速运动、背景杂乱等情况下有较好的鲁棒性,但在光照变化下性能相对较弱.实验表明,双HOG 特征目标跟踪算法在跟踪精度和效率上优于其他跟踪方法.下一步工作将结合颜色特征和HOG 特征做进一步研究.

猜你喜欢
跟踪器傅里叶滤波器
一种傅里叶域海量数据高速谱聚类方法
光伏跟踪器阵列跟踪精度的测算方法研究
构造Daubechies小波的一些注记
法国数学家、物理学家傅里叶
浅析一种风光储一体化跟踪器
从滤波器理解卷积
超长待机的自行车位置跟踪器
Comparison of decompression tubes with metallic stents for the management of right-sided malignant colonic obstruction
开关电源EMI滤波器的应用方法探讨
基于傅里叶域卷积表示的目标跟踪算法