基于时空特征的实时相关滤波目标跟踪

赵翱东, 石　磊, 刘　飞

(1.江南大学 物联网工程学院,江苏 无锡 214122；2.无锡职业技术学院,江苏 无锡 214121)



计算与测试

基于时空特征的实时相关滤波目标跟踪

赵翱东1,2, 石磊1, 刘飞1

(1.江南大学 物联网工程学院,江苏 无锡 214122；2.无锡职业技术学院,江苏 无锡 214121)

提出一种基于时空信息的相关滤波实时目标跟踪算法,以解决纹理改变、光照变化、旋转变形甚至遮挡情况下目标跟踪效率问题。此算法考虑到目标定位过程中,目标与其周围信息存在空域上的相关性,来构建目标空域滤波模型,并且该算法引入时间变量来在线更新得到时空域滤波模型,利用相邻帧信息相似性来降低遮挡对跟踪的影响。通过实验对比,验证了当目标受到非理想因素干扰时,所提算法具有健壮的鲁棒性和良好实时性。

相关滤波； 空域； 时空信息； 实时跟踪

0　引　言

目标跟踪是计算机视觉领域中非常活跃的研究主题,在视觉监控、运动分析、人机交互等领域快速发展。但由于目标受到目标缩放、光照变化和局部遮挡等干扰时,跟踪效果制约严重[1]。近些年,国内外学者在机器视觉跟踪方面提出很多算法或者改进办法[2～6]。

Black M等人[2]提出通过离线学习构建出跟踪模型子空间来实现目标跟踪。Ross D等人[3]提出通过在线学习建立目标子空间模型,实现一种增量式视觉跟踪算法。近些年,基于相关滤波器的跟踪算法由于其良好的跟踪效果,超快的跟踪速度,使得此类跟踪方法备受关注,改进方法也层出不穷。文献[5]首次将相关滤波应用在跟踪领域,通过计算滤波器模板来获得响应最大的区域作为目标区域。文献[6]在相关滤波器的基础上提出改进尺度的方法,提高了相关滤波器在目标尺度发生较大变化场景中的应用。

无论基于模型,还是基于判别式,上述跟踪算法仅仅将研究对象局限于目标本身,忽略了目标周围的信息特征,造成算法精度不高。文献[7]通过训练目标周围的正样本得到弱分类器,并级联建立强分类器,实现目标判别。文献[8]利用目标周围多个正负样本作为特征包来强化分类器的判别效果,达到从背景中区分目标的能力。这些方法考虑到目标周围的信息特征,但其选择的随机性决定目标模型更新过程的不确定性和不精确性。

为了增强跟踪精度,本文提出一种基于时空信息的实时相关滤波跟踪算法。利用目标与其周围空域信息存在空域上的相关性,构建目标空域滤波器模型,利用帧间的时序关系,累积更新空域滤波器模型构造出时空域滤波器模型；最终利用时空域滤波器模型与目标响应区域的卷积计算获得响应置信图,以响应置信图中响应的极大值点作为中心点,获取的目标区域。

1　相关滤波器跟踪理论

1.1相关滤波的原理

假如存在2组信号,信号f和信号g,通过卷积得到2组信息的相关性,在线性情况下,计算公式如下

(1)

在离散情况下,计算公式如下

(2)

式中f*为f的复共轭。2组信息的相关性就是衡量2组信号在某一时刻的相似程度。

相关滤波器应用于跟踪的核心思想为：2个信号越相似,其卷积得到的相关性越高。在跟踪过程中,通过搜索样本与模板之间的相关性,在卷积过程中,响应最大的样本即为最终的目标区域。

1.2误差最小平方和滤波器滤波跟踪方法

文献[5]提出利用误差最小平方和滤波器(minimum output sum of square error filter,MOSSE)的跟踪思路。假设已知滤波器模板模型h的情况下,通过输入样本f,计算对应的滤波器响应,计算公式如下所示

g=f⊗h

(3)

式中g为输入样本的响应输出。因此,在跟踪的过程中,需要不断计算更新每一时刻的滤波器模板模型h,以此对输入的样本卷积,响应最大的即为某时刻的目标区域。

为了保证算法的实时性,文献[5]通过快速傅里叶变换方法将式(3)中的卷积计算转换到频域内的点乘计算,式(3)可以表示为

F(g)=F(f⊗h)=F(f)⊙F(h)*

(4)

式(4)可以简化为

G=F⊙H*

(5)

因此,在跟踪过程中需要不断计算滤波器模板模型H*。

在MOSSE模型中,将m个目标图像作为输入,得到滤波器模板模型

(6)

通过不断计算滤波器模板模型H*来获取目标的区域。然而MOSSE模型在计算滤波模型的过程中,一方面提取多个目标图像块特征训练滤波器,造成特征间交叉冗余,影响学习跟踪速度;另外一方面MOSSE模型只利用了目标自身的信息特征,未考虑目标与其周围信息之间的空域相关性[9],在出现遮挡情况下,MOSSE算法容易受到遮挡物的干扰,最终导致丢失目标的情况出现。因此,本文提出利用目标与目标周围信息间的相关性构建空域滤波模型,考虑帧间的时序关系对跟踪目标的重要影响[10],构造出时空域滤波模型。在保证算法鲁棒性的同时,通过设置空域区域的方式避免了需要选取大量样本来计算样本响应,降低了计算量,提升了算法的速率。

2　基于时空信息的相关滤波跟踪算法

在跟踪过程中,目标区域某些特征在空间位置上保持相对稳定。例如:人脸定位时,脸部的眼睛和鼻子有着相对固定的空间距离,但眼睛与脸部以外的特征点的距离却时刻改变,本文把目标区域内部特征之间,以及其与目标周围区域存在的动态联系[9]称之为目标空域相关性。另外,相邻帧之间变化(很短时间内)可以合理地假定是平稳且很小的,当前帧包含的信息在下一帧中是相似的。即使目标渐入遮挡物时,虽然帧局部信息变化较大,但整体信息是相似的。基于连续帧之间的时序关系,当前帧的目标信息可为下一帧的目标区域预测提供先验知识[10],在一定程度上解决目标遮挡的影响。因此，本文将提出一种基于空域相关性和时域特性来构建滤波器模型的跟踪算法。

2.1空域相关滤波模型

图1中,实线框区域包含了目标及其周围信息,即本文所定义的空域ΩD,本文设其大小为目标区域(虚线框区域)的2倍。点x*为目标区域的中心点位置。中心点x*所对应的上下文空域为ΩD(x*),其信息特征{D(x)=(I(x),x)|x∈ΩD(x*)},其中,x表示上下文空域ΩD(x*)的像素点,I(x)表示其灰度值。

图1　空域示意图Fig 1　Diagram of spatial domain

由于目标在移动过程中,一般情况下极短时间内目标的移动偏移量在一定范围内。在设置输入样本f时,与MOSSE方法输入大量的候选样本图像不同,本文通过设置以点x*为中心点,2倍于前帧中目标区域的空域范围作为输入图像区域。考虑到随着空域中像素点x与目标中心x*的距离增加,目标中心x*与像素点x的空域相关性越小,符合高斯分布模式。构建输入函数f如下

f(x)=I(x)ωσ(x-x*)

(7)

式中ωσ为高斯分布函数,定义为

(8)

式中参数σ为跟踪过程中跟踪框高与宽的和的50 %。

与MOSSE方法相似,假设相关响应函数g(x)服从如下分布

(9)

式中x∈R2为目标位置,x*为目标区域的几何中心点位置,K为标准常量为1,参数α,β分别为尺度参数和形状参数。实验中,采用β=1,α=2.25,能够很好地确定最大值响应,即目标中心点位置。

假设空域滤波器模型为hsc(x),因此,根据式(3)得到

g(x)=f(x)⊗hsc(x)

(10)

为了保持算法的实时性,将上式的卷积运算转换为频域的乘积运算,见式(11)

F(g(x))=F(f(x))⊙F(hsm(x))

(11)

式中F为傅里叶变换函数,⊙为两个矩阵对应元素相乘。因此,可以学习得到目标空域滤波器模型

(12)

式中F-1为傅里叶逆变换函数。因此,得到目标空域相关滤波器模型。

2.2时空域相关滤波模型

hsc(x)是目标的空域相关滤波器模型,如图2所示考虑时间参数,得到如下时空域相关滤波模型,即

(13)

式中η为更新的学习率,在实验中，采用0.075这个值。

图2　相邻帧间时序关系Fig 2　Timing relationship of consecutive frames

2.3获取目标区域

最终,在输入t+1时刻样本图像ft+1(x)时,本文计算得到时空域相关滤波模型对应的响应输出,计算如下

(14)

式中⊗为卷积运算符。

图3中,最左侧图实线区域为目标空域,中间图为时空域相关滤波卷积模板,最右侧图即为响应输出对应的伪彩图。

(15)

由式(15)得到在t+1时刻目标的几何中心点位置,确定目标区域。

图3　基于时空域相关滤波模型的响应图Fig 3　Response map based on temporal-spatio domain related filtering model

2.4算法流程

利用目标及其周围信息的时空相关性构建时空域相关滤波模型,设置空域范围作为输入,获得对应的输出响应,响应的最大值即为目标的几何中心点,获得目标区域。算法流程如下：

1)初始化：初始化出首帧的目标跟踪窗,考虑到目标与其周围信息之间的相关性,构建出目标空域相关滤波模型。利用时间轴上连续帧之间的关系构建出目标时—空域相关滤波模型。

2)目标跟踪：读取下一帧,将卷积时—空域相关滤波模型计算得到响应输出,获得下一帧的目标跟踪窗。

a.根据目标上一帧的位置设置输入样本图像,根据式(14)计算得到卷积时空域相关滤波模型的输出响应。

b.遍历输出响应,利用式(15)计算得到响应最大值,作为目标的几何中心点,得到目标跟踪窗；

c.时—空域相关滤波模型更新：得到目标最优跟踪窗后,利用式(12)更新空域相关滤波模型,根据式(13)更新时—空域相关滤波模型。

5)结束：跳转到第2步。

3　实验结果与分析

为了验证算法的正确性和有效性,在Intel(R)Pentium(R) 2.9G Hz,内存4.0 GB的微机实现。重点对算法的鲁棒性进行检验,包括目标旋转、目标形变、局部遮挡以及快速运动等情况。除此之外,将算法与多示例学习(multiple instance learning,MIL)Track算法[8],MOSSE算法[5]进行了对比说明。本文中所有实验初始状态一致,实验所对比的标准跟踪框的数据来源于Benchmark[2]。

3.1对局部遮挡与纹理变化的实验

Woman序列实验是针对目标出现遮挡和纹理变化时,算法的抗干扰性能验证。

图4　Woman图片序列跟踪效果Fig 4　Tracking effect of Womans image serial sequences

图4中,在#127帧时目标Woman出现局部遮挡与纹理变化,MIL算法的跟踪窗出现偏移,且从此出现脱靶情况。MOSSE算法由于未考虑目标周围特征,因此,在出现局部遮挡之后出现偏移情况,较本文所提算法跟踪效果稍差。本文算法由于考虑了目标上下文环境,抗干扰性明显增强。本文算法考虑到时空特征,结合目标空域信息与相邻帧之间时序关系,跟踪效果最佳。

图5为三种算法的跟踪中心点位置与标准跟踪中心点的误差曲线分析图。横轴表示帧号,纵轴表示“跟踪窗中心点位置”与“真实目标中心点位置”偏离误差,从图5中可以看出MIL算法在#120帧开始出现较大的中心偏移,有的高达200个像素值。而本文算法算法充分利用目标与其周围信息,在目标出现遮挡情况下很好地计算出目标跟踪窗。兼顾了目标周围信息和时间特性。相比MOSSE算法，本文算法中心点偏差保持在10个像素点以内。

图5　Woman序列的跟踪中心点误差曲线图Fig 5　Center point error curve of tracking based on Woman sequences

3.2对严重遮挡与目标旋转形变的实验

Faceooc2序列实验是针对目标出现旋转和严重遮挡时,算法的抗干扰性能验证。

图6中,自#151帧起目标发生大面积遮挡,并且在序列过程中伴随平面内旋转。MIL和MOSSE算法不同程度出现跟踪窗偏移,从图中可以看出，在#188帧,MOSSE算法跟踪偏移严重,而本文算法跟踪效果最佳。

图6　Faceooc2图片序列跟踪效果Fig 6　Tracking results of Faceooc2 sequences

图7　Faceocc2序列的跟踪中心点误差曲线图Fig 7　Center point error curve of tracking based on Faceocc2 sequences

从图7看出,在目标出现严重遮挡和旋转变化时,MOSSE算法跟踪效果最差,中心偏差误差曲线中偏离最大。说明了本文算法在相关滤波框架下利用目标的时间和空间特征更好地克服遮挡对跟踪算法的影响。

4　结　论

本文算法利用目标与其周围空域信息,以及该目标在时间轴上相邻帧之间的联系,建立目标的时空域滤波模型。另外,本文算法引入时间变量来在线更新时空域滤波模型,利用相邻帧的时序关系以及其信息的相似性,以前一帧的信息辅助预测渐入遮挡物的后续帧目标状态,提高算法抗遮挡的鲁棒性。通过实验证明：本文算法在目标出现旋转形变、纹理改变、光照变化、局部遮挡甚至严重遮挡时,依然保持良好的鲁棒性。

[1]Fan Jialue,Shen Xiaohui,Wu Ying.Scribble Tracker:A matting-based approach for robust tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(8):1633-1644.

[2]Black M,Jepson A.Eigentracking:Robust matching and tracking of articulated objects using a view-based representation[J].International Journal of Computer Vision,1998,26:63-84.

[3]Ross D,Lim J,Lin R,et al.Incremental learning for robust visual tracking[J].International Journal of Computer Vision,2007,77(1-3):125-141.

[4]Bolme D S,Beveridge J R,Draper B A,et al.Visual object tra-cking using adaptive correlation filters[C]∥IEEE Conference on Computer Vision & Pattern Recognition,IEEE,2010:2544-2550.

[5]Danelljan M,Häger G,Khan F,et al.Accurate scale estimation for robust visual tracking[C]∥Proc of British Machine Vision Conf,Nottingham UK，2014.http:∥dx.doi.org∥10.5244/C.28.65.

[6]Avidan S.Ensemble tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29:261-271.

[7]Babenko B,Yang M H,BELONGIE S.Robust object tracking with online multiple instance learning[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(8):1619-1632.

[8]Grabner H,Matas J,Van G L,et al.Tracking the invisible:Learning where the object might be[C]∥Proceedings of the IEEE Computer Society Conf on Computer Vision and Pattern Recognition,San Francisco,CA,2010:1285-1292.

[9]Wen L Y,Cai Zh W,Zhen L,et al.Robust online learned spatio-temporal context model for visual tracking[J].IEEE Transactions on Image Processing,2014,23(2):785-796.

Real-time correlation filtering target tracking based on spatio-temporal feature

ZHAO Ao-dong1,2, SHI Lei1, LIU Fei1

(1.School of Internet of Things Engineering,Jiangnan University,Wuxi 214122,China;2.Wuxi Institute of Technology,Wuxi 214121,China)

To solve efficient problem of object tracking in terms of texture changes,illumination changes,rotational changes and even occlusion,propose a real time target tracking algorithm based on correlation filtering of spatial-temporal information.The proposed algorithm has considered that the object is relative to surrounding information in spatial area,which can be used to construct target spatial filtering model in the process of target localization.Moreover,this algorithm introduces temporal variables to update spatial filtering model online,using information similarity between consecutive frames to decrease effects of occlusion on tracking.Through experiment contrast,it is verified that the proposed algorithm has strong robustness and good real-time performance when the target is under interference of non-ideal factors.

correlation filtering; spatial area; spatial-temporal information; real-time tracking

2016—05—09

TP 391

A

1000—9787(2016)08—0119—04

赵翱东(1977-),男,江苏无锡人,硕士研究生,讲师,研究方向为智能控制、模式识别。

DOI:10.13873/J.1000—9787(2016)08—0119—04