利用空间结构信息的相关滤波目标跟踪算法

胡秀华 王长元 肖锋 王亚文

摘 要：为解决在典型相关滤波框架模型中样本信息判别性低引起的跟踪漂移问题，提出一种利用空间结构信息的相关滤波目标跟踪算法。首先，引入空间上下文结构约束进行模型构建的优化，同时利用正则化最小二乘与矩阵分解思想实现闭式求解;然后，采用互补特征用于目标表观描述，并利用尺度因子池处理目标尺度变化情况;最后，借助目标运动连续性进行目标受遮挡影响情况的判定，设计相应的模型更新策略。实验结果表明，在多种典型测试场景中所提算法的准确率较传统算法提高了17.63%，成功率提高了24.93%，可以取得较为鲁棒的跟踪效果。

关键词：目标跟踪;相关滤波;空间结构信息;模型优化;更新策略

中图分类号：TP391.4

文献标志码：A

文章编号：1001-9081（2019）04-1150-07

Abstract： To solve the tracking drift problem caused by the low discriminability of sample information in typical correlation filtering framework， a correlation filter based object tracking algorithm with spatial structure information was proposed. Firstly， the spatial context structure constraint was introduced to optimize the model construction， meanwhile， the regularized least square and matrix decomposition idea were exploited to achieve the closed solution. Then， the complementary features were used for the target apparent description， and the scale factor pool was utilized to deal with target scale changing. Finally， according to the occlusion influence of target judged by motion continuity， the corresponding model updating strategy was designed. Experimental results demonstrate that compared with the traditional algorithm， the precision of the proposed algorithm is increased by 17.63%， and the success rate is improved by 24.93% in various typical test scenarios， achieving more robust tracking effect.

Key words： object tracking; correlation filter; spatial structure information; model optimization; updating strategy

0 引言

作為计算机视觉领域的重要研究方向，目标跟踪技术得到了越来越多的关注，并广泛应用在视频监控、智能导航、远程医疗等诸多方面。尽管目前已取得多类别框架的研究成果，但由于受到自身形变及运动变化、外界光照及相似物体干扰等复杂因素影响，目标的表观模型持续发生变化，研究能够有效自适应多种复杂条件的目标跟踪算法仍然是一项棘手且重要的任务[1-3]。

相关滤波理论将输入特征回归为目标高斯分布来训练滤波器，并通过分类器置信图响应值进行目标位置估计，由于采用密集采样并将空域中的卷积操作变换为了频域中元素的点乘运算，使得其在跟踪性能及计算效率方面具有诸多优势，得到了研究学者越来越多的重视[4]。Henriques等[5]指出通过循环位移操作可以近似得到样本采样窗口位移，并利用二维分块循环矩阵表示样本目标周围的循环位移采样，进而借助傅里叶变换实现高效学习与检测。在此基础上，Henriques等[6]又分析了模型数据与核矩阵的循环特性，指出循环矩阵的对角化可以借助离散傅里叶变换进行高时效的处理，并基于线性回归与核脊回归模型分别给出了线性相关与对偶相关的滤波器。Zhang等[7]基于贝叶斯框架建立了目标与其周围区域的时空上下文关系，将目标跟踪问题转化为了分类器置信图的求解，通过最大化目标位置似然函数求得最佳目标状态估计，采用的傅里叶变换方法保证了算法的计算实时性。基于相关滤波框架，Li等[8]给出了一种尺度自适应跟踪策略，利用尺度池的思想解决了典型核相关滤波跟踪算法中目标图像块搜索窗尺寸固定的问题，同时，采用的特征融合方法进一步增强了算法性能。通过学习状态转移和尺度估计两个相对独立的滤波器，Danelljan等[9]给出了尺度空间特征金字塔描述学习的判别式相关滤波模型，能够有效用于尺度变化问题。钱堂慧等[10]通过采集多尺度图像训练得到多尺度分类器，实现了目标最佳尺度检测，一定程度上解决了基于检测的核相关滤波跟踪算法不能有效处理目标尺度变化的问题。胡秀华等[11]利用物体建议边界框检测原理对核相关滤波器求得的目标初步预测状态进行精处理，同时设计了遮挡情况判定准则，能够有效用于目标表观信息判别性低的场景，为后续研究提供了有益思路。

但是值得注意的是，典型的相关滤波跟踪算法假设目标所处环境背景单一或均匀变化且运动状态变化缓慢，当实际应用中视频序列受多种复杂因素干扰影响且目标快速运动或严重形变时，这种假设往往不再成立，典型相关滤波算法的跟踪效果也受到了一定程度的影响。针对相关滤波模型存在的典型边界受限问题，Danelljan等[12]通过引入空间正则化项对相关滤波器系数空间进行位置补偿，在更大范围内采样得到强判别性的负样本，同时给出了基于高斯塞德尔方法的优化策略，为后续研究提供了有益思路。Mueller等[13]提出了一种新的相关滤波框架，通过增加目标块的上下左右四部分图像块进行模型约束，增加了更多的背景信息，可以有效处理旋转等变化，而且新的模型框架具有闭环解，计算效率较高。Bibi等[14]旨在基于精确的变换检测得分解决滤波优化与目标响应问题，给出的模型框架侧重于处理边界影响，更适合处理快速运动与目标遮挡情况。Lukezic等[15]将通道可靠性与空域可靠性引入典型判别式相关滤波框架，并利用通道可靠性得分作为特征加权系数实现目标定位，可以有效扩大搜索区域，改善非矩形目标跟踪效果。

因此，整体看来，相关滤波器的循环采样过程容易受图像边界限制影响，且候选目标搜索范围大多局限在小的局部区域内，这使得相关典型算法在目标存在快速运动或外界遮挡干扰影响时出现跟踪漂移。现有研究成果虽然在一定程度上考虑了边界受限，但在空间结构信息的利用、样本选择与模型构建等方面还有待深入研究。

1 问题分析

典型相关滤波算法在样本目标图像块循环移位至图像边缘附近时易受到边界效应影响，由此产出的错误样本会减弱分类器的判别性能，采用的余弦窗处理虽然在一定程度上缓解了边界影响，但是余弦窗将图像块的边缘区域像素全部变为零，过滤掉了大量的需要学习的背景信息，降低了分类器的判别力。现有研究方法中采用了较大检测区域的图像块与较小作用域的滤波器来提高真实样本的比例，虽然可以提升快速运动目标的跟踪鲁棒性，但却大幅削弱了相关滤波类别算法的实时性优势。本文拟利用空间结构约束进行目标模型优化，可在不降低计算有效性的同时提升样本信息的多样性，并通过模型学习有效降低背景干扰信息的影响。

2 本文算法

针对典型相关滤波算法模型容易受到图像边界范围限制的问题，考虑到依靠余弦窗滤波处理虽然可以缓解边界受限但却降低了背景信息的利用，本文引入空间结构约束进行模型构建的优化，以提高样本信息的多样性与判别性;借助互补特征提高目标表观描述的有效性，并利用尺度因子池处理目标尺度变化情况;同时，通过目标受遮挡影响情况的判定，设计模型更新策略，用于改善目标在复杂场景中的跟踪性能。所提算法整体框架如图2所示。

2.1 目标模型的优化

对于典型的核相关滤波跟踪算法，分类器的训练过程可以看作岭回归问题，即

对于多通道特征，需要进一步利用多特征的相互独立性及共轭梯度下降方法进行求解。

由式（5）可看出，上下文图像块的选择对模型优化结果起着重要影响，为充分利用空间结构信息，本文拟在全局空间中选取先前帧数中被判定为干扰背景所对应的图像块及其周围区域采样得到的与先前帧跟踪结果不重叠的图像块作为上下文图像块，可以在保证计算效率的同时增强样本的多样性和判别性。通过求解式（5）可以得到优化的相关滤波器训练模型，进而用于当前帧候选图像块最佳位置预测。部分特征通道下上下文图像块及其对偶值的点乘结果示意效果如图3所示。

是否利用空间结构信息进行分类器模型优化所得到的目标响应效果如图4所示。

图4（a）给出了第39帧目标位置框信息。从图4（b）、（c）可看出：在外界物体遮挡干扰情况下，考虑空间结构信息的目标模型得到的最大响应值受周围干扰影响相对较小，在最佳目标状态确定时能够更好地区分目标与背景。

2.2 目标表观描述与尺度自适应

为提高样本信息的多样性与判别性，文中采用颜色特征与方向梯度直方图（Histogram of Oriented Gradients， HOG）两种互补特征进行表观描述。在颜色特征提取方面，将红绿蓝（Red Green Blue， RGB）三种颜色属性细化为11种基本颜色;在HOG特征提取方面，对于图像块中每一个细胞单元，提取得到31维HOG特征向量，其中27维对应不同的方向通道，4维对应不同的归一化因子;最终将提取得到的HOG特征与颜色特征串联起来形成具有42通道的融合特征。

与此同时，尺度变化是跟踪过程中不容忽视的基本问题，对于因目标与传感器相对距离变化以及因外界遮挡或自身形变所导致的尺度变化情况，如果不考虑尺度因子，当目标尺度相对缩小时，大量背景信息容易引入跟踪滤波器，当目标尺度相对增大时，目标局部信息便容易丢失，这两种情况都很导致跟踪漂移乃至失败。本文利用多尺度缩放检测的思想解决目标尺度变化问题，定义尺度因子池S={s1，s2，…，sL}，L为尺度变化数目，假定模板尺寸为rT，初始目标搜索窗尺寸为rs，对于依据各个尺度因子sl采集到的图像块尺寸slrs，在求取响应值时将其归一化为rT，然后依据式（8）求得最佳响应值及其对应的目标尺度，即

其中：zsl為尺寸对应于slrs的候选样本图像块。通过在多尺度缩放的图像块集合上进行目标检测，可以求得响应值最大的候选图像块位置及相应尺度。

2.3 模型更新策略

目标表观在连续帧间动态变化，需要对样本及分类器进行适时更新，尤其当目标受遮挡或外界干扰影响时，合理的更新处理才能避免出现跟踪漂移。通过研究当前帧与先前帧之间的相关性以及目标连续帧之间的时间平滑性，可以定义目标表观变化率，并部分描述目标表观受遮挡或干扰影响等情况[11]。

峰值旁瓣比（Peak to Sidelobe Ratio， PSLR）可用来量化相关性峰值的锐度，PSLR的值OPSLR越高，表明当前帧与先前帧之间的相关程度越高，则在第t帧有

其中：dtmax为置信图峰值; μt、σt分别为置信图旁瓣的均值与标准差。

置信图平滑约束（Smooth Constraint of Confidence Map， SCCM）可用来描述目标连续帧之间具有的时间平滑性，SCCM的值OSCCM越高，表明当前帧与先前帧之间的平滑程度越差，且有

其中：为置信图在连续帧间的偏移操作，Δ为连续帧间置信图最大值位置之间的偏移量，dt-1、dt分别为第t-1与第t帧对应的置信响应图。

因此，可以定义目标表观变化率η，即

其中：ζ为相关性锐度与置信图平滑度之间的平衡因子，依据目标表观变化率及设置的表观变化阈值可以对目标受外界遮挡或背景干扰影响情况作出初步判定。

对于某测试序列，可以得出目标跟踪过程中各时刻的目标表观变化情况，如图5所示。

设置遮挡阈值为ξ，依据当前帧最佳目标受遮挡情况完成系数矩阵与样本目标表观更新。

2.4 时间复杂度分析

本文算法计算耗时主要集中在模型优化求解、目标状态估计以及模型更新方面。在模型求解方面，计算耗时主要取决于式（6），时间复杂度可表示为O（CMN），对于多通道特征，则需要对所有维特征通道进行计算，利用求和得出;在最佳目标估计方面，需要求解检测响应置信图峰值，计算耗时主要取决于式（7），涉及点积、傅里叶变换及逆傅里叶变换等操作，时间复杂度可表示为O（ log ），其中，×为考虑尺度因子的目标跟踪区域;在模型更新方面，计算耗时取决于式（12）～（13），主要涉及矩阵求和运算，时间复杂度可以记为O（RcRl），其中Rc×Rl为模型系数矩阵大小。

3 实验与结果分析

本文算法的实现环境为Matlab2018a，CPU为i5-7200U，双核四线程，主频为2.5GHz，内存为8GB。设每个细胞单元大小为4×4个像素，高斯核函数带宽σ1=0.5，上下文图像块采样个数为4，多尺度因子池取为[1，0.985，0.99，0.995，1.005，1.01，1.015]，平衡因子为ζ=1，遮挡阈值为ξ=0.7，模型更新学习率为ρ=0.01。为验证本文算法的有效性，选择基准库中的8组具有背景干扰、光照变化、尺度变化、旋转与形变、运动模糊及遮挡等复杂情况的视频序列进行测试，并与6种典型算法相比，包括：利用核的循环结构（Circulant Structure of tracking-by-detection with Kernels， CSK）[5]、时空上下文学习（Spatio-Temporal Context learning， STC）[7]、核相关滤波（Kernelized Correlation Filter， KCF）[6]、判别性尺度空间跟踪（Discriminative Scale Space Tracking， DSST）[9]、多特征尺度自适应滤波（Scale Adaptive filter with Multiple Features， SAMF）[8]、空间正则化判别性相关滤波（Spatially Regularized Discriminative Correlation Filter， SRDCF）算法[12]，

并采用中心位置误差（Center Location Error， CLE），即人工手动标定给出的目标中心位置标准值与各跟踪算法得到的目标中心位置大小估计求得的值之间的距离，以及边界框重叠率（Bounding Box Overlap Rate， BBOR），即基准结果区域与跟踪算法跟踪结果区域的交与并结果中像素个数比值定量评价各跟踪算法性能。

3.1 定量评价

不同时刻不同算法在各测试序列中的中心位置误差值如图6所示，不同时刻不同算法在各测试序列中的边界框重叠率如图7所示，不同算法在各测试序列中的中心位置误差平均值、整体跟踪准确率（Precision Rate， PR）（依据中心位置误差阈值（20个像素））、边界框重叠率平均值、整体跟踪成功率（Success Rate， SR）（依据边界框重叠率阈值（0.6）），以及各算法在测试序列中的每帧平均耗时（Average Time Per Frame， ATPF）如表1～2所示。

由圖6～7可看出，本文算法充分利用了目标空间上下文结构信息，在求得最佳目标状态时能够更好地区分目标与背景。通过引入的尺度因子池可以更有效地估计出目标中心位置及尺寸大小，同时，引入的运动连续性及模型更新过程中目标表观受遮挡影响情况的判定，使得新算法能够更有效地适应外界遮挡及干扰等复杂情况，适用性好。

从表1～2可看出：本文算法可以充分利用空间结构信息优化分类器模型的构建，并通过尺度自适应处理和遮挡情况判定提高算法对复杂场景的适应能力，在各典型测试环境下均取得了相对较优的跟踪效果，虽然计算实时性相对较低，但整体跟踪性能稳定。与SRDCF算法相比，本文算法的跟踪准确率提高了17.63%，成功率提高了24.93%。

3.2 定性评价

部分时刻各算法在不同典型测试序列上的部分跟踪效果如图8所示。

bird2测试序列中存在目标自身的旋转运动形变和背景物体的遮挡干扰等情况，如图8（a）所示。在第10帧，受外界物体遮挡影响，CSK和STC算法出现了明显的跟踪漂移;在第46帧时，目标做反方向运动，各算法跟踪误差都有所增加，DSST和SRDCF等算法逐渐丢失了目标，在后续的跟踪过程中也没有能够重新找回目标，但SAMF和本文算法能够快速地找准目标，有效实现较为完整的跟踪过程。

box测试序列中目标受外界遮挡影响严重，并存在背景干扰、旋转形变与尺度变化等复杂因素，如图8（b）所示。在第88帧，目标在旋转过程中出现运动模糊，CSK算法跟踪误差明显增加并导致跟踪失败;在第447帧后，目标逐渐被外界遮挡并移入复杂背景中，KCF和SRDCF等算法不能重新找回目标，跟踪误差明显增加直至丢失目标，整体看来，SAMF和本文算法能有效实现完整跟踪，跟踪性能相对较优。

coke测试序列中目标做持续旋转运动，并在部分时刻被完全遮挡，如图8（c）所示。在第36帧，受外部遮挡影响，STC算法存在明显跟踪漂移乃至跟踪失败;在第56～75帧，受目标旋转变形影响，KCF和SAMF算法跟踪误差显著增加;而在第251～273帧，目标受外界遮挡干扰，SAMF、SRDCF和本文算法跟踪误差都有所增加，但在遮挡情况消失时本文算法能快速重新准确估计出目标运动状态，其中，由于本文算法考虑了目标空间结构信息与遮挡情况判定，跟踪性能相对较优。

dudek测试序列中目标受光照和背景干扰影响，并伴随持续运动与尺寸变化，如图8（d）所示。在第681～746帧，目标在背景干扰中运动，各算法跟踪误差都有明显增加;在第786帧之后，目标表观变化明显，STC算法出现明显跟踪漂移，而在第927帧，目标面部旋转明显，KCF和SAMF等算法也出现不同程度的跟踪漂移，而利用空间结构信息和表观变化情况判定的本文算法跟踪效果较为稳定。

faceocc1測试序列中目标受外界遮挡与干扰情况显著，如图8（e）所示。随着外界遮挡面积的逐渐增加及减小，各跟踪算法性能出现明显波动，而在第216帧之后，随着遮挡物的出现与移走，STC算法跟踪误差明显增大，并逐渐丢失目标;整体看来，SAMF和本文算法跟踪效果相对较优。

jogging测试序列中目标受严重遮挡及相似物体干扰影响，如图8（f）所示。在第62帧，受外界遮挡物干扰影响，各算法跟踪误差都有明显增加，随着遮挡物的移除，KCF和DSST等算法出现明显跟踪漂移，而SRDCF和本文算法能够快速找回目标，跟踪效果良好。

suv测试序列中目标受外部遮挡和背景干扰严重，如图8（g）所示。在第511帧，受严重遮挡影响，目标逐渐淡出视野，CSK算法出现明显的跟踪偏差;在第793帧，随着遮挡物的移除，STC算法出现明显跟踪漂移直至跟踪失败;整体看来，KCF和本文算法对目标运动趋势判定基本正确，且KCF跟踪性能明显优于其他算法。

trellis测试序列中目标受到强烈背景光照变化的干扰，并存在自身旋转与尺度变化，如图8（h）所示。受旋转形变与光照变化影响，在第241～439帧，CSK算法跟踪误差相对较大;在第412帧之后，受光照变化和背景干扰影响，STC算法出现明显跟踪漂移乃至丢失目标;整体看来，SAMF和本文算法取得了较为鲁棒的跟踪效果。

4 结语

针对典型相关滤波算法中样本信息判别性不足的问题，本文给出了一种利用空间结构信息的目标跟踪算法。通过引入空间结构约束实现了模型构建的优化，一定程度上减少了图像边界范围受限的影响，提高了样本信息的多样性与判别性;采用的互补特征能够有效表征目标表观描述，引入的尺度因子池有助于处理目标尺度变化情形;此外，依据目标受遮挡影响情况设计了模型更新策略，可以有效适应目标表观变化。实验的定量和定性分析结果验证了所提算法在多种复杂场景中能有效解决目标跟踪性能低的问题。下一步的工作将着重研究不同通道特征之间的加权融合，并利用分块处理解决遮挡问题。

参考文献（References）

[1] WU Y， LIM J， YANG M H. Object tracking benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1834-1848.

[2] KRISTAN M， LEONARDIS A， MATAS J， et al. The visual object tracking VOT2016 challenge results[C]// ICCV 2016： Proceedings of the 2016 IEEE International Conference on Computer Vision Workshops. Washington， DC： IEEE Computer Society， 2016： 98-111.

[3] 胡秀华. 复杂场景中目标跟踪算法研究[D]. 西安： 西北工业大学， 2017：19-28. （HU X H. Research on object tracking algorithm in complex environment[D]. Xi'an： Northwestern Polytechnical University， 2017： 19-28.）

[4] CHEN Z， HONG Z， TAO D. An experimental survey on correlation filter-based tracking [EB/OL]. [2018-05-26].https：//arxiv.org/pdf/1509.05520.

[5] HENRIQUES J F， CASEIRO R， MARTINS P， et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]// ECCV 2012： Proceedings of the 2012 European Conference on Computer Vision. Berlin： Springer， 2012： 702-715.

[6] HENRIQUES J F， RUI C， MARTINS P， et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（3）： 583-596.

[7] ZHANG K H， ZHANG L， LIU Q S， et al. Fast visual tracking via dense spatio-temporal context learning[C]// ECCV 2014： Proceedings of the 2014 European Conference on Computer Vision. Berlin： Springer， 2014： 127-141.

[8] LI Y， ZHU J. A scale adaptive kernel correlation filter tracker with feature integration[C]// ECCV 2014： Proceedings of the 2014 European Conference on Computer Vision. Berlin： Springer， 2014： 254-265.

[9] DANELLJAN M， HAGER G， KHAN F， et al. Accurate scale estimation for robust visual tracking[C]// CVPR 2014： Proceedings of the 2014 Proceedings of the British Machine Vision Conference. Nottingham： British Machine Vision Association Press， 2014： 65.1-65.11.

[10] 錢堂慧， 罗志清， 李果家， 等. 核相关滤波跟踪算法的尺度自适应改进[J]. 计算机应用， 2017， 37（3）： 811-816. （QIAN T H， LUO Z Q， LI G J， et al. Scale adaptive improvement of kernel correlation filter tracking algorithm [J]. Journal of Computer Applications， 2017， 37（3）： 811-816.）

[11] 胡秀华， 郭雷， 李晖晖. 一种利用物体性检测的目标跟踪算法[J]. 西安电子科技大学学报（自然科学版）， 2017， 44（4）： 86-94. （HU X H， GUO L， LI H H. An object tracking algorithm based on objectness detection[J]. Journal of Xidian University， 2017， 44（4）： 86-94.）

[12] DANELLJAN M， HAGER G， KHAN F S， et al. Learning spatially regularized correlation filters for visual tracking[C]// ICCV 2015： Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2015： 4310-4318.

[13] MUELLER M， SMITH N， GHANEM B. Context-aware correlation filter tracking[C]// CVPR 2017： Proceedings of the 2017 IEEE International Conference on Computer Vision and Pattern Recognition.  Washington， DC： IEEE Computer Society， 2017： 1387-1395.

[14] BIBI A， MUELLER M， GHANEM B. Target response adaptation for correlation filter tracking[C]// ECCV 2016： Proceedings of the 2016 European Conference on Computer Vision. Berlin： Springer， 2016： 419-433.

[15] LUKEZIC A， VOJIR T， ZAJC L C， et al. Discriminative correlation filter with channel and spatial reliability[J]. International Journal of Computer Vision， 2018， 126（7）： 671-688.

[16] RIFKIN R， YEO G， POGGIO T. Regularized least squares classification[EB/OL]. [2018-07-26]. http：//citeseerx.ist.psu.edu/viewdoc/download？doi=10.1.1.7.3463&rep=rep1&type=pdf.