具有空间调整和稀疏约束的相关滤波跟踪算法

田 丹，臧守雨，涂斌斌

具有空间调整和稀疏约束的相关滤波跟踪算法

田 丹，臧守雨，涂斌斌

(沈阳大学信息工程学院，辽宁 沈阳 110044)

因频繁遮挡、尺度变化、边界效应等因素的影响，进行目标跟踪时，时常难以达到较好的预期效果。再有，采用传统特征提取策略也会影响目标跟踪的鲁棒性。针对上述问题，提出一种具有空间调整和稀疏约束的相关跟踪算法。利用传统特征与深度特征的有效融合，适应目标表观变化；基于峰值旁瓣比判别目标在跟踪过程中是否被遮挡，若发生遮挡，则对滤波器进行稀疏正则化约束，提高模型对遮挡问题的鲁棒性；若未发生遮挡，则通过高斯空间调整惩罚滤波器系数，抑制边界效应的影响。实验利用OTB数据集中5组涵盖了严重遮挡和尺度变化等挑战因素的标准视频序列进行测试，定性和定量对比了算法与4种热点算法的跟踪效果。定性分析中基于视频序列的主要挑战因素进行比较，定量分析通过中心点位置误差和重叠率比较跟踪算法的性能。实验结果表明，算法对上述挑战因素更具鲁棒性。

目标跟踪；相关滤波；深度特征；稀疏约束；空间调整

目标跟踪[1]是计算机视觉的一个热点研究领域，广泛应用于人机交互[2]、视频监控[3]、无人驾驶[4]、医学诊断[5]等领域。在过去二十年中，目标跟踪受到了越来越多的关注。但是，目标跟踪任务仍然会受到目标表观形变、尺度变化、遮挡等问题的影响，所以跟踪算法的研究仍然具有挑战性[6]。

相关滤波[7]作为目标跟踪的一个热点研究方法，因计算量小、运行速度快、鲁棒性强而广泛受到关注。DANELLJAN等[8]在相关滤波的基础上引入空间正则项，使用Gauss-Seidel函数求解滤波器，解决边界效应问题。ZHANG等[9]提出一种多任务相关粒子滤波器跟踪算法，将粒子滤波与相关滤波相融合，使滤波器在训练时可以学习不同特征之间的联系，在尺度变化和计算方面具有优势性。LI等[10]在空间调整相关滤波器(spatially regularized correlation filters，SRDCF)算法的基础上加入时间正则项，提出时空正则化相关滤波器，在抑制边界效应的同时，可以提高模型跟踪速度，并得到更加鲁棒的目标跟踪结果。XU等[11]将结构化稀疏约束应用到多通道滤波器，利用增广拉格朗日方法实现有效的滤波器学习和特征选择，减轻了滤波器退化，保持了外观多样性，一定程度上抑制了空间边界效应对目标跟踪产生的影响。

上述方法从边界效应、尺度变化、跟踪速度等方面对相关滤波算法进行了优化，但未考虑到频繁遮挡对目标跟踪的影响。针对这一问题，本文利用峰值旁瓣比来判别目标是否被遮挡，当发生遮挡时，引入稀疏约束更新滤波器来增强跟踪算法的鲁棒性。若未发生遮挡，则通过高斯空间调整方法惩罚滤波器系数，抑制边界效应的影响。此外，在保证训练效率的前提下，针对目标外观多样性带来的负面效应，将传统特征与深度特征[12]融合来描述目标表观特征变化，并引入时间正则化惩罚项构建相关滤波器。提出的滤波器对跟踪过程中遇到的目标遮挡、尺度变化等因素具有一定的鲁棒性。

1 相关工作

1.1 判别式相关滤波跟踪原理

依据工作原理划分，目标跟踪算法可以分为生成式和判别式2大类。生成式方法使用生成模型来描述目标表观特征，再通过搜索区域来最小化重构误差。判别式模型通过训练分类器以区分目标和背景，从而确定目标位置。判别式方法因能显著区分背景与前景信息，更具鲁棒性，在目标跟踪领域受到广泛关注。

基于判别式的相关滤波器利用第一帧给定的目标特征训练滤波器，选取训练样本，使得滤波器作用于序列时产生输出响应，其中输出响应值最大的区域就被认为是目标所在的区域。每个目标块对应的响应值为

1.2 STRCF算法介绍

判别式相关滤波跟踪算法通过循环移位方法构建训练样本集，由于该样本集存在非真实样本，易引发边界效应问题。时空调整相关滤波器(spatial-temporal regularized correlation filters，STRCF)算法[10]利用正则化方法，对滤波器进行空间惩罚，使得训练出的滤波器更能集中在目标的中心区域。同时，加入时间正则化项来建立相邻滤波器之间的关系，有效地解决了滤波器退化的问题。并通过下述优化问题更新相关滤波器，即

2 跟踪算法的提出

2.1 模型建立

考虑到方向梯度直方图特征(histogram of oriented gradient，HOG)、颜色特征(color naming，CN)和灰度特征(Gray)能分别反映运动模糊、目标形变和光照变化情况，本文从特征融合角度入手，将上述3方面特征与深度特征相融合，利用样本数据自动学习目标特征，从而实现对目标形态的有效判别。此外，针对遮挡频繁持续存在，容易造成目标漂移，甚至遮挡物被误认为跟踪物的问题，本文基于峰值旁瓣比判别目标是否被遮挡，当发生遮挡时，引入稀疏约束更新滤波器，若未发生遮挡，利用高斯空间调整抑制边界效应的影响。提出具有空间调整和稀疏正则化约束的相关滤波跟踪模型，分别由数据残差项，空间调整项，稀疏约束项和时间正则项组成，即

其中，为滤波器的权重，当峰值旁瓣比(peak sidelobe ratio，PSR)大于阈值时，令=1，表示目标未被遮挡，该情况下模型利用参数对滤波器进行惩罚抑制边界效应的影响，当峰值旁瓣比小于等于时，令=0，表示目标受遮挡影响，对滤波器进行稀疏约束增强跟踪对外观变化的鲁棒性。此外，21范数通过计算每个空间位置的2范数，然后作用于1范数，来实现联合稀疏；||–f–1||2是时间正则项。

相关滤波算法是通过循环移位初始帧得到训练样本集，再与滤波器卷积求相关响应值，从而预测目标位置。但初始帧循环移位到边界时，学习样本为非真实样本。因此，在学习滤波器时，靠近滤波器中心的系数更可靠。如果对中的每个滤波系数指定相同的惩罚参数，除了背景滤波系数外，还可能抑制目标区域内的滤波系数，将降低目标跟踪的精度，甚至会导致目标漂移问题。因此，为了更好地保留滤波器中属于目标区域的系数，同时又要抑制目标区域之外的系数，可根据每个滤波器的空间位置为每个滤波器系数指定不同的惩罚系数，即

其中，(a,b)为图像的中心位置；×为目标尺寸。

2.2 模型求解

2.2.1 交替方向乘子法

交替方向乘子法(alternating direction method of multipliers，ADMM)是一种求解优化问题的计算框架。ADMM旨在将对偶上升法的可分解性和乘子法的上界收敛性融合在一起，通过将全局问题分解为多个较小、较容易求解的局部子问题，并协调子问题的解而得到全局最优解。具体描述为

为了增强对偶上升法的鲁棒性与函数的强凸约束，引入增广拉格朗日形式，即

其中，为步长参数。进一步转化为对，的交替迭代，具体框架可描述为：

步骤1.初始化0，0，>0。

步骤2.计算

步骤3.若满足终止条件则停止迭代并输出结果；否则返回步骤1。

在，为闭凸正则函数情况下，残差、目标函数及对偶函数均收敛[13-14]。

2.2.2 求解模型

式(4)中各项均为凸函数，可以利用ADMM方法求解。

具体步骤如下：引入辅助变量，令=，则模型的增广拉格朗日形式可以表示为

由于式(4)无闭环解，故在此基础上，使用ADMM优化算法将式(11)转换为对下列子问题的求解，即

将模型的求解转化为对2个子问题的求解：

(1) 子问题：其可以在傅立叶域改写为

对上式求导，并令导函数为0，可以求得子问题的解为

其中，为单位矩阵；(·)为沿所有通道并由的第个元素组成的向量。

(2) 子问题：其没有涉及空域上的卷积运算，因此直接对子问题求导可得空域上的闭环解。

①当=1时，

②当=0时，

最后，通过步长参数的自适应更新，来控制收敛效率。

其中，为尺度因子。

利用ADMM算法，使得每个子问题均存在闭环解，并且能够保证收敛到全局最优。此外，经过研究发现，ADMM算法在大多数序列上可以在2次迭代内收敛，因此，为了提高效率，本文把最大迭代次数N设置为2。

2.3 算法总体流程

目标跟踪算法流程如图1所示。首先输入视频序列首帧目标位置信息和尺度信息。引入HOG，Gray和CN特征并对视频序列进行卷积特征提取，将传统特征与深度特征进行有效融合。其次根据上一帧目标信息训练滤波器模板，根据响应值得到新一帧目标位置和尺度信息。再利用新一帧目标信息更新滤波器模板，其通过PSR值判断是否遮挡，若出现遮挡则建立稀疏约束模型更新滤波器模板，进而提高模型对遮挡问题的鲁棒性；反之，则建立空间调整模型更新滤波器模板，即通过高斯空间调整惩罚滤波器系数，抑制边界效应的影响。最终输出视频序列每帧的目标位置。

图1 算法流程图

3 实验结果分析

3.1 实验条件

为了验证算法在复杂场景下跟踪的鲁棒性，本文算法基于MATLAB2019a软件实验平台和Intel(R)Core(TM) i5-6200U CPU硬件实验环境，并利用OTB数据集中的标准视频序列进行测试。算法参数设置如下：=15，(0)=10，max=100，尺度因子=1.01。

此外，为了定量分析比较跟踪算法精确度，定义目标跟踪的中心点位置误差(center point error，CPE)为

其中，(x,y)为跟踪算法标注的目标中心点坐标；(x,y)为OTB数据集标注的目标中心点坐标。中心点位置误差度量了二者间的欧氏距离，该数值结果越小，跟踪的精确度越高。

3.2 算法性能比较

3.2.1 定性实验

定性实验中，对本文算法与SRDCF[8]，多任务相关滤波器(multi-task correlation particle filter，MCPF)[9]，STRCF[10]和自适应学习判别相关滤波器(learning adaptive discriminative correlation filters，LADCF)[11]4种热点算法进行了效果对比，分别处理了OTB数据集中的Basketball，Biker，DragonBaby，Kitesurf和Panda5组视频序列，如图2所示。面向视频序列中的主要挑战因素，可以看出：

(1) 尺度变化情况。视频Panda中存在尺度变化问题。图2(a)给出了目标运动的代表性跟踪效果对比图。STRCF算法从400帧前后开始出现目标漂移现象，MCPF算法跟踪框不能随目标尺度变化自适应调整，跟踪结果包含大量背景信息，导致跟踪精度低(例如第538帧和第620帧)。视频Biker中存在尺度变化和快速运动问题。图2(b)给出了目标运动的代表性跟踪效果对比图。本文算法很好地克服了尺度变化和快速运动的影响，特别是第70帧目标快速运动并旋转时，LADCF算法和本文算法能很好捕捉到目标的位置。但STRCF，SRDCF和MCPF算法均在不同程度上发生目标丢失情况。本文算法利用传统特征(HOG，CN和Gray)与深度特征相融合描述目标表观特征，提高对目标形态的有效判别，实现连续视频序列的准确跟踪。

(2) 遮挡情况。目标在运动过程中被其他物体遮挡时，跟踪算法不可避免地学习到背景信息而导致模型退化。视频DragonBaby存在严重遮挡问题。图2(c)给出了人脸运动的代表性跟踪效果。第23帧、第38帧、第48帧和第87帧目标出现局域遮挡问题，STRCF和SRDCF算法出现目标丢失现象，而LADCF、MCPF和本文算法均能在不同程度上克服遮挡影响。视频Basketball和Kitesurf中存在脸部遮挡和光照变化问题。图2(d)和(e)给出了目标运动的代表性跟踪效果对比图。视频序列Basketball在250帧、320帧和440帧前后出现局域遮挡情况，几种算法均在不同程度上克服了遮挡因素的影响。视频序列Kitesurf在第28帧、56帧和80帧前后存在局域遮挡，STRCF和SRDCF算法在不同程度上发生了目标漂移现象，且目标跟踪鲁棒性较差。而本文算法引入空间稀疏调整有效地抑制了遮挡因素对目标跟踪产生的不利影响，实现稳定跟踪。

3.2.2 定量实验

为进一步评价算法性能，对中心点位置误差和重叠率2个评价指标进行定量对比分析，表1给出了5种算法在5组视频序列下的平均重叠率。实验结果表明，在5组视频序列跟踪中，本文算法均达到了较高的跟踪精度。视频序列Biker，DragonBaby和Panda中，本文算法明显优于其余4种算法，视频Baskeball中，本文跟踪器的平均重叠率仅比LADCF算法的平均重叠率低0.025，且明显优于其余3种算法。视频Kitesurf中，本文算法重叠率低于LADCF算法和MCPF算法，但也达到较高精度值。

利用式(18)度量本文算法与其他4种算法跟踪5组视频序列其中心点位置误差的比较如图3所示。实验结果表明，在5组视频序列跟踪中，本文算法均达到了较高的跟踪精度。视频Panda中，在第400～800帧区间，SRDCF跟踪器对目标尺度变化问题敏感，跟踪精度较低，在第920～1 000帧区间，STRCF算法对目标尺度变化和形变问题敏感，跟踪精度较低。视频Biker中存在目标尺度变化、遮挡和运动模糊等复杂问题，在前80帧，本文算法一直优于其他4种算法，在80帧之后，本文算法的中心点位置误差值略低于MCPF算法。视频DragonBaby中，人脸存在遮挡和快速运动问题，在第25～110 帧，SRDCF算法存在目标丢失问题。第45帧前后，STRCF算法的中心点位置误差值不断增大。视频Basketball中，本文算法与LADCF算法跟踪精度较好，明显优于其他3种算法。视频KiteSurf中，从第40帧开始，目标人脸第一次出现大面积遮挡时，STRCF和SRDCF算法出现了目标丢失的情况，其他3种算法中心点位置误差值较低，跟踪准确度较高。总体来说，本文算法在整个视频序列跟踪过程中，效果明显优于STRCF，MCPF和SRDCF算法。

表1 典型视频序列的重叠率值对比

图3 典型视频序列的中心点位置误差比较((a)熊猫；(b)骑行者；(c)小龙人；(d)篮球比赛；(e)冲浪者)

4 结束语

针对目标表观变化和严重遮挡等挑战因素对跟踪效果的影响，提出具有空间调整和稀疏约束的相关滤波跟踪算法。主要包含4个技术部分：①有效融合传统特征与深度特征，描述目标表观特征变化；②引入稀疏约束和高斯空间调整分别处理遮挡与边界效应问题；③引入时间正则化项，对前一帧滤波器进行学习，减少滤波器退化带来的影响；④采用交替式迭代策略优化模型。此外，基于OTB数据集进行了对比实验，提出的模型在准确性、鲁棒性方面性能较好。主要贡献有：①针对目标外观多样性带来的负面效应，将传统特征与深度特征相融合，更好适应目标表观变化；②针对遮挡频繁存在易造成目标漂移的问题，基于峰值旁瓣比判别目标是否被遮挡。若发生遮挡，引入稀疏约束更新滤波器，辨别目标与背景区域特征，增强跟踪算法鲁棒性。若未发生遮挡，利用高斯空间调整惩罚滤波器系数，抑制边界效应的影响。实验结果表明，本文算法在严重遮挡、尺度变化等情况下均具有较强鲁棒性。

在未来研究中，拟考虑背景杂波对目标跟踪精度的影响，引入多峰检测更新模型抑制相似特征，将稀疏学习与多峰检测有效结合，进一步增强跟踪算法对干扰特征的区分能力。

[1] 孟琭, 杨旭. 目标跟踪算法综述[J]. 自动化学报, 2019, 45(7): 1244-1260.

MENG L, YANG X. A survey of object tracking algorithms[J]. Acta Automatica Sinica, 2019, 45(7): 1244-1260 (in Chinese).

[2] 冯志全, 乔宇, 冯仕昌, 等. 多种手势对应同一语义的柔性映射交互算法的研究]J]. 电子学报, 2019, 47(8): 1612-1617.

FENG Z Q, QIAO Y, FENG S C, et al. Research on flexible mapping algorithm of multi-gestures to one semantic[J]. Acta Electronica Sinica, 2019, 47(8): 1612-1617 (in Chinese).

[3] 孙怡峰, 吴疆, 黄严严, 等. 一种视频监控中基于航迹的运动小目标检测算法[J]. 电子与信息学报, 2019, 41(11): 2744-2751.

SUN Y F, WU J, HUANG Y Y, et al. A small moving object detection algorithm based on track in video surveillance[J]. Journal of Electronics & Information Technology, 2019, 41(11): 2744-2751 (in Chinese).

[4] 黄志清, 曲志伟, 张吉, 等. 基于深度强化学习的端到端无人驾驶决策[J]. 电子学报, 2020, 48(9): 1711-1719.

HUANG Z Q, QU Z W, ZHANG J, et al. End-to-end autonomous driving decision based on deep reinforcement learning[J]. Acta Electronica Sinica, 2020, 48(9): 1711-1719 (in Chinese).

[5] 徐莹莹, 沈红斌. 基于模式识别的生物医学图像处理研究现状[J]. 电子与信息学报, 2020, 42(1): 201-213.

XU Y Y, SHEN H B. Review of research on biomedical image processing based on pattern recognition[J]. Journal of Electronics & Information Technology, 2020, 42(1): 201-213 (in Chinese).

[6] 葛宝义, 左宪章, 胡永江. 视觉目标跟踪方法研究综述[J]. 中国图象图形学报, 2018, 23(8): 1091-1107.

GE B Y, ZUO X Z, HU Y J. Review of visual object tracking technology[J]. Journal of Image and Graphics, 2018, 23(8): 1091-1107 (in Chinese).

[7] 刘巧元, 王玉茹, 张金玲, 等. 基于相关滤波器的视频跟踪方法研究进展[J]. 自动化学报, 2019, 45(2): 265-275.

LIU Q Y, WANG Y R, ZHANG J L, et al. Research progress of visual tracking methods based on correlation filter[J]. Acta Automatica Sinica, 2019, 45(2): 265-275 (in Chinese).

[8] DANELLJAN M, HÄGER G, KHAN F S, et al. Learning spatially regularized correlation filters for visual tracking[C]//2015 IEEE International Conference on Computer Vision (ICCV). New York: IEEE Press, 2015: 4310-4318.

[9] ZHANG T Z, XU C S, YANG M H. Multi-task correlation particle filter for robust object tracking[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 4819-4827.

[10] LI F, TIAN C, ZUO W M, et al. Learning spatial-temporal regularized correlation filters for visual tracking[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 4904-4913.

[11] XU T Y, FENG Z H, WU X J, et al. Learning adaptive discriminative correlation filters via temporal consistency preserving spatial feature selection for robust visual object tracking[J]. IEEE Transactions on Image Processing, 2019, 28(11): 5596-5609.

[12] 李玺, 查宇飞, 张天柱, 等. 深度学习的目标跟踪算法综述[J]. 中国图象图形学报, 2019, 24(12): 2057-2080.

LI X, ZHA Y F, ZHANG T Z, et al. Survey of visual object tracking algorithms based on deep learning[J]. Journal of Image and Graphics, 2019, 24(12): 2057-2080 (in Chinese).

[13] 常小凯. 基于交替方向乘子法和算子分裂的优化算法[D]. 西安: 西安电子科技大学, 2019.

CHANG X K. Optimization algorithms based on alternating direction multiplier method and operator splitting[D]. Xi’an: Xi’an University of Electronic Science and technology, 2019 (in Chinese).

[14] HAN D R, YUAN X M. A note on the alternating direction method of multipliers[J]. Journal of Optimization Theory and Applications, 2012, 155(1): 227-238.

Correlation filter tracking with spatial regularization and sparse constraints

TIAN Dan, ZANG Shou-yu, TU Bin-bin

(School of Information Engineering, Shenyang University, Shenyang Liaoning 110044, China)

Due to the influence of frequent occlusion, scale variation, boundary effect and other factors, it is often difficult to achieve the desired results in target tracking. At the same time, the traditional feature extraction strategy affects the robustness of target tracking. To address the above problems, we proposed a correlation filter tracking algorithm with spatial regularization and sparse constraints, which utilized the effective fusion of traditional features and deep features to adapt to the changes of the target appearance. Based on the peak side lobe ratio, a judgment was made on whether the target is occluded in the tracking process. If occlusion occurs, sparse constraints are applied to the filter for the improvement of robustness against the occlusion problem. Otherwise, the filter coefficients are adjusted in Gaussian space to suppress the influence of boundary effect. Five sets of standard video sequences in OTB datasets including severe occlusion and scale change, were used to test the tracking performance of the proposed algorithm, and four hot spot algorithms were compared qualitatively and quantitatively. In qualitative analysis, the main challenges of video sequences were compared. In quantitativeanalysis, the performance of tracking algorithm was compared by center point position error and overlap success rate. Experimental results show that the proposed algorithm is more robust to the above-mentioned challenges.

target tracking; correlation filtering; deep feature; sparse constraint; space regularization

TP 391

10.11996/JG.j.2095-302X.2021050755

A

2095-302X(2021)05-0755-07

2020-12-28；

2021-03-01

28 December，2020；

1 March，2021

国家自然科学基金项目(61703285)；辽宁省自然科学基金项目(2019-MS-237)；辽宁省博士科研启动基金计划项目(2020-BS-263)

National Natural Science Foundation of China (61703285); Natural Science Foundation of Liaoning Province (2019-MS-237); Ph.D Research Startup Foundation of Liaoning Province (2020-BS-263)

田 丹(1980–)，女，辽宁沈阳人，教授，博士，硕士生导师。主要研究方向为视觉目标跟踪等。E-mail：www.sltd2008@163.com

TIAN Dan (1980-), female, professor, Ph.D. Her main research interests cover visual object tracking, etc.E-mail：www.sltd2008@163.com