基于分块提取与异步更新的目标跟踪算法

欧阳美龙

（辽东学院工程技术学院，辽宁 丹东 118000）

0 引言

目标跟踪是当前计算机视觉领域的研究热点，在智能监控、导航定位及人机交互等领域有着重要应用，但受限于实际应用中遮挡、目标形变、相似干扰及光照变化等复杂环境，已有跟踪算法难以满足应用中的准确性、实时性以及鲁棒性要求，因此，构建有效的视觉特征模型，并提高其对复杂背景的可分性和自适应性，是进行鲁棒目标跟踪的关键，也是极具挑战的课题之一。

目标跟踪通常分为产生式和判别式两类方法，产生式算法基于模型匹配处理，通过先验模型构建和最后似然估计，搜索与目标最匹配的图像匹配，如空间学习、特征模板和局部稀疏表达等方法，产生式算法具有丰富的目标信息描述能力，但缺少对背景影响的考虑，当目标自身变化或光照变化、遮挡存在时，跟踪漂移较大；判别式算法构建目标和背景的二分类模型，通过更新在线分类器完成对背景的分类和目标的跟踪，判别式算法又可细分为传统方法、基于相关滤波和深度学习的方法，传统方法如：基于Boosting、SVM、Bayesian和随机学习的分类器，传统判别式跟踪方法兼顾到目标与场景信息，具有较好的判别能力，但其对样本质量和数据要求较高，且计算复杂度较大。

具有频域快速计算特性的相关滤波的跟踪方法以其出色的性能和速度优势，缓解了传统判别式算法的低效及对样本依赖问题，成为研究热点之一。Bolme 等首次将相关滤波引入到了目标跟踪领域；Henriques 等在相关滤波基础上，提出核相关滤波（kernel correlation filter，KCF）算法，并采用多通道HOG 特征来提高算法的跟踪跨度与环境适应性，但KCF 算法对遮挡处理不好，且采用固定采样窗；DONG 等将颜色名属性特征引入到相关滤波框架中以扩展跟踪器特征，并对高维颜色特征进行了自适应降维处理以确保算法的实时性；沈秋等将HOG 等多种特征与图像灰度特征串联，并以跟踪器最大响应位置进行目标跟踪，以缓解相关滤波中单一特征易被复杂场景干扰问题；赵高鹏等融合了LBP 峰值旁瓣比及图像灰度特征等，以避免单一特征局限；熊昌镇等基于特征融合并采用核相关滤波计算目标的颜色属性和梯度直方图滤波响应，并以此分配权重估计目标位置，算法的跟踪效率较高；MA 等通过对前一帧图像跟踪结果的多尺度采样来评估帧间的尺度变化，有效解决模块大小的定型问题，一定程度上缓解目标尺度变化对跟踪性能的影响，但并未完全有效解决尺度变化影响；相关滤波跟踪极大提高了算法效率，但未将局部背景信息引入到模型中，因而在复杂干扰环境下，算法的分类能力下降，易产生跟踪漂移。

近年来，具有强大特征提取和表达能力的深度学习被引入到目标跟踪领域，并得到研究人员重视。BLEI 等利用分层CNN 网络进行目标特征学习，低层高分辨率特征进行精确目标定位，高层语义信息处理目标姿态变化，然后以线性加权实现目标准确跟踪；李康等将深度特征的丰富信息引入到相关滤波框架中，并与传统特征相融合，取得较好的跟踪效果，但基于深度学习的目标跟踪算法仍面临大样本依赖和计算复杂度高的问题。

基于分块的跟踪算法通过对子块匹配程序的测试，实现高置信度子块的准确目标跟踪，由于子块内图像具有较好的模式不变性，基于图像分块的目标跟踪算法，对目标的局部变化、遮挡及光照变化等具有较好的适应性。Lukeic 等以均匀矩形方式对目标进行分割，并提取直方图特征，然后通过子块加权进行目标定位跟踪；Bency 等将自适应相关滤波与目标分块相关滤波，在对目标分块为固定的矩形块后，进行块内相关滤波计算，并通过块内预测结果加权进行目标跟踪；Song 等将目标进行固定矩形分块，并对分块进行独立相关滤波训练，并结合块间结构关系进一步提高跟踪精度。已有的分块目标跟踪算法通常采用固定数量的矩形分块形式，不利于跟踪目标的多样性，且易引入背景干扰。

1 光照不敏感特征提取

局部敏感直方图（local sensitive histogram，LSH）用于计算某像素的邻域内不同灰度级像素值的加权累加，其计算式为：

其中，H（b）描述了图像中p 点像素的灰度值为b的LSH 值；b=1，…，B，B 为像素邻域中灰度级数；α∈（0，1）为浮点权值的控制因子。当像素距离中心像素点p 位置较远时，其值取较小值，I为邻域内像素点q 的灰度值，当I位于灰度级b 内时，有Q（I，b）=1，反之，则Q（I，b）=0，W 为像素p 的邻域总像素数。

为适应目标跟踪过程中，光线变化对提取特征的影响，根据LSH 构建光照不敏感特征（light-insensitive feature，LIF）如下：

式中，b为p 点像素所处的灰度级别；κ 为某一常数值，通常取值为κ=0.1；I为目标区域的平均灰度值。对式（2）所示光照不敏感特征进行不同光照条件实验，部分实验结果如图（1）所示，图1（a）和图1（b）分别为同一人物与背景在光线较强和较暗时的图像，而图1（c）和图1（d）分别为对应的通过光照不敏感特征变换后的结果，可以看出，图1（c）和图1（d）结果基本相同，说明式（2）在忽略量化误差情况下，其特征具有较好的光照不变特性。

图1 光照不敏感特征实验结果

2 基于自适应分块的多模型融合目标跟踪

2.1 图像自适应分块

图像分块可以将图像划分为若干结构化子图，通过子图匹配度分析，实现目标跟踪。由于子图通常具有较强的模式不变性，并对局部遮挡及背景变化的适应性较强，因而有利于提高算法的目标跟踪性能，并得到广泛关注。但传统分块算法通常采用数量固定或尺寸均匀的矩形分块，虽然分场简单快速，但易对目标自身结特性及其与背景的边界差异造成破坏，不利于算法对目标多样化和多变性的适应。

超像素模型可以根据图像像素的灰度、纹理及颜色等属性，将属性相似的近邻像素划分到同一分块中进行整体处理，超像素分块内像素的特征较为一致，因而利用超像素模型可以自适应地实现跟踪目标与背景环境的有效分块，以自适应地保持边界信息及目标的空间结构特征，并获得一定的语义独立性。相对传统固定数量及分块尺寸，超像素分块的目标模式不变性能更优，为此，文中算法以超像素模型对采集的图像区域进行自适应划分，在此基础上，通过子块权重度量，自适应选择目标区域分块进行跟踪。基于超像素模型的自适应目标分块过程如图2 所示，图2（a）中红色区域为预选目标区域，图2（b）为基于超像素模型的自适应分块结果，图2（c）为分块对目标区域的优化。从图2（c）的局部放大图可以看出，通过超像素模型分块优化后，目标区域内分块尽可能保留了特征较为统一的目标信息，而剔除差异相对较大的背景区域。为进一步提高算法的抗遮挡能力以优化目标跟踪性能，文中将与手动预选目标区域的边界存在交叉的超像素设置为背景，以消除超像素模型可能存在的不确定性。

图2 超像素模型自适应分块实验结果

2.2 目标子块自适应选择

在进行基于子块划分的目标跟踪时，如果用于跟踪的子块特征与目标背景差异较大，或受背景影响较小，则子块对于目标跟踪的结果更为准确，为此，定义局部差异描述因子d（r）来量化背景环境对目标子块的干扰，其计算式为：其中，KL（h，h）为Kullback-Leibler 相对熵，即文中采用Kullback-Leibler 相对熵定义目标区域与背景区域的局部差异性；t 为当前图像帧数；r 为子块索引号，h（i）与h（i）分别为子块区域及其背景区域的直方图，其中，子块的背景区域定义为：

图3 子块局部差异随采集帧数变化曲线

在进行目标跟踪过程中，对于新一帧采集到的图像，先进行超像素分块，然后基于已训练的p（i）值，根据当前帧聚类结果，度量超像素分块的属于待跟踪目标区域的概率为：

其中，p（t）和p（t）为控制参数，控制w和w对目标子块的置信贡献度，其值需要根据前期已有帧图像的场景变化进行动态调整，即

2.3 基于子块自适应划分的目标跟踪

设t 时刻的采集图像I的N 个子块表示为

实际情况下，待跟踪目标的各个组成子块间的相对位置在一段较短时间内是相对固定的，为此，式（13）的子块跟踪预测位置估计目标当前位置为：

2.4 基于LIF 相似度量的目标跟踪优化

在粒子滤波框架内，根据目标值与观测值的一致性理论，由式（17）可以计算单个子块的似然函数：

3 目标遮挡及模型更新策略

3.1 目标遮挡处理

复杂场景下极易出现的目标遮挡会导致目标跟踪过程的累积漂移，为此，本文基于目标相似性及分块判别进行遮挡的检测处理，对于第t 帧采集图像，其判别式为：

基于f（i）的采集图像遮挡检测结果如图4 所示，图中将目标分为“Leg”和“Body”两个超像素子块，从“Leg”块曲线可以看出，在111 帧图像时，子块遮挡严重，此时f（i）曲线变化率值最大（蓝色）；而相应的153 帧时，遮挡消除，此时曲线变化率最小（绿色）；197 帧后，子块再次出现遮挡，此时曲线再次出现局部峰值点，而在这一过程，“Body”子块不存在遮挡，其曲线变化率一直较小且较为稳定。可见，通过f（i）检测方式，可以较为有效地检测待跟踪目标的遮挡情况。

图4 f2（i）遮挡检测实验结果

3.2 基于缓冲区的子块异步更新

4 实验

为验证文中目标跟踪算法的有效性，以目标跟踪 数 据 集 中Woman、Faceocc1、David1、Diving 和Shaking 等6 个跟踪视频序列作为实验数据，实验数据涵盖了遮挡、光照变化、背景干扰、相似目标及姿态变化干扰等主要挑战，以跟踪性能较为优异的KCF 算法、DSST 算法、SPT 算法、BACF算法作为实验比较算法，与文中算法一起从定性、定量和运行效率3 个方面进行性能比较测试，实验环境为：CPU intel Core i7-9750H @ 2.60 GHz 32 G 内存，采用matlab 2016a 软件实现各算法。

4.1 目标跟踪性能实验分析

为从定性角度验证本文算法的目标跟踪性能和跟踪稳定性，在存在目标遮挡、复杂背景及光照变化等严重影响目标跟踪效果的实验场景中进行目标跟踪实验，并对结果进行综合分析，实验过程中，手工选定待跟踪的目标，然后对其进行超像素分割和目标跟踪，实验过程中的部分实验结果如图5 所示，图中红色框为本文算法，粉色框为SPT 算法，橘色框为BACF 算法，黄色框为KCF 算法，蓝色框为DSST 算法。

图5 各算法目标跟踪实验结果

图5（a）和图5（b）存在目标遮挡视频序列中，场景中存在相似目标，且该目标移动较为快速，并在跟踪过程中存在一定遮挡，从实验结果可以看出，在实验开始过程，各算法均能稳定且正确跟踪目标，但随着目标快速移动，SPT 算法和BACF 算法逐渐发生偏移，当出现树木遮挡时，两种算法由于缺少有效的遮挡检测而完全丢失目标，主要因为SPT算法经历一次遮挡影响后，其密集采样相关滤波的分类器性能极速下降；BACF 算法主要依据在首帧采样数据进行模型的迭代更新，缺乏在线训练过程，因而对遮挡的适应性较差，且跟踪过程偏移累积较大。KCF 算法和DSST 算法在模型相关滤波更新时采用实时的背景作为负样本，模型判别和抗遮挡性能更强，因而实验中对目标的跟踪较为稳定，只有少部分的图像帧中丢失目标。文中算法通过高权子块（如眼睛子块和腿部子块）权值在遮挡前后的变化度量实时获取目标变化，并根据变化结果，通过扩展采样范围实现对目标的重新跟踪和捕捉。

图5（c）和图5（d）复杂背景视频序列中背景复杂，且目标存在较多的姿势变化，从实验结果可以看出，所有实验算法的目标跟踪准确性和稳定性都不高，BACF 算法、KCF 算法和DSST 算法对复杂背景的适应性较差，在开始时可以实现准确跟踪，但随着跟踪的中断，算法很快丢失目标或跟踪到背景假目标中；由于在局部邻域，待跟踪目标与复杂背景存在较高的可分性，因而以超像素分块为基础的SPT 算法及本文算法在跟踪时可以搜索到稳定的高可靠的目标子块，尽管目标姿态变化会导致目标子块的背景可分性下降，但本文算法通过初始高权值目标子块（如图5（d）中稳定跟踪在目标腿部子块）捕捉和后续的粒子滤波扩展采样，快速恢复实现对目标完整的跟踪；SPT 算法采用颜色统计特征优化其对外界干扰的感知，不受目标形迹的影响，因而也取得较好的跟踪效果，好于其他方法。

图5（e）和图5（f）光照变化视频序列中存在复杂光照、相似目标及遮挡等干扰因素，对算法的跟踪鲁棒性带来极大挑战。从实验结果看，尽管相似目标和光照变化影响较大，但邻域内的局部可分性较好，因而各算法在起始均能较好地跟踪目标，但随着背景光线及相似目标的互遮挡，BACF、KCF 及DSST 等基于整体更新策略的跟踪算法逐渐出现较大的偏移，DSST 算法仍能对目标进行跟踪，但其跟踪窗口内包含大量非目标像素；BACF 算法的循环移位采用范围扩展策略受相似目标影响，导致难以判别真实目标，后期完全丢失目标。

综合分析上述实验结果，可以看出，在遮挡、光照变化及相似目标等复杂场景下，本文算法的综合目标跟踪表现更加平稳，正确率最优。

4.2 跟踪精度比较分析

为验证本文算法的目标跟踪精度，以平均正确率f和平均重合率f作为评价指标：

其中，T 和R 分别为目标真实框和跟踪框；M 和M分别为实验数据集图像的总帧数及成功跟踪的帧数。其中，当f大于预设阈值时，则认为当前帧跟踪成功，文中阈值设置为0.5。f描述了一次实验中目标成功跟踪的图像帧数，f值越大，说明算法跟踪准确性越高；f描述了实验结果与实际目标之间的中心偏差均值，其值越小，说明跟踪精度越高。如表1和表2 为多次实验结果的f和f均值。从实验结果可以看出，KCF、DSST 和BACF 算法在背景干扰较小Faceocc1 实验序列中，取得与SPT 算法和本文算法相近的实验结果，但在其他序列中，当遮挡、复杂背景和相似目标存在时，这3 种算法的跟踪准确率和跟踪精确度迅速降低，SPT 和本文算法在各实验序列中均取得相近且较优的结果，而本文算法更有优势，这与4.1 实验结果相一致。

表1 各算法的跟踪正确率均值

表2 各算法的跟踪重合率均值

4.3 算法运行效率分析

本文算法时间复杂度主要与样本数、目标区域、分块数及目标子块数等相关。为提高跟踪效率，在超像素子块分割时，仅对当前帧前一帧确定的目标的一定邻域范围进行分块，并将搜索到的目标子块控制在2～5 之间，因为多次实验后发现，如果模型在跟踪过程中，没有对子块进行进一步筛选和优化，子块数的增大，对跟踪精度的提高并不明显。因此，控制目标子块数可在保证跟踪精度的同时，减少计算复杂度。表3 统计了实验中不同算法的跟踪效率，表中数据为各算法每秒处理的图像帧数均值。

表3 各算法的运行效率对比

从实验结果可以看出，本文算法的整体运行效率低于KCF、DSST 和BACF 3 种算法，但与性能相近的SPT 算法相比，略有优势，整体高于SPT 算法，基本满足实时性要求。本文算法在训练阶段和测试阶段，可以根据待跟踪目标的大小对分块压缩因子及块数据进行动态调整，结合异步更新和光照不敏感特征，尽管损失了一部分计算效率，但在保证对复杂场景的鲁棒性基础上，取得了较高的跟踪准确性和跟踪精度。

5 结论

为解决复杂环境下跟踪算法面临的光照变化、遮挡及相似干扰等问题，提出了基于多模型融合的自适应分块鲁棒目标跟踪算法。算法基于局部敏感直方图构建光照不敏感特征，基于超像素分割对采集图像进行自适应分块，以充分发挥子块的特征一致优势；通过相对熵和均值聚类构建双权值约束，以自适应提取高置信度子块进行目标跟踪，从而避免全局搜索，并提高跟踪的精确性和实时性；最后算法通过遮挡检测和子块异步更新，进一步提高算法的运行效率和鲁棒性，提高模型对背景信息的过滤能力。实验结果表明，与其他跟踪方法相比，在包括遮挡、光照变化、相似目标和背景干扰等复杂场景下，本文算法具有更优的跟踪精度和跳跃正确率，以及对不同场景的适应性和鲁棒性。