基于跟踪异常与相关性检验的目标丢失判断

张 杰，常天庆，郭理彬，张 雷，马金盾

陆军装甲兵学院 兵器与控制系，北京100072

目标跟踪是计算机视觉中十分重要并且极具挑战的研究课题之一，未来在视频监控、智能驾驶、智能家居和军事航天等领域都具有较大的应用前景[1-2]。经过几十年的发展，目标跟踪问题已经取得了巨大的发展，尤其是近十年，基于相关滤波的跟踪方法和基于深度学习的图像表示使得目标跟踪问题进入了发展的快车道[3-5]。虽然目标跟踪已经取得了骄人的成绩，已经能够解决一些问题，但是目标遮挡、光照变化、目标形变等因素依旧制约着跟踪算法的性能，这也是目前跟踪领域急需解决的难点问题[6]。

基于相关滤波的跟踪方法具有较高的跟踪速率，受到研究者的广泛关注[7]。基于相关滤波的跟踪方法是通过提取当前帧目标及其周围区域图像特征，通过循环采样实现训练样本的扩展，通过傅里叶变换将图像特征由空域转换到频域，并通过求解岭回归方程得到滤波器[8]。将滤波器与下一帧图像待检测区域进行相关运算得到目标响应，由最大响应值位置确定目标位置。基于相关滤波跟踪方法的框架，大量的主流跟踪算法提取图像的方向梯度直方图（Histogram of Oriented Gradient，HOG）特征进行跟踪[8-10]。这些使用方向梯度直方图特征的跟踪算法跟踪虽然在跟踪性能上表现较好，但是滤波器严重依赖于目标的空间信息，当目标发生快速变化时跟踪器的跟踪效果便会变差。

2016年Bertinetto等提出了互补性实时跟踪算法（Staple），该算法分别使用具有空间信息的梯度方向直方图特征和具有全局统计的颜色直方图特征分别构建了两个独立的滤波器，将两个滤波器响应进行融合，并根据融合响应最大值位置确定目标位置[11]。由于两种特征的互补性，该算法能够较好适应目标的快速变化和光照变化等因素的影响，并且跟踪速率达到80帧/s，能够达到实时的要求，具有工程应用的可能。虽然Staple算法具有较好的跟踪性能，但是当目标受到严重遮挡、平面外旋转、相似目标干扰等因素的影响时，Staple算法仍会出现目标丢失现象，并且跟踪器自身不具备判断目标丢失的能力。对于一些实际应用的跟踪系统，不仅需要具有较高的跟踪精度，还需要具备判断目标丢失的能力。当目标丢失后跟踪系统能够提供目标丢失预警信号，或能够自主取消当前跟踪任务，终止无效的跟踪，提高系统的智能化水平。目前，许多研究者提出了许多理论用于目标跟踪丢失预警。Bolme等[12]通过响应峰值的峰值旁瓣比（Peak to Sidelobe Ratio，PSR）评价跟踪效果，Liu等[13]使用PSR和输出平滑约束（Smooth Constraint of Confidence Map，SCCM）对目标遮挡进行检测。Ma等[14]在长时跟踪过程中使用单一阈值与相关滤波器最大响应值进行对比，当最大响应值小于阈值时便判断目标丢失，进行目标重检测。Wang等[15]使用平均峰值相关能量（Average Peak-to-Correlation Energy，APCE）反映相关滤波响应的震荡程度，并用来评价跟踪结果置信度。文献[16]通过KCF算法的响应峰值的异常值对目标丢失进行判断。文献[17]在使用相关滤波最大响应值和平均峰值相关能量评价跟踪置信度基础上，加入了连续5帧不满足置信度条件便判定目标丢失。由于目标跟踪的复杂性，这些方法都不能严格判断目标是否丢失，同时容易导致较高的误检率。本文在Staple算法的基础上，使用异常跟踪状态与目标相关性检验作为目标丢失检测机制。通过对跟踪置信度进行评估，确定跟踪状态，并在高置信度情况下对目标区域建模，构建目标相关性检验模板。如果出现过异常跟踪状态，当相关滤波模型响应置信度由低变高，使用目标相关性检验模板与当前目标区域进行相关性计算得到相似度，根据相似度值大小对目标是否丢失进行判断。本文算法总体框架如图1所示。

图1 算法总体框架Fig.1 Framework of proposed algorithm

1 Staple跟踪算法原理

Staple算法是在DSST算法[9]的基础上加入了颜色特征的相关滤波跟踪方法，通过两种特征分别训练跟踪器，并通过固定系数融合两个跟踪的响应图实现信息融合。Staple算法主要分为目标检测模块和模型更新模块。目标检测模块是使用前面多帧训练得到的相关滤波器和颜色直方图滤波器分别对目标进行检测，使用固定系数将两滤波器响应图进行融合，根据融合响应图最大值确定目标位置；模型更新模块是使用当前帧的跟踪结果分别提取两种特征更新目标模板。

1.1 相关滤波模型

在训练阶段，提取目标及其周围区域的多通道HOG特征，通过岭回归方程求解目标模型h，即

式中，∗表示相关运算，l∈{1,2,…,d}表示第l通道，g是具有二维高斯形状的理想相关输出，λtmpl为正则项系数，λtmpl≥0。式（1）转换到傅里叶域能够快速求解得到闭合解，即

式中，Hl、G和Fk分别表示hl、g和fk的傅里叶变换，“—”表示复共轭。在检测目标阶段，提取下一帧输入图像的多维HOG特征ztmpl与目标模型h进行相关运算，即

式中，Ztmpl为ztmpl的傅里叶变换，根据响应图ftmpl的最大响应位置估计出目标在下一帧图像中的位置。最后以固定学习率ηtmpl更新相关滤波模型Hl的分子和分母。

式中，t表示帧序数。

1.2 颜色直方图模型

在训练阶段，颜色直方图模型通过提取RGB三通道颜色特征，通过最小化如下的损失函数ℓhist(ψ,p,β)求解求得颜色直方图模型β，即

式中，ψ表示前景和背景图像中提取的颜色直方图特征，p是目标区域值为1且背景区域值为0的理想响应，M表示颜色直方图特征的总维数， ||O和 ||B表示目标前景区域的像素总数和背景区域的像素总数，Nj(O)表示前景区域直方图的第j个直方柱中的像素数，Nj(B)表示背景区域直方图的第j个直方柱中的像素数。定义ρj(A)=Nj(A)/ ||A为第j个直方柱中像素总数与区域A内像素总数的比值，则式（6）的最终解为：

在目标检测阶段，根据β得到待检测区域中像素点u属于目标前景的概率值，并得到待检测区域图像的像素级概率图Pu。对颜色直方图模型得到的像素级概率图采用积分图方法计算得到响应图fhist，具体计算方式为：

式中，Π(w,h)表示像素级概率图Pu中(x,y)处左上角所有概率值之和。

式中，u和v分别表示跟踪搜索框的宽和高。最后以固定学习率ηhist更新颜色直方图模型，即

最后加权融合相关滤波模型与颜色直方图模型得到的响应图，根据响应图f(x)最大值估计目标位置，即

式中，γ为融合系数。以Basketball视频序列中某帧图像为例，融合示意图如图2所示，待检测图像中绿色框是根据上一帧跟踪结果确定的待检测区域。

图2 响应融合示意图Fig.2 Response fusion diagram

2 目标丢失判断机制

Staple算法根据融合响应图的响应值估计目标位置，并不具有判断目标丢失的能力。当目标丢失后，跟踪器将会使用错误目标信息对跟踪器进行更新，导致跟踪失败。本文通过对相关滤波模型和颜色直方图模型响应置信度进行评估，确定当前帧跟踪状态。当有异常跟踪状态出现过且相关滤波模型响应置信度为高时，对当前目标区域与相关性检验模板进行相关性计算，确定目标是否丢失。

2.1 异常跟踪状态检测

本文所说的异常跟踪状态是指由于跟踪器受外界的干扰导致跟踪器响应出现异常，目标存在丢失的可能。本文分别对相关滤波模型和颜色直方图模型的响应置信度进行分析评估，并根据两模型置信度结果得到跟踪置信度。当跟踪置信度不可靠时，说明出现异常踪状态正常，存在目标丢失的可能。

本文使用文献[15]的平均峰值相关能量（Average Peak-to Correlation Energy，APCE）和响应峰值评估相关滤波模型响应置信度。相关滤波响应置信度CItmpl计算方法为：

式中，ymax表示响应峰值，t为帧序号，τ和ς为系数。CItmpl=1，表明相关滤波模型响应可靠。APCE的计算公式为：

式中，ymin表示响应最小值，yw,h表示响应图(w,h)位置处的响应值。

目标快速运动等因素会导致相关滤波响应出现波动，使得CItmpl=0，但此时由于颜色直方图模型对目标的空间信息不敏感，Staple算法仍可能较准确地估计目标位置。因此当CItmpl=0时，需要对颜色直方图模型的响应置信度进行评估。通过实验发现，无干扰时，颜色直方图模型估计的目标位置坐标与融合响应图估计的目标位置坐标接近。当存在干扰时，两位置坐标具有较大的差异。因此，针对颜色直方图模型响应置信度，本文提出了一种结合目标尺度的置信度评估方法。

式中，ΔWhist和ΔHhist分别表示颜色直方图模型估计的目标位置坐标与融合响应图估计的目标位置坐标的距离在水平轴和垂直轴上的投影长度，ΔWhist和ΔHhist的单位为像素。T_w和T_h表示跟踪器估计的当前帧目标框的宽度和高度，δ为系数。

跟踪置信度CI的计算方法为：

当CI=0，表明跟踪器处于异常跟踪状态，存在着目标丢失的危险。

为了更好说明本文提出的跟踪置信度对跟踪状态的检测效果，使用OTB-100标准数据集中的Basketball视频序列为例，Staple算法部分跟踪结果如图3所示，跟踪过程中相关滤波响应置信度和本文提出的跟踪置信度变化情况如图4所示。Staple算法在第643帧跟丢目标，Basketball视频序列第19帧前后目标被遮挡，第640帧前后目标被遮挡且被相似背景干扰。由图3和图4（b）可知，本文提出的跟踪置信度评估方法在第19帧和640帧前后均及时检测出干扰因素导致的跟踪异常。由图3和图4（a）可知，平面外旋转（第195帧）和目标形变（第487帧）导致文献[15]的置信度评估方法认定跟踪结果不可靠，但实际跟踪器并没有丢失目标。由图4（a）和图4（b）可知，与文献[15]中置信度评估方法（图4（a））相比，本文提出的置信度评估方法能够更准确地评估跟踪状态，减少跟踪过程中对跟踪状态的误判。

图3 Basketball视频序列部分跟踪结果Fig.3 Part of tracking results of Basketball video

图4 置信度变化情况Fig.4 Confidence changes

2.2 基于相关性检验的目标丢失判断

出现异常跟踪状态(CI=0)后，对目标进行相关性检验，确定目标是否丢失。本文借鉴文献[14]在处理长时跟踪问题时训练一个用于重检测的相关滤波器的思想，使用一个独立的相关滤波器用于目标丢失判断，主要包括目标模板的训练，目标区域与目标模板进行相关性检验。

当相关滤波模型响应峰值满足式（17）时，提取目标区域多维HOG特征训练得到目标相关性检验模板r，提取的目标特征不进行汉明窗处理。目标相关性检验模板更新时，直接用当前新模板替换之前的模板。

CItmpl由0变成1，且相关滤波器响应峰值为极大值时，说明跟踪器能够较稳定地跟踪当前目标框内的目标。将当前目标与目标模板进行相关性检验，确定目标是否丢失。提取当前目标区域图像的多维HOG特征zs与目标模型r进行相关计算。

式中，Zs和R分别为zs和r的傅里叶变换，计算得到fs的最大响应值为fs_max。最大响应值fs_max为相似度，反映了跟踪状态异常前后目标的相似程度。当相似度fs_max满足式（19）时表示跟踪器没有丢失目标。式中，u表示相关滤波模型响应峰值的平均值，ω为系数，控制着判断目标丢失的苛刻程度。为了更形象说明基于相关性检验的目标丢失判断过程，以Jogging视频序列为例，目标丢失判断过程示意图如图5所示。本文算法使用Jogging视频序列的第61帧跟踪结果训练目标相关性检验模板，在第87帧对目标是否丢失进行判断，根据相似度值不满足式（19），判断出Staple算法已经丢失目标。

图5 目标丢失判断示意图Fig.5 Schematic diagram of target loss judgment

3 实验与分析

为了验证本文目标丢失判断方法的有效性，本文选取OTB-100[18]标准数据集中22段视频进行实验测试，视频序列参数如表1所示。本文算法的测试环境为Matlab2018a，CPU为i5-4210M，主频为2.6 GHz，内存为8 GB。Staple算法代码使用作者公开的源代码，Staple跟踪算法参数与文献[11]中一致。相关性检验中HOG特征的细胞大小为4×4。

表1 测试视频参数Table 1 Test video parameters

3.1 评价标准

到目前为止，目标丢失的判定还没有准确的定义和参考，用于评价跟踪器性能的指标主要是中心位置误差和成功率。在实际工程控制中，经常使用跟踪结果的中心位置作为控制的期望，所以中心位置误差用于目标丢失判断较成功率更具有工程实用性。在评价跟踪器性能时，中心位置误差阈值常取20个像素，即当前帧跟踪器估计的目标中心位置与实际真实的中心位置距离小于20个像素表示跟踪成功。这种评价指标忽视了目标尺度，当对小目标进行跟踪时，虽然中心位置误差小于20像素，但可能估计的目标中心点已经在实际目标区域外，在工程应用中会导致巨大的误差。因此，本文提出一种面向工程应用的目标丢失判断依据。

当式（20）成立时目标未丢失，反之目标丢失。式中，ΔW和ΔH分别表示跟踪算法估计的目标中心位置与真实中心位置之间的距离在水平轴上和垂直轴上的投影，单位为像素，TA_W和TA_H分别表示目标框真实的宽和高，ε为系数，可以根据实际系统对跟踪精度的要求设定。当ε=0.5时，跟踪器估计的目标中心点可能位于实际目标框的边缘，此时的跟踪结果在工程实用中容易导致较大的误差。为了减少跟踪器产生的误差，本文选取的目标丢失标准为ε=0.3，即当中心位置误差在水平轴和垂直轴上的投影距离小于0.3倍实际目标框大小时，目标跟踪正常。为了减少跟踪过程中干扰因素对目标丢失判断的影响，当连续10帧不满足式（20），认定目标丢失。根据Staple算法实际的跟踪结果，22段视频共出现11次目标跟丢情况，发生目标丢失的帧序数如表1所示。

本文采用判断成功率和误判率作为评价标准，判断成功率是正确判断目标丢失的次数占实际目标丢失次数的百分比；误判是指错误的判断目标丢失，实际目标并没有丢失，误判率是误判次数与判断次数的百分比。

3.2 目标丢失判断算法性能测试

根据实验结果，22段视频，本文算法一共进行了35次目标丢失判断。式（19）中的系数ω控制着判断目标丢失的苛刻程度，当ω值较大时会导致误判率较高；当ω值较小时又会导致判断成功率降低。因此，分别对ω=0.7,ω=0.8,ω=0.9进行实验。图6~图8分别为ω=0.7,ω=0.8,ω=0.9时部分视频序列的实验结果。图中蓝色曲线表示跟踪置信度和跟踪状态变化情况，黑色曲线表示ω⋅u的变化曲线，红色曲线表示相似度fs_max变化曲线，没有进行目标相关性检验时fs_max=0现异常跟踪状态后，如果相关性检验结果fs_max不满足式（19），判断目标丢失。图中红色矩形框表示正确判断目标丢失，红色椭圆表示出现异常跟踪状态后正确判断目标未丢失，黑色矩形表示漏判，即目标丢失后错误判定目标未丢失，黑色椭圆表示误判。

图6 ω=0.7判断结果Fig.6 Whenω=0.7，targe some video sequences

图7 ω=0.8时部分视频序列目标丢失判断结果Fig.7 Whenω=0.8，target loss judgment results of some video sequences

图8 ω=0.9时部分视频序列目标丢失判断结果Fig.8 Whenω=0.9，target loss judgment results of some video sequences

22段视频序列的实验结果如表2所示。由实验结果可知，当ω取值较小时，容易导致漏判，使得成功率较低。例如Biker视频序列中，当跟踪器丢失目标后，ω取0.8和0.9时成功判断目标丢失，ω取0.7时判断目标未丢失。当ω取值较大时，容易导致误判，使得误判率较高。例如Walking2视频序列中，跟踪器未丢失目标时，ω取0.8和0.9时错误判断目标丢失，ω取0.7时成功判断目标未丢失。由表2可知，当ω=0.8时，目标丢失判断效果最好，既能保证成功率，又能保证较低的误判率。

表2 实验结果Table 2 Experimental results

为进一步说明本文算法对目标丢失判断的有效性，选用Basketball、Singer1和Suv三段视频序列，令ω=0.8，结合实际Staple算法跟踪结果和目标丢失判断过程中的有关参数进行分析。Basketball、Singer1和Suv视频序列部分跟踪结果分别如图9（a）、图9（b）和9（c）所示，Basketball、Singer1和Suv视频序列跟踪过程中相关参数变化情况分别如表3、表4和表5所示。

图9 3段视频序列部分跟踪结果Fig.9 Partial tracking results of 3 video sequences

表3 Basketball视频序列相关参数变化情况Table 3 Changes in relevant parameters of Basketball video

表4 Singer1视频序列相关参数变化情况Table 4 Changes in relevant parameters of Singer1 video

表5 Suv视频序列相关参数变化情况Table 5 Changes in relevant parameters of Suv video

Staple跟踪算法在Basketball视频序列中一共进行了两次目标相关性检验，即进行了两次目标丢失判断。在第19帧前后目标被严重遮挡，在第635帧至650帧目标被部分遮挡且被相似物体干扰。由图9（a）和表3可知，本文提出的方法在第27帧正确判断出目标未丢失，在第655帧正确判断目标丢失。由图9（b）可知，Singer1视频序列中存在目标尺度变化和光照变化，光照急剧变化导致第72帧至102帧和第126帧至135帧出现异常跟踪状态。由表4可知，本文方法在第103帧和第145帧对目标是否丢失进行判断，本文方法均正确判断目标未丢失。由图9（c）可知，Suv视频序列的第53帧至第45帧目标出视野导致异常跟踪状态出现；第511帧至568帧、第675帧至688帧和第774帧至787帧目标被严重遮挡，导致异常跟踪状态出现。由表5可知，在异常跟踪状态出现后，本文算法在第48帧、第574帧第692帧和第791帧对目标是否丢失进行判断，本文方法均正确判断目标未丢失。

4 结束语

针对Staple算法不具备目标丢失判断能力，导致错误和无效的跟踪，本文在Staple算法的基础上，提出了基于跟踪异常与相关性检验的目标丢失判断方法。通过分别对Staple算法的相关滤波模型响应和颜色直方图模型响应进行评估，确定Staple跟踪器状态。根据出现过的异常跟踪状态和后续相关滤波器响应置信度，对目标区域进行相关性检验，确定目标是否丢失。本文算法在OTB-100标准数据集的22段视频序列上进行实验验证，实验结果表明本文算法能够有效地判断目标丢失，并且具有较低的误判率。在工程实用中能够为人员提供目标丢失预警信号，能够实现跟踪系统自主取消无效的跟踪任务。本文目标丢失判断方法虽然基于Staple跟踪算法，但也能用于其他相关滤波类算法。