非连续轨迹下的公路车辆智能跟踪技术研究

梅炳夫

(广州市广播电视大学 人文与工程学院，广州 510091)

0 引言

在运动分析、交通监控等许多领域，目标跟踪技术得到了广泛的应用。当前的目标跟踪算法主要是对短时跟踪进行分析，其目标检测可以将第一帧图像作为检测对象，因此不需要对目标进行重复检测[1]。然而长时跟踪是以目标在一段时间内的视频序列作为检测对象，跟踪目标可能存在形态和尺度变化，或者遭遇环境遮挡等问题，因此其跟踪难度远大于短时跟踪[2]。当跟踪器遭遇遮挡环境时，它会经历3个阶段，分别是目标特征信息的逐步损失阶段、完全损失阶段、逐步恢复阶段。在目标脱离遮挡时，若其跟踪信息未被污染，则可以实现持续跟踪[3]。这次研究将以长时跟踪为基础，对遮挡环境下的目标特征提取技术进行优化，并保证目标跟踪算法的稳定性。

1 STAPLE目标跟踪算法的改进研究

1.1 STAPLE目标跟踪算法

由于STAPLE跟踪算法对形变目标的跟踪稳定性较好，此次将以此为基础，进行车辆非连续轨迹的智能跟踪技术研究。该方法首先通过相关滤波框架算法对目标定位，其次通过特征提取建立目标模板，再根据模板进行目标识别跟踪[4]。在进行目标定位时，以平移滤波器确定目标位置，以尺度滤波器估计目标尺度，两者独立工作。对于给定的视频图像，已知目标在t-1帧的位置和尺度大小，并建立对应的目标模板；针对第t帧序列中的图像xt，在剪裁和特征提取后，结合第t-1帧图像对应的目标模型参数分析，则可判断目标跟踪状态。式(1)表示第t帧图像的最大得分值位置pt。

pt=argmaxp∈Stf(T(xt,p);ht-1)

(1)

在式(1)中，S为目标位置集合，T表示图像xt在位置p处的特征提取函数，ht-1表示第t-1帧的目标模型参数；St为可能的目标位置集合。

相关滤波框架的样本来源于循环采样，因此模型采用在线更新策略。STAPLE算法采用梯度方向直方图算法(histograms of oriented gradients for human detection,HOG)作为特征提取方法，并将颜色直方图算法线性结合，对目标模型参数进行更新。HOG算法的核心思想是将目标的外表和轮廓以边缘梯度方向的分布情况进行描述[5]，图1为HOG的计算图，(a)、(b)、(c)分别表示cell方向图、cell与block的计算关系、block与HOG的计算关系。关于其基础思想解法这里不再赘述。

图1 HOG的计算图

以DSST (discriminatiive scale space tracker)算法的近似思想求解STAPLE算法模型参数，其在线更新公式如式(2)所示[6]。其中，α=0.01。

(2)

对于HOG提取特征，若候选区域特征值为φx[u]，则候选区域的得分函数如式(3)所示。

(3)

STAPLE算法采用RBG颜色直方图进行图像目标的颜色特征提取。在已有模板基础上，候选区域图像的相似度计算公式如式(4)所示。

(4)

在式(4)中，Pfg表示前景颜色相似度，Pbg表示背景颜色相似度，Po表示整体图像相似度。STAPLE算法将候选区域的颜色特征进行量化处理，将图像相似度得分视为平均投票；与此同时，在图像前景区域O和背景区域B分别使用颜色直方图算法提取图像颜色特征，以提高算法效率。在第t帧时，区域图像的颜色特征参数在线更新方程如式(5)所示。其中，ηhist=0.01。

ρt(O) = (1-ηhist)ρt-1(O) +ηhistρt′(O)

ρt(B) =(1-ηhist)ρt-1(B) +ηhistρt′(B)

(5)

继而，候选区域颜色特征函数为ψ[u]，则对应的得分函数如式(6)所示。

(6)

STAPLE跟踪算法先利用平移滤波器对目标进行搜索定位，若目标存在形变或光照影响等情况，则以HOG算法和颜色统计直方图进行匹配校正，更新目标模板；再利用尺度滤波器对目标当前尺度进行估计。式(7)为STAPLE跟踪算法的计算公式。其中，γtmpl=0.7,γhist=0.3。

f(x)=γtmplftmpl(x)+γhistfhist(x)

(7)

1.2 目标特征提取算法的改进

尽管HOG能够较好地捕捉目标的局部形状信息，且在几何布局和光线影响下拥有良好的稳定性。然而针对这次研究的对象，HOG存在一定的局限性。一方面，在遮挡环境下，目标的空间形状分布无法被捕捉，因此算法无法发挥作用。另一方面，HOG算法对图像目标的空间方向和空间布局有着严格要求，因此它不具备旋转不变性和尺度不变性。有鉴于此，研究采用局部二值模式(local binary pattern,LBP)进行针对性优化，该算法计算量较小，且对于光照和形态变换有着较好的鲁棒性。

研究在传统LBP算法基础上进行了改进尝试，以圆形模板替代矩形模板，并加入了旋转扩展，以保证算法的旋转不变性[7]。图2为改进LBP算法示意图。

图2 具有旋转不变性的LBP特征示意图

如图2所示，以白色的点表示1，以黑色的点表示0。假设原模板的中心像素特征值为225，以顺时针方向对LBP特征旋转7次，每次旋转45°，则可得到旋转后的特征向量，{225,240,120,60,30,15,135,195}。改进后的LBP特征值满足式(8)，其中p表示像素点个数，R表示模板半径，ROR表示循环位移函数，即改进后的LBP特征值为15。

LBPp,R=min{ROR(LBPp,R,l)|i=0,1,…,p-1}

(8)

同时，传统LBP算法对纹理特征区分过细，因而存在目标分类困难。有研究表明，当LBP特征值在二进制下只发生小于2次的跳变时，其结果有效性更大。因此改进LBP算法对计算过程进行了优化，令超过2次跳变的LBP特征值为0，这在很大程度上减小了计算难度。式(9)为其公式表达。

(9)

在式(9)中，U表示跳变次数；Si表示二进制特征值第i位的数值。

另一方面，颜色特征直方图算法以滑动窗口进行特征提取，以目标的颜色分布为模板，通过滑动窗口查找区域相似度的累加值，累加值越高，则目标在这一区域的可能性越大。为了提高算法效率，研究采用积分图像代替滑动窗口，它可以一次性计算出区域颜色的相似度累加和，图3为积分图像示意图。

图3 积分图像示意图

以SAT表示积分图像，以w和h表示目标的宽和高，区域的相似度计算公式如式(10)所示。

(10)

2 改进STAPLE目标跟踪算法的SVM优化

在长期目标跟踪的情况下，视频序列中的目标会受到各种因素的影响，例如不同程度或不同时间的遮挡影响。在遮挡环境下，跟踪器无法捕捉目标位置，这时继续保持跟踪状态并更新参数会造成目标模板被污染。STAPLE跟踪算法虽然拥有较好的跟踪能力，但它不具备在丢失目标时的自我纠正能力，在长期目标跟踪时，容易受到遮挡环境的影响，进而导致跟踪失败。有研究显示，当目标跟踪效果较好时，图像的置信度最大响应值与平均值相差较大；在目标处于遮挡状态时，置信度的最大响应值与平均值相差较小[8]。因此这次研究将以此判断目标是否处于遮挡状态，并利用SVM对跟踪器进行优化。当目标在遮挡或其他因素影响下跟踪失效时，则跟踪器将激活SVM检测器，并重新搜索定位目标。

支持向量机(support vector machine,SVM)是具有高泛化性能的分类器，它在核函数的基础上，将非线性不可分问题从低维空间映射到高维空间中，从而简化线性可分问题。设分类超平面的函数表达式如式(11)所示。

φ(x)T·ω+b=0

(11)

则原非线性问题的拉格朗日函数可以用式(12)表示。

(12)

在式(12)中，k(xi,xj)=φ(xi)Tφ(xj)表示核函数[9]。

将SVM检测算法与STAPLE跟踪算法相结合，可以在有限范围内预测目标的位置和尺度，从而提高算法效率。在视频序列第一帧需要手动确定跟踪目标，利用SVM算法对目标周围区域进行随机采样，并根据目标框占采样框的面积比例iou确定正负样本[10]。

(13)

在式(13)中，当iou≥0.8时，采样区域为正样本；当iou≤0.5时，采样区域为负样本；当0.5

将SVM目标检测算法融合到跟踪算法汇总，置信度的函数表达式如式(14)所示。

f(x)=φ(x)T·ω+b

(14)

在式(14)中，ω和b可以通过lable值构建目标模型获取。

图4为融合SVM检测后的目标跟踪算法流程图。首先，在第一帧图像中确定跟踪目标，并对目标周围图像进行大量随机采样；根据跟踪目标在采样图像中的占比区分正负样本，用以训练SVM检测器。以两倍尺寸提取目标和特征信息，建立平移滤波器、尺度滤波器和颜色直方图模型。其次，根据置信度得分判断是否激活SVM检测器。若不满足激活条件，则根据当前帧目标特征更新模型，并训练正负样本；若满足激活条件，则根据定位时间选择搜索范围，并进行全局搜索。若检测器无法定位目标，则不更新位置，在下一帧继续搜索，直到定位成功；若检测器定位到目标，则将其位置信息反馈至跟踪器，由跟踪器接管剩余定位工作。当训练样本量为100的整数倍时，更新SVM参数。

图4 融合SVM检测的STAPLE目标跟踪算法流程图

3 遮挡环境下的目标轨迹跟踪性能测试分析

为了测试这次研究所优化的目标跟踪算法性能，采用VOT2016国际标准序列集中的Road视频序列进行实验。VOT数据集是彩色序列，其分辨率普遍较高。作为竞赛数据集，它为视觉跟踪领域的评估和进展提供平台，且基本上每年都会更新；2016年虽然未有更新图像数据，但它更新了标注方法。在对视频序列进行目标跟踪控制的过程中，目标未存在形变或明显光照影响，但由于跟踪器的拍摄角度限制，目标在较长时间处于严重遮挡状态中。这次研究分别采用L林克-卡特树算法(link cut tree,LCT)、DSST算法、STAPLE算法和改进STAPLE这4种算法进行性能对比，图5为不同算法在视频序列的跟踪效果图。LCT算法是在相关滤波框架算法上加入了在线分类器，当跟踪目标丢失时，可以采用分类检测器重新搜索定位。DSST算法则是在利用平移滤波器进行目标定位跟踪，并以尺度滤波器确定目标尺度。在图5中，左边图片为视频序列第一帧图片，手动选择跟踪目标，令其处于黄色目标框内；右边图片为目标退出遮挡状态后算法的跟踪效果。

图5 不同算法在视频序列的跟踪效果图

从图5可以看出，在目标退出遮挡后，LCT算法和改进STAPLE算法可以重新搜索目标并进行跟踪，DSST算法和STAPLE算法则无法再次捕捉到目标位置。这是因为LCT和改进STAPLE算法均有分类检测器进行辅助，在目标退出遮挡状态后，可以重新搜索定位；而DSST和STAPLE算法则无法在丢失目标后重新捕捉目标位置。这说明基于SVM分类检测器优化的目标跟踪算法更适合遮挡环境下的目标长时跟踪。由于这次研究是以置信度与平均值之间的差距作为判定目标遮挡状态的依据，因此接下来将对视频序列帧数与置信度之间的关系进行分析。图6为不同算法最大置信度跟踪效果。

图6 不同算法最大置信度跟踪效果

从图6中可看出，随着视频序列的帧数增加，4种算法下的最大置信度逐渐减小，这说明置信度与平均值之间的差距减小，目标逐渐进入遮挡状态。此外，4种算法在帧数增加前期的变化趋势大致相同；LCT算法在150帧后置信度开始增加；改进STAPLE算法在约110帧后置信度开始增加；STAPLE算法和DSST算法的置信度没有增加的趋势。这一结果印证了对图5的分析，且改进STAPLE算法在后期置信度上升更为明显，说明它的目标重定位效果更好。为了更为准确地判断算法的跟踪精度，接下来将对不同算法进行定量分析及结果对比。图7为中心误差阈值，它通过跟踪框中心与目标中心之间的位置误差反映跟踪精度。

图7 中心误差阈值

从图7可以看出，改进STAPLE算法对目标中心的跟踪精度最高，达到了0.81；LCT算法对目标中心的跟踪精度达到了0.78，STAPLE算法和DSST算法的跟踪精度分别为0.72和0.61；另一方面，从跟踪精度的曲线变化斜率可以看出，改进STAPLE算法的目标跟踪效率最好。为了验证算法在遮挡过程中跟踪精度的变化情况，这里将通过目标框被遮挡的面积比例，即目标覆盖率，与跟踪精度之间的关系反映跟踪算法的有效性。图8为覆盖率阈值的算法结果对比图，接下来将对图中曲线进行分析。

图8 覆盖率阈值

从图8可以看出，在覆盖率阈值为0时，目标尚未进入遮挡状态，改进STAPLE算法的跟踪精度为0.89，LCT算法的跟踪精度为0.83，STAPLE算法的精度为0.78，DSST算法的精度为0.69。随着覆盖率阈值的增加，目标进入遮挡状态，4种算法的跟踪精度逐渐下降；在覆盖率阈值小于0.5时，4种算法的跟踪精度下降趋势较为平缓；当覆盖率阈值超过0.5时，4种算法的跟踪精度下降速度开始增加，并在0.8左右达到最大下降速度。当覆盖率阈值为1时，目标进入完全遮挡状态，4种算法的跟踪精度均为0。除此之外，在同一覆盖率阈值下，改进STAPLE算法的跟踪精度最高，其次是LCT算法的跟踪精度，DSST算法的跟踪精度最低。

4 结束语

为了解决目标长时跟踪所面临的遮挡问题，这次研究对STAPLE跟踪算法进行改进。一方面对目标特征提取技术进行了优化；另一方面在跟踪算法的基础上加入了SVM分类检测器，以重新锁定退出遮挡状态的目标。最后通过国际标准视频序列验证了改进STAPLE算法的跟踪精度和有效性。这次的研究是在前人的基础上，对目标跟踪算法进行融合优化，例如将通过颜色特征模型、HOG算法和LBP算法将目标特征提取技术进行尽可能全面的优化，以及将SVM算法与STAPLE算法相结合，以便保持长时跟踪状态。虽然改进后的算法取得了较好的跟踪效果，但这次研究仍旧存在没能解决的技术性问题。这次研究主要是针对目标跟踪过程中的遮挡问题，实际应用中的遮挡情况更为复杂。一方面，这次研究并未对目标进入遮挡状态或退出遮挡状态过程的特征提取及定位跟踪进行深入分析，这就导致算法仅能就遮挡前后进行目标跟踪，无法在遮挡情况下进行预测跟踪。另一方面，由于篇幅所限，这次研究没有提出目标遮挡状态的判断函数，这需要在今后作出详细讨论。遮挡环境是目标跟踪控制和定位技术所面临的常见性问题，因此这次研究所提出的算法在车辆导航、交通检测识别等领域都具有较高的应用价值。对于这次研究没能解决的问题，将在今后的工作中继续深入，并将算法向实际应用方向进行优化。