帧间差法对TLD跟踪算法的改进

付 苗，邢藏菊（北京化工大学 北京100029）

帧间差法对TLD跟踪算法的改进

付 苗，邢藏菊
（北京化工大学 北京100029）

对跟踪-学习-检测（Tracking-Learning-Detection，TLD）目标跟踪算法进行改进，在原算法中的跟踪模块和检测模块之间引入了帧间差检测方法，将帧间差法检测到的含有前景目标的窗口传送给TLD检测模块的级联分类器，提高算法的效率以及准确性。并对TLD算法中的重叠度重新定义，提高了该算法的跟踪成功率。通过实验对改进前后的TLD算法进行分析比较，证明改进后的算法具有更高的跟踪效率以及成功率。

TLD；目标跟踪；帧间差；重叠度

目标跟踪一直以来都是计算机视觉领域中比较复杂并且热门的课题，国内外的学者对于目标跟踪的研究也越来越重视。而目标跟踪技术也在人机交互[1-3]，城市交通[4-5]，智能监控[6-8]和工业建设[9]等多种领域得到了广泛的应用。

TLD[10]（Tracking-Learning-Detection）是Zdenek Kalal提出的一种视频目标跟踪算法。该算法的亮点是能够利用较少的先验信息实现视频目标的长时间跟踪，将目标跟踪算法与目标检测算法相结合来解决目标在被跟踪过程中发生的形变、部分遮挡等问题[11]。

TLD算法主要由跟踪模块，检测模块，综合模块以及学习模块4个模块组成。其中，跟踪模块采用的是基于LK（Lucas-Kanade）光流法改进的中值流跟踪[12]，根据前一帧中目标的位置信息来估计目标在当前帧中所处的位置；检测模块是由方差滤波器、组合分类器和最近邻分类器所组成的级联分类器构成，在当前帧采用扫描窗口策略对目标进行检测，依次成功通过这3个分类器的窗口即为检测器检测到的目标窗口；综合模块将检测结果与跟踪结果相结合，得出当前跟踪结果是否有效以及目标是否丢失；学习模块[13]则是通过生成正负训练样本对检测器进行训练学习，并对跟踪模块与检测模块进行更新。

1 帧间差法对TLD算法的改进

1.1 帧间差法目标检测

帧间差法是一种很简单的目标检测方法[14]。其原理为，在t时刻，图像中坐标为（x，y）的象素点的灰度值I=（x，y，t）；在t+1时刻，（x，y）象素点的灰度值变化为I=（x，y，t+1），则t+1时刻与t时刻坐标为（x，y）的象素点的灰度差是

那么，在图像中，静止的物体在两个时刻的灰度差为0，运动物体则得出一定的差值，所以可以利用灰度差ΔIt+1（x，y）来检测视频中物体的运动。因此，对于视频帧，给出相应的阈值，可以有效地减弱噪声影响，提取图像中的运动信息，利用灰度绝对差ABSt值获得差值图像，即：

帧间差目标检测方法速度快，对光线变化不敏感，能适应多种动态环境，稳定性较好[15-16]。

1.2 对TLD算法的改进

在TLD算法的检测器模块，首先，在前一帧和当前帧利用帧间差法对图像块进行检测。当绝对差值ABS等于1时，说明该图像块含有前景目标，反之，当前图像块为背景图像。将经过帧间差法检测出来的含有前景目标的图像块依次传入方差滤波器、组合分类器、最近邻分类器，最终顺利通过最近邻分类器的图像块就是更加可靠的目标图像块，作为检测器的输出结果，再经过综合模块将其与跟踪器的跟踪结果进行整合，输出最终的结果。

改进后的TLD算法检测模块框架图如图1所示。

图1 改进后的检测模块框架图

2 重叠度

TLD算法的检测模块通过扫描窗口的方法在图像中寻找目标。重叠度的判断关系接下来的跟踪检测的输入内容，所以重叠度的定义是很重要的一个内容。在扫描窗口的过程中，会得到一些与跟踪目标完全不相关的窗口，即完全不重合的，所以在计算重叠度时，首先利用式（3）和式（4）判断两个窗口的坐标是否重合。

其中，x1、x2与y1、y2分别是两个矩形框的横纵坐标，w1、w2和h1、h2是两矩形的宽和高，当上两式成立时，则两矩形无重合，检测器拒绝该扫描矩形框，否则，接受该矩形框，并计算两者交集的面积，交集边长的获取公式为

原算法中重叠度定义为交集与并集之比，但当目标运动剧烈时，就会导致部分检测窗口方框被拒绝，使检测成功率偏低，在本文中，将重叠度定义为交集面积与两个矩形框面积的均值之比，使漏检的矩形框数目减小，检测成功率大幅增加，对目标运动剧烈的视频序列尤为显著，新的重叠度R的计算公式为：

3 实验分析

最后，在VS2008+OpenCV环境下对本文改进后的算法进行了性能测试并分析实验结果。为了使获得数据更可靠，针对同一视频序列，每种算法都运行10次，然后取其平均值作为测试结果。采用重叠度为扫描窗口与目标框二者交集面积与面积均值之比进行实验。用于实验测试的视频序列分别是761帧的背景环境由暗到亮渐变并伴有动作姿势的改变的David序列；945帧的在高速公路上行驶的Car序列，在行驶途中会出现一些相似车型的社会车辆的干扰以及桥梁、路灯、树木等的全遮挡和半遮挡的情况；9 928帧的Carchase序列，其目标运动速度很快，有众多相似目标进行干扰，并多次出现目标被干扰物遮挡及较长时间消失于镜头的情况的；2 015帧的运动激烈且常常出现跟踪目标移出镜头的Motocross序列。表1给出了各视频序列的情况。

表1各视频序列情况

经过实验得到如表2的结果：

由表2数据可以总结出，改进后的TLD目标跟踪算法比原TLD算法在跟踪成功的帧数上有所提高，其中，即使是对于运动较为激烈的目标，在跟踪效果上也有所提高，其成功率均可提高8%左右。

表2 各测试集的实验结果

为使以上结论更具有说服力，分别取同一视频帧中相同位置、相同大小，并且尽可能含有较少背景的目标框，对改进前后的算法进行比较。例如，在Motocross视频序列中，取以像素点（300，56）为中心，长宽分别为22和56的矩形框，即可将目标选取中，对改进前后的算法进行相同处理并比较；然后取点（300，56）周围3*3大小的面积上的九个点，分别将这些点作为目标框的中心进行实验比较。其他视频序列均做以上实验处理，4个实验视频序列比较结果对比折线图如图2至图5所示。

图2 David序列实验结果对比图

图3 Car序列实验结果对比图

其中，由于David视频序列目标运动不激烈，原算法跟踪成功率已接近100%，故对比效果较其他视频序列差。由图2～5对比可以得出表3结论：

由表3以及图2至5可得出，对于同一视频序列，选定的目标框位置固定时，本文所采用的改进后的算法与原算法相比较，跟踪成功的帧数仍然有所提高，即，有更高的跟踪成功率。

图4 Carchase序列实验结果对比图

图5 Motocross序列实验结果对比图

表3 固定目标框后各视频实验结果

4 结 论

本文提出了一种采用帧间差目标检测法改进TLD算法的方法，并对原TLD算法中的重叠度的计算给出了新的定义。帧间差法的改进使检测器能够更加高效地进行目标检测。通过对视频序列的测试结果得出，改进后的算法与原算法相比，具有更高的跟踪成功率。但是由于目标运动状态过于激烈，在跟踪过程中会出现跟踪漂移现象，在后期的研究中期望对此进行改进。

[1]王西颖，张习文，戴国忠.一种面向实时交互的变形手势跟踪方法[J].软件学报，2007，10:2423-2433.

[2]张铁.人机交互中的人体目标跟踪算法 [J].上海交通大学学报，2015，49（8）:1213-1219.

[3]王丽佳，贾松敏，李秀智.基于改进在线多示例学习算法的机器人目标跟踪[J].自动化学报，2014，40（12）:2916-2925.

[4]刘华平，李建民，胡晓林，等.动态场景下的交通标识检测与识别研究进展[J].中国图象图形学报，2013，18 （5）:493-503．

[5]段洳娇.计算机视觉技术在铁路检测领域的应用[J].中国铁路，2010，1（1）:69-72

[6]黄铁军，郑锦，李波，等．多媒体技术研究:2013——面向智能视频监控的视觉感知与处理[J]．中国图象图形学报，2014，19（11）:1539-1562．

[7]黄凯奇，陈晓棠，康运锋，等.智能视频监控技术综述[J].计算机学报，2015（6）:1093-1118.

[8]张诚，马华东，傅慧源.基于时空关联图模型的视频监控目标跟踪 [J].北京航空航天大学学报，2015，41（4）:713-720.

[9]华聚良，黄河燕，王树梅．基于Mean-Shift的复杂工业环境运动目标跟踪算法[J]．系统仿真学报，2014，26（11）:2600-2606．

[10]KalalZ，Mikolajczyk K， MatasJ.Trackinglearning-detection[J].Pattern Analysis and Machine Intelligence，2012，34（7）:1409-1422.

[11]Kalal Z，Matas J，Mikolajczyk K.Online learning of robust object detectors during unstable tracking[C]// Computer Vision Workshops （ICCV Workshops），2009 IEEE 12th InternationalConference on Queenstown，NewZealand:IEEE，2009:1417-1424.

[12]Kalal Z，Mikolajczyk K，Matas J.Forward-Backward Error:Automatic Detection of Tracking Failures[C]//In:Pattern Recognition（ICPR），2010 20th International Conference on.Istanbul，Turkey :IEEE，2010，23-26.

[13]Kalal Z，Matas J，Mikolajczyk K.P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints[C]//In:Computer Vision and Pattern Recognition（CVPR），2010 IEEE Computer Society Conferenceon.SanFrancisco:IEEE，2010（23）:13-18.

[14]李刚，邱尚斌，林凌，等.基于背景差法和帧间差法的运动目标检测方法[J].仪器仪表学报，2006 （6）:961-964.

[15]李超，熊璋，赫阳，等.基于帧间差的区域光流分析及其应用[J].计算机工程与应用，2005（31）:195-197.

[16]席志红，杨传东，赵赶超，等.基于Android的TLD目标跟踪算法优化与移植[J].电子科技，2016（12）：130-133.

Improved TLD target tracking method based on frame difference

FU Miao，XING Cang-ju
（Beijing University of Chemical Technology，Beijing 100029，China）

Improved Tracking-Learning-Detection（TLD）target tracking method to increase the efficiency and accuracy，by using frame difference detecting method between the tracking module and the detection module，and then send the output windows in which there is the tracking target to the cascade classifiers of the detection module.Also defined a new expression of overlap in TLD，by using which increased the tracking rate of the original algorithm.The results of experiments show that the improved method has higher efficiency and tracking rate than original TLD.

Tracking-Learning-Detection；target tracking；frame difference；overlap

TN95

A

1674－6236（2017）07-0183-04

2016-03-31稿件编号：201603416

付 苗（1990—），女，黑龙江哈尔滨人，硕士。研究方向：目标跟踪。