基于改进TLD的自动目标跟踪方法

易 诗，林凡强，周姝颖

(成都理工大学 信息科学与技术学院，四川 成都 610059)

基于改进TLD的自动目标跟踪方法

易 诗，林凡强，周姝颖

(成都理工大学 信息科学与技术学院，四川 成都 610059)

视觉跟踪一直是机器视觉研究热点，TLD(tracking-learning-detection)算法是近年来出现的一种高效的视觉跟踪算法，针对TLD算法中Lucas-Kanade(LK)光流法无法有效跟踪物体快速移动和尺度变化的问题，采用金字塔光流法对TLD算法进行改进。并将所跟踪物体形心作为图像定位参考点，提取物体定位信息，通过定位信息运用比例-积分-微分(proportion-integral-derivative，PID)控制算法控制摄像头舵机云台转向，使摄像头快速、灵活、精确地自动跟踪指定物体。通过系统测试，与传统TLD算法对比，采用金字塔光流法改进的TLD目标跟踪算法在跟踪目标发生光照变化、尺度变化等情况时，具有更加优良的跟踪性能，准确将跟踪目标形心位置提供给控制部分，控制算法高效灵活，在获取信息后精确、快速地控制摄像头方位，使其正对跟踪目标。该系统对目标跟踪技术、安防技术、自动瞄准系统具有重大意义。

TLD算法；金字塔光流法；图像定位；比例-积分-微分(PID)控制算法

0 引 言

目标跟踪是机器视觉的研究热点，在机器视觉研究领域，对任意目标的锁定和跟踪具有很大的研究意义。目标跟踪要求设备根据输入视频流检测发现目标、锁定目标、跟踪目标[1]。

近年来出现众多目标跟踪算法，如连续自适应均值漂移(continuously adaptive mean-shift，cam shift)算法、快速压缩跟踪算法、核相关滤波器(kernelized correlation filters,KCF)算法、(tracking-learning-detection，TLD)算法等。其中，TLD算法以其需要先验信息较少、具备在线学习能力、长期对目标跟踪的鲁棒性优良，适应于视频采集系统与目标均为动态的场合。TLD算法实时、高效、跟踪稳定，但也存在无法有效跟踪光线变化和尺度变化的目标，本文对TLD算法中跟踪器采用的LK光流法进行改进，采用金字塔光流法，改进后的TLD算法对光线和尺度变化的目标的跟踪性能提升显著[2]。

本文同时设计了根据所跟踪物体形心作为图像定位参数的自动跟踪摄像头，根据被跟踪物体的在视频中的位置信息，采用比例-积分-微分(proportion-integral-derivative，PID)控制算法控制摄像头舵机云台，使摄像头跟随锁定物体各个方向转动，达到自动跟踪的目的，这种改进的TLD目标跟踪方法对于智能机器人技术有非常重大意义[3]。

1 目标跟踪算法

1.1 TLD目标跟踪算法

TLD算法是一种目前相当高效、运用广泛的目标检测跟踪算法，算法主体为3部分：跟踪模块、在线学习模块和检测模块[4]。算法首先指定跟踪目标，通过目标检测模块捕捉目标运动特性，将检测模块初始化、跟踪模块与检测模块协同工作，对跟踪目标位置进行锁定；在线学习模块通过锁定与预测数据不断对跟踪模块与检测模块的参数进行更新；同时，跟踪模块与检测模块对在线学习模块进行数据反馈，更新在线学习模块参数。3个模块工作于闭环状态，形成一个在线学习系统，高效准确地确定运动目标所处位置[5]。算法流程如图1所示。

现行TLD算法的核心跟踪部分位于跟踪模块中，跟踪模块使用Lucas-Kanade(LK)光流法。LK算法基本原理在于捕捉运动物体特征点，利用视频每帧间目标特征点所产生的矢量光流场进行跟踪，用均值的方法对下一帧跟踪目标位移方向进行预测。根据该原理，视频帧产生的新特征点均被捕捉跟踪，目标跟踪具有很强鲁棒性，然而，LK光流法对目标跟踪具备如下3个假设。

图1 TLD算法流程图Fig.1 TLD algorithm flow chart

1)跟踪目标光照和亮度恒定，目标像素与外观在相邻帧间基本保持不变；

2)跟踪目标运动幅度不大，在连续时间点上为小运动；

3)相同背景空间上，跟踪目标邻近点运动相似，在图像上邻近区域投影相同。

而对于自动视觉跟踪系统，目标和识别设备都处于动态环境中，跟踪物体的亮度、运动中的尺度变化、物体所处空间环境变化均存在，因此，需要对经典TLD算法做出一定改进[6]。

1.2 改进的目标跟踪器

在动态环境中，为更好使用TLD算法对物体进行跟踪，需要对跟踪器中的LK光流算法做出一定改进。

在动态应用的跟踪环境下，目标运动速度较快，难以满足光流估计方法的约束条件，为了解决这个问题，引入金字塔光流法。金字塔光流法的特点在于其采用多分辨率的表现方法，不同分辨率层可以表示不同尺度目标。首先，在金字塔顶层计算光流，得到的运动估计特征作为下一层的初始点；然后，重复该过程直至底层，从而实现目标快速跟踪[7]。其原理如图2所示。

图2 金字塔光流法原理图Fig.2 Schematic diagram pyramid optical flow method

金字塔光流法将原图像作为金字塔最顶层输入，将图像减采样至原来尺寸的1/2N(N=1)，运行一次LK算法后获得下一层图像输入，该层相邻帧间像素移动距离为D/2N，D为帧间目标像素运动距离，当层数达到一定值时(通常3～5层),可满足光流法约束条件，其算法流程如图3所示。

图3 金字塔光流法流程图Fig.3 Pyramid optical flow method flow chart

Vf为初始目标运动速度，在金字塔顶层Vf=0，细节最少，ΔVf为f层的光流计算结果，作为下层图像运动估计，并根据这一规则计算该帧光流，直至金字塔底层。

采用金字塔光流法使目标跟踪算法对物体光线变化、运动、尺度变化的跟踪有了明显改善。

2 自动跟踪控制算法

2.1 图像定位算法

系统采用改进的TLD算法对目标进行跟踪，对跟踪锁定的目标物体提取其形心，以确定当前物体位于图像中的精确位置信息[8]。

物体形心的计算需先将图像转化为二值图像，根据形心计算公式

(1)

(1)式中：x0，y0为形心坐标；f(x,y)为二值图像在(x,y)处坐标值。根据(1)式计算出跟踪物体的形心，通过形心计算，可以确定跟踪物体中心在图像中具体坐标，提供该物体的定位信息。

2.2 摄像头自动跟踪控制算法

系统采用舵机控制板连接二自由度舵机云台架设摄像头，目标跟踪算法将舵机转向数据与命令通过串口发送给舵机控制板，控制舵机云台转向，使摄像头具备在二维平面自由旋转跟踪的功能，跟踪系统框架如图4所示。

图4 跟踪系统框架图Fig.4 Tracking system frame diagram

为控制舵机云台架设的摄像头能精确、快速跟踪物体，采用PID算法控制舵机进行转向跟踪[9]。舵机控制PID算法公式为

(2)

(2)式中：u(t)为输出函数；KP为比例系数[10]；KI为积分系数；KD为微分系数；e(t)为时域控制函数。PID算法中，通过比例部分P进行舵机角度粗调整，通过积分部分I对转向累积误差进行调整，通过微分部分D对转向误差做出预期调整。根据目标运动速度和舵机转向速度，通过调试。取比例系数KP=0.000 5，积分系数KI=0.18，微分系数KD=0.08[11]。

3 系统测试

系统算法在Visual2012+opencv2.49环境下实现，通过串口连接舵机控制板，控制2自由度舵机云台，挂载640像素×480像素高清网络摄像头对系统的目标进行跟踪[12]，做出了完整的测试。

为对比系统算法改进效果，首先采用传统TLD跟踪算法[5]对目标在光线强度变化下的跟踪效果进行测试，测试中将茶杯正面翻盖处作为跟踪目标[13]，系统在第3帧时锁定该目标进行跟踪，如图5所示。

由测试可以看出，采用传统TLD跟踪算法在光照强度变化时，跟踪形心偏离了目标中心点[14]。

再次测试传统TLD算法对跟踪目标尺度变化跟踪效果，如图6所示。

由测试可以看出，采用传统TLD跟踪算法在目标尺度发生变化时，跟踪形心严重偏离了目标中心点，基本失去跟踪特性[15]。

图5 目标光照强度变化跟踪测试Fig.5 Target light intensity change tracking test

图6 目标尺度变化跟踪测试Fig.6 Target scale change tracking test

下面使用金字塔光流法改进的TLD算法进行目标跟踪测试。

首先，对目标检测和跟踪做出测试，如图7所示。

图7 目标检测跟踪测试Fig.7 Target detection and tracking test

由测试可以看出，改进的TLD算法可以有效锁定目标[16]，同时摄像头转向，将目标原来形心(450，280)调整至(330，250)。

对目标旋转与光照变化的跟踪测试如图8所示。

图8中，将茶杯翻盖左旋45°，目标光照随即发生变化，系统仍然能有效跟踪目标，摄像头微转向，保持物体形心位于图像中央部分。

图8 目标旋转和光照变化跟踪测试Fig.8 Target rotation and illumination change tracking test

对目标尺度变化的跟踪测试如图9所示。

图9 目标尺度变化跟踪测试Fig.9 Target scale change tracking test

图9中，将茶杯移至离原位置50 cm外，跟踪目标尺度发生很大变化，同时一定程度右旋，系统仍然快速锁定跟踪目标，并微调摄像头使目标形心处于(300～340，220～260)中。

通过以上测试，对比传统TLD跟踪算法，无论目标旋转、位移或光照变化，改进的TLD目标跟踪算法具有更高的鲁棒性[17]，能够更准确地跟踪指定目标。自动跟踪控制算法灵活高效地控制摄像头转向，随时对准跟踪目标中心位置。

4 结 论

采用改进TLD算法的自动跟踪摄像头系统，可以对任意目标进行跟踪，锁定时间为3～5帧视频，目标锁定后，将目标旋转10o～90o均可有效锁定跟踪。光照发生一定变化时，目标仍能锁定。目标在0.1～3 m存在移动尺度变化的情况下，跟踪效果良好。摄像头由舵机驱动转向，在二维平面内自动对准跟踪目标，调整时间为1～3 s，快速灵活，使跟踪目标形心时刻保持在图像(300～340，220～260)内，处于图像中心位置。该系统运用于安放监控、智能机器人视觉、无人机目标跟踪等领域具有较大意义与潜力。

[1] 王瀛，郭雷，梁楠，等.基于线性变换的高光谱图像端元提取算法[J].计算机仿真，2014，29(12)：329-333. WANG Ying , GUO Lei,LIANG Nan, et al. Based on the linear transformation of the hyperspectral image endmember extraction algorithm [J]. Computer simulation，2014, 29 (12): 329-333

[2] 姜传贤，杨铁军，董明刚，等.基于线性空间隐藏模型的可逆图像水印算法[J].自动化学报，2014，12(10)：2324-2333. CHUAN Xianjiang, YANG Tiejun, DONG Minggang,et al.The model of reversible image watermarking algorithm [J]. Automation of hiding based on linear space, 2014, 12 (10): 2324-2333.

[3] 刘祺,王银玲,吴林恒.基于STM32的图像采集与显示系统的研究与设计[J].数字技术与应用,2012(2):94. LIU Qi,WANG Yinling,WU Linheng.Research and design of image acquisition and display system based on[J].STM32 digital technology and application,2012(2):94.

[4] 杨耿.运动目标的图像识别与跟踪研究[D].江苏:江苏大学,2005. YANG Geng. Research on image recognition and tracking of moving objects[D]. Jiangsu: Jiangsu University, 2005.

[5] 陈明洁.智能视频监控系统目标检测和跟踪技术分析[J].电视技术，2008，32(10)：85-91. CHEN Mingjie. Target detection and tracking technology of intelligent video surveillance system [J]. TV technology, 2008, 32 (10): 85-91.

[6] 詹曙，李敏，徐甲甲，等．局域化互信息度量的ACM 下医学图像的分割[J].电子测量与仪器学报，2013，27(4) : 340-346． ZHAN Shu, LI Min, XU Jiajia,et al. Localization of the mutual information metric ACM medical image segmentation [J]. Journal of electronic measurement and instrument, 2013, 27 (4): 340-346.

[7] 魏星．基于SVM 的山体滑坡灾害图像识别方法[J].电子测量技术，2013，36( 8)：65-70． WEI Xing. Image recognition method of landslide disaster based on SVM [J]. Electronic measurement technology, 2013, 36 (8): 65-70.

[8] BABENKO B，YANG M H，BELONGIE S.Visual tracking with online multiple instance learning[C]//Proc. CVPR 2009.New York：IEEE Press，2009：983-990.

[9] VIOLA P A，PLATT J C，ZHANG C. Multiple instance Boosting for object detection[J].Advances in Neural Information Processing Systems，2006(18)：1417-1424.

[10] LIM T Y，RATNAM M M，KHALID M A．Automatic classification of weld defects using simulated data and an MLP neural network[J].Insight,2007,49(3):154-159.

[11] VILAR R，ZAPATA J，RUIZ R．An automatic system of classification of weld defects in radiographic images[J]．NDT and E International， 2009，42(5): 467-476．

[12] ZAPATA J,VILAR R,RUIZ R.An adaptive-network based fuzzy inference system for classification of welding defects[J].NDT & E International,2010,43(3):191-199．

[13] MIRAPEIX J，GARCIA-ALLENDE P B，COBO A，et a1．Real-time arc-welding defect detection and classification with principal component analysis and artificial neural networks[J]．NDT & E International,2007,40(4):315-323．

[14] VINCENT P，LAROCHELLE H，LAJOIE I， et al．Stacked de noising auto encoders: learning useful representations in a deep network with a local de noising criterion[J]．Journal of Machine Learning Research，2010，11(12):3371-3408．

[15] BENGIO Y．Learning deep architectures for AI[J]．Foundations and Trends in Machine Learning，2009，2(1):1-127．

[16] YANG L W，ZENG CH Y，ZHANG Y J．Method for the edge detection of gray-scale image based on the mathematical morphology[J]． Foreign Electronic Measurement Technology，2012，31(2):27-30．

[17] 陈佳，朱长仁，罗宾．一种 camshift 算法与 brisk 特征点相结合的运动目标跟踪方法[J]．重庆理工大学学报：自然科学版，2015，29(12):112-119． CHEN Jia，ZHU Changren，LUO Bin.A Combination of Camshift Algorithm and Brisk Feature Point for Real Time Moving Target Tracking [J]．Journal of Chongqing University of Technology：Natural Science，2015，29(12):112-119．

易 诗(1983-)，男，四川成都人，硕士研究生，主要从事机器视觉研究，深度学习算法研究，信号与信息处理，嵌入式技术研究。E-mail:549745481@qq.com。

(编辑：王敏琦)

Automatic tracking method based on improved TLD

YI Shi, LIN Fanqiang, ZHOU Shuying

(College of Information Science and Technology,Chengdu University of Technology, Chengdu 610059,P.R.China)

Visual tracking has been a hot research topic in machine vision, and tracking-learning-detection(TLD) algorithm is a kind of efficient visual tracking algorithm emerging in recent years. Aimed at solving the problem that the Lucas Kanade(LK)optical flow method can not effectively track the object’s rapid moves and scale changes, this paper uses the pyramid optical flow method to improve the TLD algorithm. Tracking the center of the object as the reference point for the image positioning to extract the object location information, using the positioning information and the algorithm PID control algorithm to control the camera gear steering, this way camera can rapidly, flexibly, precisely and automatically track the specified object. By testing the system, improved TLD target tracking algorithm using pyramid optical flow method under illumination and changes has more excellent tracking performance, compared with the traditional TLD algorithm for target tracking. The flexible algorithm can provide accurate target center position for the controlled part, it can steer camera accurately and fast to face the target directly after accessing the information. The system is of great significance to the target tracking technology, security technology, and automatic targeting system.

tracking-learning-detection(TLD) algorithm; pyramid optical flow method; image positioning;proportion-integral-derivative(PID) control algorithm

10.3979/j.issn.1673-825X.2016.06.023

2016-03-22

2016-10-09

易 诗 549745481@qq.com

TN919.5

A

1673-825X(2016)06-0892-05