一种复杂背景下红外目标稳定跟踪算法

李继泉，时勤功，胡春松

一种复杂背景下红外目标稳定跟踪算法

李继泉，时勤功，胡春松

（湖南华南光电（集团）有限责任公司，湖南 常德 415000）

针对红外单目标在长期跟踪过程中的强背景干扰、遮挡、形变以及目标特征信息减弱等实际问题，提出了一种基于跟踪-学习-检测（Tracking-Learning-Detection，TLD）框架的红外目标稳定跟踪方法。该方法在压缩跟踪算法（Compressive Tracking，CT）的基础上替换广义的类Harr特征为HOG特征，引入互补随机测量矩阵，优化纹理和灰度特征信息的权重，同时引入卡尔曼滤波器记录空间上下文位置信息，以解决CT算法和TLD算法在目标被遮挡时的跟踪失效和全局检索问题。基于TLD算法框架和改进CT算法相结合的红外图像跟踪算法有效地解决了遮挡和强干扰问题，提升了算法的跟踪准确性和长期跟踪稳定性。实验结果表明，本文提出的算法在红外地面环境中能较好地实时稳定跟踪并保持良好的准确性和鲁棒性。

红外目标；压缩跟踪算法；TLD算法；HOG特征；卡尔曼滤波器

0 引言

红外成像技术，作为衡量军事能力的技术之一，可适用于夜晚、雾霾、沙尘等能见度低的天气情况，具有全天候使用的特性。红外目标跟踪技术的发展有利于军事武器系统地升级和现代化，为此国内外许多学者一直在不断地进行着深入研究。由于复杂环境下的背景复杂，红外图像信噪比较低，目标很容易被环境噪声淹没。因此，如何在复杂背景下实现红外目标实时、稳定地自主跟踪是当代红外技术发展的关键问题之一。

目前经典的红外目标跟踪算法主要包括：模板匹配算法、光流跟踪算法以及均值漂移算法[1]等。其中，模板匹配算法是一种较为简单有效的目标跟踪方法，但是它存在着一个大的缺陷[2]，其目标跟踪匹配的搜索区域会随着红外图像大小以及目标模板大小的增加而急剧增大，这会大大增加算法计算量并降低目标跟踪的效率。光流跟踪算法是一种基于目标运动的分析方法，该算法在强噪声下，跟踪不稳定。均值漂移算法属于核密度估计法，该算法对噪声敏感，易使算法不收敛。近年来，研究人员基于压缩感知思想[3]，提出了以压缩跟踪（Compressive Tracking，CT）为主的各种跟踪算法，这些方法简单高效，但是对于复杂红外地面背景，特征表现不够稳定且对于形变和遮挡无法很好的处理。而“跟踪-学习-检测”（Tracking-Learning-Detection，TLD）的在线学习思想，将目标跟踪算法与检测算法相结合，能有效改善目标形变、目标部分被遮挡等问题。为此，我们提出了一种基于TLD算法框架的目标压缩跟踪方法，能够有效解决上述问题。

本文提出的跟踪算法能够改善TLD算法中值光流的飘移以及CT算法的目标形变问题。本文着重研究了以下3个主要问题：①在压缩跟踪特征提取过程中引入互补测量矩阵，以解决样本特征的不均匀问题；②在压缩跟踪的特征累加计算中引入特征权重，以优化不同特征间的样本分类质量；③在经典的TLD框架下融合改进的压缩跟踪算法，改善TLD算法中值光流法的跟踪飘移问题以及压缩跟踪的目标尺度变化问题。实验结果表明，该红外目标跟踪算法相对于传统红外目标跟踪算法，在复杂红外地面环境下，提高了跟踪的准确性和鲁棒性。

1 压缩跟踪算法和TLD算法

1.1 CT算法简述

CT算法[4]采用基于压缩感知理论提取压缩后的特征，其特征提取公式如下：

＝(1)

式中：∈(×)为样本原始特征矩阵；矩阵(×)(≪)为满足约束等距性条件的随机测量矩阵；(×)为压缩后的特征。CT算法中随机测量矩阵中元素值的定义如下：

式中：ri,j为矩阵P中第i行第j列的元素；c的取值随机在2～3之间[4]选择。通过式(2)可以计算压缩特征，它是由原始特征以ri,j为权值的加权和，其生成过程如图1所示。

CT算法主要包括样本特征降维提取和朴素贝叶斯分类器分类学习。其流程为：先对目标区域进行特征降维提取，然后在目标区内提取正样本，目标区外提取负样本以训练（更新）贝叶斯分类器，然后预测目标位置。

1.2 TLD算法简述

TLD算法[5]作为一种单目标长期跟踪算法，其结构如图2所示，主要由检测、跟踪和学习3个模块构成。其中，检测模块和跟踪模块并行运行，跟踪模块应用光流法对目标位置进行估计，检测模块基于全图使用分类器检测目标。学习模块基于跟踪器和检测器的结果，对跟踪模块的显著特征点进行更新，同时更新检测器的模型。图2右侧的综合模块则结合检测模块和跟踪模块结果融合输出。

图2 TLD算法框图

2 本文算法

传统的TLD算法和CT算法都存在一定的不足，其中TLD算法存在以下不足[5]：①目标被严重遮挡时，TLD检测器和跟踪器都无法捕获到目标，从而会造成目标丢失；②检测器全局检索目标时耗时且计算量大；③基于目标直方图特征的光流法，易受光照变化影响，且在目标发生非刚性形变时，光流法跟踪易失效。

传统CT算法存在Harr特征在目标灰度剧烈变化时表征不稳定，提取的纹理和灰度特征不均匀，以及无法自适应目标尺度的变化。基于上述问题，我们提出基于TLD算法框架的改进CT算法的红外图像跟踪算法。

2.1 改进的压缩跟踪算法

在跟踪算法中目标特征的提取和识别[6]极其重要，而在复杂红外地面环境下，背景杂波、运动模糊和目标像素较少等问题，均会对特征的提取和识别产生影响。为解决上述问题，首先使用局部光照不变性和旋转平移不变性的HOG特征[7]，h来表征红外目标，以解决Harr特征的不稳定性[4]。HOG特征其思想是使用直方图来统计局部梯度方向的信息以表征图像局部区域，则特征提取变为式(3)：

v＝h(3)

式中：为特征提取矩阵。在目标区域随机选择不同尺度的矩形块T（2～4个），统计每个T的梯度方向直方图h，以解决目标尺度变化问题。则特征提取公式变为式(4)，其中TN为目标区域矩形块T的总个数：

红外目标特征主要构成为灰度和纹理特征，且灰度特征在目标运动时稳定，纹理特征在环境和目标纹理变化时稳定。且在低维特征向量空间下不同特征对跟踪效果有较大的影响，在低维特征向量空间中，62.5%概率表征纹理特征，37.5%概率表征灰度特征[8]。为了平衡纹理特征和灰度特征的提取对稳定跟踪的影响，本文引入原始测量矩阵的互补矩阵。为了方便描述，这里的系数随机测量矩阵用表示，其互补随机测量矩阵用¢表示，¢的元素参考式(5)：

则特征提取模型变为：＝,¢＝¢。假定和¢中的特征元素相互之间独立分布，则可对优化后的特征使用朴素贝叶斯分类器建模，且有先验概率(＝0)＝(＝1)，则由贝叶斯分类公式可得到式(6)：

式中：(＞0)是学习速率参数；参数,,¢,¢由极大似然估计理论可得。

原始的朴素贝叶斯分类器将特征分类结果直接相加，易增大贝叶斯分类器误差，造成目标模型漂移。为了克服该问题，我们对朴素贝叶斯分类器中的特征进行加权处理，式(8)给出了提取特征为目标特征的概率：

这里引入特征权值w来解决不同特征间的样本分类[9]。结合式(8)和阈值对分类器中特征v进行评估。如果p()＞，则样本分类结果为目标正样本；反之为背景负样本。一般阈值≥0，在此基础上更新特征权值w。由式w＝(tp＋fn)/(p＋n)可得权重w。其中，tp表示正确分类的目标正样本个数，fn表示正确分类的背景负样本个数。则对于特征v，若权值w越大，分类效果越好；反之分类效果越差。故贝叶斯分类器n()更新成式(9)，实际的跟踪器模板为了更好的鲁棒性，每5帧更新一次模型参数：

2.2 基于TLD框架整合优化CT算法

基于TLD算法再检测机制实现的长期稳定跟踪特性的框架。将改进的压缩跟踪算法整合到TLD框架中，提出改进的CT（Improved Compressd Tracking, ICT）跟踪算法，如图3所示。ICT算法替代TLD算法的跟踪模块，能有效克服光流法红外跟踪带来的漂移。同时TLD算法的在线学习机制，能够提升红外目标跟踪的稳定性，也能弥补ICT算法的目标出视野的问题，有效地改善了算法的鲁棒性和准确性。

图3 改进TLD算法与ICT算法融合的算法框架图

2.3 遮挡目标预测

目标跟踪算法在被遮挡后，基于判别学习的方法会学习到大量的负样本信息，造成模型的漂移。CT算法即使优化特征的抽取也无法有效地解决遮挡问题。如果ICT跟踪模块跟踪的目标丢失，且TLD的检测模块无法在2.5倍目标区域内检测出目标，此时调用卡尔曼滤波器对目标接下来一帧的位置Post进行预测，并在该位置的2.5倍目标区域面积大小区域内进行检测。如果检测成功则重新初始化跟踪器和检测器的参数，否则执行TLD检测器进行全局检索。这样在一定程度下有利于降低目标全局检索开销的时间。

2.4 本文算法实现

在改进的TLD算法框架下结合ICT算法，其实现流程如图4所示。流程简述如下：

1）第一帧初始化ICT算法的贝叶斯分类器、TLD算法的随机森林分类器和Kalman滤波器参数；2）计算测量矩阵和¢，提取目标加权特征；3）计算ICT跟踪模块的响应结果max_CT和TLD检测器的响应结果max_DE，更新Kalman滤波器位置参数，并记录目标位置和速度信息；4）根据阈值情况更新检测模块和跟踪模块（参考图4伪代码部分）；5）循环2）～4）步骤到视频结束。

3 测试结果及分析

基于自建视频测试集将改进算法与原算法（CT算法、TLD算法）和红外主流稳定算法进行对比。对比跟踪精度、跟踪抗遮挡、尺度变化等几个方面，根据测试结果验证本文算法的有效性。

3.1 视频序列

视频序列采自国产非制冷红外成像系统，主要包含：行人、汽车等红外目标；测试内容包含，光照变化，目标遮挡、背景杂波、纹理变化、尺度变化等。测试环境基于Intel Core I5台式计算机和C＋＋语言。

3.1.1 视频序列一

实验一采用的是384×288分辨率的红外汽车视频。跟踪结果如图5所示，其中跟踪框颜色指代不同的算法。在跟踪前期阶段，红外目标像素较少，且和背景灰度相近，参考第10帧结果，CT算法出现轻微的漂移，其他两种算法稳定跟踪。在26帧以后，CT算法目标漂移加剧，后续的样本特征无法修正分类器参数。再往后红外目标尺度变化明显，TLD算法和CT算法均不能有效处理目标的尺度变化。本文算法融合了两种算法的优点，同时在检测器中使用了多尺度模板，因而能够有效处理红外目标的尺度变化和背景杂波干扰。

图4 所提算法的伪代码和流程图

再看上述情况的跟踪误差变化，3种算法跟踪误差对比结果如图6所示。可以看出本文算法的总体跟踪误差要明显优于压缩跟踪算法和TLD算法，平均误差在3个像素左右，跟踪稳定。

3.1.2 视频序列二

实验二采用960×576分辨率的红外行人视频。跟踪结果如图7所示，其中跟踪框颜色指代不同的算法。在跟踪前期阶段，没有被遮挡或发生形变，3种算法跟踪都较稳定。但在第110帧开始行人被树木遮挡，TLD算法由于负样本的学习导致模型漂移，进而目标框产生了漂移。CT算法和本文算法对遮挡有较强的鲁棒性。

图6 汽车红外视频的跟踪误差曲线图

在小目标不断被不同程度地遮挡变化情况下，3种算法误差对比结果如图8所示。本文算法的总体跟踪误差要明显优于TLD算法，总体上可以看出，本文算法比CT算法的跟踪效果较好，平均误差在4个像素左右，跟踪效果良好。

图8 行人红外视频的跟踪误差曲线图

3.2 对比其他算法

通过3.1节可见提出的算法有效地解决了红外背景杂波干扰、运动模糊、部分遮挡和目标轻微形变等问题。再在VOT-TIR2015数据集对比测试经典的红外目标跟踪算法，如：FCT[9]，IVT[10]，ODFS[6]，CRC[12]，采用前述实验相同的红外视频序列作为输入。表1为各种跟踪算法的跟踪成功率和跟踪精度[12]方面的对比情况，其中跟踪成功率的两个衡量指标为：Roc曲线下的面积（Area under Curve，AUC）和跟踪保持稳定的能力（Track Maintenance，TM）。本文算法在保证在前述平台下的27FPS速度还取得更优异的性能。得益于改进TLD算法的在线学习和再检测能力，本文提出的跟踪算法在跟踪成功率和精度方面相比其他算法都有了很大程度地提升，同时保证了较高的稳定性。

表1 几类红外常见跟踪算法的成功率和精度对比

4 结语

本文针对复杂地面背景下的红外目标稳定跟踪问题提出了基于TLD框架的压缩跟踪方法，该方法将CT算法中表征不稳定的类Harr特征替换为HOG特征，引入互补随机测量矩阵，来自适应地平衡目标纹理和灰度特征，优化贝叶斯分类器的加权问题，同时加入尺度处理模板，很大程度上降低了传统红外目标跟踪算法的模型漂移和遮挡。由于TLD框架的在线学习机制，有效地解决了目标脱离视野后的重补问题，如果出现遮挡使用卡尔曼滤波器进行区域预测有效降低全局检测的复杂度，这提升了跟踪算法的长期准确性。融合TLD思想和CT算法的优点，结合可实时的速度，有效地克服了红外目标跟踪地被遮挡和形变等，有利于目标地长期稳定跟踪。目前本算法只是对单个目标进行跟踪，如何将本文算法推广到多目标和多种复杂条件下进行跟踪将是我们下一步将要研究的重点方向。

[1] Comaniciu D, Ramesh V, Meer P. Real-time tracking of non-rigid objects using mean Shift[C]//, 2000: 142-149.

[2] YANG Yue, LIU Xingmiao, GUO Qiwang, et al. Infrared Object Matching Tracking Algorithm Based on Improved Mutual Information[J]., 2013, 35(6): 350-354.

[3] Elad M, Aharon M. Image denoising via sparse and redundant representations over learned dictionaries[J]., 2006, 15(12): 3736-3745.

[4] ZHANG K, ZHANG L, YANG M H. Real-time compressive tracking[C]//, 2012: 864-877.

[5] Kalal Z, Mikolajczyk K, Matas J. Tracking-Learning-Detection[J]., 2012, 34(7): 1409-1422.

[6] ZHANG Kaihua, ZHANG Lei, YANG Mingsuan. Real-time object tracking via online discriminative feature selection[J]., 2013, 22(12): 4664-4677.

[7] Navneet Dalal, Bill Triggs. Histograms of oriented gradients for human detection[C]//, 2005: 886-893.

[8] YANG H R. Research on tracking algorithm of infrared ground target [D]. Chengdu: University of Electronic Science and Technology of China, 2017.

[9] ZHANG Kaihua, ZHANG Lei, YANG Mingsuan. Fast compressive tracking Pattern Analysis and Machine Intelligence[J]., 2014, 36(10): 2002-2015.

[10] Ross D A, Lim J, Lin R, et al. Incremental Learning for Robust Visual Tracking[J]., 2008, 77(1): 125-141.

[11] Kalal Z, Matas J, Mikolajczyk K. P-N learning: Bootstrapping binary classifiers by structural constraints[C]//, 2010: 49-56.

[12] Felsberg Michael, Berg Amanda, Hager Gustav. The Thermal Infrared Visual Object Tracking VOT-TIR2015 Challenge Results[C]//2015(ICCVW), 2015: 639-651.

Stable Infrared Target Tracking Algorithm Under Complicated Background

LI Jiquan，SHI Qingong，HU Chunsong

(Hunan Huanan Opto-Electro-Sci-Tech Co., LTD, Changde 415000, China)

During the long-term tracking process of a single infrared target, many technical problems occur, such as strong background interference, occlusion, deformation, and target feature attenuation. An infrared target-tracking algorithm based on tracking-learning-detection (TLD) was proposed to solve these problems. Based on compressive tracking (CT), generalized Harr-like features were replaced by histograms of oriented gradient features. In our proposed method, a complementary random measurement matrix, which extracted texture and optimized grayscale feature-weights, was introduced. Moreover, a Kalman filter, used to record the space context location information, was adopted. Hence, the tracking failure and global retrieval problem of traditional CT and TLD algorithms can be solved when the target is occluded or deformed. The infrared image-tracking algorithm based on the combination of the TLD algorithm framework and improved CT algorithm effectively solves the problem of occlusion and strong interference and improves the tracking accuracy and long-term tracking stability of the algorithm. Experimental results show that the proposed algorithm can track well in real time and maintain good accuracy and robustness in an infrared ground environment.

compressive tracking，tracking-learning-detection，HOG features，Kalman filter

TP391.4

A

1001-8891(2020)05-0434-06

2018-12-19；

2020-03-25.

李继泉（1985-），男，本科，主要从事光电系统设计。E-mail: jiquan_li@163.com.