基于在线集成学习的红外点目标跟踪研究

武文成,艾斯卡尔·艾木都拉

(新疆大学 信息科学与工程学院,新疆 乌鲁木齐 830046)

0 引言

受现代“隐身”技术发展的影响,利用雷达等电磁探测设备定位和跟踪目标的方法已经不能满足现代军事需求。由于现在的热武器通常具有较高的红外辐射能量,红外点目标探测和跟踪技术在许多领域都受到关注,包括监测系统,预警系统和目标跟踪系统[1]。由于系统需要具有预警能力,要求系统距离目标远,目标的红外辐射能量大大减弱。在红外图像中,从远处投射的点目标通常占据较少的像素(低于49像素),呈点状,无纹理,暗淡且没有特定的形状。此外,由于视图中热源辐射的可变性,红外小图像很容易被红外传感器噪声污染[2-3]。同时,云边缘和天气等一些干扰会使图像质量变差,目标通常隐藏在杂波信号中[4-6]。这些都增加了红外点目标检测和跟踪的难度,使得传统方法无法很好地用于点目标的检测跟踪,这也使其更具研究价值。

在过去的几十年中,研究人员对红外点目标检测和跟踪做了大量研究[7-13]。模板匹配跟踪算法使用连续帧的灰度特征来完成多帧之间的匹配[7-8]。Mean-Shift算法通过核加权灰色直方图描述目标的外观,同时通过计算均值漂移来预测目标在下一帧中的位置[9-11],文献[10]结合自适应卡尔曼滤波算法和Mean-Shift算法,利用卡尔曼滤波算法预测的目标位置作为Mean-Shift算法的初始值和测量值,Mean-Shift算法的输出值作为卡尔曼滤波算法的观测值。这些算法往往在低信噪比背景下容易丢失低对比度的目标。文献[12]通过卡尔曼滤波和模板匹配的组合,使用非线性相关度计算匹配度,但在复杂背景的情况下很容易失去目标。文献[13]使用目标的形状特征创建一个强检测器作为初始值与粒子滤波器结合以跟踪目标位置。但是,这些算法并未充分考虑红外点目标的特征。

目前,研究人员通过提取目标的外观模型特征来更好的描述目标[14-16]。文献[14]通过构造有效的稀疏测量矩阵表示目标的外观模型,然后通过朴素贝叶斯分类器跟踪目标。基于字典的稀疏表示方法可以通过字典的冗余有效地表达点目标的几何特征。

基于分类的方法侧重于描述点目标的特征,然后训练分类器以跟踪目标[17-19]。如人工神经网络和支持向量机。基于分类方法的性能取决于训练样本和所选目标特征[20-22]。在现实世界中,红外图像的背景大多是复杂多变的[23-24],并且难以通过在有限的离线样本中训练良好的分类器。因此,当环境变化很大时,使用离线训练可能会严重降低算法的性能。本文提出了一种基于Adaboost框架的红外点运动目标跟踪算法,该算法采用适合于红外点目标检测的多尺度局部空间梯度估计(MS-LSGM)来计算特征,在线训练Adaboost分类器,并构建将红外点目标跟踪问题转化为二元分类问题的判别模型。在跟踪过程中,根据目标的运动特征和自适应阈值消除连续多帧的错误目标并确定最佳目标位置。跟踪结果用于更新判别式的表观模型。实验结果表明,该算法可以提供高效率和高精度的目标跟踪结果。其稳健性也通过具有不同条件的实验来验证。

1 红外点目标跟踪方法

1.1 多尺度局部梯度估计算法(MS-LSGM)

图像中某个像素的值可以表示为p(x,y),图像中的某个以l(x,y)为中心的区域可以表示为O(li)={l1,…,li,…,lm},其中m为区域内像素的个数。则某个区域内的灰度梯度估计可以描述为:

S(x,y,σ)=∑wv(σ)⨁(Δp)2，

Δp=p(x+u,y+v)-p(x,y) (x,y)∈O，

(1)

其中σ表示不同的尺度,(u,v)分别表示在x方向和在y方向上的位移。由于红外点目标在图像中的像素分布通常是高斯分布的形式。则wv(σ)被设定为尺寸由σ决定的高斯核。

将公式(1)通过矩阵的形式表示为:

(2)

其中g(l*)x和g(l*)y分别表示区域内某个像素在一定尺度下的水平方向和垂直方向的梯度值。协方差矩阵C(σ)可由该区域所有像素的梯度计算得到,即C(σ)=G(σ)G(σ)T。σl表示尺度变化后的位置,则G(σ)表示如下:

(3)

协方差矩阵C(σ)的两个特征值(λ1λ2)表示区域内梯度在两个方向的大小。由于红外点目标在图像中呈现高斯分布,因此,当两个特征值都比较大时,就可能是目标,如图1所示,弱纹理背景区域的梯度分布呈现无方向性,并且值都比较小。强纹理背景区域的梯度分布呈现一定的方向性,并且值在某一个方向比较大。目标区域呈现方形,梯度分布在两个方向的值都比较大。定义点目标的判定模型为:

M=λ1λ2-μ(λ1+λ2)2，

(4)

其中μ=0.06为经验值。估计模型M的值越大,判定为目标的可能性越大。这里M只是一个相对概念,其值的变化范围随环境的变化而不同,因此并不能设定一个绝对的阈值,区分目标和背景。本文通过动态阈值达到自适应分割的目的。

Th=u+kδ，

(5)

其中u和δ分别是图像中所有像素经过公式(4)得到的判定值的平均值和标准差,k是可调参数。

1.Target region;2.Background region of weak texture;3.Background region of strong texture.Fig.1 Gradient distribution in three different regions1.目标区域;2.弱纹理背景区域;3.强纹理背景。图1 不同区域的梯度分布情况

通过公式(4)和公式(5),可以去掉大部分的非目标点,但是,有些非目标区域在图像中也呈现高斯分布,判别模型并不能作为区分的绝对依据。因此,本文提出了一种基于Adaboost框架的跟踪算法,用判别模型作为计算特征,训练分类器。在跟踪过程中,结合点目标的运动信息不断训练局部区域内的最优目标判别模型,调整分类器。

1.2 跟踪模型

在首帧中,首先通过公式(4)和公式(5),检测出所有可疑目标的位置。所有可疑目标都作为一个独立的被跟踪单位,然后在后续帧,针对每个可疑目标训练独立的分类器。在跟踪过程中,通过红外点目标运动信息和上一帧中更新的自适应阈值Th删除假目标。

将检测得到的目标区域作为训练器的正样本,在其周围取同样大小的非目标区域作为负样本。分类器采用单层决策树。搜集到的所有样本通过公式(4)计算的值生成集合,并给出相应的标签集合,两者共同构成一个数据集,举其中一个例子如表1所示。

表1 一个数据集的例子

经过Adaboost算法的反复迭代,得到了一个稳定的分类器。过程如算法1所示。

在第一帧得到一个稳定的分类器后,在下一帧中,根据前一帧的目标位置在邻域中设置感兴趣的区域,其大小是前一帧目标区域大小的三倍。用公式(4)计算感兴趣区域内每个小区域的判别值。当其中的最大值不小于前一帧通过式(5)计算的自适应阈值时,选择判别值最大的区域作为新的目标位置,根据最大判别式的值,根据公式(6)调节公式(5)中的k值。同时更新当前帧中的分类器。但是如果其中的最大值仍小于前一帧通过式(5)计算的自适应阈值时认为是伪目标,剔除该目标。在后续帧中,利用目标的运动模型减少搜索窗口,跟踪过程如图2所示。

Th=u+kδ，
k=(Mmax-u)/δ.

(6)

算法1: 模型的训练过程 输入: 训练数据集T输出: 最佳分类器1: 初始化训练样本的权重分布D1=(w(1,1),w(1,2),…,w(1,n)),w(1,i)=1n,n=92: For m=1,2,…,M1) 在权重Dm下,通过样本学习获得弱分类器Gm(x)2) 计算当前样本下Gm(x)的错误率:em=∑ni=1w(m,i)I(Gm(xi≠yi))3) 计算Gm(x)的系数:αm=12log1-emem4) 更新训练样本的权重(zm是归一化因子):w(m+1,i)=w(m,i)zmexp(-αmyiGm(xi)),i=1,2,…zm=∑ni=1w(m,i)exp(-αmyiGm(xi))3: 最佳分类器:F(x)=sign(∑ni=1αmGm(x))

The red thin solid line box represents the target area of the previous frame, the green dotted line box represents the area to be searched, and the yellow thick solid line box represents the target area of the current frame.The contour diagram in the figure is the model diagram calculated by MS-LSGM.Fig.2 Tracking process diagram.其中红色的细实线框为前一帧目标区域，绿色的虚线框为待搜索区域，黄色的粗实线框为当前帧目标区域。图中的等高线图为经过MS-LSGM计算的模型图。图2 跟踪过程示意图

2 实验结果和分析

2.1 数据集和实验设置

本文所有实验都是在c++环境下,配置为3.3 GHz Intel Core i5 CPU、8G内存的计算机上实现的。对两幅图像序列进行了跟踪验证。通过用表2中具有不同背景的2幅图像序列数据集进行了跟踪验证。为了验证该检测算法的有效性,表3中，取不同场景下的2幅图，分别添加不同信噪比(Signal Noise Ratio,SNR)生成的数据集进行了验证。

表2 测试跟踪算法的数据集

表3 检测算法数据集

检测过程中窗口的大小设置为8×8,多尺度集合设置为σ={1.2,1.4,1.6},图2中,弱分类器的数量设置为8。

2.2 检测算法的实验分析

图3所示的受试者工作特征曲线图(Receiver Operating Characteristic Curve，ROC)是本文提出的检测算法和4种经典检测算法(新顶帽(New Top-hat)算法[22]、多特征分类器(Multiple Feature Classification，MFC)算法[21]、多尺度局部同质性测量(Multiscale Local Homogeneity Measure，MLHM)算法[20]和局部对比度测量(Local Contrast Measure，LCM)算法[6])在2种不同的背景，不同信噪比图像下的检测结果。从图3(a)可以看出,当背景简单时,4种算法的检测性能都很好。从图3(b)可以看出,当背景复杂,云边缘较强时,检测性能下降。与其他四种方法相比,本文提出的方法在各种环境下的性能都是最好的,这意味着本文提出的方法具有更好的性能。其鲁棒性也相对较强。

(a) and (b) are ROC curves with different signal-to-noise ratios under two different backgrounds.Fig.3 Detection performance analysis(a)和(b)分别为两个不同背景下，不同信噪比的ROC曲线图。图3 检测性能分析

2.3 跟踪算法的实验分析

为了验证本文提出的跟踪算法有效性和优秀性，将本文提出的跟踪算法与5种经典的跟踪算法(核相关滤波(Kernel Correlation Filter，KCF)跟踪算法，在线学习重检测(Tracking-Learning-Detection，TLD)跟踪算法,中值光流(Median Flow)跟踪算法,基于通道和信道可靠性的鉴别相关滤波(Channel and Spatial Reliability，CSRT)跟踪算法，多实例学习(Muliple Instance Learning，MIL)跟踪算法[19])进行了对比分析。其中,这5种跟踪算法的起始目标位置由本文的检测算法给出。结果如图4和图5所示。

(a),(b) and (c) are tracking results of the six algorithms at frames 4, 13 and 18,respectively.Fig.4 Qualitative results over sequence 1(a),(b),(c)分别为六种算法在第4帧，第13帧，第18帧时的跟踪结果。图4 序列1跟踪结果定性分性

(a),(b) and (c) are tracking results of the six algorithms at frames 40, 105 and 183,respectively.Fig.5 Qualitative results over sequence 2(a),(b),(c)分别为六种算法在第40帧，第105帧，第183帧时的跟踪结果。图5 序列2跟踪结果的定性分性

在第1个图像序列中(见图4),在第4帧中(图4(a)),当目标与背景对比度较低,刚开始从云中出来时,TLD算法漂移较大,无法恢复,丢失目标。KCF算法、MLT算法和MEDIANFLOW算法的漂移较小。在第13帧(图4(b))中,MEDIANFLOW算法和KCF算法的漂移变大,KCF算法失去了目标。在第18帧(图4(c)), MEDIANFLOW算法失去了目标。从图像序列1中可以看出,MEDIANFLOW算法、KCF算法和TLD算法在不同阶段都丢失了目标,无法再次检测到目标,因为当目标从云中出来时,目标区域的像素分布发生了变化。同时,MLT算法在这一过程中的跟踪效果不稳定,目标并不总是处于跟踪区域的中心。通过比较看出CSRT算法和本文所提出的算法是非常稳定的。

在第2序列中(见图5),在第40帧中(图5(a))、目标所处的背景区域发生变化,且目标形状发生一定的改变,在此情况下,MEDIANFLOW算法和MLT算法具有较小的漂移。在第105帧(图5(b))中,由于目标形态变小,MEDIANFLOW算法和MLT算法的漂移变大,MEDIANFLOW失去了目标。在第183帧(图5(c))中,MLT算法重新跟踪到目标。通过对序列1和序列2的比较,本文提出的算法和CSRT算法在不同场景下对红外点目标的跟踪性能都较好。另外4种算法在红外点目标检测中性能较差。

3 结论

为了解决复杂背景下红外点目标跟踪问题,本文提出利用机器学习跟踪方法提高算法的鲁棒性。此外,采用的训练特征应适合于描述红外点目标的特征。本文采用改进的Adaboost算法作为跟踪框架,利用能有效检测红外点目标的MS-LSGM算法计算特征,训练分类器,去除伪目标。同时,采用运动模型降低每帧中窗口搜索范围。为了验证算法的有效性,对不同背景的红外图像点目标进行跟踪。实验结果表明了该方法的有效性。同时,与现有方法进行了比较,实验结果表明,该算法优于现有的几种红外点目标检测跟踪算法。在接下来的研究中,在本文的基础上,使用多种方法作为训练特征来提高算法的鲁棒性。