上下文感知相关滤波的红外目标跟踪改进算法

2020-08-07 03:38杜若鹏
激光与红外 2020年7期
关键词:置信度红外滤波

杜若鹏,张 磊,卢 杨

(河北工业大学人工智能与数据科学学院,天津 300130)

1 引 言

计算机视觉现在发展迅速,目标跟踪是其中重要的研究发展方向。在目标跟踪的众多算法中,主要分为判别式模型方法与生成式模型两大类。生成模型方法指的是对指定帧的目标区域建立模型,在下一帧图像中寻找与模型最相近的区域。其代表算法主要有均值漂移跟踪算法[1]、粒子滤波跟踪算法[2]、稀疏模型跟踪算法[3]等等;判别式模型方法指的是以当前帧的目标区域为正样本,背景区域为负样本,应用获得的正负样本对分类器进行训练,利用训练好的分类器在下一帧中查找最优目标区域,同时利用新样本更新分类器模型。随着机器学习的发展,基于机器学习的判别式模型跟踪算法是现在跟踪领域中主要的研究方向,其中相关滤波器属于判别式模型跟踪算法。

在目标跟踪领域中,通过设计一个模板,使得它在跟踪目标位置得到最大的响应值。Henriques等提出了KCF算法[4],利用梯度直方图(Histogram of Oriented Gradient,HOG)特征[5]来描述跟踪目标的信息的同时引入核技巧,大大降低了运算量,在速度与准确性上均有明显的优势。

与可见光图像相比,红外图像不受外界环境光照条件的限制,可以全天候使用。但是由于红外图像信噪比与对比度低、目标边缘不明显等特点,红外图像下的目标跟踪有着一定的挑战性[6]。针对红外图像下背景复杂与目标遮挡的问题,本文提出了一种基于上下文感知的相关滤波改进跟踪算法,在训练阶段引入目标背景信息,抑制由于忽视了背景信息而导致的目标漂移。同时,设计一种高置信度的模型更新策略,提高了跟踪结果的准确性。

2 核相关滤波跟踪算法

依据相关滤波跟踪器的计算原理,可以得到如下公式:

g=f⊗h

(1)

式中,f表示输入的目标图像,h表示算法的滤波模板,g表示模板的响应输出,⊗为卷积操作。

为了简化计算过程,对上式进行快速傅里叶变换(Fast Fourier transform,FFT),将时域内卷积操作变化为频域内点乘操作:

G=F·H*

(2)

式中,G、F和H分别对应式(1)中的傅里叶变换结果,符号·代表点乘,H*代表H的复共轭。

在核相关滤波算法中引入岭回归模型对分类器进行训练,定义线性分类器f(x)=wTx并对其进行训练,使得训练样本与期望目标值之间的平方误差最小,公式如下:

(3)

其中,w表示分类器权值向量的参数,xi和yi分别表示训练样本集中第i个样本及其对应的目标值,λ表示正则化参数,用来防止模型过拟合。将所有训练样本xi组合成一个矩阵X,其中矩阵中的每一行代表一个样本,将所有训练样本的目标值yi组成一个向量用y表示。

尽管核相关滤波跟踪算法具有较高的精确度和较好的实时性,但是直接应用于红外图像中仍不能达到很好的效果,需要依据红外图像的特性对算法做出相应的改进。在模型求解空间部分,应针对于红外图像的特点做出改进,不单单只利用目标区域图像;在模型更新策略部分,应采用高置信度的模型更新策略,提升模型更新的鲁棒性。

3 本文算法

目前大多数红外跟踪算法的研究方向主要集中于合并更强的目标特征以丰富对于跟踪目标的表达。然而,这种方法使得目标和背景的区分只能局限于一个小的区域内,忽视了在跟踪过程中背景信息的重要性。为了解决上述在目标跟踪过程中出现的问题,本文提出了一种基于上下文感知的相关滤波跟踪算法[7],在引入目标背景信息的同时改进其算法的更新策略,提升跟踪算法的整体性能。本文算法流程图如图1所示[8]。

图1 算法流程

3.1 上下文模型建立

在建立上下文模型之前,需要先对目标进行OCS-LBP特征提取,然后对模型进行求解。

3.1.1 OCS-LBP特征

先将红外图像分为多个子区域块,相邻的子区域块不重叠,与此同时从子区域块中获取OCS-LBP特征直方图,对图像中的每个像素点计算其梯度方向以及幅值,整个计算过程的数学公式描述为:

(4)

(5)

(6)

式(4)分段函数s(x)中的参数T是其函数中的比较阈值,参数T的具体取值需要通过实验来决定,一般情况下设置为一个较小的正数。通过对阈值T赋予不同值的方式来提升目标特征的鲁棒性。在(5)和(6)的公式中,(xc,yc)表示邻域内中心像素点的坐标值,ni和ni+(P/2)与ni和ni-(P/2)分别表示一组以P为等间隔,对半径为R的圆形区域进行分割后关于中心对称的一组像素点的灰度值。k表示对应的梯度方向,其取值范围是0~7的正整数。

图2为OCS-LBP计算原理示意图,从图中可以分析得到,梯度方向从0°~360°被分为8个方向,每间隔45°设置一个梯度方向。将关于中心对称的两个像素点的灰度值之差作为梯度幅值,之后与阈值进行比较后确定最终的结果,每一个梯度方向上的幅值都由这个梯度方向上对应像素点的灰度值决定。如式(5)和(6)梯度幅值的计算被分为两个部分。在式(5)中k的取值范围为0~3,相当于0°~180°,每隔45°设置一个梯度方向;式(6)中k的取值范围为4~7,对应角度为180°~360°,每隔45°设置一个梯度方向。当梯度方向关于中心对称的两个像素点灰度差值大于阈值T时,则将差值记录在其对应梯度方向的直方图中。例如,设定阈值T为0,i5的灰度值为120,i1的灰度值为40,两者差值为80,大于设定的阈值T,由公式(6)可知,在直方图中梯度方向k=5所对应的幅值大小为80。

图2 OCS-LBP特征计算原理示意图

利用上述特征提取方法,将候选目标区域分割为多个子区域,对每一个子区域求取特征直方图。在计算完每个子区域的像素点后,采用最小-最大归一化方法,得到最后的红外图像特征矩阵。从OCS-LBP特征的计算过程可以看出,像素的梯度方向信息和梯度幅值信息均包含在其特征直方图中。

3.1.2 模型求解

为了计算简洁的同时引入所提出的算法,将核相关滤波跟踪算法中的公式(3)进行改写,得到下面的公式为:

(7)

式中,方阵A0∈Rn×n表示输入图像经过循环位移后所得到的矩阵,与此同时定义a0∈Rn为将输入图像矢量化后的向量,即方阵A0的第一行。向量w表示需要训练的相关滤波器参数,回归目标y表示矢量化图像对应的二维高斯函数,λ1表示公式中的正则化参数。

在每一帧图像中,对目标区域的背景采集k个图像样本,与上文对应,背景采样区域图像经过循环位移后得到的矩阵为Ai∈Rn×n,同时定义ai∈Rn为采样图像矢量化即方阵Ai的第一行。

上下文信息即背景区域的选择对于跟踪的性能至关重要。本文选择在目标区域周围的上下左右方位采样背景信息,这将使得滤波器可以在下一帧中更好地区分背景信息或是遮挡物的信息。算法的采样方式如图3所示,图3(a)采用原始算法的采样方式,图3(b)采用上下文感知算法的采样方式。

图3 算法采样方式示意图

这些背景图像块可以看作是相对于目标图像的负样本,它们以各种干扰或是不同背景的形式组成了目标图像周围的上下文信息。因此,算法可以通过训练一个滤波器w∈Rn,使得它在目标图像区域具有较高的响应值,而在上下文采样区域的响应接近于零。为了防止过拟合现象的发生,引入参数λ2对上下文采样区域加以限制,由此可以得到相关滤波算法的新目标函数为:

(8)

3.2 模型更新策略

基于相关滤波的红外目标跟踪算法中,采用响应图的峰值对目标跟踪的结果做出定位[9]。在响应图中,主峰的状态在很大程度上反映了跟踪结果的置信度。如图4所示,图4(a)、4(d)中深色框算法采用了高置信度更新策略,浅色框采用每帧更新策略;图4(b)、4(e)是采用高置信度更新策略的响应图;图4(c)、4(f)是采用每帧更新策略响应图。在跟踪过程中前向检测目标正确的时候,理想状态下响应图中只有一个明显的主峰且主峰周围位置应相对平坦,主峰的峰值越高则对于目标的定位精度也就越高,如图4(c)所示。反之,如果主峰附近出现高度相差不多的次峰且响应图整体存在较大波动,说明目标定位精度不高。同时距离主峰越近的扰动对于跟踪目标定位的影响也就越大,因此扰动位置与主峰的距离对于模型好坏的判别也至关重要,如图4(b)所示,出现这种情况说明跟踪模型被污染,如果继续使用原方案更新的话,往往会造成跟踪目标的漂移从而导致跟踪失败。

图4 高置信度更新策略

根据这种情况,本文提出了一种高置信度的模型更新策略——加权平均峰值能量(Weighted Average Peak Energy,WAPE),定义为:

(9)

其中,Fmax和Fmin分别表示响应图中的最大峰值和最小峰值;Fw,h表示响应图中第w行第h列对应位置的响应值;Zw,h表示响应图中第w行第h列对应的位置;Zmax表示响应图中主峰的位置;|Zw,h-Zmax|表示这两点之间的距离;τ表示控制参数。

在分子中,主峰峰值越大则表示置信度越好;在分母中,距离主峰越近的位置扰动对于定位目标的影响越大,因此对于距离主峰较近的位置给予Fw,h与Fmin的差值以较大权值,对于距离主峰较远的位置给予较低的权值。

4 结果分析与讨论

4.1 参数设置与评价指标

本文算法实验平台采用MATLAB2015b,电脑硬件参数配置为Intel i5-7300HQ CPU,主频2.5GHz,内存8G,64位WIN10操作系统。其中,OCS-LBP特征中,半径参数R=2,间隔P=8,比较阈值T=1。设置模型更新策略所对应的控制参数τ=1.1,正则化系数λ2=0.5,背景采样区域k=4。

实验数据方面,采用25组红外视频序列作为基准视频数据集,这些红外视频数据采用Visual-Data公司的IRJ-CT型号红外相机进行拍摄,该红外相机焦距为8 mm,水平视角50°(HFOV),相机基线120 mm,感光波长范围在8-13 μm,图像分辨率640×480像素。数据中20组视频采用车顶安装的红外相机进行拍摄,车辆移动速度为15 km/h,另外5组视频采用昊翔台风Q500无人机搭载红外相机悬停于空中进行拍摄。

为了更好地评估本章算法的有效性,采用一次性通过分析OPE[10](One-Pass Evaluation)作为跟踪算法的评判指标。OPE通过两种标准对目标跟踪算法的结果进行评价衡量:精确度(precision)和成功率(success rate),同时将结果利用精确度曲线图和成功率曲线图表示。在精度图中,中心位置误差(center location error,CLE)对应精度图中的横坐标,是用于评价跟踪精度的指标。中心位置误差表示的是在目标跟踪过程中跟踪算法所跟踪到的目标框中心位置与人工标定的真实目标框中心位置(ground-truth)之间的欧式距离。成功率图的横坐标表示跟踪模型预测的目标框与真实目标框重叠面积占两个目标框联合区域面积的比例,即重叠率(overlap),成功率图的纵坐标表示为跟踪算法在视频序列上重叠率大于某个阈值的帧数占总帧数的百分比。

4.2 定量分析

本文选择了9种最新的跟踪算法作为对比算法进行实验,分别包括DSST[11]、KCF[4]、DLSSVM[12]、MEEM[13]、MCCT[14]、Staple[15]、CCT[16]、SAMF[17]和MRCT[18]。

为了方便起见,将所提出的算法记作Proposed1。根据评价指标绘制本文算法和其他算法精确度曲线和成功率曲线如图5所示,对比各个算法性能如表1所示。图5显示了Proposed1算法在跟踪过程中与其他9种对比算法在总精确度与总成功率上的对比。从表1中可以看出,在总精确度与总成功率方面Proposed1算法相比于排名第二的MCCT算法均提高了6.4 %以及5.1 %,有较为明显的提升,且在速度上仅次于KCF与Staple算法,证明了Proposed1算法的有效性。

表1 本文算法与其他算法对比

图5 精确度和成功率曲线

4.3 定性分析

为了更好地分析本文提出算法的性能,给出算法和其他9种算法在25组红外视频序列上的目标跟踪结果,如图6所示。当跟踪目标经历不同变化时,针对相应的属性进行分析和比较。

目标遮挡:对于红外目标跟踪过程中的遮挡问题,分为部分遮挡和完全遮挡。当发生遮挡时,如图6(a)所示,目标行人在第85帧的运动过程中遭遇完全遮挡,DSST算法与CCT算法受遮挡干扰导致跟踪失败,其他算法虽跟踪上目标行人,但都在不同程度上发生了目标漂移。而本文所提出的算法在应对两种类型的遮挡时均表现出良好的跟踪效果。

图6 各算法在红外视频序列上的跟踪结果展示图

快速运动:如图6(b)所示,目标汽车第10帧超车过程中,目标运动速度较快,出现了快速运动情况,在第65帧目标汽车运动过程中部分算法发生了目标偏移,导致只能跟踪到目标汽车的一部分图像,而本文所提出的Proposed1算法能够较好地应对快速运动的发生,相比于其他算法可以更为准确地跟踪目标。

运动模糊:在红外图像中,由于信噪比较低等缘故容易造成在跟踪过程中出现目标运动模糊的情况。如图6(c)所示在第153帧中目标行人出现模糊,虽然大部分算法均能跟踪上目标行人,但是这些算法大多由于目标模糊而发生漂移,难以准确跟踪目标行人,而DSST与KCF算法则出现了跟踪失败。本文提出的Proposed1算法能够较好地应对目标发生的运动模糊,实现精确的目标跟踪。

5 结 语

在红外目标跟踪过程中,由于红外图像的信噪比较低而造成的目标运动模糊以及跟踪过程中出现的快速运动、遮挡等问题,分别对算法的模型和更新策略做出改进。首先针对算法模型,提出了上下文感知模型,在跟踪过程中充分利用红外图像的上下文信息;之后,提出了一种高置信度模型更新策略,即加权平均峰值能量WAPE,解决了在模型更新过程中由于严重遮挡或目标丢失造成的模型污染问题,提升了算法的性能。

猜你喜欢
置信度红外滤波
网红外卖
一种基于定位置信度预测的二阶段目标检测方法
硼铝复合材料硼含量置信度临界安全分析研究
闪亮的中国红外『芯』
系统可靠性评估与更新方法
8路红外遥控电路
TS系列红外传感器在嵌入式控制系统中的应用
正负关联规则两级置信度阈值设置方法
一种GMPHD滤波改进算法及仿真研究
基于自适应Kalman滤波的改进PSO算法