特征融合的尺度估计颜色名跟踪算法

吕 凯，袁 亮，岳昊恩

(新疆大学 机械工程学院，新疆 乌鲁木齐 830047)

0 引 言

近年来，相关滤波跟踪算法在目标跟踪方面取得了高精度、高速度的特点[1-4]，从而引起研究人员的广泛关注,并且应用广泛[5-7]。早期Bolme等使用对图像的灰度特征进行跟踪的相关滤波跟踪算法，即最小均方误差和滤波跟踪器(MOSSE)，但是这种算法单一利用的图像灰度特征，不适用在复杂的场景。Henriques等提出了循环结构跟踪器(CSK)[8]，之后又提出了核相关滤波算法(KCF)[9]，虽然跟踪精度得到了显著的提高，但是没有解决目标尺寸变化的问题。Danelljan等提出的判别尺度空间跟踪器算法(DSST)[10]，利用位置滤波器(translation filter)和尺度滤波器(scale filter)对目标依次进行定位和尺度评估，开创了平移滤波+尺度滤波的方法。Danelljan等提出的颜色名跟踪算法(CN)[11]，将图像的RGB颜色信息映射到包含黑、蓝、棕、绿、灰、橙、粉、紫、红、白和黄11个颜色通道的CN空间[12],这种方法具有一定的光学不变性，但是运算量大，然而这类算法依然没有解决目标尺寸自适应的问题。

目前大多数传统相关滤波跟踪算法都无法有效解决目标的尺度变化、遮挡问题，为此提出一个在颜色名(color name，CN)跟踪器框架下融入LBP纹理特征的快速尺度估计算法。该算法在表达目标信息方面，将CN颜色特征和LBP纹理特征自适应融合，提高目标跟踪的精度,并且增加一个独立的一维尺度滤波器对检测到的目标信息做出最优尺度估计。在目标模板更新方面，添加了一个峰值旁瓣比判断，可以防止目标模板错误更新从而导致错误跟踪，最后在尺度滤波器的最高响应值作为最后的目标位置信息。

1 相关滤波跟踪器

1.1 CN跟踪器原理

CN跟踪器是建立在CSK跟踪器的基础上，拓展了颜色属性，先将RGB空间的图像映射到CN空间通道，然后用FFT(快速傅里叶变化)、核映射对每一个通道进行处理，最后将处理过的11个颜色通道的频域信号线性加权，继续完成CSK的计算，其中降低运算量的关键在于两个方面，一方面沿用了CSK的循环结构进行相邻帧的相关性检测；另一方面是通过主成分分析(PCA)自适应地降低颜色属性的维度方法，将11个颜色通道降为2个。

1.2 CN跟踪器相关计算

CN跟踪器是以目标为中心，用一个大小为M×N矩形框选取图像第一帧的目标图像块x来训练线性分类器。例如，首先把第一帧到当前帧p的目标提取出来 {xj∶j=1,…,p}。 然后将用这些帧上的加权平均二次误差构造代价函数，但因为其解仅限于包含一组分类器系统α，所以每个帧j用常量βj≥0加权。最后代价函数被表示为

(1)

可以看出，代价函数的最小化为

(2)

(3)

在目标跟踪中，框选大小为M×N的目标图像块x可以从待处理帧p+1中提取，置信分值计算公式

(4)

(5)

式中：α1，…，αp是权重函数

(6)

式中：M×N表示图像块领域大小，(m,n)∈{0,…,M-1}×{0,…,N-1}

(7)

2 改进算法

2.1 多特征融合

CN特征对于运动模糊具有很好的稳定性，LBP特征[13]具有旋转不变性和灰度不变性等显著的优点。由于在复杂背景下，目标跟踪过程中会出现目标丢出的问题，为克服这类问题，提出在CN跟踪器的框架下增加LBP特征，利用CN+LBP特征融合以达到增强目标的特征模型。

LBP纹理特征定义为

(8)

式中：(xc,yc) 为中心像素；gc为中心像素点；gp为领域像素点。

LBP特征的统计直方计算公式为

(9)

(10)

2.2 融入多尺度估计

针对目标跟踪过程中跟踪目标出现的尺度变化问题，提出了通过建立独立的一维尺度滤波器去检测目标尺度的变化并且通过最高响应值估计目标的最优尺度。尺度估计步骤：首先CN滤波器作为框架并且融合CN特征和LBP特征进行目标跟踪，并且获取目标及其周围的图像块xs,xs=M×N，在图像块xs采集一系列不同尺度的图像块xsi,xsi=αiM×αiN，其中α=1.02代表尺度因子，i∈{-[(n-1)/2],…,[(n-1)/2]},n=33代表33个不同尺度。然后在这一系列不同尺度的图像块中进行多特征融合响应，每个图像块对应的高斯函数标签为ysi；并且使用这些图像块去训练RLS分类器，在线性空间求解，获得一个一维尺度滤波器；最后通过这个滤波器找出的最大输出响应作为跟踪目标的最优尺度。

训练RLS分类器，得到一维尺度滤波器模板Snum,Hden的计算和更新公式为

(11)

(12)

式中：ηs是固定的参数。

尺度滤波器的输出响应为

(13)

2.3 目标模型自适应更新

跟踪算法要对目标模板进行更新，但是在更新过程中，由于目标在遮挡等复杂情况下会把目标的背景信息更新入目标模板中，这样存在一个背景信息干扰目标信息的情况，从而导致目标跟踪丢失。为了解决这类问题，本文提出了利用峰值旁瓣比(peak to sidelobe ratio，PSR)，设定阈值，对目标模型进行自适应更新，PSR的计算公式

(14)

式中：p为响应最大峰值；u为旁瓣区域的均值；σ为旁瓣区域的标准差。若PSR值越大，则表明跟踪结果越准确。故改进算法设定阈值T=10，当PSR>T时，更新目标模板；当PSR

2.4 改进算法步骤

改进算法的框架见表1；改进算法流程如图1所示。

表1 改进算法的框架

图1 改进算法流程

3 实验结果与分析

3.1 实验环境及设置

实验硬件环境为CPU Intel Core i5-7500，主频3.40GHz，内存8GB配置的计算机，算法开发平台为MATLAB R2015b。除特殊说明外，实验中的参数使用原作者提供代码的默认参数。

改进算法针对跟踪目标的尺度变化和遮挡问题所改进的，为了验证算法的性能，采用OTB-2013中51组含有不同属性的视频集进行评估，并且与CSK[8],KCF[9],DSST[10],CN[11]这4种流行跟踪算法做对比实验。

3.2 定性分析

表2 实验测试的视频

(1)尺度变化。在跟踪过程中，由于跟踪目标尺度发生改变，而跟踪框大小固定，因此无法提取有效的目标信息，最终导致目标漂移或丢失。以“Car4”“Carscale”两组视频为例，这两组视频中的目标均出现一定程度的尺度变化。如图2(a)可看出，以车辆为跟踪目标，在车辆行驶过程中，目标变道以及尺度逐渐变小，在第131帧，CN、KCF、CSK等算法均出现了较小的漂移，随着帧数的增加漂移现象越来越明显。如图2(b)中跟踪目标为行驶的车辆，存在着部分遮挡以及尺度逐渐变大，在第176帧，CN、KCF、CSK等算法同样出现了漂移，而引起这些漂移的原因是这3种算法目标框尺度不变，使得获取背景信息较多，目标特征较小。而改进算法和DSST算法能随着目标尺度变化自适应的修改跟踪框大小，和CN、KCF、CSK等算法对比，相对提取少量杂质信息，能够稳定地跟踪目标。

(2)目标遮挡。在目标跟踪过程中，遮挡问题时常发生，在遮挡情况下，若不能有效获取足够的目标信息，则最终导致跟踪失败。文中以“Girl”“Tigerl”“Walking2”3组视频为例，目标在跟踪过程中被不同程度的遮挡。如图2(c)在第457帧出现了遮挡，在视频后续中CN、DSST、KCF、CSK等算法均丢失跟踪，而改进算法跟踪成功；如图2(d)在第128帧之后出现遮挡，在视频后续中CN、DSST、KCF、CSK等算法存在着跟踪漂移或者跟踪失败，只有改进算法能够稳定跟踪目标；在图2(e)中，可以看出在第331帧中出现遮挡以及尺度变化，在之后的跟踪过程中CN算法、CSK算法跟踪目标丢失，KCF算法跟踪目标出现漂移，DSST算法和改进算法跟踪目标稳定准确。改进算法利用峰值旁瓣比，设定阈值，当峰值旁瓣比小于阈值时，停止模板更新，维持前一帧模板信息，避免了遮挡情况下更新错误的模板信息，因此从这3组视频中表现出改进算法具有较强的抗目标遮挡能力，可以稳定准确的跟踪目标。

(3)光照变化。由于光照强度发生改变，引起跟踪目标与背景的亮度信息发生改变，因此干扰了目标特征准确选取，最终导致目标跟踪偏差或者丢失。以“fish”“Singer1”“Trellis”3组视频为例，如图2(f)～图2(h)中均出现了背景光照发生剧烈变化，在目标跟踪过程中，CN、KCF、CSK等算法在跟踪目标时都出现了目标漂移甚至丢失，而DSST算法和改进算法能够稳定准确的跟踪目标。改进算法融合了CN特征和LBP特征使得算法对光照具有较强的鲁棒性，对光照变化适应能力较强，从而可以很好的目标跟踪。

(4)快速运动。由于目标运动较快，图像分辨率不高，导致图像模糊，因此目标的特征信息很难准确获取，最终导致跟踪目标失败。以“fleetface”“Jumping”两组视频为例，如图2(i)跟踪目标存在着快速运动、尺度变化、目标形变、旋转等属性，在第529帧之后,CN、KCF、CSK等算法跟踪漂移或者失败，DSST算法和改进算法可以准确跟踪目标；如图2(j)跟踪目标存在快速运动、运动模糊等属性，在第24帧后续中只有改进算法可以稳定跟踪目标。改进算法采用了尺度估计和峰值旁瓣比判断来更新目标模板，从而可以继续跟踪目标，保证了算法最快速运动目标具有较好的稳健性。

图2 5种算法在部分序列上的跟踪结果显示

表3、表4为改进算法与4种算法在10组测试视频上的中心位置误差、重叠率中作比较。从表3可以看出，改进算法在10组测试视频中的中心位置误差值一直较小；从表4可以看出，改进算法在10组视测试频中的覆盖率值均较大；因此通过表3、表4中的数据可以表明改进算法更具有跟踪目标的优越性。

3.3 定量分析

通过时间鲁棒性评估(TRE)，即51组视频集的每一组视频序列分成20个片段，跟踪器会在每一个序列的片段上进行评估且整体的统计数据也会被记录下来。这样评估方法更能验证改进算法的跟踪性能。

表3 中心位置误差

表4 重叠精度对比

图3是51个视频集的精度曲线和成功率曲线。由图可以看出，改进算法在TRE评估中，跟踪精度和成功率均高于其它4种跟踪算法，并且与CN算法比较，跟踪精度提高10.1%，成功率提高23.5%。因此验证了改进算法具有较高的鲁棒性。

图3 51个视频集的精度曲线和成功率曲线

3.4 算法跟踪速率

在CPU运行条件下，5种跟踪算法在OTB-2013的51组视频集的平均跟踪速率见表5。从表5可以看出，改进算法在跟踪速度上要慢于其它算法，这是由于改进算法加入了尺度估计和特征融合。

表5 5种跟踪算法的平均运算速度

4 结束语

针对传统CN算法在尺度变化、遮挡等情况下目标跟踪效果不理想，提出了一种快速尺度估计的多特征融合颜色名算法，该算法在CN跟踪器框架下融入LBP纹理特征，增强了目标特征信息的表达；然后增加一个独立的尺度滤波器，弥补了传统CN算法不能自适应目标的尺度变化；最后结合响应图的峰值旁瓣比，设定阈值，对目标模型做出更新调整。实验结果表明，改进算法相比于传统的CN算法，在尺度变化、光照变化、遮挡、快速运动等复杂场景下，有较高的成功率和跟踪精度；并且在整体测试中，具有良好的鲁棒性和实时性。