融合多特征的时空正则化相关滤波无人机跟踪

张 微

(宝鸡文理学院计算机学院，陕西 宝鸡 721000)

0 引言

视觉目标跟踪在许多领域均有非常广泛的应用，特别是各种类型的无人机(UAV)应用，如空中监控、基础设施巡逻、空对空加油和精确着陆等[1-2]。尽管大量视觉跟踪方法已被设计用于无人机[3-5]，但受视角变化、目标外观变化、部分或全部遮挡、快速运动、图像分辨率低及背景杂乱等因素影响，鲁棒和精确的无人机跟踪仍面临巨大的挑战。

近年来，基于相关滤波的目标跟踪方法(CFTs)和基于深度学习的目标跟踪方法得到了研究者们越来越多的关注[6-12]。2010年，文献[6]提出一种相关滤波器(MOSSE滤波器)用于目标跟踪，该方法在当时达到了领先的速度(669 帧/s)。基于MOSSE滤波器的基本框架，研究者们通过引入核方法[7]、多通道形式[8]、尺度估计[9-10]、有效特征[11-12]等不同改进形式，使CFTs的跟踪性能得到不同程度的提升。此类方法不仅通过循环平移操作进行密集采样，增加了训练样本的多样性，还利用快速傅里叶变换将复杂的卷积操作转化为频域中元素间的乘法运算，减小了计算量，提高了求解效率。目标的空间和时间信息为跟踪任务提供关键的辅助线索。为缓解训练样本周期性假设带来的边界效应，文献[13]提出一种空间正则化相关滤波跟踪方法(SRDCF)；通过对跟踪过程中的目标及其背景进行有效建模，文献[14]提出一种背景感知的相关滤波跟踪方法(BACF)；文献[15]将一种时间正则化项引入SRDCF，提出一种时空正则化相关滤波器(STRCF)，用于目标跟踪；文献[16-17]将不同类型特征融合，通过选择具有判别力的特征或特征融合方式，进一步提升跟踪性能，分别提出一种基于相关滤波的多视图模型(MvCFT)和一种多线索相关滤波跟踪方法(MCCT)。考虑到无人机的功率容量和计算资源的限制，相比于基于深度学习的目标跟踪方法，CFTs在傅里叶域计算的高效性使其具有更显著的优势。文献[4]将多种特征引入BACF，提出一种基于在线多特征学习的无人机跟踪方法(OMFL)；文献[5]充分利用局部-全局响应的变化，提出一种自动时空正则化框架(AutoTrack)，用于无人机跟踪。

虽然上述CFTs在跟踪精度和速度上均取得较好的结果，但是这些方法在目标外观表示多样性和位置定位精度方面仍有待提升。为解决这一问题，本文在STRCF的基础上提出了一种融合多特征的时空正则化相关滤波跟踪方法，并用于无人机跟踪。首先，将谱残差显著性(Spectral Residual Saliency)[18]引入时空正则化相关滤波跟踪框架，与灰度(Gray)、颜色(CN)和梯度方向直方图(HOG)特征结合，用于提高目标外观表示的多样性。其次，利用峰值旁瓣比(PSR)衡量相关响应图的峰值强度，评估不同特征权重，提出一种多特征加权融合策略，进一步提升目标定位精度。最后，在公共数据集UAV123@10FPS[3]上，对123个具有挑战性的无人机视频序列进行定性和定量实验。实验结果表明，相比于12种经典跟踪器，本文方法在精确度和成功率上均取得较好的结果，具有良好的跟踪性能。

1 多特征时空正则化相关滤波跟踪框架

1.1 时空正则化相关滤波器

(1)

式(1)通过交替方向乘子法(ADMM)求得全局最优解。首先，引入辅助变量g，且f=g，得到式(1)的增广拉格朗日形式为

(2)

(3)

对子问题f,g分别求解得到

(4)

g=(WTW+γI)-1(γf+γh)

(5)

γ(i+1)=min(γmax,ργ(i))

(6)

式中：γmax表示γ的最大值；ρ表示尺度因子。详细求解过程参见文献[15]。

1.2 显著性特征

显著性即目标本身比背景更引人注目的特性，常用于目标检测。受文献[18]启发，本文提取跟踪过程中目标的显著性特征用于STRCF,以提升跟踪性能。

(7)

(8)

(9)

(10)

(11)

本文实验中n取值3。

(12)

1.3 多特征融合策略

在具有多种挑战性因素的跟踪序列中，目标易受外观变化、视角变化、遮挡、背景杂乱等因素影响，因而仅利用单一特征表达目标信息实现准确跟踪是不够的。为了提高跟踪性能，本文设计了一种简单有效的特征融合策略。

将4种不同特征Gray，HOG，CN和Saliency特征分别用符号,,和表示。给定图像帧(k)和基跟踪器，可以分别得到每种特征的相关响应图，即

(13)

式中，特征池f′包含上述4种特征，记为f′∈{,,,}。

Rfi′=αfi′rfi′

(14)

式中，特征池f′中第i种特征的归一化权重为αfi′，其算式为

(15)

(16)

式中，max(·),μ(·)和σ(·)分别计算响应图rfi′的最大值、均值和标准差。

受跟踪过程中各种复杂因素影响，仅利用单一特征计算获得的相关响应图可能包含噪声信息。为了滤除噪声，提高响应图置信度，本文将4种特征进行两两组合，可以得到6种不同的结果，组合结果表示为O∈{,,,,,}，该特征组合将2种特征的相关响应图进行融合，以提高噪声滤波的精度和自适应性，上述策略被用于不同特征组合RO中，即

(17)

(18)

式中，M为特征组合O中包含的组合数目。第j种组合的归一化权重βOj算式为

(19)

因此，最终融合响应图的最大值即为检测结果。

1.4 本文算法流程

融合多特征的时空正则化相关滤波跟踪算法如下。

输入为第k-1帧的目标位置；输出为第k帧的估计目标位置。从k=2开始重复以下步骤：

1) 以第k-1帧的目标位置为中心在第k帧中提取图像块；

2) 在该图像块上分别提取Gray，HOG，CN和Saliency这4种不同特征；

3) 利用式(13)计算每一种特征i的相关响应图；

5) 利用式(17)将所有特征组合响应图进行融合；

6) 利用式(18)和式(19)计算最终融合响应图Q；

7) 通过在最终融合响应图Q中搜索最大值估计目标在第k帧的位置；

8) 使用式(3)和式(6)分别对每种特征i对应的时空正则化模型进行更新；

9) 重复直至视频序列最后一帧。

2 实验结果与分析

2.1 实验环境与参数设置

2.1.1 实验环境

本文方法实验采用Matlab实现，在16 GiB 内存，配置Intel®CoreTMi7-7700 CPU的计算机上运行。

2.1.2 参数设置

对于ADMM法，时间正则化参数μ=16，初始化步长参数γ(0)=10，步长参数的最大值γmax=100，尺度因子ρ=1.2，ADMM法的迭代次数设为2。对于显著性特征参数，参见文献[18]。

2.1.3 数据集

本文方法在公共无人机数据集UAV123@10FPS[3]上进行跟踪性能评估,该数据集包含123段挑战性UAV视频序列(共37 885帧)。

2.2 评估方法

为分析和评估各类跟踪算法的性能，本文采用一次性通过评估(OPE)，以精确度(DP)和成功率曲线下面积(AUC)作为主要评价标准，详情可参见文献[19]。

2.3 跟踪性能评估

2.3.1 总体性能分析

本文方法与OMFL[4]，AutoTrack[5]，KCF[8]，SAMF[10]，SRDCF[13]，BACF[14]，STRCF[15]，MCCT_H[17]，MEEM[20]，MUSTER[21]，Struck[22]和TLD[23]这12种经典跟踪器进行总体性能分析。

图1给出所有跟踪器在123段UAV视频序列上的精确度曲线图和成功率曲线图。

图1 所有跟踪器在123段UAV视频序列上的精确度和成功率曲线图Fig.1 Precision and success rate plots of all trackers on 123 UAV sequences

在所有精确度曲线图中，所有跟踪器在中心位置误差(CLE)阈值为20像素时的距离精度分别为0.681(本文方法)，0.671(AutoTrack)，0.655(OMFL)，0.627(STRCF)，0.596(MCCT_H)，0.584(MEEM)，0.575(SRDCF)，0.572(BACF)，0.526(MUSTER)，0.509(Struck)，0.465(SAMF)，0.415(TLD)和0.406(KCF)。同样地，在成功率曲线图中，所有跟踪器的成功率AUC值分别为0.489(本文方法)，0.477(AutoTrack)，0.459(OMFL)，0.657(STRCF)，0.433(MCCT_H)，0.423(SRDCF)，0.413(BACF)，0.380(MEEM)，0.371(MUSTER)，0.347(Struck)，0.326(SAMF)，0.286(TLD)和0.265(KCF)。从上述结果可以看出，相比于其他12种经典跟踪器，本文方法在精确度和成功率曲线下面积上均排名第一。

2.3.2 属性性能分析

除总体性能分析，图2和图3分别给出本文方法与12种跟踪器在123段UAV视频序列上不同属性的精确度曲线图和成功率曲线图。12种不同属性分别为尺度变化(SV)、部分遮挡(POC)、摄像机运动(CM)、纵横比改变(ARC)、视角变化(VC)、低分辨率(LR)、相似目标(SOB)、全部遮挡(FOC)、光照变化(IV)、移出视野(OV)、快速运动(FM)、背景杂乱(BC)，属性顺序按照与每种属性相对应的视频数目降序排列。

图2 所有跟踪器在123段UAV视频序列上不同属性的精确度曲线图Fig.2 Precision plot of different attributes of all trackers on 123 UAV sequences

图3 所有跟踪器在123段UAV视频序列上不同属性的成功率曲线图Fig.3 Success rate plots of different attributes of all trackers on 123 UAV sequences

在所有精确度曲线图中，本文方法在12种属性中的11种属性上取得了最优结果，仅在快速运动属性上取得了次优结果。相比于次优方法，本文方法在11种属性上的精确度分别得到了不同程度的提升。具体地，根据图2的属性顺序依次为1.1%(SV),4.5%(POC),1.7%(CM),0.9%(ARC),1.5%(VC),3.1%(LR),3.5%(SOB),5.4%(FOC),1.9%(IV),4.8%(OV),3.9%(BC)。在所有属性中，部分遮挡、全部遮挡及移出视野属性上的跟踪性能提升尤为显著。

在所有成功率曲线图中，除了快速运动属性，本文方法在其他11种属性上均取得了最优结果。相比于次优方法，本文方法在11种属性上的成功率分别得到了不同程度的提升。具体地，根据图3的属性顺序依次为1.2%(SV),2.4%(POC),1.9%(CM),1.6%(ARC),3.1%(VC),0.3%(LR),3.0%(SOB),3.1%(FOC),2.1%(IV),2.5%(OV),3.3%(BC)。属性顺序同图2。在所有属性中，视角变化、全部遮挡及背景杂乱属性上的跟踪性能提升尤为显著。

2.4 跟踪结果比较

为了进一步验证本文方法的跟踪性能，图4给出本文方法与其他12种经典跟踪器在4组挑战性序列上的跟踪结果。表1给出所选取视频序列的总帧数及所包含的属性。从图4中可以观察到，本文方法相比于其他12种跟踪器在这些序列中取得了较好的跟踪结果。

表1 典型UAV视频序列Table 1 Typical UAV sequences

图4 所有跟踪器在4组挑战UAV视频序列上的跟踪结果比较Fig.4 Comparison of tracking results of all trackers on four challenge UAV sequences

2.5 跟踪速度比较

图5给出所有跟踪器在123段UAV视频序列上的跟踪速度比较。从图5中看出，本文方法的跟踪速度(11.9 帧/s)在所有跟踪器中排名第8，其速度大于10 帧/s，能够满足在UAV跟踪任务中的实时性能要求，且其速度优于多线索跟踪器(MCCT_H)的10.1 帧/s。

图5 所有跟踪器在123段UAV视频序列上的跟踪速度比较结果Fig.5 Comparison results of tracking speed of all trackers on 123 UAV sequences

3 结论

本文提出了一种融合多特征的时空正则化相关滤波无人机跟踪方法。通过采用不同特征提高时空正则化相关滤波目标特征表示的多样性，并利用峰值旁瓣比衡量不同特征响应图峰值强度，通过加权后特征组合进行降噪，最终加权融合提升目标定位精度，实现无人机复杂场景下目标的稳定跟踪，并通过公共无人机数据集上的仿真实验验证了本文方法的有效性。下一步将引入重检测策略，进一步提升目标定位精度。