多特征融合的无人机目标跟踪算法研究

欧丰林, 杨文元

(1.漳州职业技术学院 信息工程学院，福建 漳州 363000；2.闽南师范大学 福建省粒计算及其应用重点实验室, 福建 漳州 363000)

随着视频跟踪技术的飞速发展，视觉目标跟踪在无人驾驶飞行器(Unmanned Aerial Vehicle, UAV)中起着重要的作用.它已被广泛应用于不同类型的无人机应用，如野生动物保护[1]、基础设施检查[2]，公共区域的异常目标行为识别[3]，列车自动驾驶轨迹分析[4]等人类活动监视.UAV的视频目标跟踪在快速运动、比例变化、摄像机运动、视差、低图像分辨率和杂乱背景等仍然是具有挑战性的重要问题.

目标跟踪的类型大致有两种:基于生成式方法和基于判别式方法.生成式跟踪方法是采用目标的外观模型作为模板，然后在搜索区内利用最小化重构误差的模式进行匹配，实现目标的跟踪;判别式方法则是把跟踪问题视为二元分类，通过图像训练来区分目标与背景的边界[5]，利用跟踪目标和背景信息进行目标外观学习.判别跟踪方法作为一种检测跟踪方法，在视觉跟踪应用中得到了广泛的应用[6-7].

相关滤波(correlation filtering, CF)的判别跟踪器近年来取得了重大进展[8-9].特别是基于判别相关滤波器(Discriminant Correlation Filters, DCF)的跟踪器[10-11]达到了预期的效果，在傅里叶频域上有效地解决岭回归问题，从而在精度和速度之间保持较好性能.基于DCF的跟踪性能的提升来源于使用颜色信息[11]、减小边界效应[12]、非线性内核[13]和多因素驱动的多维特征[14].不同的特征会捕获不同的目标信息渠道，从而获得更好的性能.

随着计算机视觉[15]、语音识别[16]、大数据[17]等领域取得的巨大成功，研究人员开始将目标跟踪应用于无人机的目标跟踪领域.张鑫等人[18]提出的UAV目标跟踪预测算法研究，以粒子滤波算法作为跟踪的主体框架，采用Kalman滤波预测目标轨迹，解决UAV在采集视频图像在与地面站进行数据通信的数据链延时问答，提高了目标跟踪的精度.邵博等人[19]提出基于核相关滤波器的无人机目标跟踪算法，通过颜色空间直方图的相似性度量算法进行尺度估计，最后采用滤波器获得目标位置，快速准确地跟踪目标.Wang等人[20]提出无人机跟踪的自适应采样，通过局部核特征对无人机跟踪对象的特性进行编码，采用边缘盒方案和随机样本作为训练样本，根据可靠的先验知识来识别跟踪目标，无人机目标跟踪精度效果较好.

然而，UAV上使用的对象跟踪方法大多依赖于特征点检测[21-22]，如(Histogram of Oriented Gradient, HOG)[23]特征对运动模糊、光照变化及颜色变化等很鲁棒，但对形变的鲁棒性较差；颜色特征(Color Name,CN)对形变鲁棒性较好，但对光照变化不够鲁棒；显著性特征在对象检测中，利用对象比背景更明显的事实，具有显著性信息的对象用于增强.

为实现精确目标定位，本文提出一种新的响应融合策略，将对提取的HOG，CN，Saliency三种特征通过峰值信噪比进行降噪后，再进行加权融合，实现目标跟踪的精确定位.首先，通过背景感知相关滤波器对跟踪的目标提取的每个特征；然后，利用峰值信噪比衡量每个特征响应值的峰值强度后进行降噪后对每个特征响应值进行组合后再进行加权融合.最后，对目标进行精确定位.该算法在UAV123公开的数据集进行实验，与6个视频跟踪算法进行对比分析.实验表明，该算法表现出较好的性能，特别是在目标跟踪的运动中视差，光照变化的精度有一定程度提高.

1 相关工作

1.1 HOG对象特征表示

HOG特征捕捉边缘或梯度结构，这是高度的局部形状特征，具有局部几何变换和光度变换不变性的优点.如果转换或旋转比定向框的大小得多，那么在对象表示上没有太大的差别.即使不精确地确定相应的梯度或边缘位置，局部物体的外观和形状可以通过局部强度梯度或边缘方向的分布来很好地表征.

1.2 颜色对象特征表示

除了纹理信息之外，在图像检索[24]中表现良好的颜色属性可以用来描述对象的特征.颜色属性被引用作为颜色名称，可以很好地处理物体的变形和形状的变化.构建对象颜色名称的操作是将RGB观测与预选的11个基本颜色标签项集相关联.为了实现CN特征图像首先将图像I(k)调整为I(k)re，其大小与C(k)相同，如图1所示.

1.3 背景感知相关滤波器原理

经典的相关滤波器跟踪器主要是通过最小化目标函数ε(f)来训练分类器，得到滤波器f的最优参数，ε(f)定义为

(1)

其中：ε(f)是样本xd的相关响应与它们的M×1期望相关响应y之间的平方误差和，xd∈M和fd∈M分别是矢量化图像特征和滤波器，下标d表示D特征通道中的第d个，λ是正则化参数，*表示空间相关算子.

图1 颜色特征对象表示

与经典的相关滤波(Correlation Filters, CF)不同，背景感知相关滤波器(Background-Aware Correlation Filters,BACF)[25]在图像上应用了一个循环移位算子和一个裁剪算子，通过训练一个过滤器来更好地区分前景对象和其移动的样本.背景感知相关滤波器f是通过最小化以下目标来训练的，公式定义为

(2)

其中：ε(f)是样本Bxd[Δτj]及其回归目标y(j)响应的平方误差和.B∈M×N是一个二进制矩阵，它可以裁剪信号xd的中间M个元素，大小为N，即xd∈N×1,N≫M,Δτj是循环移位算子，而xd[Δτj]表示信号中的元素xd循环移动j个位置，因此，返回所有大小为M的移位信号xd，上标T表示复向量或矩阵的共轭转置.

2 多特征融合算法

为了适应各种外观变化且能够在具有挑战性UAV123数据集上进行目标跟踪，仅用单一的特征来实现目标跟踪，提取的特征信息是不够的.受CF算法的启发,在背景感知相关滤波基础上,提出多特征融合的无人机相关滤波算法目标跟踪.

2.1 多特征学习的融合

假设给定的图像帧I(k)，则每个特征的响应图用Rf(k)表示，定义为

Rf(k)=P(I(k))

(3)

其中:f(k)∈{H(k),C(k),S(k)}.H，C和S分别表示HOG，CN和视觉强化特征.在跟踪的过程中，不同的响应映射被融合而不进行任何预处理，容易产生干扰信息将使得融合的响应映射不可避免地包含噪声，该算法采用峰值信噪比，测量Rf(k)的响应强度和权重.处理后的响应强度为公式(4)

Rf(k)=ωf(k)1Rf(k),

(4)

其中：ωf(k)1定义为

(5)

其中：μf(k)1和σf(k)1分别是Rf(k)的均值和标准差.为了使噪声滤波更准确、更自适应，提出的融合策略将不同的Rf(k)信息融合在一起.Rf(k)1f(k)2是指经过处理的响应映射Rf(k)1和Rf(k)2加权，定义为

Rf(k)1f(k)2=Rf(k)1Rf(k)2,

(6)

其中：f(k)1≠f(k)2，为按元素划分的乘积.然后将所有映射的响应值组合后进行融合，即RH(k)C(k),RH(k)S(k),RS(k)C(k).

为了更好地利用每个融合响应图并突出显示每个响应图中的信息，最终融合Q(k)定义为

ωH(k)S(k)2RH(k)S(k)+ωC(k)S(k)2RC(k)S(k)),

(7)

其中：ωf(k)1f(k)22定义为

(8)

其中：μf(k)1f(k)22和σf(k)1f(k)22是Rf(k)1f(k)2的均值和标准差，实现最终的融合响应映射.

2.2 MFFT 算法

如图2，本文提出一种新的响应融合策略框架，通过背景感知相关滤波器对无人机捕获的目标进行识别，重新构建大小合适的图像，并根据获得的目标进行HOG, CN, Saliency特征的提取；然后，通过提取特征得到的目标响应图，利用峰值信噪比对已经提取的特征进行降噪声，获得降噪后的强度最大响应值；接着，根据降噪后的三个最大特征响应值进行加权融合，求出平均值即获得融合后的响应值；最后，根据融合后的响应值进行目标精确定位.具体算法步骤：

算法:多特征融合无人机目标跟踪算法MFFT

输入：视频序列I(k)，第一帧目标位置，参数输入.

主要参数：特征选择FHOG,CN,Saliency；正则化参数0.01；迭代的次数为3；学习率为0.012等.

输出：视频所有帧的目标的跟踪位置.

1)对图像的大小进行重构，在框架k中提取以对象位置为中心的搜索窗口.

2)提取HOG，CN，Saliency三种相关滤波响应的特征.

3)根据公式(3)计算响应图，并利用公式(4)对获得的响应值进行降噪声.

4)根据公式(6)对降噪声后的的3个响应值进行融合，得到RH(k)C(k),RH(k)S(k),RS(k)C(k)三种响应特征组合.

5)将公式(7)组合后的响应特征进行融合，获得响应特征融合后取平均值.

6)根据最终融合后的响应Q(k)，实现目标跟踪定位.

返回：目标跟踪结果.

图2 MFFT多特征融合的无人机目标跟踪框图

3 实验结果与分析

在本节中，将通过实验来验证MFFT算法在视频跟踪中的有效性.测试集采用UAV123[26]公开数据集，与6个视频跟踪算法进行比较.

3.1 实验环境及参数设置

该实验使用处理器Intel Core i7-4790@3.4GHz，内存为8GB的电脑.算法中的参数设置如表1所示.

表1 算法参数设置

3.2 实验结果分析

在UAV123公开测试集上，与MCCT[27]、MEEM[28]、BACF、MUSTER[29]、SRDCF[12]，SAMF[30],这6个算法进行比较，如图3、4所示.

无人机图像序列分为12种不同类型，即高宽比变化(ARC)、背景杂波(BC)、摄像机运动(CM)、快速运动(FM)、完全遮挡(FC)、光照变化(IV)、低分辨率(LR)、视差(OV)、部分遮挡(POC)、比例变化(SV)、相似对象(SOB)和视点变化(VC)等来进行跟踪性能评估.

图3 对比算法中跟踪器UAV123数据集的样本跟踪结果

图4 对比算法中跟踪器在不同评价指标中的直方图

表2中，MFFT算法在ARC、CM、IV、LR、OV属性方面比其他跟踪器具有更好的精度分数.

该算法在ARC的性能为56.5%，同比MCCT，MEEN为49.3%，51.1%,高7.2%，5.4%.在BC评价指标为47.8%，同比BACF，SRDCF分别为42.5%，38.9%,提高了5.3%，8.9%，主要原因是无人机算法中特征提取的同时进行降噪，再通过加权融合实现目标精确捕获.

表2 UAV123数据集12种不同类型的评价指标

在CM评价指标为53.9%，同比SRDCF性能为52.7%,略微提高了1.2%，主要是因为无人机在拍摄过程中受到气压，风向的影响，破坏了无人机的飞行稳定性，对目标捕获造成间接影响.

在LR评价指标为49.8%，同比MEEM，MCCT性能为48.4%，45.5%提高了1.4%，4.3%，该无人机在较高的飞行环境下，拍摄到地面目标，产生了较低分辨率图像，导致目标跟踪的精度略微下降，目标的识别相对稳定.

在IV评价指标为53.2%，同比MCCT，MEEM分别为47.7%，48.1%分别提高5.5%，5.1%，主要是融合了HOG的特征，特别是对运动模糊、光照变化及颜色变化等很鲁棒.

在OV评价指标为54.5%，同比MCCT性能为49.3%，提高了5.2%，因为视差是无人机航拍过程中存在目标小，距离大等问题，当距离较远时，拍摄的效果扩大化视差的效果，一定程度上降低了分辨率，如果低空拍摄目标，那么产生的视差程度将进一步缩小.

4 结 语

本文提出了一种多特征融合的无人机目标跟踪算法.通过对提取的特征利用峰值信噪比进行降噪后，对响应图中的峰值强度最大响应进行特征组合，通过最终的加权融合来实现目标跟踪的精确定位.该算法可解决视差和光照变化影响无人机目标跟踪性能的问题.然而，在跟踪过程中，因摄像机拍摄的图像抖动因素对目标的跟踪的性能产生一定干扰的影响，下一步拟采用深度学习方法将对运动模糊的影响因素进行抑制，在保证跟踪器鲁棒性的前提下，提升跟踪性能.