特征融合和多峰检测的无人机目标跟踪

许甲云，林淑彬

（闽南师范大学计算机学院，福建漳州363000）

随着目标跟踪在计算机视觉[1]领域取得的巨大成功，研究人员开始将目标跟踪应用于无人机的目标跟踪领域[2-3].无人机(Unmanned Aerial Vehicle，UAV)由于其自由灵活的飞行方式以及其活动范围广、空间限制较小的特点，广泛应用于灾难救援、环境监测、电力巡检、人群监测等领域.在对图像或视频进行目标跟踪时，由于运动目标的正确检测与分割受到外观遮挡、光照等因素的影响，无人机目标跟踪具有很大的挑战性[4].

在目标跟踪的过程中，特征向量对目标跟踪的精度与成败起着决定性作用.Danelljan 等[5]利用颜色特征描述目标的外观，对目标进行实时跟踪.多通道和多特征的结合可以准确地描述目标对象，为了提高目标跟踪的效果，融合目标对象的多种特征与自适应尺度并应用于目标跟踪任务中[6-7].Wang 等[8]提出无人机跟踪的自适应采样，采用边框方案和随机样本进行目标跟踪.Fu 等[9-10]提出在线多特征学习基于相关滤波的无人机在线多特征学习，并提出边界效应视觉跟踪器算法，解决无人机目标跟踪的边界效应问题.Huang 等[11]提出畸变抑制相关滤波器在解决边界效应的同时有效抑制畸变的跟踪方法，并引入裁剪矩阵和正则项来扩大搜索区域和抑制变异的新型跟踪方法.Li等[12-13]提出增强记忆的相关滤波器算法，提高滤波器的识别能力；进一步提出采用自动时空正则化，并在实际应用中验证该算法的有效性和通用性.

但是，在低空无人机目标跟踪这一个领域，依然存在机遇与挑战.除了如图像运动模糊、目标形变、外观遮挡、尺度变化等已经存在的传统的目标跟踪问题，由于无人机飞行高度和飞行姿态不稳定等因素影响，获得的图像画面小，分辨率不高，使目标跟踪具有更大的困难和挑战性.多特征的融合增强了算法的表达能力，但融合后也将伴随着相似物体或背景噪声响应的产生，跟踪目标发生漂移、丢失或失败等现象.

针对上述存在的这些问题，提出基于特征融合和多峰检测的无人机目标跟踪算法(Feature Fusion and Multi-Peak Detection in UAV Object Tracking，FFMPD).首先，颜色矩特征可以保留目标局部区域的位置信息；颜色直方图作为全局特征，不受目标形状、姿态等变化的影响.分别提取目标的方向梯度直方图(Histogram of Oriented Gradients，HOG)特征和颜色矩特征，并训练各自的滤波器模型.对两个特征进行加权，形成融合特征.根据融合后目标响应的可靠性对相关滤波器的学习速率进行动态调整.其次，在跟踪目标中心位置附近的图像块提取特征，采用多峰值检测方法，防止由于相似目标物体或背景噪声引起的模型漂移.最后，利用高置信度的反馈进行更新滤波器模型，避免目标跟踪模型的损坏.在UAV123[14]和Vis-Drone2019[15-16]测试数据集上进行实验，该算法具有更好的精度和鲁棒性.

1 相关滤波器

在某时刻，两个不同波的幅度及频率相接近，将会发生共振现象.在视频序列的相关运算中，这种图像信号可以近似当成一个波形图，用此方法来判断它们的相似度性.相关运算中其一维的计算公式：

式(1)中，x是位移变量，和是运算函数，c(x)表示在其定义域的相似程度.从时域空间变换到频域进行简化、转换后表示为式(2)：

式(2)中，*表示相关系运算，G(t)分别表示g(t)的傅里叶变换F(t+x)则分别表示f(t+x)的傅里叶变换.通过计算相关滤波器模型h 与输入图像f 间的相关程度，获得响应值g，当模型作用在目标位置时，获得最大的响应值.则可表示为：

在计算时，利用傅里叶变换，提高计算速度，减小复杂度，将相关运算从时域转换到频域.

以输入图像的目标位置区域为中心进行采样，获得图像块P 并提取特征f，并作为训练样本m.为找到最优的滤波器h，样本训练是使输入样本和需要输出之间平方误差最小.通过最小化均方差求得：

其中，g 表示训练样本m 的期望输出，τ 表示正则化参数，训练样本特征f 共有d 维，是为其中的第l 维，l∈{1 ,…,d}.为了计算的简便，在第t帧时，将公式更新为：

其中，滤波器模型更新的学习率表示为η.在完成最优滤波器模型的训练之后，进行检测目标，得到下一帧的候选样本z，计算滤波器与z之间的相关性，结果为y：

y取得的最大值时，新的目标位置即可确定.

2 特征的提取

为了解决无人机跟踪因遮挡、尺度变化而引起的跟踪丢失的问题，在利用相关滤波器算法的基础上，对HOG 特征、颜色矩特征进行融合，同时采用多峰检测算法，在无人机跟踪目标发生偏离时，能自动进行更新，达到优化目标跟踪算法的目的.

2.1 HOG特征

HOG 特征大多应用于计算机视觉、模式识别领域中的一种描述图像局部信息纹理的特征，可以忽略梯度所在的位置，得到的特征比较丰富.方向梯度特征是局部特征，方向的分布在边缘的具体位置未知的情况下，也可以较好处理小目标的形态变化和光线引起的问题.

2.2 颜色矩特征

M.Stricker 等[17]提出了一种描述图像区域内所对应场景表面信息的颜色矩(Color Moments，CM)特征表示方法.颜色矩特征是全局特征，使用颜色的低阶矩阵足以表达图像的颜色分布.

其中，μi，σi，Si分别表示一、二、三阶矩，pi,j表示图像i颜色通道中灰度像素为j的概率，N为像素个数.RGB 图像的3 个颜色分量3 个低阶矩阵组成一个直方图向量，图像的颜色矩特征表示为：

2.3 多峰目标检测

以目标y=f(s;w)为中心的图像块的所有循环移位都被视为训练样本，其中s 为在当前帧中以前一帧目标位置为中心的区域，即Y={(w,h)|w∈{0 ,…,W−1} ,h∈{0 ,…,H−1}}，其中w和h分别为图像块的宽度和高度.利用快速傅里叶变换算法学习的模型可以加速这一过程，得到了对所有循环变换的完整检测响应映射：

式中＾和F−1表示离散傅里叶变换和它的逆变换，∘表示element-wise 乘法，∗表示共轭，目标的定位是在响应图的最高点进行估计，将其定义为单峰检测.部分的训练样本可能会污染学习模型，位于相似目标或背景噪声处的峰值可能接近甚至超过目标处的峰值.为了提高定位精度，利用单峰检测响应图F(s,y;w)，提出一种多峰检测方法.

式中B是与F(s,y;w)相同大小的二元矩阵.当次高峰值与最高峰值的比值大于预先定义的阈值时，利用式(13)重新检测峰值中心的图像块.最终确定目标并在响应图中的最大值进行定位.

2.4 高置信度更新

现有的跟踪器通常在每一帧更新跟踪模型，而不考虑检测是否准确，这可能会导致确定性失败.因此，文中探讨两种反馈机制：第一个指标是响应图F(s,y;w)的最大响应值Fmax：

第二个置信度指标是平均峰值相关能量(average peak-to correlation energy，APCE)，公式为：

式中Fmax、Fmin和Fw,h分别表示F(s,y;w)的最大值、最小值和第w 行h 列的元素.APCE 表示响应映射的波动程度和检测目标的置信水平.

当前帧的APCE 和Fmax都大于各自的历史平均值时，则认为当前帧的跟踪结果是高置信度的.该跟踪模型将在线进行更新，学习速率参数η

当目标被严重遮挡时，即响应图波动剧烈，APCE 下降到10 左右，而Fmax仍然很大.在这种情况下的更新策略将不更新滤波器跟踪模型，跟踪模型就不会被破坏，且可以在后续帧中成功跟踪.

3 目标跟踪算法

首先在分别提取颜色矩特征和HOG 特征后，进行归一化处理，单独训练相关分类器，得到的响应值最大的位置作为相应的跟踪结果，再根据响应值的大小对两种特征各自的权重进行加权融合.在数学上如公式(22)所示：

其中，δ=[0,1].然后，在目标位置四周采集样本图像块，对融合后的响应的图像块进行多模态处理，同时，对样本图像块采用尺度搜索策略，对其进行可信度的更新处理.根据Fmax和APCE 的关系进行更新滤波器，算法步骤表示为：

算法1 FFMPD 跟踪算法

输入：第i(i≥2)帧视频Vi；上一帧的目标位置Pi-1及尺度si-1

输出：检测出跟踪序列的最大响应位置Pi及尺度si；

返回视频系列的目标位置.

根据视频序列给出的在第一帧中的目标位置，使用跟踪算法在后续帧中寻找并获得新的目标位置.FFMPD 跟踪算法如图1所示.

图1 FFMPD跟踪流程图Fig.1 Tracking flow chart of the FFMDT algorithm

4 实验结果与分析

为验证FFMPD 算法的有效性，所有数据结果都在i7-8700K 处理器3.7GHz、16GB RAM、ΝVIDIA GTX 1660Ti GPU 的笔记本电脑上采用无人机公开数据集UAV123 和VisDrone2019 进行跟踪性能评估实验.

4.1 UAV123 数据集实验分析

UAV123 的数据集是专门场景的数据集，用无人机拍摄，特点是背景干净、视角变化较多，包含123个视频.在UAV123 数据集上与SRDCF[18]、BACF[19]、AMCF[12]、MCCT-H[20]、OMFL[9]、BEVT[10]、AutoTrack[13]、CSK[21]、ARCF[11]等九个跟踪算法进行对比.FFMPD 算法在一次通过的精度和成功率对比结果如图2所示中，都取得很好的结果，分别为74.1%和52.5%.所选的对比算法中，主要是DCF 和基于深度的跟踪器算法，都具有一定的代表性.与这些方法进行比较更能验证FFMPD 算法的有效性.FFMPD 跟踪器利用HOG 特征和CM 特征的优点，进行融合后采用多峰检测和高置信度自动更新，有效地解决特征融合后的定位问题.使用的颜色矩特征的低阶矩阵，可以满足无人机的轻量化运算和快速运动的要求.

图2 在UAV123 数据集上的精度和成功率Fig.2 Precision and success plots on the UAV123 Dataset

在图3显示FFMPD 跟踪算法在摄像机抖动、完全遮挡、部分遮挡、尺度变化等属性上都具有较好的性能.这也验证了FFMPD 算法的多峰检测与高置信度，可以较好的解决跟踪目标因遮挡等问题，同时使用了目标尺度自适应，能够很好地检测目标位置，增强算法的鲁棒性.说明采用特征提取并进行融合更新滤波器的方法，可以较好处理小目标的形态变化以及光照带来的问题.表1、表2中，加粗字体的为性能最优，下划线字体的为性能次优，FFMPD 算法与其他跟踪器相比，显示在纵横比变化和快速运动等属性，取得明显较高的性能.在低分辨率属性上表现略好，可能是因为在进行多峰检测时，响应图的尖峰表现不佳.

表1UAV123数据集的AUC比较结果Tab.1 AUC comparison results for the UAV123 Dataset

表2在UAV123 数据集8种属性的精度评价指标Tab.2 The precision evaluation index of eight attributes on the UAV123 Dataset

图3 在UAV123 数据集上CM等属性的精度和成功率Fig.3 Precision and success plots of of CM and other attributes on the UAV123 Dataset

4.2 VisDrone2019 数据集实验分析

VisDrone2019 数据集由天津大学机器学习与数据挖掘实验室AISKYEYE 队伍负责收集，基准数据集由无人机捕获，包括288 个视频片段，视频含有两百多万个常用目标.在VisDrone2019 数据集上与SRDCF[18]、OMFL[9]、ARCF[11]、MCCT-H[20]、AMCF[12]、BACF[19]、CSK[21]、AutoTrack[13]、BEVT[10]等九个跟踪算法进行对比.FFMPD 算法在一次通过的精度和成功率对比结果如图4所示中，都取得很好的结果，分别为83.5%和73.0%.

图4 在VisDrone2019 数据集上的精度和成功率Fig.4 Precision and success plots on the VisDrone2019 Dataset

在表3、表4中，加粗字体的为性能最优，下划线字体的为性能次优.FFMPD 算法在低分辨率属性上表现稍微不好，其余各属性比其他跟踪器具有较好的精度分数.验证了FFMPD 算法采用多峰检测技术使目标因遭受遮挡、背景噪声引起的模型漂移时可以进行自动更新，使用HOG 特征可以较好处理小目标的形态变化以及光照带来的问题.

4.3 UAV123 数据集上定性比较结果

为了直观展示可视化跟踪结果，分别与SRDCF[18]、BACF[19]、AMCF[12]、ARCF[11]、OMFL[9]、MCCT-H[20]、BEVT[10]、AutoTrack[13]、CSK[21]等9 个先进跟踪算法在UAV123 数据集上进行比较.如图5所示，从上到下分别为wakeboard6_1、boat9_1、car6_3 和group3_3 视频序列，FFMPD 跟踪算法都表现出良好的跟踪性能，同时也验证了算法的有效性.

表3VisDrone2019 数据集8种属性的精度评价指标Tab.3 The precision evaluation index of eight attributes on the VisDrone2019 Dataset

表4VisDrone2019 数据集的AUC比较结果Tab.4 AUC comparison results for the VisDrone2019 Dataset

图5 在UAV123 数据集上的定性比较结果Fig.5 Qualitative evaluation of our proposed and other trackers on the UAV123 Dataset

5 结论

本文提出了特征融合和多峰检测的无人机目标跟踪算法.FFMPD 算法通过特征融合、多峰检测技术的高置信度反馈机制，有效解决了无人机跟踪目标在遭遇遮挡、尺度变化以及光照变化等因素影响的问题，能及时修正漂移后的模型，提高目标的跟踪精度和鲁棒性.但实际跟踪环境较为复杂，变化较多，摄像机抖动也会对目标的跟踪性能产生一定的干扰，影响跟踪效果.为了提高跟踪性能，需要进一步探索时空正则化和目标裁剪等策略.