基于卷积神经网络的红外目标跟踪研究

王亚婷

摘要：与视觉目标跟踪不同，热红外目标跟踪可以在完全黑暗中跟踪目标对象。因此，它具有广泛的应用，例如夜间的救援和视频监控。然而，该领域的研究很少，主要是因为热红外图像具有杂波干扰严重、信噪比低等特点，这些特点使得常规方法难以获得目标的特征。考虑到卷积神经网络的强大表征能力及其在视觉跟踪中的成功应用，我们将基于可见光图像的预训练卷积神经网络转换为热红外跟踪。我们观察到，由于缺少目标的空间信息，卷积层的特征比来自全连接层的特征更加适合红外目标跟踪。基于以上，本文提出了一种基于相关滤波器的集成跟踪器，具有用于热红外跟踪的多层卷积特征。

关键词：网络;目标跟踪

中图分类号：TP183   文献标识码：A   文章编号：1672-9129（2020）12-0037-01

1 引言

在过去的几十年中，基于可见图像序列的大量判别跟踪方法被提出来解决各种挑战，而判别方法已被用于分类，人脸识别，动作识别，手写识别，图像分割，图像去噪等。特别是近两年来，视觉跟踪通过深度学习取得了重大突破。尽管取得了很大进展，但由于诸如改变外观，遮挡，光照变化和背景杂乱等消极因素，视觉跟踪仍然是一个很大程度上未解决的问题。与视觉对象跟踪相比，热红外跟踪具有几个优点。例如，它不受光照变化的影响，因为热红外图像不依赖于反射光，而主要取决于物体的辐射温度。热红外跟踪还可以在完全黑暗中跟踪目标，而视觉跟踪总是在恶劣的能见度条件下失败。此外，在一些对个人信息敏感的真实场景中，热红外跟踪可以保护隐私。因此，热红外跟踪适用于各种应用，例如救援，视频监控和夜间巡逻。

尽管存在许多优点，但热红外跟踪在此期间面临许多挑战。首先，热红外图像具有一些不需要的属性，例如低分辨率，较大百分比的死像素，以及没有可视颜色图案。这些不需要的属性使得难以获得目标对象的辨别特征并因此降低跟踪性能。另外，在没有颜色模式的情况下，背景中存在许多类似的目标以干扰跟踪器。

2 提出的方法

首先使用相关滤波器和卷积特征来呈现弱跟踪器，然后给出融合多个响应图的集合方法，以及比例估计策略，最后显示在线模型更新。

（1）弱跟踪器。近年来，在基于相关滤波的跟踪由于其较低的运算量而受到了相当多的关注。在这项工作中，我们还使用具有卷积特征的KCF来构建弱跟踪器。在ImageNet数据集上训练的预训练VGG-Net用于提取热红外目标的卷积特征。给出在第k层卷积层提取的红外图像目标区域的特征图 XkRM×N×D（M，N，D代表宽、高和通道数），和相关高斯形状标签矩阵Y。

在搜索阶段，目的是在搜索框中获取目标位置的响应图。给定搜索框处的红外热搜索区域，我们还使用预训练的VGG-Net提取该搜索区域的特征。令Vk表示该搜索区域的第k个卷积层的特征图。我们首先将其转换为傅立叶域：V = F（V）。然后，可以获取目标在搜索框中的位置的响应图。

（2）总体跟踪器。给定n个响应图P = {P 1，P 2，...，P n}，其中每个响应图P k∈P（k = 1，2，...，n）是從一个弱跟踪器生成的，我们的目标是融合这些响应图以获得更强大的响应图。实际上，每个响应图P k都可以看作是概率图，它由概率分布组成。该概率分布表示位置（i，j）成为目标中心的概率。因此，我们可以使用散度来测量概率图Pk和融合概率图Q之间的距离。然后，我们最小化该距离以优化融合概率图Q。

我们可以看到它的形式很简单：它是所有过滤后的响应图的平均值。这有一个更直观的解释：使用加权和的所有滤波后的响应图都可以增强最终结果。

通常，来自VGG-Net的特征图包含一些噪声，从其中获得的响应图也有很大的噪声。因此，我们首先对响应图的噪声进行过滤以获得更多置信度。为此，我们仅使用一种简单的策略，该策略利用另一个概率图来滤波当前的概率图。但是，集成跟踪器无法适应目标的变化外观，因此跟踪性能有限。为了提高集成跟踪器的准确性，有效的比例估计方法是必要的。 在本文中，采用了一种简单但有效的规模估计策略。对于给定的三个不同比例尺的目标，此策略的主要目的是找到最大响应图的相应尺度的更改方向。

（3）模型更新。由于目标对象的外观动态变化，模型更新是对象跟踪中的重要步骤。因此，模型需要更新以适应外观的变化。在这项工作中，我们使用简单的线性更新方法来更新过滤器。该方法只是利用当前样本Xk来更新过滤器。

与训练阶段一样，在每个卷积层上提取目标的特征图。随后，收集这些特征图和过滤器模板以计算它们的相关性。

3 总结

在本文中，在可见图像数据集上训练的预训练CNN转移到热红外跟踪任务。利用预训练的CNN提取热红外目标物体的特征。然后，分析完全连接的层特征和卷积层特征，它们更适合于热红外跟踪。结果，发现卷积特征具有强大的能力来表示热红外物体，因为它们具有比来自全连接层的特征更丰富的空间信息。但是，来自单个卷积层的要素由于缺少语义信息而无法应对各种挑战。基于这一观察，提出了一种基于相关滤波器的集成跟踪器，该跟踪器使用多层卷积特征进行热红外跟踪。在此跟踪模型中，还基于散度采用集成方法来融合每个部分。

参考文献：

[1]唐峥远，赵佳佳，杨杰，刘尔琦，周越.基于稀疏表示模型的红外目标跟踪算法[J].红外与激光工程，2012，41（05）：1389-1395.

[2]程建，周越，蔡念，杨杰.基于粒子滤波的红外目标跟踪[J].红外与毫米波学报，2006（02）：113-117.