改进全卷积孪生网络红外空中小目标跟踪算法

张文波，刘 刚*，张 良，王明昌，刘 森

(1. 河南科技大学 信息工程学院，河南 洛阳 471023； 2. 中国空空导弹研究院，河南 洛阳 471009； 3. 航空制导武器航空科技重点实验室，河南 洛阳 471009)

0 引 言

空中目标跟踪是红外成像制导导弹完成精确打击的关键技术之一，跟踪性能的优劣直接影响打击效果。红外成像制导系统对空中目标跟踪性能的要求，主要体现在弹目距离远、目标所在自然环境复杂多变条件下，视场中的目标多为有限像素、特征信息微弱、背景杂波干扰多及存在遮挡等问题，对目标稳定跟踪带来了较大的困难。红外目标跟踪的传统算法中，根据不同的场景人工设计有针对性的特征提取方法，难以适应复杂的红外空中场景情况。

近年来，国内外学者已经将深度学习算法应用到目标跟踪中，使用卷积神经网络(Convolutional Neural Networks, CNN)来提取深度特征，取得了超过传统相关滤波跟踪算法的跟踪性能。比如：ECO算法将深度特征引入相关滤波跟踪模型中，通过卷积因式分解、更新策略和样本分组来改进，提升跟踪性能。MDNet算法在网络中对每个视频序列设计各自的全连接层，在跟踪过程中在线更新分类器，微调检测分支，大幅提高跟踪效果。TCNN为了避免在线更新模型被污染，使用多个CNN加权得出候选框得分选取目标。这些算法将跟踪目标视为分类问题，但分类与跟踪两个任务是有本质区别的，并且在线微调的跟踪算法虽然精度较高但跟踪速度较低，不能满足实时跟踪需求。

为改善上述算法存在的缺陷，基于孪生网络的跟踪算法在首帧标注目标的基础之上，利用相似性度量方法寻找后续帧目标。该算法可以更好地避免分类网络难以识别未训练过的物体类别问题，与跟踪任务更加契合。此外，孪生网络跟踪算法在初始离线阶段采用端到端训练网络方法，获得较强的跟踪实时性。SINT算法使用孪生网络学习目标模板和候选目标之间的匹配函数，跟踪过程中选取候选目标中与目标模板距离最小的为目标，但每次处理大量候选框较耗时。SiamFC算法将待搜索区域与目标模板的深度特征进行互相关运算，响应值最大位置为目标中心点。SiamRPN算法在SiamFC基础上引入区域建议网络模块估计目标位置和尺寸，以适应目标多尺度变化。在红外空中目标跟踪中，Kim等改进孪生网络结构进行特征提取，利用多层特征RPN的加权求和来提升红外目标特征表达能力，并采用交叉熵和平滑L1的组合损失函数，解决损失函数难以收敛问题，获得很好的跟踪效果。Hu等将孪生网络卷积层提取的深度特征与传统的红外空中目标特征相结合来提高跟踪精度。以上算法对背景简单、具有明显形状的目标跟踪效果较好。目标在复杂背景下被杂波干扰、遮挡时，算法无法利用已有的特征信息稳定地跟踪目标，甚至跟踪失败。

针对上述问题，本文提出一种改进全卷积孪生网络红外空中小目标跟踪算法。该算法利用响应图的变化信息获知目标跟踪状态，提升算法的状态判别能力； 通过传统特征与深度特征相结合的方法，避免了单一使用深度特征难以判别红外空中小目标和背景杂波； 使用目标帧间运动信息来预测遮挡目标位置，解决了目标被遮挡后由于特征信息减少而无法准确跟踪的问题。

1 全卷积孪生网络基本原理

孪生网络把目标跟踪问题视为相似性学习问题，将待跟踪图像序列的初始帧目标信息与后续帧候选目标进行比较，选取相似性最高的为目标。基于全卷积孪生网络(Fully -Convolutional Siamese Networks，SiamFC)目标跟踪算法是在目标跟踪方面的经典算法，该算法实时性较高，采用离线训练跟踪模型网络参数，在线跟踪不调整参数，直接执行前向传播操作，跟踪速度快； 鲁棒性强，跟踪过程网络模型和目标模板不更新，目标模板不会被污染，即使目标被遮挡也不会影响后续捕获。这些优点对于对跟踪实时性和稳定性要求高的红外成像制导导弹来说是十分符合的。因此，选择SiamFC为目标跟踪的基本框架。

全卷积孪生网络目标跟踪算法结构如图1所示，由模板分支和检测分支组成的。模板分支主要以图像作为模板输入，目标模板是跟踪图像序列第一帧已给定的目标框裁剪出的图像。检测分支主要负责接收当前帧的待搜索区域，是以上一帧目标位置为中心裁剪出的图像。目标模板和待搜索区域分别经过共享参数的卷积神经网络后得到各自特征图()和()。

图1 全卷积孪生网络结构Fig.1 Fully-convolutional Siamese networks architecture

孪生网络作为深度特征提取器，提取目标模板和待搜索区域的特征之后，送到相似度函数里计算相似度，相似度函数为卷积操作，即

(,)=()*()+

(1)

式中：为特征提取网络； *为卷积运算；为偏置向量。根据式(1)，卷积操作实际上是将目标模板特征图()作为卷积核，在待搜索区域特征图()上执行滑窗算法，得到相似特征的响应图(,)。响应图的每个点代表着目标模板与待搜索区域对应位置的相似度大小，值越大代表相似度越大。经双三次插值后，可根据响应图中最大值所处位置来确定当前帧目标的真实位置。

将SiamFC应用在红外空中小目标跟踪中，实验结果表明其能保持较好的跟踪速度和准确性，但随着背景复杂度的提升，目标跟踪精度严重下降，背景杂波干扰、遮挡等情况会导致跟踪失败。为此，本文在SiamFC的基础上，增加目标跟踪状态判断准则，并在相应状态下提出改进策略。

2 改进全卷积孪生网络红外空中小目标跟踪算法

2.1 深度特征提取网络结构

在AlexNet基础上设计目标的深度特征提取网络。其前两个卷积层后使用最大池化层，除了最后一层卷积层之外的每一个卷积层都使用ReLU，最后三层卷积层使用分组卷积。在每个线性层之后都有批规范化层(Batch Normalization)，卷积层没有填充操作，网络总步长为8。

在实际跟踪过程中，如图1所示，目标模板和待搜索区域分别裁剪变换为127×127×3的和255×255×3的，两者经过特征提取网络后，得到6×6×128()和22×22×128()的特征图。以6×6×128特征图为卷积核与22×22×128特征图进行卷积运算得到17×17的特征响应图，再经双三次插值获得272×272最终的特征响应图。

本文通过离线训练特征提取网络，损失函数判别离线网络训练中的正负样本，表示为

(2)

式中：为网络输出响应图；为响应图中某一位置的索引，∈；()为响应图中位置对应的响应值；()为响应图中位置对应真实空间的正负样本标签，其中正样本标签为1，负样本标签为-1，即

(3)

式中：为网络总步长；为响应图中心位置；为搜索区域半径。整个网络训练使用随机梯度下降算法SGD(Stochastic Gradient Descent)来优化：

(4)

式中：为样本标签;为网络参数。迭代训练的最终目标是求一组使损失函数取得最小值的参数。离线训练好的特征提取网络在线跟踪时，不需要更新网络的参数。

2.2 跟踪状态判断

全卷积孪生网络跟踪算法采用深度特征响应图最大峰值点坐标作为当前帧的跟踪结果，响应图的波动情况及主峰状态可反映出当前跟踪结果的置信度。图2～3分别为SiamFC跟踪算法在地空背景下红外图像弱小飞机目标检测跟踪数据集data17序列和data11序列的跟踪结果及其对应的响应图对比，图中红色实线框为SiamFC跟踪结果，黄色虚线框为目标真实位置。

图2 data17序列跟踪结果及其对应响应图Fig.2 Tracking results of data17 sequence and its corresponding response maps

图2～3分别表现出目标在受到背景杂波干扰和遮挡时的跟踪情况。当目标正常跟踪、没有受到干扰时，对应的响应图中只有目标中心位置处有一个明显主峰，并且主峰周围区域分布平缓，跟踪效果良好。

在data17序列中目标发生背景杂波干扰跟踪到背景中相似干扰物时，对应的响应图中主峰附近出现高度相近的次峰，周围分布波动较大，甚至背景相似干扰物的峰值大于目标峰值，从而导致跟踪到错误目标。在data11序列中目标被遮挡时，由于待搜索区域内丢失目标，只能选择最相似目标，等待脱离遮挡后，目标已经远离待搜索区域，依旧无法正常跟踪目标。观察发现目标被遮挡时，对应的响应图出现剧烈波动，主峰不够明显，周围多个峰高度上升，视觉呈现“多峰”状态。根据上述情况分析，可以通过响应图的波动状态来判断出目标跟踪状态是否发生变化。本文采用平均峰值相关能量(Average Peak to Correlation Energy，APCE)来评估目标跟踪状态以及受到背景杂波干扰、遮挡等情况的严重程度。

定义为

(5)

式中：和分别表示响应图中最大值和最小值；, 为响应图中(,)处的响应值。指标主要用于度量响应图的波动情况，图2(b)中=17.1，图2(d)中=4.4，图3(b)中=16.2，图3(d)中=3.6，图3(f)中=6.3。如图2(b)和图3(b)所示，

图3 data11序列跟踪结果及其对应响应图Fig.3 Tracking results of data11 sequence and its corresponding response maps

在正常跟踪情况下，响应图波动较小，视觉呈现“单峰”状态，值较大。在目标发生背景杂波干扰、被遮挡时，如图2(d)和图3(d)所示，响应图波动剧烈，视觉呈现“多峰”状态，相比正常跟踪的值大幅减小。所以，通过分析响应图的波动情况并计算响应图的值, 能够有效反映出当前的跟踪状态。当值大幅降低时，可以判断出目标跟踪进入不稳定状态，但是无法准确判断出具体原因。

图4为SiamFC跟踪算法在data17序列和data11序列跟踪过程中的响应图最大峰值统计图。其中，图4(a)的点对应图2(c)，图4(b)的点对应图3(c)。从图2(d)和图3(d)可知，点和点对应的响应图值都比较低，但是从图4可以看出这两个点与相邻历史帧的最大峰值变化状态不同。

图4 响应图最大峰值统计Fig.4 Maximum peak value statistics of response maps

图4(a)中，点处目标受到背景杂波干扰，第21帧的最大峰值相较第20帧突然发生下降，这是由于跟踪到相似干扰物上，但21帧之前的峰值变化不大。图4(b)中，目标经历从轻微遮挡到完全遮挡过程，从第180帧最大峰值开始逐渐变小，到第189帧时目标被完全遮挡，此刻最大峰值为最小值点。综上分析，当值较小时，结合响应图最大峰值的变化状态可以分类出可能导致跟踪失败的因素。所以，选择响应图的最大峰值和值对当前帧的目标跟踪状态进行评估判断。考虑到不同序列的目标背景以及目标的变化会对响应图产生影响，为使目标跟踪判断更加可靠，将当前帧的值和最大峰值与历史帧进行对比，即

(6)

式中：和max-，和max-分别为当前帧和历史帧的响应图值与最大峰值；为参考的历史帧数；和max-为当前帧的响应图值和最大峰值与历史帧相应均值的比值，反应了当前帧值和最大峰值的变化程度。

跟踪过程中通过和max-值结合历史帧响应图的信息来判断当前跟踪状态，具体判断流程如图5所示。

图5 判断流程图Fig.5 Judgment flow chart

在正常跟踪状态下，选取响应图中最大峰值点为目标点，得到其相对于响应图中心的偏移值，再乘以网络总步长，就可以得到当前帧目标的中心位置。对于其他情况，正常跟踪策略无法有效跟踪目标，本文提出不同的处理策略。

2.3 联合局部对比度的背景杂波判别

通过跟踪状态评估准则判断出现背景杂波干扰时，由于相似干扰物与真实目标同在待搜索区域内，所以响应图波动变大，呈现“多峰”状态，当前帧的真实目标位置可能在其他次峰，而非响应图的最大峰。此刻只用深度特征来选取真实目标是十分困难的，考虑使用传统特征联合深度特征来选取红外空中小目标具有重要应用意义。目标自身具有红外辐射特性，且与背景的辐射有差异，导致目标与背景具有一定的亮度差异，目标与局部邻域背景的对比度与其他物体不一样，并且在一段时间内变化不大。局部对比度是目标灰度均值与局部邻域背景灰度均值之比，即

(7)

式中：为目标区域；为目标区域的邻域；为区域内的像素数量；(,)为原图像(,)处像素的灰度值。

背景杂波中相似干扰物自身亮度与周围环境相差不大，对比度较低。而红外空中小目标亮度高，局部对比度较高，两者相比差异性较大。对data17序列第21帧目标和背景干扰的灰度分析如图6所示，红色实线框为真实目标，黑色虚线框为相似干扰物。通过响应图的最大峰值来确定目标，图6(a)中虚线框内的干扰物峰值为最大峰值，实线框内的真实目标峰值为第二峰值，如果选取最大峰为目标，就会跟踪到干扰物。观察图6(c)中实线框真实目标，中心区域的灰度值明显高于邻域背景灰度值。对比虚线框的干扰物，中心区域和邻域背景的灰度值基本一致，真实目标的局部对比度是高于干扰物的。所以，使用局部对比度可以有效区分真实目标和干扰物。

图6 目标和背景干扰灰度分析Fig.6 Gray analysis of target and background interference

使用目标的深度特征响应值和局部对比度特征构建每个候选目标与历史帧真实目标的特征相似度得分，定义为

(8)

式中：为候选目标点集合，数量为；和为当前帧的候选目标的响应值和局部对比度；max-和max-为历史帧响应图中最大峰值和局部对比度；为参考的历史帧数；和1-分别为响应值和局部对比度所占权重。特征相似度得分衡量了候选目标与真实目标特征的相似度，值越小，表示候选目标特征值与真实目标越接近。

在跟踪过程中，当判断出目标受到背景杂波干扰时，使用最大值滤波器查找响应图中多峰值点，选取多峰峰值前名的点为候选目标中心点。使用相同的目标框大小，计算每个候选目标的局部对比度。使用每一个候选目标的局部对比度及其响应值计算对应的特征相似度得分，值最小的候选目标点为目标点，再经过位置变换得到当前帧目标中心点位置。

2.4 卡尔曼滤波位置预测

卡尔曼滤波基于最小化均方误差实现线性滤波，使用状态转移方程和观测方程，对目标状态进行迭代预测和更新。在目标跟踪中，由于目标在相邻帧的时间间隔很短，一般认为目标运动状态稳定，因此，可以在短时间内使用卡尔曼滤波有效地估计目标运动状态，在目标被遮挡时进行位置预测。

假设时刻至+Δ时刻，目标在方向和方向上分别服从速度和的匀速运动，则目标在第帧的状态转移方程为

=-1+-1

(9)

第帧的观测方程为

=+

(10)

在目标跟踪过程中，先初始化卡尔曼滤波器，再根据后续目标跟踪结果在一个迭代过程中对目标的运动状态进行预测和最优化估计。即当目标被遮挡时，可以通过历史帧的目标位置信息使用卡尔曼滤波预测当前帧的目标位置。遮挡过程中，若当前帧的值变化率大于阈值，并且最大值变化率max-大于阈值，说明目标脱离遮挡，则进行正常跟踪。

2.5 算法流程

算法流程图如图7所示。

图7 改进跟踪算法的流程图Fig.7 Flow chart of improved tracking algorithm

具体步骤如下：

(1) 深度特征提取。将图像序列输入全卷积孪生网络中，选取序列第一帧标注为目标模板，后续帧提供待搜索区域，两者分别通过共享参数的卷积神经网络提取深度特征。

(2) 计算特征响应图。以目标模板的特征图为卷积核对待搜索区域的特征图做卷积运算，获得特征响应图。

(3) 跟踪状态判断。先通过当前帧响应图的平均峰值相关能量值来判断目标是否正常跟踪，若正常跟踪，则执行步骤(4)； 否则，再结合当前帧响应图最大峰值的变化状态来判断跟踪失败原因。若目标受到背景杂波干扰，则执行步骤(5)； 若目标被遮挡，则执行步骤(6)。

(4) 正常跟踪。选取当前帧响应图最大峰值点为目标点。

(5) 联合局部对比度的背景杂波判别方法。当前帧响应图多峰值点组成候选点集，提取每个候选点的深度特征响应值和局部对比度，根据式(8)计算对应的特征相似度得分，选取得分最小的候选点作为当前帧目标点。

(6) 卡尔曼滤波位置预测。根据历史帧目标位置信息构建的卡尔曼滤波来预测遮挡状态下当前帧的目标位置，当判断脱离遮挡后进行正常跟踪，执行步骤(4)。

3 实验分析

算法实验平台硬件环境：CPU为Intel i7-8700k，主频 3.7 GHz，内存 32 GB，一块NVIDIA GTX1080Ti GPU 显卡。软件运行环境：win10操作系统下，运行在Python 3.6+Pytorch1.2开源深度学习框架，采用cuda10.0+cudnn7.6加速。

3.1 训练集和测试集

算法选取ILSVRC2015数据集和地空背景下红外图像弱小飞机目标检测跟踪数据集来训练和测试。其中，ILSVRC2015数据集是可见光图像数据集，包含4 500个视频序列，30个目标类型，共130万帧标注图像。地空背景下红外图像弱小飞机目标检测跟踪数据集是红外图像数据集，目标是低空飞行飞机，涵盖天空、地空等多个场景，包含22个图像序列、16 177帧图像、16 944个目标，每个目标对应一个标注位置。该数据集主要为红外目标特性、空中目标探测和精确制导等研究提供基础数据。

算法训练集选用ILSVRC2015数据集和部分地空背景下红外图像弱小飞机目标检测跟踪数据集。其中，红外数据集选取9个序列，5 794帧图像，6 193个目标。将ILSVRC2015数据集随机分为训练集和验证集，所占数据量分别为90%和10%。由于红外数据集图像数量有限，采用交叉验证法来划分训练集和验证集，训练集取8个序列，验证集取1个序列。

算法测试集选用训练剩余的地空背景下红外图像弱小飞机目标检测跟踪数据集。测试集的数据量为10 383帧图像、10 751个目标。

3.2 训练过程和参数设置

由于红外空中小目标数据量少，算法在离线训练阶段先使用可见光数据集(ILSVRC2015)进行训练和验证，随后在红外空中小目标图像序列上进一步训练，以更好地获取红外空中小目标的深度特征。训练过程中使用随机梯度下降算法进行网络参数优化，训练50轮，学习率设置为10，训练图像批量大小设置为8，取后10轮中最优的结果。训练损失曲线如图8所示，可以看出训练过程中损失函数逐渐下降，说明模型逐渐收敛，最终在37轮之后损失曲线趋于稳定。

图8 训练损失曲线Fig.8 Training loss curve

跟踪中算法的具体参数设置为：对于目标跟踪状态判断相关参数=0.55，=0.68，=0.09； 式(6)中=10； 候选点数量=8； 式(8)中参考的历史帧数为=5，特征权值=0.4； 判断脱离遮挡的阈值=0.88。

3.3 评价指标

使用精度图(Precision Plot)和成功率图(Success Plot)来定量评估目标跟踪结果，其分别对应中心位置误差率和区域重叠率这两个评价指标。

中心位置误差是跟踪过程预测的目标中心位置与数据集标注中心位置的欧式距离：

(11)

式中：(,)为预测目标的中心坐标； (,)为标注目标的中心坐标。规定一个阈值，将中心位置误差小于该阈值的图像帧数占该序列总帧数的比例定义为中心位置误差率，其中阈值一般为20个像素点。

区域重叠度计算公式为

(12)

式中：为预测的跟踪区域；g为目标的真实区域。规定一个阈值，将区域重叠度大于该阈值的图像帧数占该序列总帧数的比例定义为区域重叠率，其中阈值一般为0.5。不同阈值下的中心位置误差率和区域重叠率的统计图对应到精度图和成功率图。

红外空中小目标跟踪由于工程化应用需求，要求算法实时性高，需要对算法进行实时性评估。采用每秒帧数(Frames per Second，FPS)作为实时性评价指标，即

(13)

式中：为第个序列的长度；为第个序列耗费的时长。

3.4 消融实验分析

为了验证本文算法在红外空中小目标跟踪中发生背景杂波干扰和遮挡时，相对应的解决方案对于整体性能的重要性，在测试集上进行消融实验，实验结果如表1所示。可以看出，本文算法在SiamFC基础上通过跟踪状态评估，添加针对解决背景杂波干扰问题的方法后，成功率和精度相对SiamFC分别提升了20.9%和10.7%； 在SiamFC基础上加入解决目标被遮挡问题的卡尔曼滤波位置预测方法，成功率和精度相对SiamFC分别提升了24.8%和6.9%； 在SiamFC基础上加入解决目标被背景杂波干扰和遮挡问题的方法，成功率和精度相对SiamFC分别提升了33.4%和21.9%。这说明针对红外空中小目标跟踪的每一个解决方案都相应提升了算法跟踪效果，并且方案结合后，提升效果最好。虽然跟踪速度发生下降，但算法仍具有较高的实时性。

表1 消融实验结果

跟踪状态判断方法的准确性对后续不同状态处理效果有很大影响，所以目标跟踪状态判断相关参数，，和的选取至关重要。为验证参数对算法性能的影响，首先使用SiamFC算法测试部分红外数据集，统计测试过程中每一帧响应图的值和最大峰值，结合跟踪状态分析，初步设定=0.46，=0.58，=0.13和=0.86； 然后，测试在0和1之间取不同值，固定其余3个参数的情况下，算法在红外测试集上的表现。如图9所示，当=0.55时，成功率最高，所以将改为0.55。按照相同方法，依次确定参数，，的值。由图9可知，当=0.55，=0.68，=0.09，=0.88时，成功率最高，说明此时对于当前跟踪状态判断最恰当，跟踪效果最好。

图9 红外测试集下参数不同取值对算法的影响Fig.9 Influence of different parameter values on algorithm in infrared test set

3.5 与经典跟踪算法的性能对比

3.5.1 定量分析

为了定量评估跟踪算法的综合性能，在红外测试集上将本文算法与9种经典的跟踪算法进行跟踪性能对比，包括: 基于相关滤波算法的Staple和STRCF； 融合深度特征的相关滤波算法ECO-HC； 基于在线微调的深度学习算法MDNet； 基于孪生网络的深度学习算法SiamFC，SiamRPN，DaSiamRPN，SiamDW和SiamFC++。其中，基于深度学习的算法均采用相同的训练集训练。

图10为本文算法和9种对比算法在测试集上的成功率图和精度图，不同颜色和形状的线条代表不同的算法。从图中可以看出，本文跟踪算法在跟踪成功率和精度方面都明显优于其他9种算法，本文算法跟踪成功率为0.511，相对第二名算法ECO-HC高出12.6%，相对基准算法SiamFC提升了33.4%。本文算法跟踪精确度为0.818，相对第二名算法MDNet高出11.0%，相对基准算法SiamFC提升了21.9%。说明本文算法在SiamFC基础上的改进提升了算法的整体跟踪性能，更加适用于红外空中小目标跟踪。

图10 不同算法在测试集上的跟踪性能对比Fig.10 Comparison of tracking performance of different algorithms on the test set

为进一步详细分析本文算法在复杂背景和遮挡情况下的表现，使实验结果更全面，在测试集上挑选目标出现复杂背景干扰和被遮挡情况两种属性的数据，将本文算法和9种算法在两种属性数据上分别进行对比，如图11所示。图11(a)～(b)中，本文算法在复杂背景干扰情况下，跟踪性能排名第一，其中成功率和精度相比第二名高出30.4%和20.5%。图11(c)～(d)中，本文算法在遮挡情况下，跟踪性能排名第一，其中成功率和精度相比第二名高出12.7%和15.6%。说明本文算法在目标发生复杂背景干扰、被遮挡等情况下，跟踪效果明显优于其他算法。

图11 不同算法分别在复杂背景和遮挡属性上的跟踪性能对比Fig.11 Comparison of tracking performance of different algorithms on complex background and occlusion properties

表2为本文算法和9种算法在测试集上的平均跟踪速度。可以看出，算法的跟踪速度优于本文算法的，其跟踪成功率和精度都低于本文算法； 与本文算法跟踪性能较为接近的ECO-HC和MDNet算法的跟踪速度都远低于本文算法。本文算法测试速度达到145 frame/s，满足实时性的需求。

表2 不同算法在测试集上的平均跟踪速度

3.5.2 定性分析

为了更加直观地评估本文算法跟踪性能，对该算法与其他9种跟踪算法在测试序列data17，data7，data11和data20上的实际跟踪结果进行定性分析，跟踪结果如图12所示，不同颜色的跟踪框代表不同算法。

图12 本文算法与其他9种算法的部分跟踪结果Fig.12 Partial tracking results of proposed algorithm and other nine algorithms

(1) 背景杂波干扰：背景杂乱容易出现背景相似物干扰，导致错误跟踪。图12(a)data17序列中，第37帧目标周围出现建筑物造成相似物干扰，除本文算法、SiamRPN和SiamFC++跟踪到正确目标外，其余算法跟踪到干扰物。图12(b)data7序列第29帧和第35帧中，由于光照和亮背景的影响，目标发生变化，并且周围山体和树木产生相似物干扰，多数算法发生跟踪漂移，只有本文算法始终稳定跟踪目标。如图12(b)data7的第35帧所示，脱离背景杂波干扰环境后，本文算法依旧跟踪目标，验证了本文算法采用深度特征响应值联合局部对比度的判别方法可以有效抵抗背景杂波干扰。图12(d)data20序列中，第399帧目标周围出现相似建筑物干扰，相比MDNet，本文算法可以准确定位目标。

(2) 遮挡：图12(a)data17序列中第65帧目标被建筑物轻微遮挡，脱离遮挡后，如图12(a)data17的第155帧所示，只有本文算法跟踪到目标，其余算法跟踪结果完全漂移。图12(c)data11序列第189帧目标进入树林强光背景中，出现完全遮挡情况，脱离遮挡后，除了本文算法、ECO-HC和MDNet可以继续跟踪目标，其余算法已经远离目标，如图12(c)data11的第242帧所示。图12(d)data20序列中第358帧目标被建筑物群遮挡，脱离遮挡后，如图12(d)data20的第376帧所示，只有本文算法和MDNet跟踪到目标。以上实验结果说明本文算法使用卡尔曼滤波位置预测方法具有较强的抗遮挡能力。

4 结 论

本文提出一种改进全卷积孪生网络红外空中小目标跟踪算法。该算法使用响应图的平均峰值相关能量和最大峰值变化情况设计了一种跟踪状态判别方法，并针对不同状态采取不同解决方法，通过深度特征响应值联合局部对比度方法排除背景杂波干扰，利用目标帧间运动信息构建卡尔曼滤波器来预测遮挡目标位置。在红外测试集上与其他经典跟踪算法进行对比分析，结果表明：本文算法对红外空中小目标跟踪有较好的性能，并且在目标被复杂背景干扰、遮挡时，具有良好的跟踪稳定性，同时也能够满足跟踪实时性要求。由于全卷积孪生网络对红外空中小目标的深度特征表达能力有限，进而降低了算法的跟踪性能，后续研究将针对目标特点对深度特征提取网络结构进行改进。