基于模板更新的深层孪生网络跟踪算法

陈丽萍，苑侗侗，杨文柱，陈向阳，王思乐

(河北大学 网络空间安全与计算机学院，河北 保定 071002)

视觉目标跟踪一直以来都是一项具有挑战性的工作，也是计算机视觉领域研究的热点方向，其任务就是在给定特定视频序列初始帧的目标位置的情况下，预测后续帧中该目标的准确位置及目标状态，从而得到目标完整的运动轨迹.目标跟踪在现实生活中有着广泛的应用，如视频监控、智能人机交互、跟踪系统的设计[1].由于目标在运动过程中的背景复杂、运动模糊、外观形变等问题，使得跟踪器很难对目标进行准确定位.虽然深度学习的发展和计算能力的增强使得目标跟踪算法在效果上有了显著的提升，但仍有许多难题亟待解决.近年来，随着人工智能技术的发展，众多的研究者将深度学习算法应用到目标跟踪中，取得了较好的跟踪性能，其中基于孪生卷积神经网络的目标跟踪算法在目标跟踪国际大赛中取得了优异的成绩[2].

基于孪生卷积神经网络的目标跟踪算法采用互相关操作来计算目标模板和搜索区域的特征表示图的相似度，将相似度最大的区域作为跟踪目标区域.首次将孪生神经网络结构运用到目标跟踪领域的是全卷积孪生网络算法(fully-convolutional siamese network，SiamFC)[3]. SiamFC的网络结构足够简单，采用端到端的离线训练，跟踪速度很快，但在遇到复杂背景及剧烈的背景变化时跟踪效果不佳. SiamRPN[4]将SiamFC结构与目标检测任务中的候选区域网络(region proposal network，RPN)串联在一起，进行端到端的离线训练，然后将在线跟踪任务转换为one-shot检测任务，避免了多尺度测试，在保证了准确率的同时达到了实时检测的速度要求.孪生级联RPN网络(siamese cascaded RPN，C-RPN)[5]通过正负样本抽样，解决了训练样本失衡问题，当出现与目标相似的干扰物时，算法不易出现目标丢失；同时融合了多层次特征，得到了更好的特征表达. SiamRPN++[4]通过均匀分布的采样方式，缓解深层网络对平移不变性的破坏，进而将深层次网络结构应用到跟踪任务中. SiamDW (deeper and wider siamese networks for real-time visual tracking)算法[6]使用CIResNet网络作为跟踪器的主干网络，同时使用CIR单元减弱网络填充对跟踪性能的影响，有效解决了深度模型应用到目标跟踪上的退化问题. SiamAttn(deformable siamese attention networks)算法[7]提出一种新的孪生注意力机制，包括可变形的自注意力机制和互注意力机制，该算法在各个数据集上的实验结果均达到了先进水平.

尽管基于孪生卷积神经网络的跟踪算法效果显著，但仍存在一些尚未解决的问题，如：为应对跟踪过程中的目标模糊、尺度变化问题，模型需要强大的特征表达能力和目标判别能力.因此，为提高特征图质量，增强模型在复杂背景下的判别能力，文章在SiamFC的跟踪算法框架之下，将深层残差网络ResNet-50[8]引入孪生网络，提出了一种融合多层特征图进行目标预测的深层孪生网络跟踪算法(fully convolutional siamese network with ResNet-50，SiamFC-50)，并设计了高置信度模板更新机制以避免模板更新过程中的错误累积导致的模板漂移.

1 全卷积孪生网络跟踪算法SiamFC

如图1所示，SiamFC算法的网络结构由上下2个结构相同、参数共享的子网络构成.Z为输入的模板图像，即第1帧图像中的目标框，大小为127×127×3；X表示搜索区域，大小为255×255×3.2个输入分别送入2个子网络进行特征提取后，得到大小分别为6×6×128和22×22×128的特征图.然后再对提取的特征进行互相关操作，得到1张大小为17×17×1的响应图，响应图值最高的位置即为Z可能的位置.互相关操作如下：

f(z,x)=φ(z)*φ(x)+b∏，

(1)

其中，b∏为响应图中每个位置对应的值，φ为特征提取操作，*为卷积运算，通过卷积运算提取X中与Z最为相近的部分.

图1 SiamFC结构Fig.1 Architecture of SiamFC

SiamFC的特征提取网络采用的是改进后的AlexNet.改进后的主干网络去掉了全连接层，并在Conv2、Conv4、Conv5中将卷积核进行分组，以提升模型的计算速度.

2 基于模板更新的深层孪生网络跟踪算法SiamFC-50

2.1 网络模型的构建

在SiamFC的基础上，本文构建的深层孪生网络结构如图2所示.该网络结构分为前后2部分:前半部分是特征提取网络，用ResNet-50深层残差网替换SiamFC的AlexNet浅层网络；后半部分是模板更新机制，通过以模板特征为卷积核，在检测特征图上进行卷积操作得到模板与检测特征图的相似度响应图，然后通过计算响应图的平均峰值相关能量(average peak-to correlation energy，APCE)[9]衡量跟踪的稳定性及结果的有效性，当满足更新条件时，利用高置信度的跟踪结果对模板进行更新.

2.2 特征提取网络

随着深度学习的不断发展，深层网络结构逐步被应用于目标检测和目标分割任务中.但是，当用深层网络直接替换孪生网络跟踪模型的浅层主干网后，跟踪效果并未得到提升.对此，SiamRPN++算法进行了详细的分析和实验，得出了以下结论：1)降低主干网络的有效步长有利于提升孪生网络的跟踪效果；2)填充操作导致深层网络丧失了平移不变性.为降低位置偏差对跟踪效果带来的影响，训练中可以将正样本均匀分布在目标中心点周围.

依据以上分析，对ResNet-50主干网的网络步长和感受野进行了调整.在原有的网络结构中，步长为32像素，输出的特征图大小为7×7.由于特征图变小，相似度响应图中保留的目标信息就很少，不利于对目标的准确定位.针对此问题，将残差块layer3和layer4的步长缩短为单位步长，同时通过空洞卷积操作增大感受野，最后有效步长从16像素、32像素缩减为8像素，使得后3层残差块输出的特征图大小保持一致.为降低后续卷积操作的运算量及模型复杂度，通过1×1卷积操作将特征图通道数降至统一维度，同时对模板特征图中心位置进行裁剪，将模板特征图大小变为7×7.调整后的网络结果如表1所示.

图2 SiamFC-50网络结构Fig.2 Architecture of SiamFC-50 network

表1 ResNet-50网络结构

2.3 特征图的融合

(2)

然后，以模板分支得到的特征图为卷积核，在检测分支输出的特征图上卷积，公式如下：

(3)

2.4 高置信度模板更新机制

SiamFC算法在跟踪时没有设置模板在线更新机制，虽然速度快，但要求特征必须对各种干扰和目标形变都具有非常强的鲁棒性.引入模板在线更新机制虽然能随时适应目标和背景的变化，而且对特征的要求较低，但是如果模板被频繁更新则很难应对跟踪过程中出现的目标尺度变化及形变等问题.因此，文中算法利用平均峰值相关能量APCE[9]作为判别目标模板是否更新的标准，其定义为

(4)

其中，Fmax、Fmin和Fw,h分别表示响应图的最大值、最小值和点(w,h)处的响应值.

APCE通过判断目标遮挡程度来衡量当前跟踪情况的稳定性.当目标未被遮挡时，APCE值较高，响应图出现明显的单峰状态，接近正太分布；当目标被遮挡时，APCE值较低，响应图呈现多峰状态.根据不同场景设置阈值，当APCE值超过阈值时，表示跟踪结果可信度较高，此时对模板进行更新；反之，则不更新.模板更新公式为

RT=RT*η+(1-η)*RX，

(5)

其中η表示更新比例，RT表示模板特征，RX表示高置信度的跟踪结果特征.

3 实验结果与分析

3.1 实验说明

采用YouTube-BB(YouTube-Bounding Boxes)[10]、COCO[11]、ImageNet VID[12]数据集进行离线训练.从数据集中随机选择一帧包含目标的图像后，再随机选择一帧不包括相同目标的图像组成负样本对；选择同一视频序列中相隔不超过100帧且都包含目标的2帧图像作为正样本训练对.在训练和测试过程中，使用单张大小为127×127像素的图像作为搜索模板，大小为255×255像素的图像作为搜索区域.训练时，前5个周期设置学习率为0.001，之后的15个周期以端到端方式训练网络.采用随机梯度下降法来调整网络参数，将动量置为0.9、权重衰减系数置为0.000 5.整体迭代次数为50次，每次迭代60 000个样本对.为得到更适用于跟踪任务的特征提取网络参数，在后40次迭代中更新主干网络参数且学习率设为预测网络的十分之一.

实验用电脑配置：Windows10操作系统，英特尔i7-8700K CPU和GTX1080Ti显卡.

3.2 实验结果分析

为评估所提算法的有效性，选择在OTB2015[13]视频基准库上进行实验，同时与多种最新算法和经典算法进行了对比实验.OTB2015数据集是视觉跟踪领域广泛使用的基准库，包含了100个人工标注的视频序列，并涵盖了跟踪过程中的11种挑战性因素，如：尺度变化、光照变化、运动模糊、平面内旋转等.为准确、公平、全面地评估跟踪器的性能，本文使用一次评估(OPE)法，分别从成功率和精确度2个性能指标来衡量目标跟踪精准度.成功率是跟踪成功的视频帧数占视频序列总帧数的百分比，当重合率得分大于给定阈值后即视为跟踪成功；精确度指预测目标中心位置误差小于给定阈值的视频帧数占比，误差是预测位置中心与标注中心位置间的欧氏距离.重合率定义为

(6)

其中，Grec、Prec分别表示人工标注的目标边界框和预测得出的边界框；∩和∪分别表示交集、并集运算.

OTB100数据集上不同算法的成功率、精确度对比如图3所示,其中包括本文算法SiamFC-50和7个具有代表性的算法SiamFC[4]、Staple[14]、LCT[15]、CFNet[16]、MEEM[17]、DSST[18]、KCF[1].从图3中可以看出，文中所提算法SiamFC-50在成功率和精确度上都排在第1位，对比基准算法SiamFC，成功率提高了3.4%，精确度提高了2.6%，验证了算法的有效性.

为全面验证文中算法的有效性，对不同跟踪器在不同挑战因素下的跟踪成功率进行了对比.由表2所知，只有在低分辨率时所提算法成功率低于其他算法，在剩余的场景中都高于其他算法.实验结果表明，SiamFC-50算法在跟踪过程中能够很好地处理目标的快速运动、遮挡和运动模糊等问题，所提模型有较好的鲁棒性.

a.成功率对比;b.精确度对比.图3 不同算法在OTB100上的对比结果Fig.3 Comparisons of different algorithms on OTB100

表2 多种挑战因素下的跟踪结果对比

为了对比各个算法在不同环境下的跟踪效果，将SiamFC-50与SiamFC、CFNet、Staple这3种算法在OTB100上进行了对比，实验效果如图4所示.

1)图4a中，目标在运动过程中发生了形变，同时伴有运动模糊状态.对比基准算法SiamFC，文中算法SiamFC-50面对目标旋转，能够更快、更精准地实现目标定位.在第118帧时，SiamFC丢失了目标，而SiamFC-50成功定位出目标位置；第398和435帧时，目标出现了模糊状态，所提算法也较为精准地定位出目标.由此说明更深层的特征有助于提升跟踪精度.

2)图4b中，盒子不断旋转，第517帧时，图像出现盒子的2个面，此时只有SiamFC-50可以较完整地框出盒子，说明高置信度模板更新机制能够帮助模型筛选出更为有效的信息，使用可信度高的跟踪结果更新模板后，学习到了盒子多个面的特征.同样，序列(f)Sylvester中目标也频繁发生旋转，所提算法表现也优于其他算法.

3)图4c中的汽车发生了明显的尺度变化，随着车辆的行驶，SiamFC-50不仅能够对车辆尺度变大做出迅速反应，而且对比其他算法框出的边界框，SiamFC-50的边界框更贴合车辆.

4)序列Dudek(图4d)和序列Lemming(图4g)中出现了不同程度的目标遮挡情况.在序列(图4d)中的第212帧人脸被轻微遮挡，所有算法跟踪效果都比较稳定；序列(图4g)中第345帧时目标被严重遮挡，各个算法都未定位到目标，之后目标缓慢出现，当第368帧时，SiamFC-50最先定位到目标.

5)序列Matrix(图4e)中环境光照出现变化，对目标识别和定位都有严重影响.第82帧时，环境变亮，只有SiamFC-50定位到目标，其他算法都出现了目标丢失，这说明深度特征对目标有更加强大的表达能力.

通过上述分析，所提算法SiamFC-50可以较好地抵抗目标形变、遮挡、运动模糊、光照变化等多种复杂因素带来的影响，有较好的鲁棒性.

a.Board;b.Box;c.CarScale;d.Dudek;e.Matrix;f.Sylvester;g.Lemming.图4 不同场景下的跟踪结果对比Fig.4 Tracking results in different video scenes

4 总结与展望

通过改进SiamFC框架提出了一种基于模板更新的深层孪生网络目标跟踪算法.1)用深度残差网络ResNet-50替代SiamFC的浅层主干网，使网络能提取到更具有表征能力的深层网络特征；2)为应对背景干扰、运动模糊等问题，对高、中、低层特征进行融合，提高了跟踪的准确度；3)通过对响应图进行置信度评估，选取高置信度的结果对模板进行更新，减少模板更新次数，避免了跟踪过程中的模板漂移.实验结果表明，所提算法相较于其他经典算法在成功率、准确度和鲁棒性方面表现更好.下一步将探索更有效的特征提取方法来描述对象，并改进模板更新模块以完善跟踪器.