基于孪生网络的视觉目标跟踪方法

文/孙振 李庆党 王璐 吴俊飞

1 深度学习的跟踪方法的研究现状

基于深度学习的跟踪方法是目标跟踪方法中的另一个重要分支，其利用深度卷积网络端到端训练的优势，让模型自动化的学习跟踪目标的外观特性、运动特性，实现高质量的鲁棒性跟踪。GΟTURN[1]，MDNET[2]等基于深度学习的目标跟踪方法，均取得了非常好的效果。在该领域中，[3]提出了一个非常具有潜力的跟踪框架Siamese-FC，其利用孪生网络将跟踪问题转化为图像对的比较问题。这种方法在近几年获得了充分的研究，并以此衍生了出大量优秀的跟踪器。

2 基于孪生网络的跟踪方法研究

2.1 注意力机制与多路孪生跟踪网络

根据不同网络特征进行多路特征比较也是孪生跟踪网络的一个发展思路。在这个方面[4]通过分别建立外观特征提取网络与语义特征提取网络，通过将外观特征与语义特征分别进行相关性运算，将响应图叠加得到最终的响应位置。注意力机制是最近几年机器视觉领域常用的方法，[5]将注意力机制与孪生跟踪网络相结合，并提出了三种不同的注意力机制的嵌入方式。包括一般注意力机制、目标适应残留注意力机制、特征通道注意力机制。

2.2 支持更新的孪生跟踪网络

为了保证目标跟踪的速度，如Siamese-FC等大多数孪生跟踪网络在跟踪过程中并不更新目标模板和网络权值，这造成两个问题：

（1）当目标发生较大的形变时，会造成目标候选框与目标模板出现较大差异，从而导致跟踪失败。

（2）网络权值不更新导致要使用同一套网络结构和网络参数适应所有的跟踪场景，这是很难做到的。[6]提出了一种递增的在线模板更新机制，在兼顾计算速度的情况下实现目标模板信息的更新，取得了较好的效果。[7]为了实现网络对于不同跟踪场景的适应，提出了一种基于动态滤波器的更新机制。该方法并没有去更新模板，而是在模板分支与候选分支中各增加了一个滤波器。该滤波器通过拟合原有特征与当前帧特征的差异，从而实现原始模板特征值的动态更新。

2.3 复合的孪生跟踪网络

将孪生跟踪网络与其他先进的机器视觉处理模块相结合也是重要的发展方向。[8]在孪生跟踪网络之后，增加了候选缩放网络以及分类网络，通过候选缩放网络实现跟踪目标尺度变化的自适应，然后在分类网络中将目标与背景进行更精细的分类。[9]则是将孪生跟踪网络与区域生成网络相结合。通过将孪生跟踪网络模板分支、候选分支的特征同时输入到区域生成网络的分类分支与回归分支，将跟踪问题变换成为单次学习匹配问题。[10]针对模板匹配类算法对于相似干扰物区分性不强的问题，设计一系列的干扰物训练集合，通过端到端的训练提升网络对于相似物体的区分能力。[11]则进一步将Mask R-CNN中的蒙版分支引入到跟踪网络中，实现了对于目标的跟踪与分割的统一处理。

3 研究展望

3.1 准确性

孪生网络跟踪方法对于外观相似的物体缺少判别性，这是该类方法的本质缺陷。当跟踪目标被与相似物体贴近或被同类物体遮挡时，跟踪网络极易跟踪到错误的目标上。如何能够有效的设计相关相似性区分机制，是该类跟踪方法的重要研究方向。

3.2 实时性

孪生网络跟踪算法本质上属于基于深度学习与深度卷积网络的跟踪方法，在训练与跟踪过程中需要进行大量的卷积计算，从而影响了跟踪速度。最初的孪生网络跟踪算法达到了86FPS的跟踪速度，但随着孪生跟踪网络的不断更新，导致目标跟踪时的计算量显著增加，实时性也越来越难保证。如何在保证跟踪效果的前提下尽力达到实时性要求，是一个较为重要的研究方向。

3.3 在线更新

跟踪过程中更新模板或权值，大量的微调计算会显著拖慢跟踪速度，导致无法保证跟踪的实时性。虽然目前提出了一些能够更新网络权值的方法，但整体效果还有待提升。在这种情况下，如何能够让跟踪网络适应跟踪目标的外观变化，同时又能尽量少的增加计算负担是一个很重要的研究方向。

4 总结

孪生跟踪网络作为一种重要的目标跟踪方法受到了大量研究人员的关注。本文对孪生跟踪网络进行了简要研究，对相关优化模型做了简要分析，并基于上述分析提出后期研究方向。对于相关领域研究人员有一定的参考意义。