一种基于孪生网络的舰船目标跟踪方法∗

石胜斌 王曙光 朱建生 周 凯

（1.中国人民解放军陆军炮兵防空兵学院 合肥 230031）（2.高过载弹药制导控制与信息感知实验室 合肥 230031）

1 引言

我国领海面积广阔，海洋资源丰富；与此同时，我国海洋周边环境复杂，存在一定的安全隐患，为了维护海洋安全稳定、准确锁定及跟踪可疑海上目标，舰船目标跟踪系统的搭载势在必行。对于海上目标的跟踪技术的研究便具有较大的现实意义。

目标跟踪在计算机视觉领域仍然是极富挑战性的一个子领域。很多国家都投入了大量的人力、物力和财力进行该项研究。当前，基于计算机视觉的跟踪具有非常广泛的应用价值，目标跟踪已经成为计算机视觉领域的重要构成部分。国内外学者已提出了很多运动目标跟踪的方法，并在不同的应用领域取得了一定的效果。在交通上的应用，主要有车辆、船舶的异常检测、交通流量控制等，利用智能交通监控系统提高交通管控系统效率。

传统跟踪算法如基于卡尔曼滤波[1]以及帧间差分法[2]等算法都无法满足复杂背景下的海上目标跟踪。目前，这些特征提取方法都是人工来完成的，所以存在如下问题：各类特征提取方法非常依赖具体的应用环境，算法要求的条件严格、鲁棒性不好；复杂背景下多无人机特征提取困难等。

如何鲁棒、准确地跟踪一直是有待解决的问题，对于海上目标，往往存在光照变化、尺度变化、背景混淆以及角度变化等问题。近年来，随着深度学习的不断发展，基于卷积神经网络的智能算法在目标检测及识别领域表现极为突出，深度在目标跟踪领域也取得了长足进步。由于在目标跟踪中对于算法的实时性要求较高，传统深层卷积网络计算量较大，难以满足实时性要求。本文基于轻量级的全连接孪生神经网络[3]，结合海上目标特点对网络进行训练，使得算法具有较高准确性的同时，保证了算法的实时性。

2 孪生网络跟踪算法及网络框架

2.1 基于孪生网络的跟踪算法

孪生神经网络（Siamese Net：Siamese Neural Network）最早是由 Bromley和 LeCun[4]提出用来处理签名验证的问题，该网络主要包含两个或多个具有相同结构且共享网络参数的网络模型，并经过不断的发展，逐渐被应用到图像匹配、图像分类等领域。孪生神经网络的目标是寻找两个可比较对象的相似程度（例如，签名验证、人脸识别等）。这个网络有两个相同的子网络，两个子网络有相同的参数和权重。孪生网络中间隐含层既为传统的卷积神经网络，不同的是一个孪生网络通常包含两个甚至多个输入，每个网络分支的参数共享，通过对输出相似度对比函数的学习，进而比较各分支输入样本的相似度，最终得到的是一个得分图，进而确定目标位置。其跟踪流程如图1所示。相比于传统卷积神经网络的单输入特性，多输入的孪生网络能过代入一定的先验信息，既能够将更多的特征信息代入跟踪器，使得训练模型的小量化得以实现。

图1 算法框架

2.2 孪生网络框架

基于孪生网络的目标跟踪可以看成是一个相似性学习的过程，如图2所示，我们通过学习得到函数f=(z，x)，通过比较目标区域x与模板z并返回得分图，得分越高的区域与目标的相似度越大。而网络的作用就是提取图像的特征信息，再进行相关性计算，既该相似性度量函数可表示为f(z，x)=g(ϕ(z)，ϕ(x) )，g为相似度度量。

其中ϕ代表简化的卷积神经网络，结构与AlexNet类似，不过只有卷积层与池化层，没有最后的全连接层，其结构如表1所示。

表1 网络结构

其中池化层采用max-pooling的方法，除第五层外，每个卷积层后都连有ReLU非线性激活层，同时在训练时对每个ReLU层进行批标准化，以降低训练过程中的过拟合。

2.3 孪生网络训练

深度学习之所以能够再诸多领域有突出表现，正是源于大数据的支撑。之前的算法训练的数据库多为VOT[5]、OTB[6]、ALOV数据集，三者所含视频总数少于500个，而本文算法用来训练的数据集总共包含4500个视频。

训练时需要确定网络的损失函数，通过最小化损失函数以获得最优模型。本文的算法将目标一定区域范围内的点作为正样本，区域外为负样本，具体损失函数为

v为得分图各点真实值，y∈{- 1，1}既正样本取1，负样本取-1，而得分图整体损失函数既为各点损失函数的均值，即：

可根据此损失函数对模型进行训练。

3 跟踪方法

通常采用可见光相机对划定区域进行监控。舰船目标跟踪流程如图1所示，首先将网络摄像头输出的视频流送入到智能跟踪系统中，经过图像抓帧和预处理后，对图像进行无人机检测；然后将检测到的舰船图像抽取出来，对图像特征进行提取，送入参数共享的孪生孪生网络；最后，根据相关性计算可以得到得分图。可以将舰船目标的跟踪结果标识到原图像中并显示。

图2 基于孪生网络舰船目标跟踪流程

4 实验与分析

4.1 实验环境

表2 实验硬件配置

图2 基于孪生网络舰船目标跟踪结果

4.2 实验结论

在本文实验中，考虑到舰船目标为敏感数据，本文采用舰船缩小模型作为标靶目标。我们选择自建的舰船目标数据集作为测试视频数据集，以OTB-13基准中的OPE（One Pass Evaluation）作为跟踪算法准确性能的评价标准，绘制OPE准确率和成功率曲线图。使用OPE准确率曲线的CLE（Center Location Error）值和成功率曲线下面的面积AUC（Area Under Curve）值来比较不同跟踪算法的准确性能，我们将本实验算法与传统算法在OTB100[7]数据集上进行测试，通过对比各算法的中心误差以及重叠率，对算法的性能进行测试，实验结果如下：

由测试结果可知，本文所采用的SiameseNet算法，准确率可达80%，且平均帧率可达60fps，能够基本满足实际应用需求；该算法的舰船目标跟踪精度要远远高于传统的非深度学习算法，同时算法速度快能够降低舰船目标跟踪时间，得到了十分理想的舰船目标跟踪结果。

5 结语

本文采用基于孪生网络的目标跟踪算法，阐述了其基本原理、算法架构以及训练方式，并通过在公共数据集上对该算法进行测试。准确率可达80%，且平均帧率可达60fps，进一步表明该算法在应对复杂背景下海上目标跟踪的可行性。下一步作者将着力于让本文的方法应用在成像设备上，搭建起一套完整的舰船目标跟踪系统。