基于ResNet-LSTM 网络的船型识别方法*

朱治学 杨风暴

（中北大学信息与通信工程学院 太原 030051）

1 引言

近年来，随着我国的水运能力和国际贸易能力不断增强，海上运输承担的任务日渐繁重，交通环境也日益复杂。船舶行业也进入了高速发展时代，逐渐从传统向智能化交通方向发展。随着位置传感技术和位置感知设备的发展，其所收集到的时空轨迹信息作为移动对象的位置和时间的记录序列，是交通运输工程，交通地理学领域的重要研究内容［1］。基于航迹数据的船舶类型识别研究具有重要的实际意义，这种研究能够对船舶的轨迹进行分析，从中提取出船舶运动特征规律，进而将轨迹划分出不同的、具有相似运动规律的类别。它是分析和预测运动对象行为、正确规范船舶行为、及时发现并处理船舶轨迹异常的前提条件，可为下一步实现智能船舶交通管理系统（Vessel Traffic Service，VTS）监控船舶行为打下坚实的基础［2］。

对航迹数据的处理方式有多种多样，传统的聚类算法［3～5］和机器学习算法［6］存在应用场景理想化、不利于长时间航迹数据处理、所选统计量具有主观性等缺点，不利于该任务的完成。随着神经网络技术［7～8］的发展，深度学习技术也开始被广泛使用在船舶轨迹研究领域，实现更准确且更有效的识别。现有工作中，Endo等［9］研究人员将原始轨迹数据结构转换为图像数据结构，但其所提卷积神经网络提取特征能力有限，训练周期较长，对数据分析不到位，最终的分类效果有所欠缺。Jiang X 等［10］使用速度及其统计量作为特征，将其嵌入到特征空间中后再送入GRU 对轨迹进行分类，但其手动选择的统计量具有人为主观因素，所采用的统计特征具有一定的片面性。赵佳欢等［11］利用循环神经网络处理时序数据上的优势，对空中目标类型识别，将雷达信噪比和目标航迹特征相结合，以提高目标识别准确度，但没有考虑到循环神经网络RNN 的梯度消失和长时间依赖问题。Wang L 等［12］通过迁移学习的方式对互联网打车轨迹的进行了识别，但是在其汽车数据集中，许多车辆运动规律单一，并没有研究对复杂情况下的轨迹特征提取方法，所研究方法仍存在一定局限性。

综上，本文经过对已有研究内容的分析以及不足的思考，提出了一种ResNet-LSTM融合网络的船型识别模型。通过ResNet 卷积网络则可以有效地提取航迹数据的局部空间特征，构造LSTM 网络去提取航迹数据中的长时间时序特征，同时由于ResNet网络的残差跳跃结构，也可以避免传统网络的梯度消失和梯度爆炸问题，从而提高模型在海上复杂船迹类型识别任务中的准确度。

2 相关理论知识

2.1 残差网络（ResNet）

残差神经网络［13］是由MSRA 的学者提出的一种卷积神经网络。在神经网络中，网络深度的增加往往意味着网络对数据的拟合能力越好，但它也会带来过拟合以及梯度消失或者梯度爆炸的问题，这会导致网络准确度的降低甚至丧失对测试集的检测能力。残差神经网络通过其跳跃连接的机制可以解决此问题。其具体原理如图1 所示，假设神经网络某一层的神经网络所代表的函数为F(x)，x为输入到该层神经元的特征信息，在传统的深度神经网络中，神经元的输出即为F(x)，但在残差神经网络中，其内部的残差块使用了跳跃连接，将原始的特征信息与F(x)的信息相加作为下一个神经元的输入。

图1 残差结构图解

在ResNet 模型中这一结构用数学公式可以表示为

ResNet 系列网络包括ResNet18、ResNet34、ResNet50、ResNet101、ResNet152 等，网络模型数字越大，代表模型越大，所需要的计算量越大。ResNet18 具有精度高、模型小、易于实现等优点。本文所利用的ResNet 网络是ResNet18 轻量级网络模型。

2.2 长短时记忆网络（LSTM）

LSTM长短时记忆网络［14］是一种特殊的递归神经网络，通过门限机制，完成网络前馈过程，以克服传统的RNN 网络在处理长序列输入数据中表现的不足，对数据长距离时序特性的提取能力较强，其基本结构如图2所示。

图2 长短时记忆网络基本结构

LSTM长短时记忆网络的前馈过程可表示为

其中，sigm 为Sigmoid 激活函数，取值范围为［0，1］。tanh 为双曲正切激活函数。LSTM 网络的训练过程通过权重参数W、U和偏置参数b来控制。

3 基于ResNet-LSTM 的融合网络结构设计

本文设计了一种残差神经网络（ResNet）与长短时记忆网络（LSTM）进行结果融合的网络模型，所采取的融合方式为令ResNet 模型的最终输出结果为F1(x)，LSTM 模型的最终输出结果为F2(x)，定义一个权重参数a，令模型融合的结果为F3(x)，可以得到公式如下：

总模型结构如图3所示。

图3 总模型结构图

如图3 所示，本文使用的ResNet 网络在ImageNet［15］数据集上事先预训练好权重，通过迁移学习的方法［16］，使该网络参数能够更快速地收敛，该权重对应的分类个数为1000，本模型在ResNet 预训练模型之后增加一层全连接层，以修改分类个数，激活函数为Softmax，其输出的特征向量表示模型对输入所预测的5 种船舶类型的概率。所使用的LSTM 模型中，模型层数为2，输入维度为480，输出维度为256。模型的最后同样是全连接层，输出5类的预测概率。

最终根据所构建的融合公式，将两个模型的输出进行融合，在神经网络的训练过程中，在反向传播过程中，交叉熵损失函数所产生的梯度也会根据该融合权重数值分别更新两个模型的参数。

4 实验流程

4.1 数据预处理

本文使用原始数据集为船舶AIS航迹数据集［17］。采集2017 年美国海岸包括渔船、客船、油船、集装箱船和散货船等船舶类型在内的真实船舶轨迹数据。该数据集存在的问题如下：

1）因为该数据集数据量比较大，所以会存在数据重复、错误以及时间混乱的数据。

2）由于船舶数据通过硬件上传信息，可能由于设备，网络传输等问题造成数据缺失。

所以在针对上述数据集中存在的问题使用的方法如下：

1）对于重复的数据进行去重操作，根据时间戳进行排序，按照时间排序绘制轨迹路线。

2）在缺少数据的部分，采用线性插值处理，弥补数据缺失部分。

本文数据预处理的流程图如图4所示。

图4 数据预处理流程图

4.2 动态特征的选取

本文将船舶数据根据速度的大小关系按航迹点迹映射为不同颜色，映射关系如图5所示。

图5 船速可视化色彩映射关系图

当船只的速度高时，其颜色其可视化偏向于蓝色，当船只的速度低时，其可视化偏向于红色。根据船只航迹的不同颜色，可以大致判断出，该船只的运动状态。

考虑到数据集内不同船只之间的航行速度以及航行轨迹，可能有所差异。可视化部分不同类型船舶的轨迹路线示例如图6所示。

图6 部分各类船只轨迹示意图

通过数据可视化分析，本文选取航迹数据中的六个动态特征，即经度、纬度、对地速度、对地航偏、航首向以及转弯率作为神经网络的输入。经数据预处理，每类选取5000 个数据样本，每个数据样本大小为80 行、6 列。数据被划分为训练集、验证集和测试集，三者的比例分别为7∶3∶1。研究通过航迹数据对渔船、客船、油船、集装箱船和散货船五类船舶进行类型识别。

4.3 实验环境与参数设置

本实验仿真环境和配置如下：操作系统为Windows10-64 位，开发语言为Python3.8，开发环境为anaconda虚拟环境。

实验中模型的具体参数设置如表1所示。

表1 具体参数设置

4.4 实验结果

4.4.1 基线模型训练

图7 为在ResNet18 模型上进行迁移学习得到的训练结果，可以从图中看到，在训练过程中，ResNet 卷积神经网络在验证集以及测试集上具有一定的震荡，而且在训练后期，网络出现过拟合现象，准确率反而下降。

图7 ResNet18模型训练过程指标变化

图8 是经LSTM 模型的训练结果。相比于ResNet模型虽然略有差距，但没有出现过拟合的现象，说明该LSTM模型的Dropout弱化了过拟合所带来的影响，LSTM 模型所提取的特征与ResNet 模型也存在一定差异。

图8 LSTM模型训练过程指标变化

4.4.2 确定最佳网络融合参数

为了得到最优的网络融合系数，本文对比4 组不同融合参数的模型准确度，即融合参数a 分别取0.2，0.4，0.6，0.8。训练过程的损失与准确度指标如图9所示。

图9 不同融合参数下网络模型训练过程对比

在图9 中，对比不同融合参数，可以发现当融合参数a 越大，ResNet网络提取的局部空间特征占的权重越大，网络损失率下降越快，但网络在训练过程中的抖动情况越严重。融合参数a 越小，LSTM 模型提取的长距离时序特征占的权重越大。网络的抖动情况也有所改善。当融合参数a 取0.4左右，网络运行效果最佳，说明在该参数值下，融合模型既避免了ResNet 模型单独作用下网络过拟合以及网络抖动的影响，又能利用LSTM 模型提取到有效的时序特征。网络的准确度和学习效率有更高的提升。

另外，在利用神经网络处理类型识别问题时，所涉及到的主要评估指标还包括精确度、召回率、F1值等。表2表示不同融合参数下，网络运行结果指标报告。随机抽取总数为4992 的实验数据进行测试，其中类别0，1，2，3，4 分别表示渔船、客船、油船、集装箱船和散货船五种船舶类型。

表2 不同融合参数下的网络在测试集上的评价指标统计

通过对表2 的结果分析，当融合参数a 为0.2时，网络模型对油船的识别的精确度不高，当融合参数a 为0.6 时，网络模型对散货船识别的精确度不高，当融合参数a 为0.8 时，网络模型在客船和散货船精确度上表现不佳，当融合参数为0.4时，各项指标在数值上高于融合参数a 取其他值时的各项取值，ResNet-LSTM 网络融合效果最好，此结果与图9中所展示结果表现一致。

4.4.3 网络模型对比实验

本节为证明所提网络模型在本文任务中的效果，实现了四种不同的网络模型架构（即特殊的CNN 网络模型架构［18］、1DCNN-LSTM 网络模型架构［19］、Transformer-LSTM 网络模型架构以及简单的RNN 网络模型架构；将上述网络架构与本文所提的ResNet-LSTM（a=0.4）网络架构进行对比分析。各个模型训练过程中损失率与准确度如图10 和表3所示。

表3 不同网络模型结果对比

图10 不同模型结果图

对图10 和表3 进行分析可知：特殊的CNN 网络［18］模型，通过100 个训练周期，达到收敛后在测试集上的准确度可达到0.90。1DCNN-LSTM 网络模型［19］训练50 个训练周期达到收敛，在测试集上的准确度达到了0.95。Transformer-LSTM 网络模型以及RNN网络模型分别通过50次迭代过程的训练达到收敛，二者网络在测试集上的准确度分别可达到0.96 和0.86。均没有超过本文所提ResNet-LSTM（a=0.4）网络模型的0.98的准确度。

5 结语

本文把深度学习领域中的神经网络模型应用于船舶类型识别任务中，构造ResNet 模型预训练模型和LSTM 模型，分别提取航迹数据中的局部空间特征和长距离时序特征，克服了传统网络的梯度消失、特征提取能力不足等缺点，构造了两种网络的融合公式，利用反向传播更新网络参数，有效地将二者网络进行融合，提出了一种基于ResNet-LSTM的融合网络模型。并与现有的网络模型架构进行对比，结果表明，本文所提出的ResNet-LSTM模型能够有效地对航迹数据特征进行提取，具有很好的识别性能。

下一步将对AIS 数据之外更多的航迹数据进行研究，尝试不同模型融合方式、融合效果，从而能够识别出更多的目标类型。