基于深度学习的港口机械活动识别技术研究

李志明

摘  要：港区机械活动的监管对港口生产活动的管理十分重要，对机械活动的自动识别感知能够提高管理效率。将计算机视觉与深度学习技术应用于港口机械的活动识别中，旨在以一种便捷快速的方式缓解人工监管的不足，因此本文提出了基于卷积神经网络与长短期记忆网络的港口机械活动识别方法并建立了包含6类常见的机械活動的视频数据集。对算法模型进行训练与测试实验，实验结果的平均识别准确率达到89%，表明该方法实现了对不同港口场景下机械活动的有效识别，这将有助于提升管理者对港口目标活动的智能化感知水平。

关键词：港口机械活动;深度学习;智慧港口

引言

在港口行业中，智慧港口的目的是推进现代港口发展进程，其中对港口运输要素的感知是实现港口业务与智能技术融合的重要组成部分。港口机械作为主要的港口装卸运输载体，管理人员需要在变化的作业环境中实现对机械活动的监管，因此对于其活动的感知是必要的。

港口机械活动仍然在图像连续序列中包含了时空特征，本文首先开发了港口中6类常见的包含841段活动视频的机械活动数据集，然后基于深度学习的动作识别混合网络方法构建了卷积神经网络与长短期记忆网络结合的识别模型对机械活动数据进行时空建模，实验结果显示平均的识别准确率达到89%，表明该方法在不同港口场景下对于机械活动识别任务中表现良好。

1 基于深度学习的港口机械活动识别

1.1港口机械活动视频数据集

基于深度学习的机械活动识别需要建立视频的活动数据集，本文建立了集装箱港口的装卸运输活动常见的6类机械活动的814段活动视频，包括：1.起重机装卸活动（138）、2.正面吊装卸活动（140）、3.正面吊吊装运输（137）、4.正面吊空载行驶（130）、5.卡车满载运输（133）、6.卡车空载行驶（136）。由于网络对整个视频进行特征提取，所以数据标签在文件命名记录标签，在数据形式上，首先收集了不同集装箱港口中港口前沿活集装箱堆场的不同场景及拍摄视角的活动视频，然后根据机械活动的起始与结束的周期过程将整个长视频机械活动过程剪成视频样本片段。

1.2 基于CNN-LSTM的港口机械活动识别算法

参考人体活动分析常用的三维卷积法、双流法和CNN-LSTM方法，本文从计算效率和精度的平衡上选择了CNN-LSTM方法。对于空间特征使用擅长提取空间特征的卷积神经网络提取每一视频帧的空间信息，输入图像经过卷积层和最大池化层，然后使用Resnet50架构的3，4，6，3个卷积块组成的4组残差网络构型的卷积网络由浅到深地提取视频帧提取局部位置信息和整体语义信息，然后通过归一层、dropout层和全连接层输出形状为批次数量、视频帧数和特征向量维度的向量，实现视频帧序列数据的空间特征编码。

在解码部分，本文使用循环神经网络的LSTM网络处理卷积网络输出的特征向量。LSTM包括遗忘门f，输入门i和g，输出门o，通过这四个门单元完成对时间序列进行正向编码并建立时间依赖关系。具体计算如式所示，门结构模型由激活函数σ或tanh、权重w、偏置量b组成，对于卷积网络输出的当前时刻的特征向量x，与上一时刻隐藏状态h连接经过遗忘门过滤后得到上一时刻记忆信息，然后也经过输入门得到更新的当前记忆信息，这里两项记忆信息相加得到本时刻的输出记忆信息，然后再将激活的记忆信息和输出门相乘得到该时刻隐藏状态，然后所有时刻一次进行单元的递归计算与更新，将最后时刻的高度凝聚的机械活动时空信息向量的隐层状态量通过激活层、dropout层和全连接层处理后完成机械活动的分类。

2.模型的训练和测试

2.1实验参数及测试指标

本文实验采用的计算机配置为Intel（R） Xeon（R） CPU E5，显卡型号为NVIDIA RTX 2080Ti，操作系统为Ubantu18.04，卷积和LSTM网络模型均基于Pytorch框架搭建。视频数据集的训练集和测试集按8：2划分，视频帧率为25，输入视频的采样间隔为4帧，图像大小为224×224像素，LSTM网络输入层大小为1024，隐藏层大小为768，输出层大小为512。模型初始学习率为1e-5，批次大小为30，训练轮数为100。本文使用分类模型常用的查准率（Precision）、查全率（Recall）指标、F1（Accuracy）指标

2.2实验结果

模型在训练过程中训练集和测试集的损失函数曲线不断下降，测试集精度不断提高且在120轮次附近时稳定，模型最终分类损失为0.02，训练结果理想。表1分别列出了6种活动的识别准确率和召回率结果和F1分数指标，平均的识别精度为0.89，表明该算法可以实现对港口机械活动的准确识别，其中起重机装卸、正面吊吊装运输、正面吊空载行驶3类活动测试准确率不高，分别只有88%、77%和88%。

3.结语

为了通过计算机视觉方法自动识别港口机械的活动，本文采用基于深度学习的CNN-LSTM算法对港口机械活动数据集进行了训练和测试，经过实验验证，该算法可以有效的识别机械行为，在不同的港口场景下的识别平均准确率达到89%，初步证明了基于深度学习的识别方法对港口机械的行为感知具有用于现场应用的潜力。

参考文献

[1]蔡银怡，蔡文学，郑冀川.智慧港口的构成与建设内容探讨[J].物流工程与管理，2020，42（05）：21-23.

[2]程紫来，孙婷，张姝慧.港口信息感知系统在海铁联运物联网示范工程中的应用[J].中国港口，2014（05）：49-50.

[3]刘燕欣，张志良，唐波，高仕博.面向集装箱港口的机器视觉智能感知系统[J].军民两用技术与产品，2020（01）：24-28.DOI：10.19385/j.cnki.1009-8119.2020.01.023.

[4]钱慧芳，易剑平，付云虎.基于深度学习的人体动作识别综述[J].计算机科学与探索，2021，15（03）：438-455.