◎ 聂超 常建 王大伟 姜橙华
1.青岛港国际股份有限公司;2.深圳市辰卓科技有限公司
集装箱吞吐量指标对于大型综合类港口而言,是重要的绩效指标。准确预测集装箱吞吐量,能够辅助港口运营者管理和决策,保证装卸和运输的高效性;能够反映一个地区的进出口贸易状况,对经济形式做出合理预测;对于港口物流的供应链参与者,可以有效降低运营成本,提高供应链效率;对于地区环保政策的制定和实施也具有重要意义。
王凤武等人在2023年提出了基于多变量LSTM模型的青岛港集装箱吞吐量预测[1]和基于LSTM的上海港集装箱吞吐量预测[2],采用LSTM模型对大型港口的集装箱吞吐量进行了较为精准的预测;孙晓聪等人在2022年提出了基于RF-双向LSTM的集装箱吞吐量预测[3],对LSTM模型进行了优化,得出了更高精度的预测结果;王浩等人在2023年提出了基于LSTM神经网络的航空公司旅客来电量预测方法[4];高永华在2023年提出了基于LSTM的河北省径流量预测研究[5],验证了LSTM模型在径流量预测中的可行性。
提出一种基于RMSProp算法改进LSTM模型的方法,对某大型综合类港口吞吐量进行预测。RMSProp是一种自适应学习率算法,可以自行调整学习效率,在面对容易产生梯度消失或者梯度爆炸的深度学习网络时,具备较大优势;同时,它能够避免学习率下降过快、学习过程提前结束等问题,保证模型充分训练。通过RMSProp改进LSTM,可以避免LSTM出现梯度消失或梯度爆炸的情况,使训练过程更加平滑、避免过度震荡、提高LSTM的性能,同时可以提高算法的稳定性。
L S T M 属于循环神经网络(RNN),相较于传统的RNN模型只有一个网络层,LSTM模型内部有4个网络层,结构如图1所示。
图1 LSTM模型结构图
图中灰色矩形框表示一个神经网络层,由权重、偏置和激活函数组成,加号、乘号、tan表示对元素的操作,箭头表示向量的流向,分叉的箭头表示向量的复制。
相较于RNN的隐层,LSTM增加了一个细胞状态(cell state),在时刻t中间细胞状态所发生的输入和输出如图2所示。
图2 LSTM模型的细胞状态
Ct-1表示t时刻输入的细胞状态,Ct表示t时刻的输出细胞状态;ht-1表示隐层的输入状态,ht表示隐层的输出状态,同时还作为t时刻的输出向量;xt表示t时刻的输入向量。
细胞状态中一个sigmoid层与一个点乘构成了一个“门”结构,如图3所示,能有效控制向量的通过和拦截,图2中包含3个门结构,分别为遗忘门、输入门、输出门。
图3 LSTM模型“门”结构
遗忘门决定细胞需要丢弃哪些信息,结构如图4所示。
图4 LSTM模型遗忘门
则有:
[ht-1,xt]表示连接两个向量。
输入门决定细胞状态更新哪些信息,这一过程分为两个步骤,第一步决定更新哪些信息,结构如图5所示。
图5 LSTM模型输入门
则有:
第二步更新细胞信息,如图6所示。
图6 更新细胞信息
基于遗忘门拦截旧细胞信息的一部分,输入门更新细胞信息的一部分得到新的细胞信息Ct:
输出门通过sigmoid层执行判断,后将细胞状态通过tanh层得到[-1,1]之间值的向量,与判断条件相乘即可得最终循环网络的输出向量,过程如图7所示。
图7 LSTM模型输出门
则有:
经过以上步骤即可得到t时刻细胞状态的输出。
RMSProp是一种基于梯度下降算法的优化算法,通过使用指数加权平均来估计梯度平方的移动平均值,将较大的梯度值进行抑制,较小的梯度值进行放大,能够自适应地调整每个参数的学习率;具备更快的收敛速度;通过引入衰减系数,对梯度平方进行指数加权平均,避免了AdaGrad算法学习率过早衰减的问题;在大多数情况下更加高效稳定。
RMSProp的元素更新规则如下:
(1)从训练集中采集m个样本
对应的目标为yi。
(2)计算梯度
其中θ为初始参数。
(3)积累平方梯度
(4)逐个元素应用除和平方根,计算更新
其中ε为全局学习率。
(5)应用更新
执行以上步骤直到模型达到停止准则。
通过RMSProp改进LSTM模型的关键为初始化RMSProp优化器,需指定R MSP rop 参数,包含学习率、衰减系数,并根据具体情况进行调整。使用训练数据对LSTM模型进行训练,需通过RMSProp优化器迭代更新LSTM模型的参数。具体步骤见图8。
图8 RMSProp算法改进LSTM模型
采集某大型港口2000年至2022年集装箱吞吐量数据,见表1。
表1 某大型港口2000年至2022年集装箱吞吐量数据
集装箱吞吐量数据变化受多种相关因素影响,单变量训练往往难以实现准确预测,获取与集装箱吞吐量密切相关的几个影响因素数据,包含:GDP、进出口贸易额、第一产业产值、第二产业产值、第三产业产值,数据见表2。
表2 2000年至2022年各影响因素数据
对数据进行归一化处理,可以统一特征值的尺度,提升模型的收敛速度;防止特征之间权重失衡;提高模型的鲁棒性;方便不同特征的可视化比较。采用max-min标准化方法对数据进行归一化处理,将数据缩小至[0,1]区间内,归一化后的数据见表3。
表3 各影响因素数据归一化结果
以2000年至2016年的集装箱吞吐量相关数据作为输入,对2.3构建的优化模型进行训练,并对2017年至2022年的数据进行预测,预测结果见图9。
图9 RMSProp改进LSTM模型预测结果
采用A r i m a模型对2017年至2022年的数据进行预测,预测结果见图10。
图10 Arima模型预测结果
预测结果及误差见表4。
表4 2017年至2022年预测结果及误差
误差MAPE和RMSE见表5。
表5 误差MAPE和RMSE指标
结果表明,R M S P r o p 改进LSTM模型的MAPE和RMSE指标均小于Arima模型,即RMSProp改进LSTM模型对某大型港口吞吐量的预测更加准确。
科学准确预测港口吞吐量,能够指导港口优化资源配置,辅助管理人员决策,指导物流方、贸易方优化供应链,更好地评估港口对环境的影响等。采用RMSProp算法改进LSTM的方式构建一种多变量输入的优化模型,对某大型综合类港口集装箱吞吐量数据进行预测,获得更加准确的预测结果。模型充分利用RMSprop自适应学习率、缓解梯度消失和梯度爆炸、更快收敛等优点,改进LSTM模型的训练过程,实现了更加高效、准确的数据预测。