基于改进GRU的高速公路交通流量预测模型

陈 刚

(广西交通投资集团,广西 南宁 530022)

0 引 言

随着高速公路系统的完善以及人们生活水平的提高,机动车数量日益增加,高速公路交通拥堵现象频发,且目前高速公路交管部门对交通数据的准确掌握还存在一定的局限性,因此未能很好地为出行者提供更好的引导。由此,对高速公路的交通流量进行准确预测具有重要意义[1-2]。交通流量是指在单位时间内通过道路某断面的车辆数目[3]。目前诸多相关学者的研究对象是如何建立一个适应性强、精确度高的交通流量预测模型[4-5],且交通流量也是使用智能交通系统进行交通控制和诱导的重要基础[6-7]。

国内外学者对高速公路交通流量预测做了大量研究。曾宪堂等人[8]研究发现数据质量和算法精度是交通流预测的关键;刘永乐等人[9]将CNN-BiLSTM模型与简单基准模型进行对比,实验结果表明该模型更加符合实际交通流量变化规律,但并未关注时间序列中更重要的因素;Deng等人[10]将时间序列分析问题转化为图像分析任务,提出模型具有预测路网不完整数据流量的能力,但这些深层网络结构比较复杂,并且其可解释性不强;Dissanayake B等人[11]采用机器学习VAR模型进行预测,但该模型不能精准体现交通流的非线性和随机性,因此预测精度差;Zhang等人[12]提出基于Spark下时空特征关系的加权KNN模型,预测效率相比KNN算法明显提高。

在上述研究的基础上,为了提高高速公路交通流量预测精度并考虑到交通流量数据具有的随机性、非线性及周期性等特点,该文设计了基于改进门控循环网络的高速公路交通流预测模型,对高速公路交通流量进行有效预测。采用平均绝对误差(MAE)等3项评估指标,在广西高速公路的真实数据集上和芬兰公共交通管理局某自动测量站(LAM)收集的道路交通信息上进行训练测试,并与长短期记忆神经网络(LSTM)和门控循环网络(GRU)进行对比,评估指标表明所提模型较另外两种模型更准确和稳定。贡献如下:(1)对GRU网络进行改进,分别对激活函数、梯度下降优化器和生成概率密度函数进行改进;(2)结合时序数据的时序特性比较模型的性能。

1 基础理论

1.1 LSTM模型

LSTM(Long Short Term Memory)是一种针对循环神经网络的缺陷进行改进的神经网络,其在循环神经网络(RNN)的神经元中加入了一个判断当前信息是否要遗忘的“处理器”——cell,从而使RNN网络具备了长期记忆功能,解决了RNN无法处理长距离依赖的问题[13]。LSTM引入了3种类型的门,即遗忘门、输入门和输出门[14],以及与隐藏状态形状相同的记忆细胞。

LSTM最重要的特点是保存细胞状态(cell state)。在训练的过程中,输入信息通过遗忘门,决定从细胞状态中遗忘的信息[15-16],即读取隐层状态ht-1和t时刻输入向量xt,并给每个细胞状态Ct-1输出一个[0,1]之间的数字。

在得到遗忘门的输出结果后,将为更新细胞状态做准备。把输入数据保存到细胞单元中,并创建一个新的候选向量用于存放上一个细胞状态的输出值,用这两个信息对细胞状态进行更新。

在得到当前时刻细胞信息之后,将通过输出门对信息进行过滤。通过运行sigmoid函数确定要输出的信息内容。随后,细胞状态在通过tanh函数进行处理后得到一个在[-1,1]之间的数值,再与sigmoid函数的输出相乘,即可确定并输出信息。

1.2 GRU模型

门控循环神经网络(GRU)是LSTM的一种变体,GRU不再使用单独的记忆细胞存储记忆信息,而是直接利用隐藏单元记录历史状态且只包含了更新门和重置门[17],即图1中的zt和rt。利用重置门控制当前信息和记忆信息的数据量,并生成新的记忆信息继续向前传递,利用更新门计算当前时刻隐藏状态的输出,隐藏状态的输出信息由前一时刻的隐藏状态信息ht-1和当前时刻的隐藏状态信息ht输出,模型算法如公式(1)至公式(4)所示。GRU的训练方法与LSTM相似。

图1 GRU结构

zt=σ(Wz·[ht-1,xt])

(1)

rt=σ(Wr·[ht-1,xt])

(2)

(3)

(4)

式中,门控信号zt的范围为[0,1],当zt为0时表示记忆信息全部清除,反之当zt为1时,表示记忆信息全部通过。

2 文中模型

2.1 改进GRU模型

提出对门控循环网络进行改进,分别对激活函数、梯度下降优化器和生成概率密度函数进行改进,改进后的GRU网络模型具有多样性、准确率高、缓解梯度消失等特点。

2.1.1 改进激活函数

(5)

(6)

(7)

(8)

(9)

(10)

2.1.2 梯度下降优化器

(11)

(12)

(13)

(14)

(15)

(16)

(17)

(18)

(19)

2.1.3 生成概率密度函数

在执行阶段,推导经过训练的深度学习模型的微分方程,如式(19)所示,得到估计的概率密度函数。

2.2 GRU预测模型结构

该模型的输入为预处理后的交通流量数据集,将该输入向量传入到输入层,根据2.1.1节提到的改进激活函数计算到隐含层的输入向量;接着依据训练过程进行逐层训练,其损失函数为2.1.1节公式(10);然后使用梯度下降优化器进行优化,分别选择RMSprop和adam算法作为权重优化器对模型内部权重进行优化;若未达到最大迭代次数,则更新权重后继续进行训练,直到达到最大迭代次数;最后将输出向量传递至输出层。GRU预测模型结构如图3所示。

图3 GRU预测模型结构

2.3 整体框架

该文首先对芬兰交通管理部门某自动测量站数据集和广西高速公路的真实数据集进行预处理,分别在LSTM模型、GRU模型和所提模型上进行训练,然后分别用两个数据集的测试集在训练好的三个模型上进行测试,得到下一时刻的交通流量预测信息。交通流量预测模型的整体框架如图4所示。

图4 交通流量预测模型整体框架

3 模型案例分析

3.1 实验数据集

所使用的实验数据来源于广西高速公路的真实数据集和芬兰交通管理部门的某自动测量站(LAM)收集的道路交通信息,如表1所示。下面具体介绍使用到的实验数据集来源。

表1 数据集信息

3.1.1 广西高速公路交通流量数据集

从G72泉南高速广西南宁东收费站断面采集2019年3月24日至2019年4月9日的交通流量数据,数据单元以5分钟为时间间隔,一共17天(每天24小时),共采集数据4 896组,为避免数据采集系统异常导致的数据错误,对采集的样本数据采用孤立森林异常检测算法识别异常值,采用B样条曲线插值法替换异常值和插补缺失值,最终得到样本数据4 890组。并按8∶2的比例划分为训练数据集和测试数据集,即可得到训练集数据3 912组,测试集数据978组。

3.1.2 芬兰交管部门LAM交通流量数据集

该站以5分钟/次的采样频率对通过该测量站的车流量数据进行采样,该数据包含了该路段连续四周的数据,以及之后一周的数据,共采集数据10 656组。将连续四周的数据作为训练集构建模型,之后一周的数据作为测试集进行预测,同样采用B样条曲线插值法替换异常值和插补缺失值,最终得到训练集8 516组,测试集2 129组。

3.2 评估准则

采用三种预测精度衡量方法进行衡量评估,分别为平均绝对误差(MAE)、均方根误差(RMSE)、平均绝对百分比误差(MAPE)。

(1)MAE是绝对误差的平均值,能更好地反映预测值误差的实际情况。

(20)

(2)RMSE用于指示模型在预测中会产生多大的误差,能很好地反映出模型的预测精度,误差越大,权重越高。

(21)

(3)MAPE是相对误差的度量值,不会因目标变量的全局缩放而改变。

(22)

3.3 实验环境及参数设置

为测试模型的性能差异,使用Python语言进行开发,采用了基于Tensorflow、Theano以及CNTK后端的一个高层神经网络API——Keras。模型包含两个隐含层的神经网络。

首先对芬兰交管部门LAM交通流量数据集和广西高速公路采集到的数据集进行预处理,将处理好的训练集和测试集数据生成一个标准化对象scaler,使用该对象对数据集进行标准化操作。由于时序数据的预测任务需要使用历史数据对未来数据进行预测,使用时滞变量lags=12对训练数据进行划分,最后获得大小为(samples,lags)的数据集。划分后的数据集在排序上依然具有时序的特性,即使Keras在训练时可以选择对数据进行混洗,但是其执行顺序是先对真实数据进行采样再进行混洗,采样过程依旧是按照顺序来的。该文使用numpy.random.shuffle对数据进行混洗,打乱数据的顺序。

模型设定包含两个隐含层的神经网络,每一层隐藏层中含有64个神经元,在隐藏层和输出层之间加入dropout层,降低节点间的相互依赖性,实现神经网络的正则化,最后输出层含有1个神经单元,即输出的是一个数字。

LSTM、GRU和改进GRU模型按照正常的RNN网络进行训练。使用train_model()函数训练。使用RMSprop(lr=0.001,rho=0.9,epsilon=1e-06)作为优化器,batch size为256,共有600个epochs,lags为12(即时滞长度为一个小时)。

3.4 结果分析

在模型训练完毕之后,将处理好的测试集输入模型中进行预测,得到预测精度。采用芬兰数据集的预测结果如图5所示。为了便于展示,图5～图12仅列出一天的预测结果。由图可以看出使用改进GRU模型对流量数据的预测拟合度更高。采用广西高速公路数据集的预测结果如图6所示,由图可以看出GRU模型的拟合度较差,不如LSTM模型和改进GRU模型,而LSTM模型和改进GRU模型拟合曲线接近,因此无法分出优劣。

图5 两层网络模型使用RMSprop优化器在芬兰数据集上的预测结果

图6 两层网络模型使用RMSprop优化器在广西数据集上的预测结果

为了得到普遍的规律,对三个模型的参数进行调整,使用相同的数据集再次进行训练测试,调整训练的优化器,采用adam优化器(lr=0.001,beta_1=0.9,beta_2=0.999,epsilon=1e-08)对模型进行训练,得到图7所示的芬兰数据集的预测结果,可以看出改进GRU模型与原始数据拟合度更高。图8为广西数据集的预测结果,可以看出GRU模型的拟合度较差,不如LSTM模型和改进GRU模型,而LSTM模型和改进GRU模型拟合曲线接近,因此无法分出优劣。

图7 两层网络模型使用adam优化器在芬兰数据集上的预测结果

图8 两层网络模型使用adam优化器在广西数据集上的预测结果

同时,还选择构建三层LSTM、GRU和改进GRU神经网络模型,以比较三个模型之间的性能差别,输入相同的数据集进行训练以及测试,本次实验依然采用的是RMSprop的优化器,与两层神经网络的结果进行参照对比,预测结果如图9和图10所示。

图9 三层网络模型使用RMSprop优化器在芬兰数据集上的预测结果

图10 三层网络模型使用RMSprop优化器在广西数据集上的预测结果

图9为芬兰数据集的预测结果,可以看出改进GRU模型的预测曲线更接近真实数据集的曲线,另外LSTM模型的预测曲线比GRU模型的预测曲线更好。图10为广西数据集的预测结果,其结果与图9相似。

随后对构建的三层LSTM、GRU和改进GRU神经网络模型改变训练使用的优化器,采用adam优化器,并且使用相同的数据集再次进行训练以及测试,预测结果如图11和图12所示。

图11 三层网络模型使用adam优化器预测在芬兰数据集上的预测结果

图12 三层网络模型使用adam优化器预测在芬兰数据集上的预测结果

图11为芬兰数据集的预测结果,可以看出改进GRU模型的预测曲线与真实数据更接近,而LSTM模型与GRU模型的预测曲线接近,图12为广西数据集的预测结果,可得出与图11相似的结果。

4 模型性能分析

表2为采用芬兰交管LAM数据集和广西高速公路数据集在LSTM、GRU和改进GRU模型进行上述四组不同的训练的交通流预测指标。

表2 不同方法上的交通流预测性能

对芬兰交管部门LAM数据集的测试结果进行分析。对于两层神经网络,采用RMSprop优化器(训练1)时,可以明显看出改进的GRU模型的各项预测指标值均优于LSTM模型和GRU模型;采用adam优化器(训练2)时,三个模型的各项预测指标值均接近,无法分出性能优劣;改进的GRU模型在训练2中的RMSE、MAPE的值均大于使用训练1的值,而MAE值接近,因此改进的GRU模型中使用adam优化器的性能较使用RMSprop优化器性能更差;在采用三层神经网络时,明显看出使用RMSprop优化器(训练3)时三个指标值均和LSTM模型接近,性能较差。因此着重分析两层神经网络采用RMSprop优化器(训练1)和三层神经网络采用adam优化器(训练4)的性能,从表1可以看出训练4的RMSE、MAE和MAPE的值均小于训练1的指标值。因此可以得出结论,在预测交通流量数据的时候,提出的改进的GRU模型在三层神经网络采用adam优化器的预测结果更好。

由表1可以看出,采用广西高速公路数据集在训练1和训练2中GRU模型的三个指标值均优于LSTM模型和改进GRU模型的指标值,因此GRU模型的性能最差,而LSTM模型与改进GRU三个指标值接近,因此二者无法分出优劣。在训练3和训练4的结果中均可以看到改进的GRU模型性能更好,但训练4相比训练3结果更好。因此在广西高速公路数据集上可以得出与芬兰数据集上同样的结论,且所提模型在广西数据集上的测试结果更好。

5 结束语

(1)设计了改进门控循环网络的高速公路交通流预测模型,并与GRU、LSTM模型进行对比,结果表明采用改进GRU交通流预测模型所得结果与实际交通流量的变化趋势更吻合。

(2)结合时序数据的时序特性比较LSTM、GRU和改进GRU模型的性能差异,选取了改进GRU作为最终预测模型,尚未考虑数据的空间相关性,没有将天气、道路占有率、车辆速率等一些因素作为预测的影响因素考虑在内,基于交通流的预测评价主要放在了模型预测的性能比较上,可能预测结果的精确度不高,需要构建更加完善的模型,调节参数,在未来的研究中,需要进一步提高最终预测结构的精确度。