基于多通道时空编码器的交通流量预测模型

2024-02-18 23:20张安勤秦添
计算机应用研究 2024年1期
关键词:注意力机制编码器

张安勤 秦添

摘 要:传统的交通流量预测模型对历史数据进行时空建模,忽略了交通数据的时间周期性内部潜在关系和交通路网间节点的距离特征和相似性空间特征。据此,提出面向交通流量预测的多通道时空编码器模型MC-STGNN,用于提高交通流量预测的准确率。首先将交通数据处理成三通道的周期性时间序列,并对整体的序列数据进行时间位置编码和自适应的空间位置编码,提取路网节点间的动态相关性;其次引入具有卷积结构的多头自我注意力机制,更大程度地捕获周期数据不同程度的时间相关性;最后提出一种图生成器生成新的时空图,提取路网节点间的相似性和距离特征,并利用门控图卷积网络整合原始图和新时空图的空间信息。在高速公路数据集PEMS03和PEMS08上进行一小时的交通流量综合预测实验,结果表明,MC-STGNN模型与其他的基线模型相比,具有更佳的性能指标,说明MC-STGNN模型具有更优的建模能力。

关键词:交通流量预测; 编码器; 空间位置编码; 注意力机制; 图生成器

中图分类号:TP391   文献标志码:A   文章编号:1001-3695(2024)01-013-0083-05

doi:10.19734/j.issn.1001-3695.2023.06.0209

Traffic flow prediction model based on multi-channel spatial-temporal encoder

Abstract:Traditional traffic flow prediction models model historical data in terms of time and space, ignoring the internal potential temporal periodicity of traffic data and the distance characteristics and similarity spatial characteristics of nodes between traffic networks. Based on this, this paper proposed a multi-channel spatio-temporal encoder model MC-STGNN for traffic flow prediction to improve the accuracy of traffic flow prediction. Firstly, it processed the traffic data into a three channel periodic time series, and encoded the overall sequence data with temporal and adaptive spatial positions to extract dynamic correlations between road network nodes. Secondly, it introduced a multi-heads self-attention mechanism with convolutional structure to capture varying degrees of temporal correlation of periodic data to a greater extent. Finally, it proposed a graph generator to generate a new spatiotemporal map, extracting similarity and distance features between road network nodes, and integrating the spatial information of the original map and the new spatiotemporal map using a gated graph convolutional network. It conducted comprehensive traffic flow prediction experiments for an hour on the highway datasets PEMS03 and PEMS08. The experimental results show that the MC-STGNN model has better performance indicators compared to other baseline models, indicating that the MC-STGNN model has better modeling ability.

Key words:traffic flow prediction; encoder; spatial position coding; attention mechanism; graph generator

0 引言

近年來,全国汽车保有量持续增长。2017—2022年,全国汽车保有量由2.17亿辆增长至3.15亿辆,增长率为45.16%。汽车给人们的出行带来了极大的便利,同时也带来了日趋严重的拥堵问题。对于高速公路这一场景而言,其特点为行车速度快、交通流量大、场景封闭性强,一旦产生拥堵问题,会严重影响人们的出行效率。因此,实现实时、高效的交通流量预测尤为重要。现有的交通流预测方案主要有模型驱动型、数据驱动型和深度学习三种。模型驱动型方法有差分自回归移动平均模型(autoregressive integrated moving average,ARIMA)[1]、卡尔曼滤波模型[2]等。这些传统模型局限于预设的假定条件和固有的算法结构,适用于数据量小的预测方案,对于路况复杂的交通路网,无法挖掘出交通流的潜在非线性特征,因此模型预测性能不佳。数据驱动型方法,如支持向量机(support vector machine,SVM)[3]、贝叶斯网络[4]、K近邻[5]、梯度提升决策树(gradient boosting decision tree,GBDT)[6]、VAR[7]等,这类机器学习模型以数学基础作支撑,能够很好地学习交通流数据与输入参数间的非线性映射关系。然而Kamarianakis等人[7]通过实验表明,基于ARIMA和VAR的模型无法应对复杂数据的可变性。Drucker等人[8]提出基于支持向量机的SVR模型,也同样存在对高维数据处理能力欠佳的问题。此后,深度学习模型因其更好的非线性映射能力和高维映射数据的处理能力得到更多运用。

起初,常见的深度学习模型将交通数据看作时序数据,大多数研究工作都是基于LSTM(long short-term memory)[9]和GRU(gated recurrent unit)[10]展开的。王庆荣等人[11]采用LSTM捕捉时间序列的长期依赖关系,利用注意力机制自适应地选择相应的驱动序列进行建模。这类循环神经网络模型在捕获时间序列的时间相关性方面拥有较好的能力,但它们无法处理交通数据空间维度的相关性。故此,部分学者尝试引入图卷积网络(graph convolution network,GCN)[12]处理交通路网的空间特征。DCRNN[13]采用信息扩散的GCN模型捕获交通路网的空间依赖关系,STGCN[14]模型串联一维卷积和 GCN 层分别获取交通路网的时间和空间相关性。Song等人[15] 提出STSGCN模型构造时空同步图卷积模块,堆叠多个GCN用于捕获复杂的时空相关性和交通流量数据存在的时空异质性。然而,数据集的预定义邻接矩阵的时序图结构往往是复杂且不精确的。Guo等人[16]采用注意力机制来优化模型,图的动态结构在一定程度上得到完善。同时,为了充分提取时间周期依赖性,它采用组件的思想来建模交通数据的邻近时间、天周期和周周期特征。Li等人[17]提出STFGNN模型,通过构造各种时空图学习隐藏的时空依赖关系。此后,周楚昊等人[18]提出在Transformer的编码-解码器网络架构中,利用通道注意力对历史流入数据、历史流出数据、混合数据进行整合。Shin等人[19]提出PGCN模型,通过构造适应数据的渐进图,并结合扩张因果卷积来模拟交通数据的时空相关性。Jiang等人[20]提出的PDFormer模型,通过不同的掩码方式,将局部邻接图和全局邻接图嵌入到自我注意力机制中,以捕获长短距离的空间依赖。

虽然现有的研究已考虑到时空相关性,但仍然面临以下挑战:在空间相关性的建模中,交通路网的每个传感器节点周围都有不同数量的邻居节点,GCN[12]被广泛用于提取空间特性。然而GCN过于依赖交通路网的原始结构,仅能提取静态空间特征,并且GCN的运用使深度学习模型将附近邻域的节点强制赋予相似的节点特征,忽略了交通路网节点间的距离特征和节点之间的相似性在不同时间周期下的动态关系。例如,在上下班高峰期,相邻的住宅区和办公楼之间的关联性加强,同一道路的节点间呈现出更强的相似性,节点之间的距离特征在空间特征中的权重提高,而节假日住宅区与娱乐场所间的关联性更强。针对该问题,本文采用构造图生成器的方式学习路网节点间的动态距离特征和相似性特征,同时,提出可训练位置编码,动态地调整节点之间的编码顺序。

在时间相关性建模中,采用GRU和LSTM模型进行预测,每一步都依赖于前序的预测结果,序列增长时容易产生误差累积问题,同时无法提取周期规律。因此,本文采用注意力机制建模时间相关性。同时,以往的周期模型,如ASTGCN[16],分别对历史各周期数据进行建模,导致无法获取时间周期性的内在关联。此外,在历史周期序列的建模中,历史数据会产生不同程度的冗余特征。考虑到上述亟待解决的问题,本文提出了多通道的时空编码器模型(MC-STGNN),以期望在时空维度上构建交通数据的时空相关性,提高高速路网的交通流预测精度。

本文主要工作如下:

a)提出了基于编码器架构的三通道时空预测模型(MC-STGNN),实现在同一架构下建模交通路网的周、日、邻近等关系的周期性内部关系。同时,针对不同周期,对多头注意力机制应用不同的卷积策略,以过滤并提取不同周期的时间依赖关系。

b)对三通道数据应用时空位置编码,提出了可训练的空间位置编码,对空间维度的异质性进行建模,自适应地调节节点间的动态空间相关性。

c)提出了一种基于节点相似性和距离度量的图生成器,捕获不同周期条件下交通路网节点之间的交通模式特征,然后构造门控图卷积(G-GCN)来整合原始邻接图和构造图的空间信息。

1 MC-STGNN模型设计

1.1 问题定义

在智能交通系统中,交通数据中蕴涵了非常多的信息可用于交通流量预测。在本文中,交通路网被描述为无向图,其拓扑结构为G=(V,E),其中V表示为图G的节点集合,包含N个节点,E为反映节点连通性的边集。由节点集V与边集E所构成的邻接矩阵为A∈RApN×N。

图G中N个节点在t时刻收集的数据表示为特征矩阵Xt∈RApN×C,其中C为节点的特征数量。给定历史T时段的交通流量,预测未来P时段的交通流量,预测过程如式(1)所示。

{Yt+1,…,Yt+P}=f(Xt-T,…,Xt)(1)

其中:Yt+1表示t+1时刻的预测数据;f(·)表示预测方法的映射函数。

1.2 MC-STGNN模型框架

MC-STGNN模型如图1所示,采用基于卷积的多头自我注意力机制(Conv-Attention)[21]和基于构造图的门控图卷积G-GCN的编码器模型架构。首先將历史交通流量数据处理成周周期(Xw)、天周期(Xd)、近期段(Xr)的三通道时空数据,经过时空位置编码的加权编码策略,为交通路网的各节点赋予随时间步变化的动态位置特征;其次,经过多层编码器模型迭代计算;最后,编码器的输出序列切片为周期性输出序列,即周周期(Yw)、天周期(Yd)、近期段(Yr),将这三个切片序列加权并映射到一维进行预测。为充分获取周期数据的隐藏时空相关性并捕获周期性数据的内在关联,将周期数据作为整体输入到编码器模型,其中每个模块之间采用残差连接和层规范化,增强模型的泛化能力。注意力模块在捕获周期数据时间依赖性的前提下,对不同的周期通道应用不同的一维卷积,有助于过滤历史数据的冗余信息。门控图卷积模块G-GCN利用构造的基于节点相似性和距离度量的图生成器,实现对交通路网节点的空间特征关系提取,门控机制有助于整合原始图的空间信息。

1.3 时间位置编码

MC-STGNN模型是基于编码器的架构设计的,为确保输入序列的顺序性,对模型应用位置编码的策略,利用时间位置编码建模时间特征,同时利用空间位置编码策略来捕获交通路网的空间异质性。最终,应用加权融合的方式联合编码位置信息。

利用式(2)将三通道的周期数据映射为编码器结构所在维度dmodel,t表示所在时间片,d为校验参数,区分奇偶。

1.4 空间位置编码

以往的位置编码大多忽略了交通路网的空间特征,例如周楚昊等人[18]将交通流数据进行独热(one-hot)编码后拼接来进行位置编码,使得向量离散化,但容易产生编码零频问题,需要进行平滑处理。因此本文提出可训练的空间位置编码,在描述空间异质性的基础上,动态调整各节点的编码信息。做法如下:

MLP(X)=W3(W2(W1(X)+b1)+b2)+b3(3)

针对N个路网节点进行0~N-1的顺序编码,采用多层感知机(MLP)网络学习节点间的空间相关性,如式(3)所示,其预训练结果记为H(0)。其中,W1∈RApdmodel×2dmodel、W2∈RApdmodel×2dmodel、W3∈RApdmodel×2dmodel;b1、b2、b3均为偏置参数。为解决节点位置编码的平滑问题,本文对预训练结果做如下操作:

H(i)=(1-α)H(0)+α(IN+D-12AD-12)H(i-1)(4)

本文设计了一种迭代器来实现平滑,同时使得节点的位置编码强制靠近其邻居节点。其中IN∈RApN×N为单位矩阵;D∈RApN×N为邻接矩阵A的度矩阵;α为调控因子,取值为0~1。将归一化邻接矩阵与迭代器的上一次隐藏输出状态结合,使其聚合交通路网的邻域信息,同时为每一个隐藏状态添加原预训练结果。空间位置编码的输出结果H(i)记为SPE。最终,MC-STGNN的位置编码如式(5)所示,H(i)为规范化矩阵激活函数。

PE=softmax(TPE+SPE)(5)

1.5 时间相关性模块

注意力机制能够有效提取时间依赖,王庆荣等人[11]将LSTM和注意力机制相融合进行预测,但并不能处理长序列的时空数据。多头自我注意力机制[21]对长序列数据预测具有更佳的表现。本文采用多头自我注意力机制建模目标序列上下文的时间相关性,如图2所示。

Conv-Attention的计算过程如下:

a)Conv-Attention的输入Q(query)、K(key)、V(value)全部为三通道的输入序列[Xw;Xd;Xr]。

{Q、K、V}=[Xw;Xd;Xr](6)

b)为了更好地挖掘交通路网的潜在时空相关性,同时过滤历史周期数据的冗余特征,本文对Q、K、V进行一维卷积操作。具体计算过程如下:

其中:表示卷积操作;Θd、Θc表示卷积核参数;Θd表示一维因果卷积;Θc表示一维标准卷积;Concat表示拼接操作;ReLU为非线性激活函数;dmodel为各通道的模型维度;softmax激活函数可规范化注意力系数。

如图3所示,对PEMS数据集进行随机抽取可发现,在天周期数据Xd中,周五和周三、周四的交通流量数据具有较大程度的差异性。为减少因时间间隔较远而产生的差异性,对来自周周期、天周期的数据Xw和Xd的Q值作一维因果卷积。由于近期段数据与待预测数据间具有更强的时空相似性,采用标准一维卷积可减少对强时空相似性的过滤。

1.6 图生成器

为了更好地表示交通路网节点间的拓扑关系,设计了一种图生成器来构建新的邻接矩阵Aw∈RApN×N,从时间序列中捕获动态的节点相似性和距离特征。首先计算在时间序列中节点间的成对余弦相似性Sij,用于描述节点随时间动态变化的相似性特征,如式(12)所示。

为了准确反映节点间的相似性度量,构造P∈RApN×N矩阵来学习节点的相似性。其中Wij∈RApN×N是训练的权重参数,τ~为调控因子,初始值为0.5,AI∈RApN×N为单位矩阵。为过滤低阶的节点相似性,对矩阵P中相似度值小于1的成对节点赋值为0。其计算结果如式(13)所示。

构造矩阵Dij∈RApN×N,用于反映交通路网的距离特征,计算过程如式(14)所示。

Dij=ln(dist(vi,vj)2+Aone)(14)

其中:dist为节点vi和vj间的距离值;Aone∈RApN×N为全1矩阵。最终,图生成器Aw如式(15)所示,k为相似性矩阵P的阶数,Wadj∈RApN×N为可训练参数,学习节点间基于距离的拓扑特征,使用ReLU激活函数消除矩阵间的弱连接。

1.7 门控图卷积

空间图卷积(GCN)的计算方式如式(16)所示。

其中:X为输入的时间序列;IN为单位矩阵;D为度矩阵;W为投影矩阵。本文设计了门控图卷积(G-GCN),G-GCN将构造的图生成器参与到空间图卷积的运算中。G-GCN的具体计算過程如式(17)所示。

其中:Aw为1.6节图生成器的输出矩阵;σ为非线性的激活函数sigmoid;W1、W2为投影矩阵,将模型投影到输出维度dmodel。G-GCN在捕获低阶有效空间信息的基础上,挖掘了交通流中潜在的节点关系,从相似性度量和距离度量角度提高卷积对路网邻接关系的深度挖掘能力。

2 实验

为了验证MC-STGNN模型在周期性交通流量预测的有效性,同时验证图生成器在不同路网规模的性能,本文选取了来自PEMS系统(http://pems.dot.ca.gov)的高速公路数据集PEMS03与PEMS08来开展实验。PEMS03数据集的时间为2018年9月1日~2018年11月30日,传感器节点的个数为358个;PEMS08数据集的时间为2016年7月1日~2016年8月31日,传感器节点的个数为170个。

2.1 数据集预处理

PEMS03与PEMS08数据集以5 min为一个时间窗,交通路网中各传感器24 h可收集288条交通流数据,本文挑选交通流量特征进行预测。如图4所示,每个数据集均划分为周周期Xw、天周期Xd、近期段Xr的三通道数据X(h)。将样本的当前时刻设为t,历史时间步长设为T,一天的时间步数为q。数据集的表现形式如下:

Xr=(Xt-T+1,Xt-T+2,…,Xt)(18)

Xd=(Xt-q+1,Xt-q+2,…,Xt-q+T)(19)

Xw=(Xt-7×q+1,Xt-7×q+2,…,Xt-7×q+T)(20)

X(h)=[Xw;Xd;Xr](21)

本文将划分好的数据集分割为训练集、验证集、测试集,比例为6∶2∶2。为了规范化数据,将数据集作min-max归一化处理,其中,样本最小值为min,最大值为max,具体操作如下:

2.2 评价指标

为了评价MC-STTGNN模型的性能,分别采用平均绝对误差(mean absolute error,MAE)、平均绝对百分比误差(mean absolute percent error, MAPE)和均方根误差(root mean square error,RMSE)對模型进行评估。

2.3 实验设置

本文将MC-STGNN模型与传统的统计学模型和机器学习模型(VAR[7]、SVR[8]),深度学习基线模型(LSTM[9]、DCRNN[13]、STGCN[14]、ASTGCN[16]、STSGCN[15]、STFGNN[17]、PGCN[19]、PDFormer[20])进行对比实验。为了通过验证集测试出最优的模型参数,并用于测试集上得出模型的预测性能,将PEMS03和PEMS08数据集划分为三部分,其用途和占比分别为训练集60%、验证集20%、测试集20%。所有实验均在Linux服务器(CPU为IntelCoreTM i7-10700 CPU@2.90 GHz,GPU为NVIDIA GeForce RTX 3070),PyTorch框架进行编译和测试。实验采用Adam优化器对模型进行训练,使用平均绝对误差(MAE)作为损失函数,其计算方式如式(23)所示。

为了公平比较,各方法的超参数设置和训练策略在PEMS03和PEMS08数据集上均保持一致。表1为MC-STGNN模型的超参数设置,其中,Layers表示编码器的层数,T表示各通道的历史时间步长,Dmodel表示各通道的模型维度,Heads表示多头自我注意力机制中的注意力的头数。

2.4 实验结果

PEMS03数据集的实验结果如表2所示。本文对比了未来一小时交通流量的预测性能,其中,最优结果加粗表示,次优结果用“*”号表示。可以看到,MC-STGNN的未来一小时综合预测具有很好的表现。VAR、SVR模型不能很好地处理非线性高维数据,预测误差较大,而LSTM模型忽略了交通路网的空间相关性,因此性能表现不佳。在考虑时空相关性的深度学习模型DCRNN、STGCN、ASTGCN、STSGCN、STFGNN、PGCN、PDFormer上,模型预测效果有很大提升。MC-STGNN模型对比基线模型PDFormer在MAE、RMSE上的预测效果分别下降了0.01和0.03,在MAPE上对比STFGNN仅相差0.21%,同时优于其他所有模型。

在PEMS08数据集上,对MC-STGNN叠加4层编码器层,同时将模型映射到更高维度,如表3所示,MC-STGNN获得了最佳的综合性能表现。对比基线模型PDFormer,MC-STGNN在MAE和RMSE上分别下降了0.07%和0.02%,在MAPE上相差0.53%。

综上,在PEMS03和PEMS08数据集上,对比一小时的综合预测结果,MC-STGNN模型较其他模型有显著提升。在长时预测中具有低误差优势,对非线形和复杂的交通流量数据具有更好的建模能力。为了反映MC-STGNN模型在具体应用中的直观结果,在PEMS03和PEMS08数据集上与PDFormer模型进行预测效果对比,如图5所示。

图5为同一节点上进行未来一小时预测的可视化结果。对比于最新的基线模型PDFormer,可见MC-STGNN模型具有更好的拟合效果,预测结果更加接近真实值,因此在实际应用中的预测效果更好。

2.5 消融研究

为了验证MC-STGNN模型各模块的有效性,本文在PEMS08数据集上开展消融实验,探究本文模型的位置编码、Conv-Attention、G-GCN对预测性能的影响,结果如图6~8所示。

如图6~8所示,本文探求了不同模块对未来一小时内交通流量预测的作用。其中:图6中MC-STGNN-noSE表示去除空间位置编码,只对序列进行时间位置编码;图7中MC-STGNN-noConv表示去除对多头注意力机制的卷积操作,采用原始多头注意力机制;图8中MC-STGNN-noGGCN表示在门控图卷积G-GCN中去除GGCN,只采用GCN捕获空间相关性。实验结果表明,不同程度的消融均对预测结果产生了较大的影响。多头注意力机制的卷积操作和基于图生成器的图卷积GGCN对模型预测效果有积极影响。

2.6 参数研究

为探究MC-STGNN模型中超参数对模型性能的影响,本文对自编码器的层数Layers、多通道的模型维度Dmodel和注意力头数Heads在PEMS03数据集上进行对照实验。

如图9~11所示,MC-STGNN在编码器层数为4、模型维度为32、注意力头数为8时具有最佳的综合性能。

3 结束语

本文提出了多通道时空编码器模型MC-STGNN,用于交通流量预测。MC-STGNN模型将输入数据建模为多通道的周期性数据,从整体相关性角度挖掘周周期、天周期、近期段数据间的内在关联性。通过时空位置编码,学习节点的时空相关性和空间异质性。然后,通过基于卷积结构的多头自我注意力机制进一步捕获时间依赖,并消除了对历史周期数据的冗余关注。同时,设计了基于相似性度量和距离度量的图生成器构造全新的邻接矩阵,利用门控图卷积聚合构造图和原始图的空间特征。在公共真实数据集PEMS03和PEMS08上进行实验,结果表明,MC-STGNN模型的预测性能优于其他的基线模型。下一步将继续探究MC-STGNN模型对复杂城市交通路网的预测效果。

参考文献:

[1]唐毅,刘卫宁,孙棣华,等.改进时间序列模型在高速公路短时交通流量预测中的应用[J].计算机应用研究,2015,32(1):146-149.(Tang Yi, Liu Weining, Sun Dihua, et al. Application of improved time series model in forecasting of short-term traffic flow for freeway[J].Application Research of Computers,2015,32(1):146-149.)

[2]Kumar S V. Traffic flow prediction using Kalman filtering technique[J].Procedia Engineering,2017,187:582-587.

[3]Feng Xinxin, Ling Xianyao, Zheng Haifeng, et al. Adaptive multi-kernel SVM with spatial-temporal correlation for short-term traffic flow prediction[J].IEEE Trans on Intelligent Transportation Systems,2019,20(6):2001-2013.

[4]王永恒,高慧,陳炫伶.采用变结构动态贝叶斯网络的交通流量预测[J].计算机科学与探索,2017,11(4):528-538.(Wang Yong-heng, Gao Hui, Chen Xuanling. Traffic prediction method using structure varying dynamic Bayesian networks[J].Journal of Frontiers of Computer Science and Technology,2017,11(4):528-538.)

[5]祁朵,毛政元.基于自适应时序剖分与KNN的短时交通流量预测[J].地球信息科学学报,2022,24(2):339-351.(Qi Duo, Mao Zhengyuan. Short-term traffic flow prediction based on adaptive time slice and KNN[J].Journal of Geo-Information Science,2022,24(2):339-351.)

[6]邓晶,张倩.交通流数据自适应特征选择算法[J].计算机技术与发展,2019,29(12):76-80.(Deng Jing, Zhang Qian. Adaptive feature selection algorithm for traffic flow data[J].Computer Techno-logy and Development,2019,29(12):76-80.)

[7]Kamarianakis Y, Vouton V. Forecasting traffic flow conditions in an urban network:comparison of multivariate and univariate approaches[J].Transportation Research Record Journal of the Transportation Research Board,2003,1857(1):74-84.

[8]Drucker H, Burges C J C, Kaufman L, et al. Support vector regression machines[C]//Proc of the 9th International Conference on Neural Information Processing Systems.La Jolla,CA:NIPS Press,1997:779-784.

[9]Ma Xiaolei, Tao Zhimin, Wang Yinhai, et al. Long short-term me-mory neural network for traffic speed prediction using remote microwave sensor data[J].Transportation Research Part C: Emerging Technologies,2015,54:187-197.

[10]Fu Rui, Zhang Zuo, Li Li. Using LSTM and GRU neural network methods for traffic flow prediction[C]//Proc of the 31st Youth Academic Annual Conference of Chinese Association of Automation.Piscataway,NJ:IEEE Press,2016:324-328.

[11]王庆荣,田可可,朱昌锋,等.融合多因素的短时交通流预测研究[J].计算机工程与应用,2022,58(21):309-316.(Wang Qing-rong, Tian Keke, Zhu Changfeng, et al. Short term traffic prediction based on multi-factors[J].Computer Engineering and Applications,2022,58(21):309-316.)

[12]Deferard M, Breson X, Vandergheynst P. Convolutional neural networks on graphs with fast localized spectral filtering[C]//Proc of the 30th International Conference on Neural Information Processing Systems.La Jolla,CA:NIPS Press,2016:3844-3852.

[13]Li Yaguang, Yu R, Shahabi C. Diffusion convolutional recurrent neural network:data-driven traffic forecasting[EB/OL].(2018)[2021-03-10].https://doi.org/10.48550/arXiv.1707.01926.

[14]Yu Bing, Yin Haoteng, Zhu Zhanxing. Spatio-temporal graph convolutional networks:a deep learning framework for traffic forecasting[EB/OL].(2018-07-12).https://doi.org/10.48550/arXiv.1709.04875.

[15]Song Chao, Lin Youfang, Guo Shengnan, et al. Spatial-temporal synchronous graph convolutional networks:a new framework for spatial-temporal network data forecasting[C]//Proc of the 34th AAAI Confe-rence on Artificial Intelligence.Palo Alto,CA:AAAI Press,2020:914-921.

[16]Guo Shengnan, Lin Youfang, Feng Ning, et al. Attention based spatial-temporal graph convolutional networks for traffic flow forecasting[C]//Proc of the 33rd AAAI Conference on Artificial Intelligence.Palo Alto,CA:AAAI Press,2019:922-929.

[17]Li Mengzhang, Zhu Zhanxing. Spatial-temporal fusion graph neural networks for traffic flow forecasting[C]//Proc of the 35th AAAI Conference on Artificial Intelligence.Palo Alto,CA:AAAI Press,2021:4189-4196.

[18]周楚昊,林培群.基于多通道Transformer的交通量預测方法[J].计算机应用研究,2023,40(2):435-439.(Zhou Chuhao, Lin Peiqun. Traffic flow prediction method based on multi-channel Transformer[J].Application Research of Computers,2023,40(2):435-439.)

[19]Shin Y, Yoon Y. PGCN: progressive graph convolutional networks for spatial-temporal traffic forecasting[EB/OL].(2022)[2022-02-18].https://doi.org/10.48550/arXiv.2202.08982.

[20]Jiang Jiawei, Han Chengkai, Zhao W X, et al. PDFormer: propagation delay-aware dynamic long-range transformer for traffic flow prediction[EB/OL].(2023)[2023-05-04].https://doi.org/10.48550/arXiv.2301.0794.

[21]Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook,NY:Curran Associates Inc.,2017:6000-6010.

猜你喜欢
注意力机制编码器
面向短文本的网络舆情话题
基于自注意力与动态路由的文本建模方法
基于深度学习的问题回答技术研究
基于FPGA的同步机轴角编码器
基于LSTM?Attention神经网络的文本特征提取方法
基于双增量码道的绝对式编码器设计
基于注意力机制的双向LSTM模型在中文商品评论情感分类中的研究
InsunKBQA:一个基于知识库的问答系统
基于PRBS检测的8B/IOB编码器设计
JESD204B接口协议中的8B10B编码器设计