基于并行多尺度卷积记忆残差网络的物联网流量预测

陆勤政 朱晓娟

【摘   要】  針对现有物联网流量预测方法中特征提取不足、丢失重要信息、预测准确度不高的问题，提出了一种基于并行多尺度卷积记忆残差网络的物联网流量预测方法。首先，采用并行结构，CNN提取多尺度的局部特征得到包含有局部特征的序列，LSTM和BiLSTM分别提取前向的时间关系和前后向的时间关系得到有合适比例的前后向时间特征序列；其次，引入ResNet结构，在CNN、LSTM、BiLSTM的输入和输出之间加入跳跃连接，即通过跳跃连接在特征序列中加入原始序列信息；再次，在有原始信息的特征序列中分配可训练的权重参数，突出相应序列的重要性，进行拼接得到总的输出序列；最后，将总的输出序列输入到全连接网络中得到预测结果。实验结果表明，本方法在均方根误差（RMSE）、平均绝对误差（MAE）、拟合系数（[R2]）3项指标上要优于其他方法，能更准确地进行物联网流量的预测。

【关键词】   物联网流量预测；卷积神经网络；长短时记忆网络；双向长短时记忆网络；跳跃连接

Research on Internet of Things Traffic Prediction Based on Parallel

Multiscale Convolutional Memory Residual Network

Lu Qinzheng， Zhu Xiaojuan*

（Anhui University of Technology， Huainan 232001， China）

【Abstract】    An accurate prediction of Internet of Things （IoT） traffic is crucial for the intelligent management of IoT systems， so based on a parallel multi-scale convolutional memory residual network， a prediction method is proposed to solve such issues as insufficient feature extraction， loss of crucial information， and low prediction accuracy. Firstly， a parallel structure is employed， where Convolutional Neural Networks （CNNs） with different kernel sizes extract multi-scale local features to obtain sequences containing local features. Long Short-Term Memory （LSTM） and Bidirectional LSTM （BiLSTM） are then utilized to capture forward and bidirectional temporal relationships， yielding properly proportioned forward and backward time feature sequences. Secondly， a Residual Network （ResNet） structure is introduced， incorporating skip connections between the input and output of CNN， LSTM， and BiLSTM， thereby integrating original sequence information through skip connections. Subsequently， trainable weight parameters are assigned to the feature sequences with original information， emphasizing the importance of respective sequences， followed by concatenation to obtain the overall output sequence. Finally， the total output sequence is fed into a fully connected network to derive the prediction results. The experimental results indicate that the proposed method outperforms existing approaches in terms of Root Mean Square Error （RMSE）， Mean Absolute Error （MAE）， and Coefficient of Determination （[R2]）. More accurate predictions for IoT traffic can be achieved with this approach.

【Key words】     IoT traffic prediction; convolutional neural network; long short-term memory network; bidirectional long short-term memory network; skip connections

〔中图分类号〕   TP391                 〔文献标识码〕  A              〔文章编号〕 1674 - 3229（2024）01- 0033- 09

0     引言

准确的流量预测能够帮助网络管理者更全面地了解网络的使用情况，从而合理地分配网络资源，有助于避免资源浪费，提高网络的整体性能。物联网流量是一种具有复杂非线性特征［1］的时间序列，时间序列预测的早期模型有自回归模型（Autoregressive，AR）、移动平均模型（Moving Average，MA）、自回归移动平均模型（Autoregressive Moving Average，ARMA）、差分自回归移动平均模型（Autoregressive Integrated Moving Average，ARIMA）等［2 -3］，这些模型使用多项式对时间序列进行分析，通过拟合函数逼近与时序相关的数据，过程中涉及多个参数的调整，从而对时间序列进行预测。其后，学者通过深度学习模型来捕获复杂的流量特征，提高预测的准确度。Ko T等［4］使用卷积神经网络（Convolutional Neural Network，CNN）来进行流量预测，Abdellah A 等［5］使用长短时记忆网络（Long Short-Term Memory Network，LSTM）来预测物联网流量，Tian Z等［6］使用双向长短时记忆网络（Bidirectional Long Short-Term Memory Network，BiLSTM）来对流量进行预测。但是基于LSTM和BiLSTM的方法未考虑到序列局部特征的影响，同样存在特征提取不足的问题。

针对单一深度学习模型的局限性，学者对多个模型进行组合，来克服单一模型的不足。Mahajan S等［7］使用CNN和LSTM相结合的方式来预测无线网络中的时间序列，Merayo M G等 ［8］使用CNN和BiLSTM相结合的方式来预测流量，Aksan F等［9］使用CNN-LSTM和LSTM-CNN分别来预测时间序列，分析CNN和LSTM的先后顺序对预测的影响。上述方法考虑到了序列的局部特征和时间关系，但仅是对CNN、LSTM、BiLSTM进行简单的串行拼接，处在前半部分的输出会干扰后半部分对原序列特征的提取，这会导致序列部分重要信息的丢失。Ma X 等［10］和Guo J等［11］使用CNN和BiLSTM通过并行的方式来预测时间序列，并行的结构使得CNN和BiLSTM的输出不互相干扰，取得了比简单串行拼接网络更好的预测效果。Wang C等［12］在使用CNN和BiLSTM并行结构的基础上在CNN中引入了残差网络（Residual Neural Network，ResNet）结构来预测网络流量，ResNet结构优化了原始的CNN，缓解了梯度消失的问题，提升了CNN部分的性能。但是该方法并没有考虑对BiLSTM进行优化，没能更好发挥BiLSTM部分的性能。王馨彤等［13］使用并行多尺度CNN和LSTM串行，并在此基础上引入了残差网络结构来预测网络流量，但该方法没有很好地考虑到LSTM在模型中所处的排列位置以及序列后向的时间关系。

针对上述问题，本文提出了一种基于并行多尺度卷积记忆残差网络的物联网流量预测方法，主要贡献如下。

（1）采用并行的结构分别由卷积核大小不同的CNN提取物联网流量序列的多尺度局部特征，LSTM提取序列前向的时间关系，BiLSTM提取序列前向和后向的时间关系。通过互不干扰地提取多角度的局部特征和适当比例的时间前后向关系，提升物联网流量预测的准确度。

（2）引入ResNet结构的思想，在CNN、LSTM、BiLSTM的输入和输出之间分别加入跳跃连接。通过加入原始的输入信息，得到更丰富的表达，同时缓解梯度消失的问题，加快模型的收敛速度，提高模型的性能。

（3）为加入原始信息的特征序列分配可训练的权重参数，突出部分特征序列的重要性。先为各个序列分配适当的重要程度再进行拼接，进一步提高流量预测的效果。

1      物联网流量预测任务

物联网流量具有以下几个特点。

（1）物联网流量展现出较强的时间特性。在某一观测点上，采集到的数据是连续的随时间变化的序列。

（2）物联网流量表现出明显的周期性。对于某一观测点，记录的数据有时、日、周上的周期性节奏。这种相似性模式在节假日期间同样存在。

（3）物联网流量还会受到突发事件等的影响，使流量具有一定的突变性。

物联网流量预测任务从本质上来说，即用过往一个时间段的流量来对未来一个时间段的流量进行预测，其关键点在于如何充分利用历史数据中的时间特性、周期性以及复杂多样的突变因素。给定的原始流量序列为[X={x1，x2，…，xL}]，[X∈RL*1]，其中，[L]表示输入序列的长度，1表示序列每个时间步的特征维度，则预测任务的数学表达为：

[[xt+β，xt+β-1，…，xt+1]=f（xt，xt-1，…，xt-α+1）] （1）

其中，[α]和[β]分别表示固定的滑动窗口大小（历史的时间步数）和要预测的时间步数，[f（?）]表示预测模型，[xt∈X]，[t∈（1，L）]。

2      模型设计

2.1   CNN模型

卷积神经网络（Convolutional Neural Networks，CNN）由Lecun于1989年提出，是按照生物的视觉机制构建的，通常用于图像识别的任务。一维CNN可以用于时间序列的预测和分析，它通过捕捉时间序列的局部特征来對序列进行预测［14］。给定滑动窗口大小为[α]的序列为[Xα={xt，xt-1，…，xt-α+1}]，[X∈Rα*1]，设CNN的卷积核大小为[K]，输入通道数为[C]，输出通道数为[C']，输入通道数和序列的特征维度相匹配，[C=1]，则具体卷积过程的数学表达式如下：

[ui=j=0K-1xi+j?wj+b] （2）

其中，[ui]表示输出序列中的值；[xi+j]表示输入序列中的值，[i]表示输入序列的索引，[j]表示卷积核窗口内的偏移值；[wj]表示[ui]卷积核的权重参数；[b]表示[ui]的偏置项。

将得到的多个局部特征值[ui]组合成序列[U]，[U∈RS*1]，[S]表示输出序列的长度，再通过多个卷积核的计算得到最后的输出序列[Z]，[Z∈RS*C']。

2.2   LSTM模型和BiLSTM 模型

长短时记忆网络（Long Short-Term Memory Network，LSTM）是循环神经网络（Recurrent Neural Network，RNN）的变体。LSTM比传统RNN对时间序列有着更强的记忆能力和长期依赖关系的建模能力。对于给定的滑动窗口序列，[Xα={xt，xt-1，…，xt-α+1}]，[X∈Rα*1]。图1展示LSTM的基本单元结构，它由4个部分组成，分别是输入门、遗忘门、输出门和记忆单元，每个门由一个激活函数和一个点乘的操作组成［15］。

遗忘门根据当前输入[xt]和前一时间步的输出[ht-1]计算向量[ft]，表示前一个时间步记忆单元状态中需要被遗忘的信息：

[ft=σ（Wf?[xt，ht-1]+bf）] （3）

其中，[Wf]表示[ft]的权重矩阵，[bf]表示[ft]的偏置项，[σ]表示[ft]的sigmoid激活函数。

输入门根据当前输入[xt]和前一时间步的输出[ht-1]计算向量[it]和向量[C't]，表示当前输入中需要被更新到记忆单元状态中的信息：

[it=σ（Wi?[xt，ht-1]+bi）] （4）

[C't=tanh （WC'?[xt，ht-1]+bC'）] （5）

其中，[Wi]和[WC']分别表示[it]和[C't]的权重矩阵，[bi]和[bC']分别表示[it]和[C't]的偏置项，[σ]表示[it]的sigmoid激活函数，[tanh]表示[C't]的激活函数。

记忆单元更新状态时的新值是根据前一时间步的记忆单元状态[Ct-1]、[ft]、[C't]、[it]计算的新的状态向量[Ct]：

[Ct=ft⊙Ct-1+it⊙C't] （6）

其中，[⊙]表示哈达玛乘法，是向量的逐元素相乘。

输出门根据当前输入[xt]和前一时间步的输出[ht-1]计算向量[ot]，以及根据[ot]和当前时间步的新值[Ct]计算当前时间步的输出向量[ht]，表示输出信息的重要程度：

[ot=σ（Wo?[xt，ht-1]+bo）] （7）

[ht=ot⊙tanh （Ct）] （8）

其中，[Wo]表示[ot]的权重矩阵，[bo]表示[ot]的偏置项，[σ]表示[ot]的sigmoid激活函数，[tanh]表示[Ct]的激活函数。

LSTM只處理了序列前向的时间关系，并没有对序列后向的时间关系进行处理，这就导致了对序列时间关系的获取不足。而双向长短时记忆网络（Bidirectional Long Short-Term Memory Network，BiLSTM） 解决了这一问题，它是基于 LSTM 的扩展，同时考虑了序列前向的时间关系和后向的时间关系。BiLSTM结合了两个LSTM结构，一个按正序处理输入序列，另一个按逆序处理输入序列。通过这种方式，网络能够更全面地理解当前的输入。图2是BiLSTM的单元结构，给定前向的输出为[hf，t]，后向输出为[hb，t]，当前时间步BiLSTM的输出为：

[hm，t=Wm，thf，t，hb，t+bm，t] （9）

其中，[Wm，t]表示[hm，t]的权重矩阵，[bm，t]表示[hm，t]的偏置项。

2.3   Resnet结构

残差网络（Residual Neural Network，ResNet）是一种深度学习模型，能有效地提升网络的学习能力［16］，它的基本结构单元是一个残差块（Residual Block），每个块相较于原本的神经网络，在输入和输出之间加入了一个跳跃连接（skip connection），这个连接允许原始输入信息［17］直接传输到后面的层中，促进了信息在网络中的流动，在丰富表达的同时缓解了梯度消失问题。残差块的数学表达式如下：

[F'x=Fx+x] （10）

其中，[x]表示跳跃连接中引入的原始输入信息，[Fx]表示原来神经网络的输出，[F'x]表示[Fx]和[x]相加得到的残差块的输出。

2.4   基于并行多尺度卷积记忆残差网络模型

基于上述结构，本文提出了基于并行多尺度卷积记忆残差网络的组合模型，该模型结构如图3所示。模型由4个重要的部分组成：LSTM、BiLSTM、卷积核大小不同的一维CNN和ResNet。

对于物联网的流量预测，提出的模型通过以下步骤实现。

（1）对于给定的原始流量序列[X={x1，x2，…，xL}]，[X∈RL*1]，将其进行最小最大值归一化（Min-Max Normalization）处理，序列值缩放到（0，1）之间，得到归一化后的流量序列[X'={x'1，x'2，…，x'L}]，[X'∈RL*1]。

（2）设归一化的流量序列[X']中滑动窗口大小为[α]的序列为[X'α]，将多个滑动窗口为[α]的序列作为模型的输入。

（3）CNN部分由卷积核大小为3、5、7的1层一维CNN构成，它分别对[X'α]进行多尺度的局部特征提取，并使用填充的方式让序列保持原有的窗口大小，根据式（2），可得输出序列为[Zα，3]、[Zα，5]、[Zα，7]，[Zα，3∈Rα*C'3、Zα，3∈Rα*C'5、Zα，7∈Rα*C'7]，其中，下标的数字表示卷积核对应的大小，[C'3、C'5、C'7]分别表示卷积核不同的CNN的输出通道数；LSTM部分由2层LSTM构成，它对[X'α]进行序列前向的时间关系的提取，根据式（3）[～]（8），可得输出序列[H'={h't，h't-1，…，h't-α+1}]，[H'∈Rα*h1*h2]，其中，[h1]和[h2]分别表示LSTM的第1个隐藏层单元个数和第2个隐藏层单元个数；BiLSTM部分由2层BiLSTM构成，它对[X'α]进行序列前向和后向的时间关系的提取，根据式（9），可得输出序列为[H'm={h'm，t，h'm，t-1，…，h'm，t-α+1}]，[H'm∈Rα*h3*h4]，其中，[h3]和[h4]分别表示BiLSTM的第1个隐藏层单元个数和第2个隐藏层单元个数。

（4）在LSTM、BiLSTM、卷积核为3/5/7的一维CNN中分别引入ResNet结构，即在这5个并行模型的输入和输出之间分别加入1个跳跃连接，根据式（10），则可得到输出序列分别为：[Z''α，3=Z'α，3+X'α]，[Z''α，5=Z'α，5+X'α]，[Z''α，7=Z'α，7+X'α]，[H''=]

[H'+X'α]，[H''m=H'm+X'α]。

（5）在得到的输出序列中加入可训练的权重参数[w]，给各个部分的输出分配相应的重要程度，再进行拼接，从而得到最终的输出序列[P=[w1?Z''α，3，  w2?][Z''α，5， w3?Z''α，7， w4?H''， w5?H''m]]，[P∈Rα*（C'3+C'5+C'7+h2+h4）]。

（6）取序列[P]最后一个时间步的值[p]，[p∈R1*（C'3+C'5+C'7+h2+h4）]，将其输入到全连接网络（Fully Connected Neural Network，FCNN）中进行降维，得到预测结果。

2.5   损失函数

模型训练的目的是将流量预测值和真实值的差异最小化。本文使用流量真实值和预测值的均方误差（Mean Squared Error，MSE）作为损失函数，其数学表达式如下：

[MSELoss=1ni=1n（y'i-y'i）2] （11）

其中，[n]表示样本数，[y'i]和[y'i]分别表示流量的真实值和预测值。

3     实验设置与分析

3.1   数据集的设置与分析

实验采用英国学术骨干网络［18］（United Kingdom Backbone Academic Network，UKBAN）的流量数据集，该数据集由19888个数据点组成，2004年11月9日9：30至2005年1月27日10：45，每隔5min记录一次骨干节点流量作为一个数据点。本文选择了2004年11月22日0：00（星期一）至2004年12月12日23：55（星期日）3个星期内6048个数据点来进行实验，并按照8：2的比例划分训练集和测试集。

采用最小最大归一化对原始的流量序列进行处理，其数学表达式如下：

[x'=x-xminxmax-xmin] （12）

其中，[xmax]和[xmin]分别表示原始序列中的最大值和最小值，[x']表示原始序列中[x]归一化后的对应值。

3.2   评价指标的设置与分析

为了检测模型预测的效果，本文使用反归一化后流量真实值和预测值的均方根误差（Root Mean Squared Error，RMSE）、平均绝对误差（Mean Absolute Error，MAE）、拟合系数（Coefficient of Determination，[R2]）作为评价指标，其数学表达式如下：

[RMSE=1mi=1m（yi-yi）2] （13）

[MAE=1mi=1m|yi-yi|] （14）

[R2=1-i=1m（yi-yi）2i=1m（yi-yi）2] （15）

其中，[m]表示要预测的样本总数，[yi]、[yi]、[yi]分别表示反归一化后流量的真实值、预测值、真实值的平均值。均方根误差和平均绝对误差越接近0，表示预测的准确度越高，拟合系数越接近1，表示预测的准确度越高。

3.3   参数设置与分析

模型涉及的参数包括学习率、训练轮数、批次大小。该模型选取Adam作为优化器，学习率为0.0001，训练轮数为300，批次大小为64。

模型中CNN通道个数和LSTM、BiLSTM隐藏层单元个数会影响预测的误差和拟合程度。如表1所示，括号中的数字表示模型中CNN通道个数和LSTM、BiLSTM隐藏层单元个数，当CNN通道个数为64，LSTM、BiLSTM隐藏层单元个数为64时，模型预测的均方根误差和平均绝对误差最低，拟合系数最高。因此，本文将CNN通道个数设置为64，LSTM、BiLSTM隐藏层单元个数设置为64。

模型中CNN层数和LSTM、BiLSTM层数也会影响预测的误差和拟合程度。如表2所示，括号内的数字表示层数，当CNN层数为1，LSTM、BiLSTM层数为2时，模型预测的均方根误差和平均绝对误差最低，拟合系数最高。因此，本文将CNN层数设置为1，LSTM、BiLSTM层数设置为2。

模型中的滑动窗口大小同样影响预测效果，实验选取窗口大小为4（20min）、8（40min）、12（60min）、16（80min）、20（100min）来进行测试，结果如图4所示，可以看出当滑动窗口大小为12，即用于预测的历史时间为60min时，模型预测的均方根误差和平均绝对误差最低，拟合系数最高。因此，本文将滑动窗口的大小设置为12。

模型中CNN卷积核的大小对预测效果也有影响。实验选取卷积核大小分别为1、3、5、7、9的CNN来进行测试，结果如表3所示，可以看出当卷积核大小分别为3、5、7时，均方根误差和平均绝对误差最低，拟合系数最高。所以，本文将CNN的卷积核分别设置为3、5、7。

3.4   對比实验与分析

比较本文方法与以下6种方法的预测误差和拟合系数。

（1）差分自回归移动平均模型（ARIMA），它结合了自回归、滑动平均和差分的概念，用于预测平稳序列。

（2）卷积神经网络（CNN），它先使用单一卷积核的CNN捕捉序列的局部特征，再通过全连接网络来进行预测。

（3）长短时记忆网络（LSTM）［5］，它利用门控单元和记忆单元来捕捉序列前向的时间关系，结合全连接网络进行预测。

（4）串行卷积双向长短时记忆网络（Sequential CNN-BiLSTM）［8］，它先通过CNN来提取序列的局部特征，再通过BiLSTM来提取序列前后向的时间关系，最后用全连接进行预测。

（5）并行卷积双向长短时记忆网络（Parallel CNN-BiLSTM）［11］，它采用并行的结构，分别由CNN和BiLSTM同时提取序列的局部特征和前后向的时间关系，再由全连接网络进行预测。

（6）多尺度卷积记忆残差网络（MSMRNet）［13］，它先通过并行的卷积核不同的CNN来提取序列的多个局部特征，再通过与LSTM串行来提取序列前向的时间关系，同时在CNN和LSTM中引入ResNet结构，最后通过全连接层进行预测。

由表4可得，基于深度学习的方法在整体上要好于ARIMA，这是由于ARIMA主要处理平稳的时间序列数据，难以较好地提取复杂特征，导致均方误差和平均绝对误差高，拟合程度低。CNN和LSTM由于只提取了序列单一的局部特征和序列前向的时间关系，导致预测的效果并不理想。将CNN和BiLSTM进行串行拼接后，由于同时提取了序列的局部特征和前后向的时间关系，相比单一的深度学习模型在指标上有较大提升。将CNN和BiLSTM由串行结构改为并行时，由于每个部分能够单独地提取序列特征，排除了串行结构中前半部分的输出对后半部分特征提取的影响，能更有效地提取局部特征和前后向的时间关系，预测的效果有所提升。MSMRNet由并行CNN提取不同的局部特征后再使用LSTM提取前向的时间关系，同时引入了ResNet结构，因为较为全面的局部特征提取和跳跃连接对网络结构的优化，使得各项指标提升较大。相比MSMRNet，本文详细地考虑了更合适的CNN卷积核大小、后向的时间关系、LSTM的排列位置以及每个特征输出部分的权重参数，实现了更有效的不同局部特征、合适比例的前后向时间关系、两者之间互不干扰的提取以及更合理的特征输出，使得各项指标进一步提高，均方根误差和平均绝对误差分别比MSMRNet下降了4.55%和3.47% ，拟合系数比MSMRNet上升了0.0003。

3.5   消融实验与分析

为了验证模型中各重要组成部分的作用，取出各部分并将其相互组合，对其均方根误差、平均绝对误差、拟合系数进行对比。如表5所示，括号中的数字表示CNN的卷积核大小。

由表5可知，在使用LSTM部分进行预测时，能一定程度上完成物联网流量预测的任务，这是因为LSTM提取了序列中前向的时间关系，但LSTM对序列时间关系的考虑不足，在各项指标上偏差较大，预测误差较高，拟合程度较低。BiLSTM部分比LSTM部分多提取了序列中后向的时间关系，使得对序列时间关系的提取更全面，所以各项指标比LSTM略好。卷积核大小为3、5、7的CNN部分由于对序列进行了多个适当尺度的局部特征提取，使得CNN的各项指标要好于LSTM和BiLSTM。在LSTM、BiLSTM、卷积核为3/5/7的CNN中分别引入ResNet结构，即在原有模型的输入和输出之间分别加入一个跳跃连接，从表中可以看出，加入跳跃连接后的LSTM、BiLSTM、卷积核为3/5/7的CNN在各项指标上都有明显的提升，这是由于跳跃连接保留了原始的输入信息，将这些信息与原有模型的输出进行相加，得到了更丰富的输出表示，同时，跳跃连接使得梯度能夠更容易地通过连接处直接传递，有助于缓解梯度消失问题，加快模型的收敛，使得网络更容易训练。

在有跳跃连接的卷积核为3、5、7的CNN部分中依次并行加入有跳跃连接的LSTM部分和BiLSTM部分，可以发现：当单独加入LSTM时，各项指标有所提升；单独加入BiLSTM时，各项指标反而变差了；同时加入LSTM和BiLSTM时，各项指标比单独加入LSTM时要更好。这说明在对序列进行多尺度局部特征的提取后，再加入时间关系的提取时，要提取适当比例的前向和后向的时间关系，才能更好地提高预测的准确度。对加入跳跃连接的LSTM、BiLSTM、卷积核为3/5/7的CNN部分进行增加和除去并行CNN的操作，卷积核为3、5的CNN和卷积核为1、3、5、7的CNN分别是2个并行CNN组合和4个并行CNN组合中指标最优的，卷积核为1、3、5、7、9的CNN是5个并行CNN的组合，可以看出，并行的CNN不是越多越好，选取适当并行数量的CNN才能达到较好的预测效果。最后，在有跳跃连接的并行LSTM、BiLSTM、卷积核为3/5/7的CNN部分的输出中分别引入可训练的权重参数，给输出分配相应的重要程度，各项指标得到了进一步的提升，如图5（a）、（b）所示，可以直观地看出本文方法预测误差低，拟合程度高。

4     总结

本文方法采用了并行的结构，同时提取多尺度的局部特征和合适比例的前后向时间关系，引入了ResNet结构优化网络并加入权重参数，合理地调整所得特征的重要性。通过大量的实验验证，证明所提方法在均方根误差、平均绝对误差和拟合系数这3个指标上基本优于对比方法，可以更准确地对物联网的流量进行预测。

［参考文献］

［1］ 肖军弼，魏娇娇. 面向数据挖掘的网络流量分析及预测研究综述［J］. 计算机与数字工程，2023，51（2）： 372-379+467.

［2］ Alsharef A，Aggarwal K，Sonia，et al. Review of ML and AutoML solutions to forecast time-series data［J］. Archives of Computational Methods in Engineering，2022，29（7）： 5297-5311.

［3］ Li Y，Zhang S，Ren X，et al. Real World Wireless Network Modeling and Optimization： From Model/Data Driven Perspective［J］. Chinese Journal of Electronics，2022，31（6）： 991-1012.

［4］ Ko T， Raza S M， Binh D T， et al. Network prediction with traffic gradient classification using convolutional neural networks[A]. 2020 14th International Conference on Ubiquitous Information Management and Communication （IMCOM）[C]. IEEE， 2020： 1-4.

［5］ Abdellah A R， Koucheryavy A. Deep learning with long                short-term memory for iot traffic prediction[A].  Internet of         Things， Smart Spaces， and Next Generation Networks and            Systems： 20th International Conference[C]. St. Petersburg，           Russia： Springer International Publishing， 2020： 267-280.［6］ Tian Z，Song P. A novel network traffic combination predic          tion model［J］. International Journal of Communication Systems，2022，35（7）： e5097.

［7］ Mahajan S，HariKrishnan R，Kotecha K. Prediction of network traffic in wireless mesh networks using hybrid deep learning model［J］. IEEE Access，2022，10： 7003-7015.

［8］ Méndez M，Merayo M G，Nú?ez M. Long-term traffic flow forecasting using a hybrid CNN-BiLSTM model［J］. Engineering Applications of Artificial Intelligence，2023，121： 106041.

［9］ Aksan F，Li Y，Suresh V，et al. CNN-LSTM vs LSTM-CNN to Predict Power Flow Direction： A Case Study of the High-Voltage Subnet of Northeast Germany［J］. Sensors，2023，23（2）： 901.

［10］ Ma X，Zhang J，Du B，et al. Parallel architecture of convolutional bi-directional LSTM neural networks for network-wide metro ridership prediction［J］. IEEE Transactions on Intelligent Transportation Systems，2018，20（6）： 2278-2288.

［11］ Guo J，Wang W，Tang Y，et al. A CNN-Bi_LSTM parallel network approach for train travel time prediction［J］. Knowledge-Based Systems，2022，256： 109796.

［12］ Wang C，Cao W，Wen X，et al. An Intelligent Network Traffic Prediction Scheme Based on Ensemble Learning of Multi-Layer Perceptron in Complex Networks［J］. Electronics，2023，12（6）： 1268.

［13］ 王馨彤，王璇，孫知信. 基于多尺度记忆残差网络的网络流量异常检测模型［J］. 计算机科学，2022，49（8）： 314-322.

［14］ Kiranyaz S，Avci O，Abdeljaber O，et al. 1D convolutional neural networks and applications： A survey［J］. Mechanical systems and signal processing，2021，151： 107398.

［15］ Chen W N，Hu Z J，Yue J P，et al. Short-term load prediction based on combined model of long short-term memory network and light gradient boosting machine［J］. Automation of Electric Power Systems，2021，45（4）： 91-97.

［16］ He K， Zhang X， Ren S， et al. Deep residual learning for image recognition[A]. Proceedings of the IEEE conference on computer vision and pattern recognition[C]. 2016： 770-778.

［17］ He K， Zhang X， Ren S， et al. Identity mappings in deep residual networks[A]. Computer Vision ECCV 2016： 14th European Conference[C]. Amsterdam， Netherlands： Springer International Publishing， 2016： 630-645.

［18］ Cortez P，Rio M，Rocha M，et al. Multi-scale Internet traffic forecasting using neural networks and time series methods［J］. Expert Systems，2012，29（2）： 143-155.