针对设备端口链路的LSTM网络流量预测与链路拥塞方案

黄伟，刘存才，祁思博

针对设备端口链路的LSTM网络流量预测与链路拥塞方案

黄伟，刘存才，祁思博

（中国电子科技集团公司第五十四研究所，河北 石家庄 050081）

针对设备端口链路流量，提出两种基于长短期记忆网络的预测模型。第一种针对在大时间粒度下平稳变化的流量；第二种则针对在小时间粒度下波动剧烈的非平稳流量。通过选用不同的数据划分方式与模型训练方法，构建两种具有不同网络结构的流量预测模型。实验结果表明，前者在处理平稳变化的流量时能够达到极高的预测精度，后者在处理非平稳流量时具有明显优于SVR模型、BP神经网络模型的预测效果。在第二种预测模型的基础上，提出了参数可调的链路拥塞预警方案，实验证明该方案具有一定的可行性。

长短期记忆网络；机器学习；网络流量预测；非平稳流量预测；时间序列预测

1 引言

近年来，网络业务日益复杂多元化，网络流量更多地呈现出突发性与自相似性，流量的时间序列也愈加难以使用传统的线性方法进行建模描述。为此，研究者开始尝试将SVR[1-2]、BP神经网络[3-5]等机器学习方法应用于网络流量乃至交通流量预测，试图通过对历史流量的学习来预测未来时间流量。从以往的研究中来看，多数研究者需要利用流量的周期性特征，这主要适用于较大时间粒度的流量预测[3-6]，需要长时间的训练数据且无法保证预测的时效性。另外一种为短时流量预测[7-9]，由于小时间粒度下流量序列前后波动的不确定性，很难使用传统机器学习方法对其进行精确的描述。但经过大量的数据研究后发现，即使是短时间内前后差异明显的网络流量数据，在一段时间范围内确实可能呈现不同程度上升或下降的趋势，与此同时流量数据本身又不可避免地呈现波动性。

本文由上述观点出发，试图寻找一种能够有效描述流量变化趋势的方法，对大时间粒度下平稳变化的流量进行精确的预测，对小时间粒度下波动剧烈的流量进行可靠的预测。之后，本文在短时流量预测的基础上，综合考虑以往的流量波动情况，探讨判断未来链路拥塞的预警方法。

2 相关研究

在第二类预测模型中，可以为1或大于1。此时，模型将使用更多时段的历史数据而不仅是相邻时间的数据进行训练。一般来说，这种方式划分的训练数据更能反映流量数据一段时间的变化。的取值越大则训练模型考虑的时间范围越广，相应地，模型的学习能力越容易饱和。循环神经网络对时序变化的数据具有很好的学习能力，文献[9]提出了一种基于EMD的循环神经网络，它对具有周期性变化特性的非平稳流量有较好的预测效果。文献[10]针对具有混沌特性的非线性时间序列提出了一种名为Elman-NARX的神经网络模型。文献[11]将协同进化算法引入Elman神经网络，提高了对混沌时间序列的预测精度。文献[12]提出一种基于循环小波神经网络的预测模型，相较传统神经网络模型有更好的预测效果。然而上述模型在处理较长的时间序列时，均存在发生梯度消失和梯度爆炸的风险。LSTM网络不同于上述循环神经网络，可以很好地解决梯度消失问题[13]。它具有长短期记忆能力，适用于较长时间序列的预测。目前，LSTM网络已经较多地在交通流量预测的相关研究中被发掘和使用[14-17]。文献[18]提出一种基于-means聚类的LSTM模型，其只考虑了相邻时间点的数据变化。文献[19]提出了一种三层混合的LSTM交通流量预测模型，文献[20]提出了一种基于LSTM网络的网络流量预测模型，然而它们在时间延迟上的取值均为1，不足以反映数据的长期变化，模型存在改进空间。本文以LSTM网络为基础，提出了一种改进的时段划分方法，将训练数据的时段区间与时间延迟参数相对应，对模型进行阶段性地训练和预测。不同于传统LSTM模型中训练过程与预测过程相分离的特性，本文的网络流量预测模型能够随实时数据不断地进行更新。模型的训练和预测依赖于最新获取的流量数据，同时能继承模型之前的参数，从而使预测结果保留历史数据的部分特性。

对于本文要处理的网络流量数据，预测难度更大一些，尤其是对于在小时间粒度下波动剧烈的非平稳流量。在时间刻度上突发的无规则特性，无疑会加大学习流量数据真实的变化趋势的难度。本文旨在不忽略极端数据的情况下，保证预测模型的稳定性。针对这一问题，本文在下文的中将再做探讨。

3 基于LSTM网络的平稳流量预测模型

本节详细阐述基于LSTM网络构建流量预测模型的方法。其中包括原始数据的处理、训练数据的划分、模型的训练以及未来流量的预测。

对之后获取的任意流量序列都做如下处理。

以T长度的时间为一个周期，每经过T时间长度就需要添加最新的数据来继续训练LSTM网络。这样，随着新数据的到来，LSTM网络的一系列参数也能随之更新，从而可以满足预测的实时性要求。更新方法是去除最旧的T时间长度的数据，添加最新的T时间长度的数据，从而保证流量序列的长度为，的长度为D+1。LSTM网络的结构如图1所示，这里主要给出本文所采用的数据处理方式。如需了解LSTMCell的内部结构和原理，请参见文献[11]。

4 基于改进LSTM网络的非平稳流量预测模型

第3节阐述了构建LSTM流量预测模型的具体方法，然而该模型只适用于平稳变化的流量序列。考虑如下形式的非平稳流量序列。即若干时间长度以来的流量均在较高的数值范围内波动，而当前时间长度内的流量却大幅度地降低了，事实上这种突发的情况仅仅持续了时间长度。在前文构建的LSTM模型中，最新的时间长度内的流量恰恰是训练所使用的参照数据，也可以称作标签。因此该模型的训练会在很大程度上受到当前时间长度内的流量抖动的影响。对于上述形式的非平稳流量序列，当前时间长度内突减的流量很可能造成模型对未来流量的预测值远低于真实值。

实际数据与以往经验表明，多数情况下的网络流量数据是非平稳的。而且为完成网络流量的实时预测，需要在小时间粒度下进行处理，此时网络流量的抖动更加明显。对于已经发生的流量抖动，一种处理方法是忽略大幅度偏离历史经验的数据，即不使用这部分数据对模型进行更新。但这必然会导致一部分数据信息的丢失，使模型对于数据的变化不再敏感。本文旨在保证数据信息完整性的同时弱化最新时间长度内的流量数据的影响。因此本文将选用更多的数据关系信息进行模型的训练，而不仅仅以最新时间长度内的数据作为参照。本文将在LSTM流量预测模型的基础上进行改进，使模型在处理非平稳流量时仍能够有效学习数据的变化趋势信息，从而保证预测的稳定性。

改进后的LSTM（LSTM-modified）网络结构如图2所示。观察虚线可以直观地发现，模型的训练使用了多个相邻时间长度的流量数据作为参照。理论上该模型既可以学习到历史流量的变化趋势，又能够在一定程度上避免突发的流量抖动的影响，从而保证流量均值预测的稳定性。

图2 LSTM-modified网络结构

5 实验与分析

本节的实验内容分为3部分：在第1部分中测试LSTM模型对于平稳变化的流量的预测精度，并与SVR、BP神经网络构建的模型进行对比；在第2部分中，对比SVR、BP神经网络、LSTM网络、LSTM-modified网络所构建的模型对非平稳变化的流量的预测性能；在第3部分中，基于LSTM-modified模型预测的流量均值探讨并验证未来链路拥塞的预警方法。

本文基于Python3.5.2进行编程实验。SVR使用scikit-learn(0.19.1)实现，BP神经网络、LSTM网络、LSTM-modified网络均使用tensorflow(1.4.0)实现。SVR采用rbfkernel，其中=1×103=0.1。BP神经网络采取三层结构，使用sigmoid激励函数，隐藏层节点数目设置为36。LSTM与LSTM-modified网络，包括Cell在内也可看成三层结构，Cell的大小设置为36。学习率的取值需要根据处理的数据适当调整，本文推荐的取值范围是0.01~0.25。

5.1 平稳流量预测实验

实验数据为某运营商时长一天的DNS流量。实验中取值为12，取值为1 200。以秒为最小时间单位，则实验目的是通过4 h的历史流量来预测未来20 min的流量均值。对于平稳流量，本文定义<0.1的情况为准确预测，>0.2的情况为不可信预测。实验结果统计在表1中。

表1 运营商DNS流量预测效果

表1表明，对于运营商DNS流量的预测，LSTM模型具有最高的预测准确率，比SVR模型高5.17%，比BP模型高3.45%。虽然其不可信预测的概率稍高于其他模型，但仍然保持在很低的水平。实验中LSTM模型的预测过程如图3所示。

图3 运营商DNS流量均值预测（以20 min为时间单位）

观察图3可以发现，预测值基本与真实值重合，这表明LSTM模型对平稳流量有极强的预测能力。

5.2 非平稳流量预测实验

实验数据为两种具有不同突发程度的非平稳流量数据，这里称作MMPP流量与SelfLike流量。MMPP流量一般由若干个相关的流叠加产生，是网络中较为常见流量类型。相较于MMPP流量，SelfLike流量具有更明显的自相似特征，表现出更强的突发性。实验中取值为12，取值为300。以秒为最小时间单位，则实验目的是通过1h的历史流量来预测未来5 min的流量均值。对于非平稳流量，本文定义<0.25的情况为准确预测，>0.50的情况为不可信预测。对以上两种流量数据进行4种模型的预测验证，实验结果统计在表2和表3中。

表2 MMPP流量预测效果

表3 SelfLike流量预测效果

表2表明，对于MMPP流量的预测，LSTM-modified模型具有最高的准确率和最低的不可信率，其中LSTM-modified模型的预测准确率相较于其他模型优势明显，比SVR模型高12.05%，比BP模型高8.43%，比LSTM模型高7.23%。这说明本文对LSTM网络的改进方法切实有效，能够有效地提高模型对MMPP流量的预测能力。

表3表明，对于SelfLike流量的预测，LSTM模型具有最高的预测准确率和最低的不可信率，其中LSTM模型的预测准确率比SVR模型高27.71%，比BP模型高1.21%，比LSTM-modified模型高4.82%。可见神经网络模型在预测自相似流量时比SVR模型更具优势。不过由于自相似流量的特点，即在任何时间尺度上都具有相当大的突发性，各神经网络模型对SelfLike流量的预测效果没有过多的差距。综合来说，LSTM-modified模型相比于其他模型的适应性更强。因此，在不知道流量类型与特点的情况下，使用LSTM-modified模型进行流量预测是一个不错的选择。实验中LSTM-modified模型的预测过程如图4、图5所示。

图4 MMPP流量均值预测（以5 min为时间单位）

图5 SelfLike流量均值预测（以5 min为时间单位）

从图中不难发现，模型的预测值会随着真实值的出现而不断改变。直观上看，预测值基本保持在真实值波动的中间区域。这说明LSTM- modified模型确实能够学习到流量的变化趋势，并且具备一定程度的流量预测能力。仔细观察即可发现，图中确实存在一些极端的真实值，不过它们并没有对模型接下来的预测造成很大的干扰。这符合本文在第3节中的假设，并且印证了LSTM-modified模型的稳定性。

5.3 链路拥塞预警实验

本文的链路拥塞预警实验以LSTM-modified流量预测模型为基础，预警方法综合考虑了预测的流量均值、历史流量的波动情况以及链路带宽等多个因素。在缓存并不充足的情况下，一旦瞬时流量超过链路带宽，就会面临分组丢失的风险。本文假设缓存为0，能容忍的发生分组丢失的时间比例上限为1%。考虑5 min的流量，时间单位为秒。若总计发生分组丢失的时间超过3 s，则认为链路达到拥塞的临界状态。

根据5.2节的实验，本文已经具备通过1 h的历史流量预测接下来5 min流量均值的能力，这里仍命名为Prediction。取前30(5×6) min的流量，计算最大18(3×6) s的流量均值，减去30 min的流量均值，得到近期流量的振幅Amplitude。Prediction、Amplitude、Correction相加可看作未来可能达到的流量上界，记为UpperBound。链路带宽表示为Bandwidth，若满足如下公式，则认为未来链路存在拥塞的风险

≥(8)

其中Correction为一个修正值，一般取值为正。原因是Prediction加上Amplitude并不是精确的流量上界，而且拥塞的预警一般需要一个提前量，以保证在链路拥塞之前做出应对措施。Correction的取值需要根据实际情况而定，本文实验中所使用的取值为0.16×。链路带宽设为5.8×(byte/s)，以一段SelfLike流量为实验材料，实验过程如图6所示。

点A为满足拥塞预警式(8)的第一个点，此时发生分组丢失的时间比例为0.33%，点B处发生分组丢失的时间比例为1.33%，点C处发生分组丢失的时间比例为0.67%，点D处发生分组丢失的时间比例为1.0%，点E处发生分组丢失的时间比例为0.33%，点F处发生分组丢失的时间比例为0.33%。可见，实验中在点A处给出了链路拥塞的预警，而在其后点B与点D所对应的时段，链路确实达到了本文所定义的拥塞的条件，因此在点A给出链路拥塞的预警是适宜的。实验结果表明，本文提出的预警方法切实有效，能够帮助提前对未来链路的拥塞与否做出判断。

图6 流量上界预测与拥塞判断

6 结束语

本文分类总结了关于网络流量预测的历史研究情况，针对在大时间粒度下平稳变化的流量，提出了LSTM流量预测模型，并验证了该模型具有优于SVR模型、BP神经网络模型的极高的预测精度。针对在小时间粒度下波动剧烈的非平稳流量，提出了具有改进的长短期记忆网络结构的LSTM-modified流量预测模型。本文通过实验验证了该模型在处理非平稳的MMPP流量时具有明显优于其他模型的预测效果。在处理自相似特征明显的SelfLike流量时，基于LSTM及其改进网络的模型具有大幅度优于SVR模型的预测能力。本文的主要研究目标是实现网络流量的实时预测，这对于未来链路拥塞的判断具有很高参考价值。本文在LSTM-modified模型的基础上探讨了一种链路拥塞预警方法，并通过实验证明了该方法能够及时有效地预测链路拥塞的发生。

[1] YU, F LIU, W GAO, C et al. Network situation prediction based on optimized SVR model[C]//International Conference on Mechatronic Sciences. 2014: 2414-2419.

[2] LIANG, Y QIU. L Network Traffic Prediction based on SVR improved by chaos theory and ant colony optimization[J]. International Journal of Future Generation Communication & Networking, 2015, 8: 484-488.

[3] LIU, J HUANG. Y L Nonlinear network traffic prediction based on BP neural network[J]. Journal of Computer Applications, 2007, 27(7):1770-1772.

[4] ZHU L, QIN L, XUE K Y, et al. A novel bp neural network model for traffic prediction of next generation network[C]//International Conference on Natural Computation. 2009(1): 32-38.

[5] WANG, X ZHANG, C ZHANG. S Modified Elman neural network and its application to network traffic prediction[C]//IEEE International Conference on Cloud Computing & Intelligent Systems. 2012: 629-633.

[6] GAO F. Network traffic prediction based on neural network[C]//. International Conference on Intelligent Transportation. 2016: 527-530.

[7] WANG. J S Modeling and prediction for network traffic based on elman neural network[J]. Computer Engineering, 2009, 35(9): 190-191.

[8] MA, X TAO, Z WANG, Y H Yu,et al. Long short-term memory neural network for traffic speed prediction using remote microwave sensor data[J]. Transportation Research Part C, 2015, 54: 187-197.

[9] CHEN S Y, CHOU. W Y Short-term traffic flow prediction using EMD-based recurrent Hermite neural network approach[C]// International IEEE Conference on Intelligent Transportation Systems. 2012: 1821-1826.

[10] ARDALANI-FARSA, M ZOLFAGHARI. S Chaotic time series prediction with residual analysis method using hybrid Elman– NARX neural networks[J]. Neurocomputing, 2010, 73(13-15): 2540-2553.

[11] CHANDRA, R ZHANG. M Cooperative coevolution of Elman recurrent neural networks for chaotic time series prediction[J]. Neurocomputing, 2012, 86(12): 116-123.

[12] ZHANG, K CHAI, Y FU. X A A network traffic prediction model based on recurrent wavelet neural network[C]//International Conference on Computer Science & Network Technology. 2013: 1630-1633.

[13] HOCHREITER S, SCHMIDHUBER J. Long short-term memory[M]. Springer Berlin Heidelberg,2012, 9(8): 1735-1780.

[14] TIAN, Y PAN. L predicting short-term traffic flow by long short-term memory recurrent neural network[C]//IEEE International Conference on Smart City/Socialcom/Sustaincom. 2015: 153-158.

[15] DUAN, Y LV, Y WANG. F Y Travel time prediction with LSTM neural network[C]//IEEE International Conference on Intelligent Transportation Systems. 2016: 1053-1058.

[16] FU, R ZHANG, Z LI. L Using LSTM and GRU neural network methods for traffic flow prediction[C]//Chinese Association of Automation. 2017: 324-328.

[17] SHAO, H SOONG. B H Traffic flow prediction with long short-term memory networks (LSTMs)[C]//Region 10 Conference. 2017: 2986-2989.

[18] XUE, Z XUE. Y Multi long-short term memory models for short term traffic flow prediction[J]. IEICE Transactions on Information and Systems, 2018, 101(12): 3272-3275.

[19] LEE, Y J MIN. O Long short-term memory recurrent neural network for urban traffic prediction: a case study of seoul[C]// IEEE Conference on Intelligent Transportation Systems. 2018: 1279-1284.

[20] ZHUO, Q LI, Q HAN, Y et al. Long short-term memory neural network for network traffic prediction[C]//12th International Conference on Intelligent Systems and Knowledge Engineering. 2018: 1-6.

LSTM network traffic prediction and link congestion warning scheme for single port and single link

HUANG Wei, LIU Cuncai, QI Sibo

The 54th Research Institute of China Electronic Technology Group Corporation, Shijiazhuang 050081, China

To predict the traffic at single port and single link, two network traffic prediction models based on long short-term memory neural network were proposed. The first model is for the traffic which changes smoothly at large time granularity. The second model is for the nonstationary traffic which fluctuates violently at small time granularity. By selecting different methods of splitting data and training models, two traffic prediction models with different neural network structures were constructed. The experimental results show that the former can achieve a very high accuracy when predicting smoothly changed traffic, the latter has a significantly better prediction effect than the support vector regression model and the back propagation neural network model when dealing with nonstationary traffic. Based on the second model, a link congestion warning scheme with variable parameters was proposed. The scheme is proved to be practicable by experiments.

long short-term memory (LSTM), machine learning, network traffic prediction, nonstationary traffic prediction, time series prediction

The National Defence Science and Technology Key Laboratories Foundation of China (No.614210401050217)

TP393

A

10.11959/j.issn.2096−109x.2019066

黄伟（1978− ），男，河北保定人，中国电子科技集团公司第五十四研究所高级工程师，主要研究方向为通信系统总体技术、通信系统与网络仿真。

刘存才（1965− ），男，河北石家庄人，中国电子科技集团公司第五十四研究所高级工程师，主要研究方向为通信网仿真和通信网可靠性研究。

祁思博（1991-），男，河北石家庄人，中国电子科技集团公司第五十四研究所工程师，主要研究方向为通信网仿真和软件定义网络。

论文引用格式：黄伟, 刘存才, 祁思博. 针对设备端口链路的LSTM网络流量预测与链路拥塞方案[J]. 网络与信息安全学报, 2019, 5(6): 50-57.

HUANG W, LIU C C, QI S B. LSTM network traffic prediction and link congestion warning scheme for single port and single link[J]. Chinese Journal of Network and Information Security, 2019, 5(6): 50-57.

2019-01-15；

2019-02-20

祁思博，773624104@qq.com

国防科技重点实验室基金资助项目（No.614210401050217）