基于小波神经网络的大数据在线负载异常监测技术研究

李星

摘  要： 为了提高大数据负载监测的有效性和准确性，采用神经网络算法对大数据负载进行监测。根据相邻时间段的负载数量变化建立负载预测模型，结合负载变化情况判定当前负載状态。对负载变化明显的时间段，采用神经网络算法对负载情况进行正向和反向运算。根据得到的结果与阈值相比较，超出阈值的负载判定为异常负载，将其从大数据平台剔除，确保大数据平台在线负载连接的真实性和有效性。仿真结果显示，基于神经网络的大数据负载方法在准确性和运行效率上均表现良好。

关键词： 大数据; 负载监测; 神经网络; 负载预测; 网络带宽; 流量消耗

中图分类号： TN915.02?34; TP393                   文献标识码： A                  文章编号： 1004?373X（2019）11?0095?03

Abstract： In order to improve the effectiveness and accuracy of big data load monitoring， the neural network algorithm is used to monitor the big data load. The load prediction model is established according to the change of load quantity in adjacent time period， and the current load status is determined according to the change of load. The neural network algorithm is used to perform the forward and reverse operations according load condition in the time period when the load is changed significantly. The obtained operation results are compared with threshold， if the value is besides the threshold， which is determined as an abnormal load and removed from the big data platform to ensure the authenticity and effectiveness of the online load connection of the big data platform. The simulation results show that the big data load method based on neural network has high performance on both accuracy and operational efficiency.

Keywords： big data; load monitoring; neural network; load forecasting; network bandwidth; flow consumption

0  引  言

随着互联网的高速发展，接入网络的负载量逐渐增加，这些负载产生的数据信息成为网络中各项分析的数据来源。虽然这些数据成为决策分析重要的价值数据源，理论上负载越多，获得数据样本越有分析价值，但是大量的负载接入网络，给整个网络系统的稳定性和功能性带来了新的挑战[1]。

大数据平台下，接入网络的在线负载量受平台可接入网络的负载总量、数据带宽、计算能力、响应时间、数据承载量等限制，在线负载需要和平台进行数据交换，就必须和平台建立有效连接。为了防止出现占据数据通道而没有进行有效通信的负载浪费资源，必须采用有效的方法对在线负载进行有效监测，及时有效地提高资源利用率[2?3]。

传统的在线负载监测方法主要靠服务器与负载的通信作为检验负载是否在线的标准[4]，这种方法也是网络点对点之间检测对方是否在线的主要方法，但是这种方法有一定的局限性，需要占据较多的网络资源，不利于数据带宽的合理应用。本文将小波理论和神经网络算法相结合，用来监测大数据平台的在线负载连接情况，取得了较好的效果。

1  基于小波神经网络的负载监测模型建立

1.1  负载监测问题表述

设负载数量为[n]，在[t]时间段内建立负载监测模型，负载的变化在时间轴上是无规律的，因此分析接入大数据平台的负载可以用时间序列对负载数量进行预判。结合小波理论，根据上一时间段负载的实际数量和预测数量建立当前时间段的预测模型，通过不断修正逼近实际数量。

设[M（t）]为[t]时间段内负载数量预测值，[m（t）]为[t]时间段内实际负载数量，[λ]为权重因子。则可根据式（1）计算出下一时间段负载数量预测值[5]：

根据[ε]和[M]的差值判断负载量的变化情况。若[ε≥M]，则表示当前时间段内负载变化明显，需要采取措施对当前接入的负载进行重新监测，监测其在线情况及负载类别;若[ε

1.2  提出的神经网络算法

为了更好地验证负载是否在线，解决伪在线负载对资源的浪费，采用神经网络算法对在线负载在线状态进行判别，判别在线用户的真实状态。根据预测模型得到的负载数量作为神经网络的输入，而负载在当前监测时间段内的通信情况作为神经网络的输出。

将式（1）预测得到的负载作为神经网络算法的研究对象，以负载的实际个数作为输入，[n]个负载通信时间为[xi（i=1，2，…，n）]，根据输出判别当前负载的连接情况和通信情况。设[ωij]和[Tαj]分别为权重和阈值，[l]和[f]分別为神经元数量及传递关系[6?7]，则经过神经网络的正向运算得到：

式中[η]为更新速率，可以根据实际情况进行修改。为了考虑算法速率及算法的稳定性，[η]值的设置应合理。

通过正向和反向运算，不断减小误差[ek]，根据算法输出判断在线负载数量的真实在线情况。若[outputk]在设定的数据量阈值范围内，表示该负载处于正常连接及通信状态;否则判定该负载连接为无效连接，表示负载处于非正常下载状态。

2  实例仿真

为了验证本文算法在负载监测中的性能，采用CloudSim仿真平台对算法性能进行仿真[9]，数据样本为10 000个负载。首先建立10 000个样本集合，全部接入数据平台，然后在60 min内不断调整负载情况，人工强制让部分负载失去连接，检验本文算法在异常负载监测中所表现出的性能。

在60 min内，不断调整掉线负载的数量，掉线负载上限为100，占总负载数量的1%，检验本文算法的适应性，仿真结果如图1所示。

图1  本文算法负载监测情况

从图1可以看出，本文算法能较好地检测出平台的异常负载。在前20 min内，两条线较好地重合，拟合性好;而在20～30 min时间段内，出现了部分掉线负载未检测出的情况;后30 min内，本文算法较好地检测出了掉线的负载。

为了验证本文算法在数据流量方面的优势，将传统按照时间标签定时发送信号来检测掉线负载的方法与本文算法相比较。传统时间标签方法是服务器定时给每个负载发送信号，然后记录发送信号时间和接收负载反馈回答的时间，根据时间差判断在线负载的连接情况，这种方法准确度高，但是极度耗费网络资源，对于大数据平台、负载量极大的平台适用性差。

分别对负载数量为5 000，10 000，15 000，20 000，25 000时两种监测算法所耗费的监测流量进行仿真，结果如图2所示。

图2  两种算法耗费流量对比

从图2可以看出，随着被监测负载数量的增加，监测流量均随之增加，当负载数量为5 000时，时间标签算法监测流量大约为370 Mb，本文算法为180 Mb，时间标签算法所耗费流量大约是本文算法流量的2倍。由此可知，本文算法在网络流量资源使用方面具有绝对优势，即运行效率更优秀。

3  结  语

本文采用基于神经网络的负载监测方法可以较好地完成掉线负载的检测，监测接入大数据平台的负载真实连接情况，有效减少掉线负载占据网络带宽，提高大数据平台的资源使用效率。而在网络资源使用方面，相比于传统的时间标签算法，消耗流量更少。因此，神经网络算法在大数据负载监测方面具有较强的适用性。

参考文献

[1] HILBERT M. Big data for development： a review of promises and challenges [J]. Development policy review， 2016， 34（1）： 135?174.

[2] BORGMAN C. Big data， little data， no data： scholarship in the networked world [J]. Journal of the association for information science & technology， 2016， 67（3）： 751–753.

[3] WANG D， SUN Z. Big data analysis and parallel load forecas?ting of electric power user side [J]. Proceedings of the CSEE， 2015， 35（3）： 527?537.

[4] ZHANG P， WU X， WANG X， et al. Short?term load forecas?ting based on big data technologies [J]. Journal of power & energy systems， 2015（3）： 1186?1192.

[5] GANIN Y， USTINOVA E， AJAKAN H， et al. Domain?adversarial training of neural networks [J]. Journal of machine lear?ning research， 2017， 17（1）： 2096?2100.

[6] 汪亚明.基于神经网络的图象序列特征点匹配[J].中国图象图形学报，2002，7（4）：313?318.

WANG Yaming. Feature point matching of image sequences based on neural network [J]. Journal of image and graphics， 2002， 7（4）： 313?318.

[7] PANDA S K， MOHANTY S N， JAGADEV A K. Long term electrical load forecasting： an empirical study across techniques and domains [J]. Indian journal of science and technology， 2017， 10（26）： 1?16.

[8] CHEN L G， CHIANG H D， DONG N， et al. Group?based chaos genetic algorithm and non?linear ensemble of neural networks for short?term load forecasting [J]. IET generation transmission & distribution， 2016， 10（6）： 1440?1447.

[9] 李荣荣，牛立栋，孙纪敏.基于CloudSim的分类负载均衡调度模型[J].计算机测量与控制，2018，26（3）：195?199.

LI Rongrong， NIU Lidong， SUN Jimin. Classification load ba?lancing scheduling model based on CloudSim [J]. Journal of computer measurement and control， 2018， 26（3）： 195?199.