大数据环境下的网络流量异常检测研究

蒲晓川

摘 要： 针对传统模型的网络流量异常检测正确率低，检测时间长的难题，设计了一种大数据环境下的网络流量异常检测模型。首先，对网络流量异常检测的研究现状进行分析，找到引起当前检测模型不足的原因；然后，采用HDOOP平台设计基于最小二乘支持向量机的网络流量异常检测模型；最后，在Maltab 2014平台下进行网络流量异常检测实验。实验结果表明，该模型可以准确对网络流量异常现象进行检测，获得了比其他模型更优的网络流量异常检测结果，具有更高的实际应用价值。

关键词： 网络安全； 流量异常检测； HDOOP平台； 最小二乘支持向量机； 大数据环境； 检测模型

中图分类号： TN915.08?34； TP392 文献标识码： A 文章编号： 1004?373X（2018）03?0084?04

Abstract： Since the traditional network traffic anomaly detection model has low detection accuracy and long detection time， a network traffic anomaly detection model in large data environment was designed. The research status of the network traffic anomaly detection is analyzed to find out the reason causing the poor performance of the current detection models. The HDOOP platform is used to design the network traffic anomaly detection model based on least square support vector machine. The network traffic anomaly detection experiment was carried out with Matlab 2014 platform. The experimental results show that the model can detect the network traffic anomaly phenomenon accurately， its network traffic anomaly detection result is better than that of other models， which has higher practical application value.

Keywords： network security； traffic anomaly detection； HDOOP platform； least square support vector machine； large data environment； detection model

0 引 言

随着网络应用范围的不断扩展，出现了许多不同类型的网络，网络上传输的数据类型增多，网络拥塞频率比以前也大幅增大，如何保证网络系统的正常运行显得尤为重要。网络流量是一种描述网络运行情况的重要指标，对网络流量异常行为进行检测，可以发现不正常的网络状态，因此，如何建立高正确率的网络流量异常检测模型引起了人们的高度关注[1?2]。

网络流量异常检测问题的研究一直没有停止过，当前存在大量的网络流量异常检测模型。网络流量异常检测可以认为是一种网络流量分类问题，即将网络状态划分为正常和异常两种：当处于异常状态时，就对其进行相应的处理；如果是正常状态，那么就不用制定相应防范措施[3]。当前网络流量主要基于统计学理论进行建模和检测，建模方法的选择直接影响到网络流量异常检测效果，主要有神经网络和支持向量机两种[4?6]，其中，神经网络的类型很多，但它们有一个共同要求：网络流量异常训练样本的数量要达到一定规模，如果没有达到这个要求，那么网络流量异常检测结果就不理想；如果满足该要求，就可以获得理想的网络流量异常检测结果。因此，该类建模方法的网络流量异常检测结果不稳定，而且存在神经网络结构难以确定的不足，在网络流量异常检测中的应用范围受到一定限制[7]。与神经网络相比，支持向量机对网络流量训练样本的数量要求没有那么严格，而且其学习能力更优，因此，在网络流量异常检测的应用范围更广[8?10]。然而随着网络流量异常检测研究的不断深入，学者们发现，当网络流量规模较大时，支持向量机的建模时间长，建模效率低，影响实际应用价值。最小二乘支持向量机是一种比标准支持向量机学习速度更快的算法，且没有标准支持向量机工作复杂，为网络流量异常检测提供了一种有效的研究工具[11]。

近年来，随着云平台处理技术的不断成熟，可以将一个大规模网络流量异常检测问题划分为多个子问题，通过HDOOP对它们分别进行处理，然后对子任务处理结果进行融合，得到最终网络流量的处理结果。为了更加准确地对网络流量异常进行检测，提出一种大数据环境下的网络流量异常检测模型，并在Matlab 2014平台对网络流量异常检测效果进行测试，本文模型大幅度改善了网络流量异常检测正确率，而且检测性能要优于对比模型。

1 HDOOP平台和最小二乘支持向量机

1.1 HDOOP平台

随着处理数据规模的不断增加，数据以海量的形式存在，一台计算机无法有效地对数据进行处理，在该背景下出现了云計算系统。在云计算系统中，通常以HDOOP作为平台，采用Map/Reduce分布式模式处理海量数据，典型的HDOOP平台工作原理如图1所示。

首先，将海量网络流量异常数据检测任务划分为多个子任务，每一个子任务采用一个节点完成，然后将结果反馈到管理节点。endprint

主管理节点对所有节点结果进行融合，得到网络流量的异常检测结果。

1.2 最小二乘支持向量机

针对标准支持向量机学习速度慢的缺陷，有学者提出最小二乘支持向量机，主要改进表现在：

1） 不等式约束变为等式约束；

2） 损失函数作为经验函数；

3） 二次规划问题转化为求解线性方程组问题。

设网络流量异常检测的样本集为，选择RBF径向基函数作为核函数，具体为：

式中表示RBF径向基函数的宽度参数。

最小二乘支持向量机的最优决策函数可以表示为：

式中表示正则化参数。

为了解决式（2）的问题，引入拉格朗日乘子算法，则有：

式中表示拉格朗日乘子。

令的偏导数均等于0，即：

根据Mercer条件可以得到那么有：

最小二乘支持向量机的最优决策函数变为：

2 大数据环境下的网络流量异常检测模型

大数据环境下的网络流量异常检测模型的工作步骤为：

1） 在线采集网络流量的相关数据，通常采用网络入侵时的数据作为网络流量异常测试。

2） 对原始网络流量异常测试数据进行如下处理，缩小数据的范围，加快最小二乘支持向量机的学习速度。

3） 将网络流量异常检测样本划分为多个子样本集，每一个子样本集采用一个最小二乘支持向量机进行建模。

4） 确定最小二乘支持向量机的参数，并建立最小二乘支持向量机的训练样本和测试样本。

5） 在每一个节点上，将训练样本输入到最小二乘支持向量机中进行学习，构建描述输入和输出之间映射关系的網络流量异常检测模型。

6） 将网络流量异常检测结果回拷给管理节点，得到训练样本异常检测的最终结果。

7） 采用测试样本对建立的网络流量异常检测模型的性能进行测试和分析，如果检测结果不能满足实际应用要求，重新进行训练，不断循环过程，直到满足要求为止。

3 仿真实验环境

3.1 实验环境以及参数设置

为了测试本文网络流量异常检测模型的有效性，在Matlab 2014平台进行仿真模拟实验。计算机的配置为：Intel 4核2.90 GHz CUP，AMD的显卡，500 GB的硬盘，32 GB的内存，WIN 10的操作系统。同时为了测试优越性，选择网络流量异常检测模型在相同仿真环境下进行对比实验。最小二乘支持向量机的参数设置为：=124，=65.75。

通常情况下网络系统状态是正常的，如果存在一些非法入侵行为时，网络流量就会呈现一种异常状态，其中拒绝服务攻击（DoS）出现频率最高，为此，选择该情况作为网络流量异常检测的测试对象。当出现DoS行为时，网络流量的值会发生突变，变化曲线产生突变峰，采集的网络流量数据如图2所示。

3.2 结果与分析

根据上述模型的工作过程，对图2的网络流量数据进行检测，统计它们的检测正确率，每一种模型运行5次，得到的结果如图3所示，并统计检测它们的误检率，结果如图4所示。从图3可知，与对比的网络流量异常检测模型相比，本文模型的网络流量异常检测正确率明显提高，可以对网络流量异常行为进行准确、有效地检测，同时从图4可知，网络流量异常的误检率显著减少，降低了网络流量异常检测的错误数量，获得了十分理想的网络流量异常检测结果。

对于大数据的网络流量异常检测，检测实时性十分关键，为此统计两种模型的网络流量异常检测时间，结果如表1所示。从表1可知，本文模型的网络流量异常检测时间大约是对比模型的加快了网络流量异常检测的速度，这主要是由于本文模型采用HDOOP模型将大数据的网络流量异常检测任务划分为多个子任务，通过管理节点对检测结果进行融合，减少了网络流量异常检测的建模时间，可以满足网络流量异常的实时性。

4 结 论

流量异常检测是网络系统研究领域中的难点，针对当前模型存在的不足，提出大数据环境下的网络流量异常检测模型，对仿真实验的结果进行分析，可得到如下结论：

1） 采用HDOOP对大数据网络流量数据进行分而治之的模式进行处理，加快了网络流量异常检测的速度，可以满足大数据的网络流量异常检测实际要求。

2） 采用最小二乘支持向量机对网络流量异常检测进行建模，模拟了输入和输出之间的映射关系，建立了理想的网络流量异常检测模型，提高了网络流量异常检测的正确率。

3） 本文仅基于网络流量异常数据进行建模，没有考虑噪声以及最小二乘支持向量机参数对网络流量异常检测结果的影响，这是进一步需要研究的内容。

参考文献

[1] CASAS P， VATON S， FILLATR L， et al. Optimal volume anomaly detection and isolation in large?scale IP networks using coarse?grained measurements [J]. Computer networks， 2010， 54： 1750?1766.

[2] 邹柏贤.一种网络异常实时检测方法[J].计算机学报，2003，26（8）：940?947.

ZOU Baixian. A real?time detection method for network anomaly [J]. Chinese journal of computers， 2003， 26（8）： 940?947.

[3] 张登银，廖建飞.基于相对熵的网络流量异常检测方法[J].南京邮电大学学报（自然科学版），2012，32（5）：26?31.endprint

ZHANG Dengyin， LIAO Jianfei. Network traffic anomaly detection based on relative entropy [J]. Journal of Nanjing University of Posts and Telecommunications （natural science）， 2012， 32（5）： 26?31.

[4] 曹敏，程东年.基于自适应阈值的网络流量异常检测算法[J].计算机工程，2009，35（19）：164?166.

CAO Min， CHENG Dongnian. Network traffic abnormality detection algorithm based on self?adaptive threshold [J]. Computer engineering， 2009， 35（19）： 164?166.

[5] 温祥西，孟相如，马志强，等.基于局部投影降噪和FSVDD的网络流量异常检测[J].计算机应用研究，2013，30（5）：1523?1526.

WEN Xiangxi， MENG Xiangru， MA Zhiqiang， et al. Network traffic anomaly detection based on local projection denoise and FSVDD [J]. Application research of computers， 2013， 30（5）： 1523?1526.

[6] 邱卫，杨英杰.基于尖点突变模型的联动网络流量异常检测方法[J].计算机科学，2016，43（3）：163?167.

QIU Wei， YANG Yingjie. Interaction network traffic anomaly detection method based on cusp catastrophic model [J]. Computer science， 2016， 43（3）： 163?167.

[7] 米捷，王佳欣.多层次数据中心网络流量异常检测算法[J].河南工程学院学报（自然科学版），2017，29（1）：62?66.

MI Jie， WANG Jiaxin. Research on anomaly detection algorithm of multi layer data center network traffic [J]. Journal of Henan University of Engineering （natural science edition）， 2017， 29（1）： 62?66.

[8] 费金龙，王禹，王天鹏，等.基于云模型的网络异常流量检测[J].计算机工程，2017，43（1）：178?182.

FEI Jinlong， WANG Yu， WANG Tianpeng， et al. Network traffic anomaly detection based on cloud model [J]. Computer engineering， 2017， 43（1）： 178?182.

[9] 李宇翀，魏东，罗兴国，等.基于多元增量分析的全网络在线异常检测方法[J].上海交通大学学报，2017，29（1）：62?66.

LI Yuchong， WEI Dong， LUO Xingguo， et al. Online network?wide anomaly detection algorithm based on multivariate incremental component analysis [J]. Journal of Shanghai Jiaotong University， 2017， 29（1）： 62?66.

[10] 刘仁山，孟祥宏.基于时间特征的网络流量异常检测[J].辽宁工程技术大学学报（自然科学版），2013，32（4）：544?548.

LIU Renshan， MENG Xianghong. Anomaly detection of network traffic based on time characteristics [J]. Journal of Liaoning Technical University （natural science）， 2013， 32（4）： 544?548.

[11] 韩敏，穆大芸.回声状态网络LM算法及混沌时间序列预测[J].控制与决策，2011，26（10）：1469?1472.

HAN Min， MU Dayun. LM algorithm in echo state network for chaotic time series prediction [J]. Control and decision， 2011， 26（10）： 1469?1472.endprint