改进的CUSUM网络流量异常检测

邓绯,韩文智,朱倩,钱立

四川职业技术学院计算机科学系,四川遂宁62900

改进的CUSUM网络流量异常检测

邓绯,韩文智,朱倩,钱立

四川职业技术学院计算机科学系,四川遂宁62900

网络已是人们学习生活不可缺少的一部分，如何能够准确、快速地检测出网络流量异常，并做出合理的响应，是网络正常运行的保证。本文提出改进的CUSUM流量异常检测算法，通过对CUSUM算法对网络流量进行检测，在警告判断条件和增加约束条件两方面进行改进。最后实验结果表明，CUSUM算法实现简单，在提高异常流量检测的误报率和漏报率方面有较大改进。

网络流量;CUSUM算法;检测

随着计算机在各行各业的快速应用和发展，计算机网络通信成为现代社会最重要的基础设施之一。因此，诸如服务器过载，网络攻击，网络病毒等等带来许多网络安全问题，将影响网络的正常运行，甚至可能导致网络瘫痪。为了保证网络的正常运行，网络安全管理工作显得尤为重要。网络流量异常检测是其有效方法之一，通过网络流量的异常检测，可以及时发现可能存在的入侵或攻击等行为，从而可以提前做出防范，起到网络安全的管理。在DDOS、防火墙和路由器的流量管控等有广泛的应用。

在异常检测中，目前有阈值检测，小波分析，统计等等方法。本文根据研制“异常流量检测与监控”算法的任务，以及网络异常流量识别与监控技术研究中的涉及的算法为主[1]，考虑DOS、DDOS、路由器或防火墙流量管理与控制中需要用到的总体流量或单一输入输出通道的流量异常检测算法——CUSUM算法，并在此基础上根据实际情况进行改进。

在使用CUSUM算法来进行网络流量异常检测中，目前有较多为文献提出了相关方法。文献[2]把CUSUM算法和改进的阈值法做了实验比较，证明了使用CUMSUM算法可以更好的检测网络攻击，文献[3]引入统计学中非参数改变点检测方法，应用CUMSUM算法的检测系统，具有较好的误报率和漏报率；文献[4]通过增加Bloom Filter对数据包进行过滤，再运用CUSUM算法进行检测；文献[5]针对使用CUSUM算法进行流量异常检测时产生的累积效果，提出用自适应算法消除累积影响，文献[6]提出了使用改进的非参数递归CUMSUM算法检测DDoS攻击，并在检测同时记录攻击包；文献[7]提出基于CUSUM的自适应攻击检测算法，可以快速检测DDoS攻击。

本文利用CUSUM算法来检测网络流量异常，同时对CUSUM算法异常判断，增加告警约束条件对网络流量进行分析,以提高网络流量异常检测的漏报率和误报率。

1CUSUM算法介绍

1.1 CUSUM算法简介

CUSUM主要思想为如果统计量有变化，则随机序列的概率分布也会发生变化。该算法令x1, x2,...,xt是独立的N(0,1)同分布，xt+1,xt+2,xt+3,...，为独立的N(δ,1)同分布，其中t为未知变点，对于给定的序列x1, x2,...,xn，假设t=v( v＜n)，对于原假设t=∞的似然比统计量为（以φ(·)表示标准正态分布的密度函数）：

1.2 CUSUM算法特点

根据基础CUSUM流量异常检测算法步骤，以及仿真结果，该算法的优点是能够检测到流量的变化点，速度较快；判断比较直接，可以应用于流量异常的粗粒度的判断和管理控制。而不足之处是基于假设检验方法，假设流量数据都服从相同的分布，与实际有一定的偏差；统计学的方法，有一定的滞后性；通过仿真，误报率比较高。

分析发现该算法由于没有考虑告警的撤销，在产生异常流量数据告警后，由于判断统计条件的值具有累加性，导致之后会持续告警，因此需要改进该算法。

2 改进CUSUM算法

在上述基础算法中，主要存在一旦异常流量数据产生并告警后，判断条件的值一般是超过阀值了的。由于判断条件的累加性公式，前一个流量点的判断值会加入到后一个流量值的判断条件中，因此会影响后一个流量值异常的判断，导致一旦出现异常告警后，后续的判断条件值都超过阀值，因而持续报警。

解决该问题的办法是增加告警撤销的步骤，及流量异常后，撤销异常流量数据值累加进下一个流量的判断条件值，这样避免持续异常和告警，避免误报。

考虑改进告警判断条件，增加约束条件，主要算法步骤如下：

（1）初始参数设定

确定初始参数：n——流量稳定的观察值个数，如设n=100；

v——异常变点(1)vn≤≤，如设v=50；

h——异常阀值，0h＞，为可调参数，可以根据实际网络和流量情况进行调节，以达到异常判断的准确性。

（2）读入v个观测值，并计算均值和估计方差

读入x1, x2,...,xv；

计算稳定均值：

（3）再读入v+1到n个观测值，计算均值

计算稳定均值：

（4）计算δ

（5）判断，并计算统计量

如果0δ＞，则计算

如果0δ＜，则计算

如果Zn＞h，且Zi≤h, i=1,2,...,n -1，或者Dn＜-h，且Di≥-h, i=1,2,...,n -1，则判断流量异常发生，报警。

（7）继续检测判断

继续读入新的20个观测值，按队列方式替换观测时间最旧的数据，

（6）异常判断，增加告警约束条件

循环步骤（2）～（6）；

（8）算法结束。

3 仿真实验

通过MIT实验室发布的DARPA数据，进行仿真，通过20000条流量数据的预处理，仿真实验，采用wireshark读取原始MIT数据，保存为CVS格式。仿真得到的流量数据与时间的关系图,时间轴按序号,如图1，时间与流量统计量的关系图如图2。

图1 通过仿真得到的流量数据与时间的关系图Fig.1 Flow and time relation based on simulation data

实验结果在t为74.8324，130.5286，259.9628，263.7945，272.4515,529.2545告警进行报警。从曲线图可看出，在流量值有异常的情况下，曲线都会有波动，可以检测出流量异常的变点，消除了大量的明显的误报；降低了累加性造成的实际流量下降之后，判断条件值持续较高的问题；不同的阀值h，告警结果有微小的差异，但基本反应了流量的异常情况。取值，n=20000，v=1000，h=400按时间轴绘图

图2 时间与统计量关系图Fig.2 Time and statistic variable relation

4 结论

本文采用CUSUM算法对网络流量进行检测，在警判断条件和动态区域检验方面进行改进。仿真结果表明，CUSUM算法实现简单，在提高异常流量检测的误报和漏报方面有较大改进。在将来的研究中需要考虑如下方面：算法中判断条件Z值迭代与累加计算的正确性，需要进一步分析计算过程，得出结果；还未考虑一旦有异常流量值之后的告警撤销的问题，即将异常的流量判断条件值做正常化处理。

[1]孙知信.网络异常流量识别与监控技术研究[M].北京:清华大学出版社,2010:45-46

[2]VA Siris,F Papagalou.Application of anomaly detection algorithms for detecting SYN flooding attacks[C]//Global Telecommunications Conference.IEEE:[s.n.],2004,14:2050-2054

[3]康健,鞠久滨.CUSUM算法在DDoS源端检测中的应用[J].计算机应用,2006,26(6):1342-1344

[4]Sun C H,Fan J D,Liu B.A robust scheme to detect SYN flooding attacks[C]∥Proceedings of the Second International Conference on Communications and Network in China.Shanghai:[s.n.],2007:397-401

[5]步岳山,张海艳,王汝传.基于改进CUSUM算法的网络异常流量检测[J].计算机应用研究,2009,26(2):500-501

[6]严芬,陈轶群,黄浩,等.使用补偿非参数CUSUM方法检测DDoS攻击[J].通信学报,2008,29(6):126-132

[7]赖会霞,马剑波,张仕.基于CUSUM的自适应攻击检测[J].福建师范大学学报(自然科学版),2011,27(5):34-39

Abnormal Detection on Network Traffic Based on the Improved CUSUM

DENG Fei,HAN Wen-zhi,ZHU Qian,QIAN Li
Department of Computer Science,College of Sichuan Vocation and Technology,Suining 629000,China

The network is an integral part in people living and learning.It is an assurance of a normal network running how to be able to detect the abnormal network traffic accurately and fast,and to make a reasonable response.This paper put forward the algorithm for an abnormal network traffic detection based on the improved CUSUM,it was improved through two parts of the warning judgement and improvement constraints according to the detection algorithm.Finally,experimental results showed that CUSUM algorithm was a simple,had a great of improvement in the aspects of improving traffic abnormal detection false positive negative rate.

Network traffic;CUSUM algorithm;detection

TP393.4文献标示码:A

1000-2324(2014)03-0356-04

2012-12-23

2013-02-12

四川省教育厅自然科学重点项目(14ZA0311)

邓绯(1975-),女,本科,研究方向:计算机应用.E-mail:155104226@qq.com