基于大数据分析的网络入侵数据检测系统设计

王岩

摘要：網络入侵事件频频发生，造成了极其严重的影响。基于此，提出基于大数据分析的网络入侵数据检测系统设计，对感应器、包嗅探器、异常分析器、报警器进行设计;系统软件设计包括数据采集模块、实时异常检测模块。实验证明，基于大数据分析的网络入侵数据检测系统对异常数据检测的速度比传统系统，速度快、网络数据的安全性更高、具有极强的高效性。

关键词：大数据;网络入侵;数据监测系统;数据挖掘

中图分类号：TP393      文献标识码：A

文章编号：1009-3044（2019）19-0056-03

据全国数据统计调查，世界范围内大约每20秒就会发生一次计算机入侵事件，Internet网络上自带的防火墙大约有将近四分之一被人恶意攻破，大约百分之七十以上的网络信息主管人员向上层报告由于秘密信息泄露公司遭到了大规模经济损失[1]。而在2008年一次大规模的黑客攻击行动中，雅虎（Yahoo）网站的网络曾一度停止运行达到5个小时，这令它损失了成千上百万美金的交易。在这场黑客恶意行动中，美国金融体系一共损失了二十多亿美金。因为此次事故造成业界人心惶惶，亚马逊（Amazon.com）、 雅虎（Yahoo）、纳斯达克（NASDAQ）、AOL、eBay的股价都急告下降，其中以科技股为主的纳斯达克（NASDAQ）就曾打破过去连续七天创下新高的趋势，下降了将近七十八点，亚马逊（Amazon.com）平均指数周五收市的时候也下跌了二百六十九点。当前，网络使用中依然存在许一系列的不安全因素，其具体表现为信息泄漏、恶意篡改、非法使用网络资源、非法渗透等。

普遍存在计算机网络安全隐患比较多，预防“黑客”的能力比较弱。政府、企业的计算机网络遭到黑客“恶意攻击”的事件也经常发生，为国家和企业造成了巨大的经济损失。所以，对于网络信息的安全和防范就显得越发重要[2]。

1 系统硬件设计

由于计算机技术的信息化与全球化，人们在日常生活中的诸多生产、学习、工作等活动也正在逐渐转移到计算机网络上来。这其中最主要的原因就是因为网络交易的即时性、便利性、快捷性和经济性[3]。目前，我国正在实行“卓越工程师教育培养计划”，此计划的目的是为了彻底贯彻落实党的十七大有关“走中国特色社会主义工业化道路”、建设创新型国家、建设人才强国等战略计划而提出的高等教育重大改革，旨在培养出一大批具备较强的创新能力、可以适应中国社会经济快速发展需要的高质量技术型人才。而博士层次的卓越工程师在一定程度上可以创造性地从事复杂工程或大型建设项目的研发以及工程科学的研究，具有创造出具备国际一流竞争实力的专利技术、创新技术、尖端产品或者技术含量的工程实验的能力，成为优秀的研究型工程师。而这方面人才的出现也为大数据的应用以及网络入侵数据检测系统的诞生发挥了重要作用。

1.1 感应器

考虑到网络入侵数据监测系统在监控范围、延展性、使用性等诸多方面存在的优势，构建的入侵数据检测系统硬件设备主要是以网络入侵数据检测感应器为主，而感应器本身除了实现对数据包的捕捉、数据流的协议解析等功能以外，还需要负责加强对数据的预备处理与具有一些初步的入侵数据检测功能，这些辅助性的功能不管是对于网络入侵数据的感应器还是对主机感应据器来说，其功能发与具体的实现几乎都是以此为基础的[4]。感应器作为网络入侵数据监测系统中的基层检测单元，需要具备以下几个功能：首先，感应器捕捉网络数据，做出提前准备好的预处理，之后一方面传给检测模块进行入侵检查，一方面拷贝数据副本将其输入数据库中，用于挖掘新的未知入侵规则，以便更新入侵规则库。其次，经过协议解析后的数据包仍然需要系统进行进一步的处理才可以进行下一步的分析，比方说对PI分片的重组，数据包大小的检查以及结构化数据的特征筛选等。最后，入侵检测功能利用感应器入侵检测系统底层的特点[5]，使其承担一些特别的、分析器方便进行下一步处理的入侵检测功能，比方说Portscan、Teardrorp攻击、SYSFIooding攻击等。根据以上对感应器基本功能需求的分析，将感应器模块分成三个子模块，具体见下图所示。

1.2 包嗅探器

包嗅探器主是为了要对网络数据进行收集，它只是一个简单的捕捉信息的接口，其所在的具体位置决定了网络入侵数据检测系统的局部处理能力[6]。

1.3 异常分析器

异常分析器主要是负责检查网络数据规则库中的规则集，利用异常检测手段将那些异常数据送往规则生成器，从而形成差别。

1.4 报警器

当分析器向系统报告出现数据入侵的异常行为时，它通过人机界面向工作人员发出通知，其形式可以是简单的E-mail邮件，控制台报警、日志信息、可视化工具等。检测系统对于网络中采集到的数据包进行预备处理，形成数据挖掘手段所需的网络格式[7]。已知的入侵方式直接匹配成功，其余的则传输到异常分析器内进行数据检测，根据一定的规则进行推论，以确定是否发生网络入侵数据的发生，并将异常事件上传至规则生成器，利用特征提取形成新的规则。

2 系统的软件设计

2.1 数据采集模块

数据采集模块主要负责对数据源的采集，它作为整个检测系统中最基础的部分，可以说是系统科学、有效进行工作的基础[8]。数据采集来源分为两部分，一是，各项样本数据集内的数据，本系统数据采用KDD109数据集数据;二是，利用捕捉网络数据包去获取数据。数据库系统使用Microsoft PQL Server 2010，对于KDD109数据集的一系列文件，每一条记录只占据一行，属性之间可以用逗号相隔，可使用PQL Server 2010自带的数据导入/出向导把数据输入数据库之中。对于网络数据包，在LinuPx系统下能够应用Libpcape数据库内的函数接口捕捉网络数据包，它在本质上属于一个独立的APU函数接口，用于用户等级的数据包截取工作。在Windows最新系统中能够使用Winpcape数据捕捉网络数据包。Winpcape作为一套免费的数据包，基于Windows10的网络接口APU，将网卡设定为“混合”模式，之后循环处理网络捕捉数据包。

2.2 实时异常检测模块

实时数据异常检测模块采取Spark streaming模式，Spark Streaming是建立在计算机网络Spark上的实时性计算架构，通过它为系统提供的大量的APU、基于内存处理器的高速执行引擎，用户可以结合直式、流式处理以及交互式查询功能技术进行实时事故的相关处理，数据采集和预备处理模块都是把已经处理过的数据上传至kafka（是一种具备高蕴藏、高吞吐量的分布式发布查阅消息系统）中，kafka 检测系统内部上传消息总线，具体承担每一个模块之间的数据转换，实时监测模块利用消息查阅读取、处理后的实时数据，并根据检测规则对数据内容进行严格检测。

3 实验与效果分析

为了更加清楚、具体的看出此系统对异常数据检测的效果，特与传统网络入侵数据检测系统进行对比，对其数据异常入侵的检测能力进行比较。

3.1 实验准备

为保证试验的准确性，将两种网络入侵数据检测系统设计置于相同的试验参数之中，进行数据恶意入侵检测能力试验。试验参数见下表。

3.2 实验结果分析

试验过程中，通过两种不同的网络入侵数据检测系统设计同时在相同环境中进行工作，分析其数据异常入侵的检测能力的变化。效果對比图1所示。

通过实验结果，我们可以看出，在出现相同集合数的异常数据时，本文设计的基于大数据分析的网络入侵数据检测系统相较于异常数据检测的速度较传统设计而言，要拥有比较大的优势，速度极快，有效提高了网络数据的安全性。实验证明，本文设计的基于大数据分析的网络入侵数据检测系统具有极强的高效性。

4 结束语

本文对基于大数据分析的网络入侵数据检测系统设计进行分析，依托大数据分析的基本原理需求，根据网络入侵数据检测的相关反馈与分析数据，实现本文设计。实验论证表明，本文设计的方法具备极高的有效性。希望本文的研究能够为基于大数据分析的网络入侵数据检测系统设计的方法提供理论依据。

参考文献：

[1] 马亲民， 王晓春， 戴光智. 无线传感器网络面临的攻击与对策[J]. 传感器与微系统， 2018，31（3） ： 8-10， 14.

[2] 阳时来， 杨雅辉， 沈晴霓等. 一种基于半监督GHSOM 的入侵检测方法[J].计算机研究与发展， 2018， 50（11）： 2375-2382.

[3] 陈玉明， 谢斐星， 吴克寿等. 基于邻域关系的网络入侵检测特征选择[J]. 常州大学学报（自然科学版）， 2018， 26（3）： 1-5.

[4] 宋文超， 王烨， 黄勇等. 大数据环境下的云计算网络安全入侵检测模型仿真[J]. 中国西部科技， 2018（8）： 86-88.

[5] 王登贵. 基于MCU 的水果贮藏室温湿度监测及报警系统设计[J]. 电子设计工程， 2018（19）： 14-17.

[6] 曹红， 郭峰， 蔺振波. 基于大数据分析技术的通信网络监控体系构建研究[J]. 信息与电脑（理论版）， 2017（14）： 130-131.

[7] 任华， 张玲， 叶煜. 数字化校园中用户网络行为大数据的分析与监控[J]. 计算机与数字工程， 2017， 45（9）： 1814-1818.

[8] 郝晓培， 单杏花， 杨立鹏等. 基于大数据技术的铁路互联网售票异常用户行为分析研究与实现[J]. 铁路计算机应用， 2017， 26（5）： 1-4.

【通联编辑：张薇】