浅谈网络安全分析中的大数据技术应用

◆孙 玉

（苏州农业职业技术学院 江苏 215008）

浅谈网络安全分析中的大数据技术应用

◆孙 玉

（苏州农业职业技术学院 江苏 215008）

大数据技术的发展与成熟，进一步促进了互联网事业的发展，在网络中的很多方面都能够发挥一定的作用。本文针对当前网络安全问题频发的现状，分析了大数据技术在网络安全分析中的应用，并探究了基于大数据技术的网络安全防御系统的构建。

网络安全；大数据技术；应用

0 前言

随着互联网的应用与发展，网络中的数据量越来越大，在为人们的工作与生活带来便利的同时，网络安全问题也时有发生。网络安全问题与个人和公司的信息安全息息相关，传统的网络安全防护手段已经比较落后，无法起到良好的作用，而大数据技术能够有效提高网络安全防护的有效性，其在网络安全分析中的应用具有重要作用。

1 网络安全分析中应用大数据技术的意义

当今时代，互联网发展十分迅速，其中流动的数据量增长速度很快，这虽然能够有效提升互联网的服务性能，但也给网络安全分析工作带来了巨大的压力，主要表现在以下两个方面。其一，让网络安全分析工作中需要处理的数据量变得更大，而且数据的种类也更多，需要进行多维分析才能完成有效的处理；其二，随着数据量的增加以及数据信息传递速度的提高，要想及时完成对数据的分析处理，必须提高数据信息的采集和处理速度，而且需要同时保证信息安全分析的有效性，这无疑大幅增加了网络安全分析工作的难度。在传统的网络安全分析系统中，应用结构化数据库来完成数据的存储，这样的数据存储方式需要很高的成本。一般为了降低成本，会先将数据处理，降低数据的大小，从而在控制成本的情况下，提高数据存储的容量，但这同时也会让数据在处理过程中，丢失一部分信息，如果数据入库存储的时间较长，很容易出现丢失的情况。而且，传统的网络安全分析系统在对于一些非结构化、内容复杂的数据集的处理中，并不能发挥良好的作用，无论是分析速度还是查询效率都非常差。这些问题在大数据时代的背景下非常明显，必须得到有效解决。

大数据技术在网络安全分析中的应用能够起到良好的效果。首先，大数据技术能够大幅提升网络安全分析系统的数据存储量。大数据技术即使在关于非结构化的海量复杂数据的处理中，依然能够保证效率和有效性，从而在存储大量数据的同时，保证数据信息的完整性。第二，大数据技术的应用能够降低网络安全分析系统的成本。大数据技术采用分布式数据库，不仅在经济成本上远低于结构化数据库，而且对硬件要求不高，在性能相对较低的硬件设备上依然能够稳定运行，从而大幅降低网络安全分析系统的构建与维护成本。第三，大数据技术的应用能够提高网络安全分析系统的运行效率。大数据技术的应用使得网络安全分析系统能够完成对异构数据的存储与处理，而异构数据在存储和查询时非常迅速，这使得系统的数据信息分析处理速度进一步提高。第四，应用大数据技术能够提高网络安全分析系统的数据处理精度。应用大数据技术，能够从多层级、多维度进行数据的关联分析和处理，从而提高系统的数据处理精度。

2 网络安全分析中应用大数据技术的作用

在网络安全分析中，需要处理的数据主要包括日志和流量两项，同时还有访问、用户行为、业务行为等相对较少的数据信息。在网络安全分析中应用大数据技术，能够有效优化对各类数据的分析处理，通过统筹处理分散性的日志与数据，降低数据采集、分析处理的时间，从而提高网络安全分析系统的效率；还能通过关联分析多种安全信息，从多维度处理数据，找出其中可能存在的问题，从而提高安全分析的有效性。大数据技术在网络安全分析中发挥的作用，主要在以下几个方面体现。

（1）数据采集。应用大数据技术，能够通过Flume、Scribe等工具，对数据进行分布式采集，这种高效的数据采集方式，能够在每秒内完成数百兆的数据采集，在对于日志数据信息的处理中，能够发挥良好的作用。

（2）数据存储。在网络安全分析系统中，需要对安全数据进行存储，应用大数据技术，能够针对不同的数据类型，使用不同的存储方式，从而提高数据查询和存储的有序性与效率。对于主要在查询中发挥作用的日志信息等数据，应用列式存储方式比较合适，能够有效提高数据的查询效率；对于主要用于分析处理的经过标准化处理的数据，先使用分布式计算模式，对数据进行分析处理之后，产生分析结果，存放在列式存储部分；对于即时的数据，使用流式计算比较合适，同样在分析处理之后，产生分析记过，存放在列式存储部分。

（3）数据查询。应用大数据技术，可以在系统中以MapReduce为基础构建查询模块，在数据查询时，将指令分别置于相应的节点进行处理，在完成处理之后，整合各个节点的处理结果。这样的数据查询处理方式，能够有效提高系统对于查询指令的反应与处理速度。

（4）数据分析。网络安全分析系统对于数据的分析可以分为两个方面。其一，对于实时数据的分析。可以以流式计算为基础，同时应用 CEP技术、关联分析算法等，对实时数据进行即时的分析、监控、处理，能够在较短时间内查找出数据中存在的异常；其二，对于统计结果、历史数据的分析处理。这种分析处理对于时效性没有太高的要求，可以通过分布式存储与计算，并行应用多种数据处理技术，完成比较深入的数据离线处理，能够有效完成风险分析、攻击溯源等功能。

（5）复杂数据分析处理。应用大数据技术，能够让系统在数据的存储、分析、查询等方面都表现出良好的性能，在对复杂数据的分析处理中，能够有效完成对多源异构数据、系统安全隐患以及关联性攻击行为的分析处理。例如，僵尸网络是比较典型的一种网络安全问题，对于这一问题的处理，应用大数据技术，不但能够从流量和DNS访问特性出发，还能进行发散性关联分析，同时结合多方面的数据信息，从而达到全方位分析的效果，提高处理的有效性。又如，在系统存在漏洞时，可以关联处理内网的各个主机，综合检测安全隐患存在的具体位置。

3 基于大数据技术构建网络安全系统

基于大数据技术构建的网络安全系统，主要具备以下几个模块。第一，数据源模块。系统通过分布式采集器，对系统内的各个硬件设备和软件进行行为信息采集，将结果置于存储部分。随着科技的发展，网络安全防御系统的数据源越来越多，除了来自传统的防火墙、入侵检测等网络安全部分，还有对服务器、存储器等硬件基础的维护与检查，系统软件、数据库的分析检查等。第二，数据采集与存储模块。应用大数据技术，可以通过数据和元数据分立的方法，优化数据的存储与采集，构建分布式数据基础。分布式数据存储方式，能够自数据出现到删除，完成稳定的存储和访问功能。在数据量越来越大的今天，分布式数据存储在网络安全系统中发挥着不可替代的作用，能够有效提高系统的数据存储容量，提高数据库的稳定性。第三，数据分析模块。应用大数据技术，能够让系统同时在实时数据分析和历史数据分析中表现出优秀的性能。在大数据的分布式处理基础上构建的数据分析模块，能够提供稳定而高效的数据分析处理功能，从而让系统能够在有效时间内完成数据的多维度分析处理、联合分析处理等。第四，数据展示模块。这一模块是从用户体验出发，让用户能够通过这一模块，更好地使用网络安全系统，完成各项功能。当今时代，互联网数据量的急剧增加，为网络安全分析工作带来了巨大压力。在网络安全系统中应用大数据技术，能够在数据的采集、存储、分析处理等方面有效地提高系统性能。基于大数据技术构建的网络安全系统，能够在网络安全维护中发挥重要作用，值得深入研究和推广应用。

[1]程学旗,靳小龙,王元卓.大数据系统和分析技术综述[J].软件学报，2014.

[2]孙大为,张广艳,郑纬民.大数据流式计算：关键技术及系统实例[J].软件学报，2014.

[3]陈建昌.大数据环境下的网络安全分析[J].中国新通信，2013.