浅谈网络安全分析中大数据技术的应用

鲁宛生 南阳理工学院

浅谈网络安全分析中大数据技术的应用

鲁宛生 南阳理工学院

互联网事业的迅速发展致使传统的数据分析系统在诸多方面满足不了人们的需求，大数据的应用正逐渐发挥其巨大的作用。本文对大数据技术在网络安全分析系统中应用的意义进行分析后，针对大数据技术在网络安全中的应用进行了简单的研究。

网络安全 大数据技术 应用

随着网络功能的不断发展，人们对网络的利用率也越来越高，网络的数据量也在突飞猛进的发展。人们在享受着网络给我们带来的便捷的同时也在担心着网络安全问题。随着企业信息、个人隐私等频繁遭到攻击，传统网络安全防护手段已不能满足人们的需求。而大数据技术比较而言更能起到安全防护作用。

1 网络安全分析中大数据技术应用的意义

迅速发展的互联网在给人们提供更多服务的同时也给网络安全分析工作带来了负担。主要表现在以下两个方面。其一，网络安全需要处理的数据量增大，而且数据种类也增多，这就需要进行多维分析才能产生效果。其二，随着数据量的增加及传输速度的提高，要完成对数据有效的分析就必须提高对信息的采集和处理的速度。这样就增加了网络安全分析的难度。传统网络安全分析系统是应用结构化数据库将数据储存，这种存储方式成本很高。为了降低成本，先将数据进行一定的处理，降低数据大小来提高数据存储容量。但是这种方法会导致一部分数据在处理过程中丢失，并且长时间存储信息也会造成数据的丢失。而且传统的网络安全分析系统在对复杂的数据处理方面不能够发挥很好的作用。它的分析速度和访问效率都满足不了需求。

相比较而言，大数据技术在对当今的网络安全分析系统中应用就能取得明显的效果。首先，大数据技术能够大大的提高网络安全分析系统相关数据的存储量。对于复杂的非结构化的数据大数据技术也能够在保证效率的前提下有效的进行分析。这就能够保证数据的完整性。其次，大数据技术是可以有效降低网络安全分析的成本的。它采用的是分布式数据库，相比传统的机构化数据库，不仅经济成本低，而且对硬件要求低。在低要求的硬件设备上能够平稳运行，降低了网络安全分析系统的成本。再次，大数据技术最明显的特点是能够提高网络安全分析系统的工作效率。大数据技术能够完成对非结构数据的存储和处理，而这种异构数据的存储和访问是非常迅速的，使得系统数据信息分析处理速度提高。最后，大数据技术应用到网络安全分析系统当中提高了它的数据处理的精度。大数据技术能够从多层次，多维度对数据进行分析处理，这样就提高了网络安全系统的数据处理精度。

2 大数据技术在网络安全分析中的应用

目前，日志和流量是网络安全分析的主要数据对象。除此之外还有资产、配置、漏洞、访问、应用行为、用户行为、外部报告、业务行为等其他少量的辅助信息。将大数据技术应用于网络安全分析系统中能够有效的优化对各类数据的分析。通过对分散的日志数据进行统筹处理降低了数据采集处理的时间，保证了网络安全分析系统的工作效率。同时大数据技术的应用还能够通过对关联数据的分析，发现其中存在的问题，提高网络安全分析的有效性。数据技术在网络安全分析中的应用主要体现在数据的采集、存储、检索、分析、几个方面：

2.1 数据的采集

大数据技术可以通过Chukwa、Flume、Scribe等工具来完成对数据的采集工作。这种数据采集方式可以达到每秒数百兆的速度对日志信息进行采集。在对日志数据信息处理方面能够发挥巨大作用。

2.2 数据的存储

网络安全分析系统首先要对数据进行存储。大数据技术能够做到针对不同的数据进行不同的存储方式，这样就可以提高数据的存储、查询速度。例如，对在查询中起主要作用的日志信息等数据进行存储时，采用列式存储方式，这种存储方式能够有效提高数据查询速度。经过标准化处理的数据主要是用于分析和处理的，可以先使用分布式计算模式对其进行分析处理完后产生的结果存放在列式存储部分。即时的数据一般使用流式计算后，将结果存储在列式存储里。

2.3 数据的检索

安全的数据查询与检索可以以MapReduce为基础在系统中构建查询模块。数据查询时将查询的数据分析成各个节点进行处理，利用分布式并行计算方法提升安全数据的检索速度。

2.4 数据的分析

实时数据的分析可以以Storm或者Spark等流式计算架构为基础，能够对实时数据进行即时分析处理，短时间内快速发现问题。对于对分析处理时间没有过高要求的数据进行处理可以通过分布式存储和计算，也可并行采用几种数据处理技术，能够达到深入处理有效分析风险的目的。

2.5 对复杂数据的分析处理

大数据技术能够提升数据的存储和分析速度，对复杂数据的分析处理上能够快速有效对多源数据、关联性攻击行为、系统安全隐患进行分析处理。例如，僵尸网络是典型的网络安全问题，若要对其进行分析不仅可以结合流量和DNS的访问特征，还可以从发散的关联的数据源进行分析。同时整合多维度数据信息，达到全面的分析效果。以此提高数据处理的有效性。

如今的社会可以说是一半生活在虚拟网络里的时代，人们的吃、穿、住、用、行无时无刻不与网络相关联着。人们在广泛应用网络的同时应当时刻警觉着网络的安全。对于计算机网络安全的防范技术要跟紧社会发展的步伐，做到更好的服务社会。

[1]孙玉.浅谈网络安全分析中的大数据技术应用[J].网络安全技术与用,2017,04:102+106

[2]王帅,汪来富.网络安全分析中的大数据技术应用[J].电信科学,2015,07:145-150