网络安全分析中大数据技术实践应用分析

◆文俊峰

（中国移动通信集团山西有限公司 山西 030000）

当前，社会上越来越多的行业已经认识到大数据技术能够为行业的发展带来一定的便利性，并将大数据技术广泛应用到企业内部工作上，提高企业的生产效率和发展速度。大数据技术在企业的深入应用，使各个企业的网络安全体系构建工作被提上日程。全面地认识大数据技术的作用及对网络安全进行防护是各个企业目前要考虑的重要问题。

1 在网络安全分析中应用大数据技术的作用

（1）数据传播速度加快

我国进入网络信息时代后，网络发展如火如荼，网络信息数据飞快式增长。在如此大量的数据规模下，如果采用传统的数据传播方式，则会大大影响工作质量和效率。运用新时期的大数据技术进行数据传播，在提高了数据传播速度的同时，还保障了所传播数据的有效性和准确性。

（2）提高网络安全分析系统的准确度

信息时代下，各种网络平台和信息媒介每时每刻都在进行大量的数据传播，网络用户的信息数据面临着随时会被泄露的风险，网络用户的个人信息日趋透明化，信息安全根本没有办法得到保障。在网络安全分析系统中引进大数据技术，在对数据进行分析时，可以以多种方式从不同的角度进行信息处理，提高网络安全系统数据处理的准确度[1]。

（3）延伸网络安全分析系统的深度

过往的网络安全分析系统在对大规模的流动信息数据进行分析时，一方面，无法保证所分析数据的准确性，成本较高，另一方面，由于技术比较落后，面对大规模的信息数据时难免会有些力不从心。大数据技术可以延伸网络安全系统的分析深度，以较低的成本和较高的效率在海量的数据中分析出有效的数据，并且能够更加全面深入地对数据进行价值挖掘。

2 大数据技术在网络安全分析中的应用

（1）对信息数据进行收集

大数据技术在网络安全分析中能够对信息数据进行离线收集，包括对信息数据进行提取、转换、加载的全过程。同时也可以对数据进行实时收集，充分发挥Flume、Kafka 和Storm 三方面的功能，对信息数据进行采集、缓冲，最后进行便利的数据在线处理。此外，还可以运用Crawler 等进行数据互联网收集。

（2）对信息数据进行存储

网络安全分析中应用大数据技术，可以对收集到的数据进行规模和类型划分，在此基础上选择不同的存储形式。针对原始数据信息，可以运用GBase、HBase 对数据进行存储，针对需要实时迅速进行分析的数据，可以运用Storm、Spark 计算方法，将信息数据以流式的形式存储[2]。

（3）对信息数据进行全面分析

在网络安全分析中应用大数据技术，不仅可以对信息数据进行深度挖掘和分析，还能够对出现的威胁网络安全的风险及漏洞进行检查和恢复，通过检测到僵尸网络中的源头数据、扩大对数据的搜索区域、查找主机中存在的侵入风险等功能，实现网络安全防护。

3 大数据技术在网络安全平台中的应用

（1）网络安全平台构建的必要性

过往模式下的人工管理效率低下、对数据的整理不够实时、对数据的挖掘不够全面，人工管理的一系列问题使人工管理的部分模式面临淘汰和更新。在解决人工管理带来的种种问题的要求上，需要提高管理的效率和实时性，通过建立网络安全分析平台来防范风险，保障网络设备的安全。网络安全平台构建后，可以对平台中安全防范软件的信息数据进行提取分析，了解网络安全现状，因此，网络安全平台的构建具有一定的重要性[3]。

（2）网络安全平台组成部分

网络安全平台的构建主要包括数据采集层、数据处理层、数据分析层、数据访问层、数据应用层等五个方面。

（3）网络安全平台的技术支撑

在数据采集方面，网络安全平台主要是利用ETL、Flume、Kafka 和Storm 方法进行离线和实时数据采集，使数据收集更加规模化、有效化和准确化。在数据存储方面，以64M 字节的数据块作为基本存储单元，使用HDFS 分布式文件系统对数据进行存储。在数据分析方面，使用HiveQL 语言搜索非结构化信息数据，并使用Hive 工具对搜索到的信息进行整合和分析。同时，根据不同的数据需求特点进行分析插件定制，进一步做好数据分析工作[4]。

4 有效促进大数据技术在网络安全分析中的应用措施

（1）改进数据采集技术

作为大数据技术在网络安全分析中的首要应用，数据采集是先导工作，只有在做好数据采集准确化、真实化的基础上，才能够进行下一步的数据分析工作。数据采集的单纯性已经不能满足于大数据技术未来的发展，因此，要改进数据采集技术。比如，在时代发展进程中总结出来的在日志采集系统中使用Flume 对安全数据进行采集的方法，和其他的数据采集方法进行比较，可以发现其速度更加快、容错能力强的优点；用Crawler4j 框架进行网络数据采集时，可以大大提升速度和效率。总而言之，数据采集技术的改进主要须落实在数据提取的速度、效率、准确、安全、错误数据的筛选等几个方面[5]。

（2）改进数据存储技术

网络信息平台及媒介中越来越多的海量信息数据，对数据存储技术来说是一个严峻的考验，大数据技术要考虑如何改进数据存储技术，具体可以从以下几个方面进行改进：首先，要对收集到的信息数据采取加密手段，防止系统中的风险因素造成信息数据的丢失，确保信息数据安全存储。接下来，可以创建一个相对来说较大的临时数据存储系统。最后利用云存储技术，对信息数据进行大量的安全的存储，规避了网络的风险因素。此外，要加快对网络存储手段的创新脚步，牢牢把握信息科技时代发展的方向和前沿，更好地进行数据存储等工作[6]。

（3）保障信息数据的完整性

网络中泛滥的危险信息和垃圾信息会对网络平台进行恶意攻击，进而造成信息数据丢失，自身的失误操作也是造成数据流失的一个主要原因。因此，对数据完整性的保障也是十分必要的。为了保障信息数据的完整性，可以从提升网络安全平台中的防火墙等级、运用先进的病毒入侵防范技术两方面入手。然后运用身份认证等技术对数据进行加密，为数据提供一个安全的保障环境。

5 结束语

总而言之，随着网络信息技术的发展进程不断加快，网络环境也愈发复杂，在网络安全分析中应用大数据技术，解决了数据收集、存储、处理方面的一些原有问题，使数据的收集更加方便快捷，数据的传输速度更快、效率更高，数据的存储更加安全完整，数据的分析工作也更加有深度有价值，在我国当前的网络安全体系的构建中占据着重要的地位。