大数据技术在网络安全管理中的应用分析

欧静敏

摘要：网络信息安全是互联网和大数据时代下，人们最为关注的问题。现代网络安全信息在不断增长，安全管理工作成为当前的首要课题。大数据技术在现代网络安全管理中的应用成为必然趋势。文章主要分析网络安全的现实需求，针对大数据技术在网络安全管理中存在的问题进行探讨，详细阐述了在现代网络安全管理系统中引进大数据集，构建现代数据安全管理系统，从数据安全、存储、检索等层面对其应用，通过实践探索，证实了其应用的优势和特点。

关键词：大数据技术；网络安全管理；安全管理系统

网络安全不仅涉及国家公民信息及隐私安全，同时还涉及国家安全，加强网络安全管理的意义重大。近年来，全球网络安全事故频发，如，美国“棱镜门”事件，更加将网络安全管理关注度直接推至顶峰。我国对网络信息安全管理也越来越重视，同时，我国网络安全管理也面临着严峻的挑战，当前形势十分严峻。尤其是在当前复杂的国际交际环境下，安全攻击事件时有发生，严重威胁了我国信息网络的数据安全。随着研究不断深入，安全管理方面大数据技术的出现，极大地满足了现实需求。通过构建有效的大数据网络安全管理系统，能有效防御现代的分布式拒绝服务网络，能防范移动恶意程序等的攻击。下面对其应用进行研究。

1 大数据技术在网络安全管理中应用的重要性和优势

1.1 容量大

传统的网络安全下，数据存储的容量小；而现代大数据技术下，支持海量异构数据，对数据的储存容量大。并且能保证海量数据信息的安全，能对原始数据安全信息进行分析，获取更多的数据。

1.2 成本低

传统技术构架下，采用结构化数据库进行数据存储，数据存储的成本高。而现代大数据网络下，数据库相对传统的数据库价格大大降低，在低廉硬件水平扩展，全面降低了安全的投入。

1.3 精准度高

将原始数据进行标准化处理后在储存，这个过程中还会导致信息丢失；大数据技术支持下，数据挖掘能力更强，异构及海量数据存储的支持奠定了多维多阶段关联分析，基于长时间的数据集数据间的直接关联进行联系，数据分析的广度和深度更广>

1.4 速度快

传统的网络系统中，对历史数据的查找和检索难度大，不易保存和追踪溯源；对于不完整的，包含嘈杂的大型、非结构化数据集上执行分析和复杂查询效率低下，时效性和准确性都比较低，难以保障数据来源于不同系统的异构数据的融合。传统的安全技术很难满足实际的需求，需要不断进行网络安全技术更新。大数据网络下安全技术管理下，能极大提升数据管理的精准度，提升数据检索的速度，整体的数据管理成本也显著下降。下面针对大数据下网络安全管理具体应用及其构建进行探讨。

2 大数据技术网络安全管理应用

网络安全分析当中，日志和流量是重要的数据对象，其中包括很多管理辅助信息，如资产、漏洞、应用行为等，对大数据技术的运用效率和质量更高。尤其是对于一些比较分散的日志和数据，可以实现集中处理，提高数据采集的有效性，從而保证网络安全，提升网络安全管理的质量[1]。同时，还极大缩减了数据采集和分析的实践，在数据分析方面，运用最新型的关联方式，能预测安全漏洞、高持续性攻击和数据泄露等安全问题，其安全管理主要体现在以下几个方面。

2.1 信息采集

在信息数据采集中，大数据技术主要以Chukwa等最为常见，采集手段比较先进，能快速采集日志信息，速度可以达到100 M/s，丰富了数据采集的手段，提升了数据采集的速度，对全数量的数据能进行有效采集。

2.2 信息存储

现阶段，数据信息的种类越来越多样化，应用方式也越来越丰富和多变化，要想实现不同数据形式的采集和存储，就必须提升数据储存功能，才能满足实际需求。同时，还需要对数据检索及分析技术进行提升，实现数据存储、采集和应用等协调优化。不断丰富数据储存的方式，灵活运用丰富的数据储存手段，对多种类型的数据进行存储，不断丰富系统的数据，更好地为工作的顺利进行提供重要的数据信息。在信息存储方面，有些日志信息可以直接检索，甚至还能检索到历史浏览数据，能跟踪进行追溯，可以利用Gbase，HbaSe等列式的方式进行数据存储，能够对其中存储的数据进行有效的分析。针对数据安全能实现标准化的管理和优化，在短时间能快速检索到信息，并实现内部响应，全面提升数据安全管理的效率。在索引中，能短时间内快速检索，以Hahoop分布式存储方式为依据，在计算节点上，设置数据信息，利用Hive脚本技术对数据进行有效分析[2]，不断进行数据挖掘。同时，还能通过统计报告和分析报警功能，存储列式结果数据，将数据有序的置于各个计算节点，当节点上有数据流经过时，系统自动获取数据，并进行数据分析，并完成数据统计与数据安全分析，然后再把分析结果放到流式存储中，以便于随时使用，便于工作的开展。

2.3 信息检索

安全数据的查询和检索，是以Reduce为基础的，构建信息检索的构件，数据查询请求主语各个分析节点进行处理，利用分布式的并行计算方法，实现数据的快速、安全检索。

2.4 数据处理

在数据处理中，以流式计算构件为基础，联合复杂事件处理技术，按照定制的电联分析计算手段，综合实现对数据的存储、监控和应用[3]，并进行数据安全防护，加强数据使用的安全管理，实现数据处理的集成化发展。并且还能统计离线状态的风险系数，对事态现状进行分析，找到攻击系统的主要源头，加强管控。

2.5 多源数据与多阶段组合关联分析

大数据技术能实现数据存储和使用的效率、质量的提升目标，能缩短数据挖掘分析及多源异构数据耗时，规避大规模系统的安全风险和隐患，实现数据关联，并且在不同的关联阶段能有效抵御不同的攻击行为[4]。例如，分析僵尸网络数据时，可以进行数据源扩充和分析，全分组数据集合，对溯源数据和莫管数据等进行有效的安全管控，并全面提升数据挖掘的深度和广度。当系统发现一个安全漏洞时，立即对其他关联系统进行安全防护，发现漏洞做好保护措施。

3 大数据下网络安全管理系统构建

3.1 安全平台构建

基于大数据的网络安全管理系统，主要由数据采集层、大数据存储层、数据挖掘分析层及数据呈现层构成，其中数据采集主要是获取用户身份、事件和威胁情报等多源异构信息，并且对海量的数据信息进行长期、全量的储存，实现结构化和半结构化的数据存储体系，利用均衡算法实现数据的上传、提取剂利用。安全平台中，数据挖掘层主要是对实时数据进行关联，分析情境，提取特征，从而实现安全数据挖掘，并且能迅速发现异常网络行为，追溯根源，彻底提升了数据挖掘的深度。在信息数据查询时，能及时进行定位，快速实现检索，提高数据检索的精准度和速度。最后经过数据呈现层，将大数据分析结构利用可视化技术[5]，直接呈现出来，通过多种维度展现网络安全状态，能实时了解网络安全管理现状，并实现实时动态监测，全面提升了网络安全管理技术水平。

3.2 大数据技术

大数据技术在网络安全管理中的應用主要包括数据存储技术和数据分析技术，这是核心部分和关键技术。大数据下的网络安全管理中的数据存储技术主要是使用分布式文件系统（Hadoop Distributed File System，HDFS）技术，给予HDFS分布式文件系统[6]，能实现海量数据储存，具有高容错性的特征，命名空间中使用的数据为元数据，通过管理节点文件系统，能存储数据文件。以64兆字节为基础的储存单位，从而对节点上的数量和数据文件的大小成等比的进行批量存储。同一时间能保证访问数量，且保证系统的运行，不会出现系统瘫痪等现象，全面实现了数据处理和分析的效率。

4 结语

综上所述，大数据技术在网络安全管理中的应用具有重要的意义，能全面提高数据挖掘的广度和深度，并且能保证数据管理之间的相互独立性和安全性，确保了整个系统运行的数据安全，也全面提升了系统运行的效率和质量。基于大数据技术的网络安全管理系统的构建，具有重要的现实意义，是一个值得研究的课题。

[参考文献]

[1]龚德旭.大数据背景下信息通信网络安全管理策略研究[J].数字通信世界，2018（1）：179-180.

[2]李金夏，赵紫峰，贾晓菁，等.运营商大数据信息安全管理方法研究[J].信息通信技术，2017（3）：30-33.

[3]姜大从.大数据下的学校信息安全管理体系探讨[J].无线互联科技，2017（21）：118-119.

[4]张贵军.大数据时代网络安全管理现状及主动防御系统[J].电子技术与软件工程，2017（11）：203-203.

[5]孙小满，刘春.基于大数据的分布式网络安全管理平台设计与研究[J].信息与电脑（理论版），2017（19）：149-150.

[6]唐鑫，吴晓松，黄伟，等.新一代互联网安全管理体系研究框架（阳光互联网倡议）[J].大数据，2018（1）：218-219.