大数据技术在网络安全分析中的应用

张晓靖 胡珉 王子玮

（上海市信息网络有限公司 上海市 200081）

随着网络应用范围逐步增大，网络安全问题也日益严重。此时应该注意，网络安全如果无法保证，会严重威胁人们的信息安全性，且给国家保密信息产生不利的影响，尤其是当前大数据技术的应用，网络数据以几何倍数的形式增长，数据量激增，使得网络安全管理根本无法有效的应用，极大的威胁传统网络运行安全，造成非常严重的影响。网络安全分析实践中，把大数据融入到系统内，可以让现代社会网络运行更加的安全。因此，应该综合分析大数据在网络安全分析中的作用，并且能够合理的应用，以确保网络运行安全性。

1 网络安全分析实践中利用大数据技术所产生的价值

现代社会互联网发展速度非常快，流量数据增幅比较大，这样能够保证互联网的应用效果满足要求，但是也会给网络安全分析带来巨大的压力，具体是如下两点：其一，网络安全分析中所需要处理的数据量增大，数据种类也比较多，能够从多维度方面来展开数据分析和处理；其二，数据量非常大，同时也会对于传输速度有着较高的要求，要想进行数据的分析和处理，就要提高数据分析和处理的速度，并且加强信息安全分析，这样会导致网络安全分析难度增加。传统网络分析是利用结构数据库实施数据存储和使用，但是这一方式的成本无法控制。通常来说，要想实现系统运行成本的降低，首先是进行数据处理，能够减少数据量，进而可以降低成本，可以促进数据存储量的提升，但是会导致数据处理中出现数据信息丢失的情况，如果存储时间过长，会存在数据流失出去，无法达到完整性的标准，也无法对于复杂性的数据来实施处理，应用效果比较差，不管是分析速度还是查询效率都比较低，这些问题在大数据时代中尤为明显，要采取必要的措施解决和处理，以提升系统运行效果。

大数据技术应用到网络安全分析中，能够有效的提升总体的使用效果。首先，大数据技术的应用可以促进网络容量的提高。应用大数据技术，可以快速的进行海量、复杂性较高的数据来实现处理，可以提升效率和效果，能够在保存海量数据以达到完整性的标准。第二，大大数据技术合理使用可以促进网络分析成本的下降。利用该技术能够根据需要形成完善的分布式数据库信息，要比结构数据的成本低很多，且硬件的要求也比较低，能够确保系统的稳定运行，所以成本是很低的。第三，大数据技术帮助网络分析速度的提升。大数据技术的使用之下，保证异构数据分析可以有序的进行，且工作速度非常快，让信息处理快速的完成。第四，大数据技术让数据分析和使用更加精准，不会出现严重数据错误的情况。大数据技术的应用能够实现多层级、多维度的数据分析和处理，进而可以能够提升数据的处理精度。

2 网络安全分析过程大数据使用效果分析

网络分析操作实践中，主要是通过进行日志、流量等信息的处理，数据量是非常大的，包含的内容种类也比较多。从实践中分析，大数据技术开展网络安全分析，可以促进数据分析处理，可以更好的把分散性的数据信息实现综合应用分析，提高处理的效果和质量，让网络安全分析效果得以提升。还能够进行安全信息的关联性分析，可以达到多维度处理效果，及时发现所存在的问题，可以保证安全分析效果。在具体的操作中，主要是根据如下几个方面来开展工作。

2.1 数据采集

结合不同使用场景，选择最佳大数据技术，能够通过Flume、Scribe 等工具，能够进行分布式采集处理，提高采集处理效率，一般处理速度可以达到每秒数百兆数据的采集，也就能够在短时间内进行日志数据的处理。

2.2 数据存储

网络安全分析时，能够开展数据存储和应用，并且完成不同信息和数据类型的分别设置，也就是选择不同的存储方式，以提升数据查询、存储的效率。在进行日志信息数据查询中，通过列式存储的方式可以产生非常好的效果，提升查询工作水平，而在进行标准化数据的处理，要通过分布式计算方法，数据处理后可以得到相应的结果，以列式存储的方式存在；即时数据信息通过流式计算有着很好的效果，分析处理后能够准确的记录，依然是列式存储的方式。

2.3 数据查询

大数据技术使用实践中，主要是通过MapReduce 来实施基础架构的建设，如果需要查询系统内某个数据信息，通过发布指令的方式以进行节点处理，保证查询顺利开展和进行。这种查询处理方式，可以加速系统反应，数据处理也更快。

2.4 数据分析

数据分析是网络安全分析的重要工作，一般是进行下面两种情况的工作：其一，实时数据分析。能够做好流式计算和分析，主要是通过CEP技术来实现处理与应用，能够快速的了解数据异常情况；其二，做好结果数据分析和存储。这一部分工作的时效性要求较低，多数都会利用分布式存储的方式来进行，可以进行多种类型数据的处理，并且能够达到离线处理的效果，有效的消除风险分析方法，切实提升数据的安全性。

2.5 复杂数据分析处理

大数据技术应用实践中，可以按照操作者的需要来完成大量数据的存储、分析与查询工作，可以进行复杂数据的有效处理，尤其是针对多源异构、系统安全性、关联性攻击分析处理。比如，僵尸网络是比较普遍存在的安全问题，该问题之下，能够利用大数据充分的掌握系统特点，然后就是按照系统运行标准实现发散性的关联分析，同时要了解到数据所具备的各个方面功能，实现全面化的分析，保证数据应用有序开展。再比如，一旦发现了系统中有任何的缺陷或者问题，都能够做好各个关联性主机的处理，进而能够及时发现各个主机系统，能够掌握安全问题所处的位置，以便于做出必要的反应和处理。

3 大数据网络安全分析平台构建

3.1 大数据的网络安全平台架构

该平台中包含多个组成结构部分，主要如下所示：数据采集的作用就是能够了解全部信息，主要是存在的隐患信息等；存储层则是进行系统内各项数据的存储，不同类型的数据都可以存储到系统内，并且根据规定的算法来实现数据的处理和应用，可以提升数据检索效率；数据挖掘分析层能够做好实时数据的分析关联、分析情境、提取特征等，可以充分的掌握了解安全事件信息，如果存在异常情况要追根溯源，能够更好的查询相关答复数据信息，并且做好定位，以便于后续有效的处理；数据呈现层能的作用就是完成系统可视化分析，可以通过系统实现网络安全管控，不会有任何安全风险威胁系统的安全。

3.2 平台实现的技术支持

3.2.1 数据采集技术

本平台采取Flume、Kafka、Storm 结合的方式来完成数据的采集工作。使用Flume 完成海量数据信息采集、整合与传输，主要的优势就是可靠性强、分布式形式等，利用定制数据信息，把发送方的各项数据信息都能够充分的掌握，将数据进行必要的加工和处理之后就能够传输给定制方。对于活跃流失数据来完成数据处理，是可将Kafka 作为数据采集和流式数据进行缓存处理。Kafka 中是开展逻辑性的分析服务，能够确定生产者、消费、代理的相关逻辑信息，然后形成高吞吐量的分布式订阅系统。

3.2.2 数据存储技术

使用HDFS 可以根据需要做好数据的采集和处理，并且能够达到比较高的实际应用价值，根据需要来确定元数据节点系统，然后把这些数据信息都能够存储到系统内部，以便于在使用时可以随时的查询和使用。元数据节点和数据文件以对比的形式存在，如果时间是相同的情况，访问数据量是非常多的情况下，系统的多项功能都无法实现，会给网络运行的安全性造成极为严重的负面影响。因此，为了能够提升数据的分析质量和效率，该平台中应用的存储单元是HDFS 数据块存储，所有数据实现整合与处理之后，能够确保各个文件都能够达到64 兆字节的大小。

3.2.3 数据分析技术

该平台的作用是完成系统内部各项数据的分析和处理，以使用者需要的形式来体现出来，能够给应用者提供便利条件，从而可以保证数据使用更加高效的进行。

数据挖掘分析多数的情况下都是以Mahout 系统，基于Hadoop的机械学习，内蒙古更好的做好分析工作。如果在系统中要进行事件流关联使用，此时会通过CPE 的方式来实现，把各项数据根据应用的需要快速制作完成，能够掌握关联方面的信息，就能够组建成为序列库的形式，保证全部的数据都能够实现必要的转化，也就能够从大量的数据信息中掌握必要的隐患信息，也能够针对实际情况做出安全分析和处理。

4 大数据技术在网络安全分析中的应用

日志和流量为当前的网络安全分析中的数据对象，其包含的内容是比较多的，比如报告信息、用户行为、业务行为、访问、资源等等方面。大数据技术在应用到网络安全分析中，就能够实现多项数据的综合应用，并且做好必要的检索和处理工作，可以提升网络分析效果，提高分析效率。在应用信息关联、阶段组合、场景关联等分析方式，能够及时的掌握事件之间所存在的关联，能够了解到安全漏洞、数据被攻击、数据泄露等方面的风险，主动防御这些风险问题，确保数据系统的安全性。

4.1 信息的采集

数据采集可以使用Chukwa 等工具，把全部的信息都融入到系统内，其处理的速度都能够达到百兆级别，为后续的存储、查询和分析工作提供良好基础条件。

4.2 信息的存储

对于复杂性较高的数据类型以及多样化的应用形式，要想实现分析标准和存储需要，能够提升检索和分析的效率，可以选择多种存储方式来完成数据存储。

检索之下所形成的数据信息，主要是通过GBase、Hbase 等列式存储的方式提升索引效果，实现数据响应速度的提升。

对于标准化的安全性数据信息，然后是根据Hahoop 来建设系统结构构架，并且保证所有的数据都能够通过进行计算节点使用，使用Hive 等完成脚本信息，能够了解各项数据信息的应用情况，从而可以做好报告的分析和处理，然后再把结构都存放到列式存储中。

根据需要进行数据的实时分析，可采取Storm、Spark 等流式计算方法，然后将需要的数据分别放置在各个计算节点中，可以达到数据流在节点系统内完成自动分析，能够形成安全净高，然后就能够存储到流失存储中。

4.3 信息的检索

信息检索的目的就是发现所存在的隐患信息，是通过系统架构来实现的，能够做好各项查询信息的节点处理和应用，以分布式计算方式为主，能够保证检索工作水平和效率达标。

4.4 数据的分析

实时数据分析最为主要的特点就是实时性，能够快速的掌握必要的数据信息，以便于为数据分析提供良好基础条件。这一方式能够进行实时数据分析、内存与监控和关联安全信息等，能够充分的了解系统所存在的异常情况。非实时数据分析通过使用Hadoop 架构来进行，能够进行数据挖掘和处理，统计风险问题，及时发现攻击源的信息。

4.5 多源数据与多阶段的综合性分析

大数据技术在应用之后可以促进存储、分析的效率提升，快速的完成多源异构数据的挖掘处理，能够及时发现数据所存在的安全隐患、不同环节中的攻击特性等。比如，对于僵尸网络的分析，不仅能够根据流量和DNS 特征来了解具体情况，还能够实现数据源的分析或扩充，把数据信息实现全面的掌握和分析。再比如，某个主机因为攻击而存在漏洞，则要分析其他关联主机是否存在漏洞问题，要做好及时防范。

5 结束语

综上所述，大数据技术应用到网络安全分析中，可以通过该先进科学技术来提升网络安全性水平，所以被大量的应用到人们的生活中。因此，在网络安全推广和实施中，互联网数据的增加量比较大，会导致网络分析存在一定的问题和不足。在现代社会，通过大数据技术的合理应用，促进网络安全分析有序进行，建设完善的安全管理系统，提高安全防护效果，促进网络技术的完善与发展。