网络安全分析中的大数据技术的有效利用

任勇+刘旸

摘要：随着当前社会网络的日益撅起，大数据时代已经成为当前主流的发展，我国许多医疗机构、金融机构等都利用了大数据对当前的影响，网络安全也是如此，由于人们对网络的依赖，导致网络安全问题成为了当前人们普遍关注的主要问题。该文针对大数据技术在网络安全中的重要性进行优先阐述，然后在将大数据技术运用到网络安全的各个还击，从网络安全运用的实际出发，对大数据技术进行简洁阐述，从而为当前网络安全做出贡献。

关键词：大数据；网络安全分析；供给检测

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2017）34-0016-02

网路安全不仅在生活上保证了人们的隐私不受侵犯，对于整个国家来说，更是保证了国家信息安全，然而网络安全分析的数据却随着网络架构的复杂化，相应的数据来源也会越来越多，数据的数量也会以指数的形式出现，并且按照曲线的方式增长，从而由原先的TB数量级慢慢发展成为PB的数量级，数据发展过程中，数据所表现的内容也会更加细致，数据维度范围也会慢慢扩张；当前网络设备为了能够跟上网络发展的脚步，对设备的性能也进行了增强，对数据的发送以及接受速度也进行了飞速提升，因此对于安全信息的采集要求也会进一步提升，因此网络上的安全漏洞问题也会慢慢的提升，对网络安全造成范围影响。不仅如此，一些不法分子更是利用网络安全中出现的漏洞，对网络实行有预谋、有组织的持续性供给也慢慢增多，这样就要求网监部门在维护当前网络安全信息是，要保证对安全信息的分析工作能够使用多种手段和种类。

在2013年，Cartner在对数据进行分析时得出了这样的结论，在未来的时间里，信息构架将发生翻天覆地的变化，发展趋势也会慢慢朝着大数据方向发展，因此大数据技术就成为了当前主要发展的技术之一。同时，大数据本着自身数据量大；运行速度快、种类齐全以及价值相对较低等特性，满足了当前网络安全需求。

1 大数据技术在网络安全中的具体运用

针对当前数据本身的日志以及数据在传递过程中所产生的流量来说，就成为了当前网络安全分析的主要分析目标，网络安全带来的资产、网络配置、网络漏洞、对网络进行访问工作、网络使用者的行为、网络运用上业务上的行为以及外部人员多网络的报告，都是作为与网络安全相关联的辅助信息。而将大数据技术引用到当前网络安全中的原理，就利用则相对分散的数据日志以及数据的流量进行结合，从而对他们进行基础处理，在运用当前高校的信息采集、信息储存、信息的检索和分析技术，对这些数据信息作出安全分析和处理，还能提升工作成效，节省数据分析所占用用的时间[1]。同时，再根据当前信息的关联性、阶段性组合，使用场景关联的方式对数据进行分析，从而发现网络安全问题之间的关联，从而预测出网络在运行中，安全漏洞的发生，保证网络数据中所储存的数据不会泄露，从而将网络安全防御系统从被动防御晋升为主动防御。

1.1 信息采集工作

对当前网络安全问题中，数据和相关信息的采集可以利用Chukwa等工具实施，同时在利用Chukwa等工作实施信息采集时，还要运用分布采集的数据收集方法，从而能做到对于数据日志中产生的信息，可以做到每秒数百兆的信息采集率，进而在根据传统的镜像采集方式，完成对数据流程的全部采集工作。

1.2 信息的储存

当前网络技术以及信息化发展，所产生的数据也是复杂多样，对于这些数据的应用方式来说，也是有着各式各样的方式，而大数据技术想要对这些数据和应用方式进行存储，就要满足这些信息数据和应用方式的各个要求，才能实现对这些数据和应用方式的整体存储工作，因此就要提升对这些数据信息以及应用方式的分析检索速度，从而对他们进行分类，然后在根据种类不同，选择不同的储存方式[2]。

对于检索工作来说，主要还是对数据中原始安全数据进行分析，例如数据日志产生的信息、数据传输过程中所产生的流量信息等。对于上述数据信息进行检索工作时，可以根据GBase以及HNase两种列式进行信息储存工作，这样的储存方式，本身就具有快速索引以及快速响应的特定，能够对数据实现快速检索工作，提升检索效率。

而对于实行过标准化处理的安全数据来说，则可以凭借Hahoop分布式，对数据信息的架构进行计算。具体做法则是将需要进行分析的数据信息，放置在计算的节点中，再根据Hive等技术，对其进行脚本的分析，从而将安全数据挖掘出来，才能完成对数据的统计报告工作以及网络安全分析警告，最后在将分析结果存放在相应的列式中储存起来[3]。

针对部分需要做出实時分析的安全数据而言，可以根据Strom、Spark等计算方法，将需要做出分析工作的数据放置于计算机节点中，这样一来，需要进行实时分析的数据流经这个节点时，系统就能够根据数据信息所产生的流量做到自动分析，最终形完成了对数据的统计工作以及网络安全报告。这一统计方式称为流式计算法。

1.3 信息的检索

在对安全数据进行查询以及检索的过程中，由于数据的多样性，可以根据MapReduce作为基础，形成数据检索的基本构架，然后在将数据中出现请求主语时，放在需要进行各个分析的节点上，做到对数据进行统一处理工作，最后在根据分布式中常见的数据并行计算法完成对数据的检索工作。

1.4 数据的分析工作

对于当前实施数据的分析，可以根据Strom或是Spaik等，采用流式计算法作为基础计算方法，与当前数据处理工作中复杂事件处理方法以及制定出的相关电联分析计算方法完成对数据的计算工作[4]。利用上述两种方式，对需要进行实时分析以及实时监控的数据，有着良好的分析和检测能力，可以在数据传输过程中，第一时间捕捉到数据所产生的异常行为，保证数据安全。而对于不是实时数据的分析工作来说，可以使用Hadoop的运算结构，在联合上对数据的聚合、挖掘以及抽取技术实施，保证力线统计风险，从而对事态进行分析，从而寻找出当前网络安全漏洞出现的根本原因。

1.5 多元数据与多阶段组合的关联分析工作

对于大数据技术而言，能够对数据的储存以及分析速率做到有效的提升，并且在短时间内进行外挖掘工作，从而分析出数据在传输过程中所产生的多元异构数据，从而根绝这项带有多元异构的数据，可以从整体数据中进行大规模的排查以及挖掘工作，从而找出与之存在关联的其他异构数据，保证网络的整体安全[5]。例如，在对将是网络进行分析过程中，需要就不仅仅是结合流量就能对DNS进行访问，这是就需要根据这项数据的源头，对数据检索工作作出进一步的扩充和分析，从而保证将对网络数据的全部分组进行集合，然后对数据的源头以及莫管数据做到主动的攻击，最后再对这项数据进行深度的分析，从而了解到外界情报信息。又例如，当发现数据运行的过程中，出现主机被攻击或者网络出现漏洞的时候，可以则可以通过主机的关联系统，保证其他主机没有受到这样的攻击或者出现这样的漏洞，这样一来就能对网络安全进行预防工作，保证安全隐患能够及时被发现，做到防范与未然。

2 基于大叔级技术的网络安全平台建设

2.1 基于大数据网络安全平台构架

这样平台建设，按照从上到下的顺序，可以分为数据信息分析层、大数据技术信息储存、数据的挖掘以及分析层和数据呈现层。而在这些层面中，能够对网络用户的身份信息、利用网络作出的事件和存在威胁的情报等，得到数据多元异构信息。从而保证了当前大数据储存层能够对分布式文件系统进行应用，从而保证系统储存的海量信息能够实现长期全量的储存，并且还能够将这些信息做出结构化以及半结构化的数据储存工作。对于数据呈现层来说，则能够将大量的数据进行定位和搜索工作，并且对于这些工作来说，都能做到可视性，最后在根据数据的多种维度，展现的出网络的整体安全状态。

2.2 数据分析技术

这项平台在运行的过程中，主要是采用了Hive形式，完成了对数据的统计和分析工作，这样一来，还可以采用与SQL相似的HiveQL语言来满足HDFS和HBase共组中，对于非结构化的数据做出相对快速的检索工作。同时这项平台应该事先利用Hive技术对于API做好完善的封装处理，在使用特殊的插件事先对各种数据的处理分析以及统计工作。

针对当前数据的整体挖掘分析来说，对数据平台运用Mahout技术可以完成基于Hadoop技术形成的机械式学习，并完成相应的数据挖掘与整理措施。并且还要针对数据分析中使用的事件流，做出特殊的分析工作，主要分析的内容是事件流的关联数据[6]。同时，这项系统还是用了CPE技术，将系统中的数据当成了不同类型的事件进行分析，并且针对这些事件中出现的各种问题建立起各种关系库，从而对数据完成了将简单时间朝着更高级别事件进行转化工作，并且还能在大量的信息中，找到威胁网络安全的隐患。

3 结束语

在当前的大数据环境下，对于网络安全问题可以说是提出了更高的要求，并且网络安全中的各种应用为了保证网络安全工作，也体现除了精准、迅速和价格低廉的特性。因此在当前阶段，网路的安全问题以及如何有效地利用大数据技术提升网络质量已经成为了当前社会主要讨论的网络话题。针对这些工作，将大数据技术的主要应用引到了网络安全的领域，从而实现网络对数据的收集工作、储存设施以及检索功能都能做到有效应用，进一步的提升網络安全并提升网络防御的准确性和效率。

参考文献：

[1] 鲁宛生.浅谈网络安全分析中大数据技术的应用[J].数码世界，2017，（8）：165-165.

[2] 孙玉.浅谈网络安全分析中的大数据技术应用[J].网络安全技术与应用，2017，（4）：102-102.

[3] 崔玉礼，黄丽君.网络安全分析中的大数据技术应用[J].信息安全与技术，2016，（6）：75-77.

[4] 邓晓东，何庆，许敬伟，等.大数据网络安全态势感知中数据融合技术研究[J].网络安全技术与应用，2017，（8）：79-80.

[5] 潘峰，李涛.大数据环境下网络安全态势感知研究进展[J].保密科学技术，2016，（4）：27-33.

[6] 国威，毕远.大数据环境下的网络安全技术探究[J].网络安全技术与应用，2017，（7）：70-71.