网络安全分析中大数据技术应用分析

李宗辰

(长春金融高等专科学校现代教育中心，吉林 长春 130012)

随着各行各业相继推出“互联网+”的发展模式，使得互联网在各领域内应用越来越广。 在互联网飞速发展的同时，也给网络安全分析工作带来了更大的困扰与压力。首先是网络安全分析工作所面临的处理数据的工作强度呈指数型上升，并且数据的规模是海量的，类型也是多种多样的， 所以需要通过多个维度的分析才能够得到有效结果。 同时面对着海量的、多种结构的数据在分析处理上的空间复杂度与时间复杂度也越来越大， 处理时间越来越长，存储成本越来越高，传输质量越来越低，甚至丢失数据。 为了解决上述诸多麻烦，将大数据分析技术融入网络安全分析。 在引入大数据分析技术后，对计算机硬件要求不高，还能够减低存储成本，提高存储空间，提升传输质量并且减少丢包现象的发生， 同时也能够处理半结构化数据以及非结构化数据，提高数据分析的精确度。

1 大数据分析技术应用研究

1.1 数据采集

流量与日志是研究者用做网络安全分析的最为重要的研究数据。 如果能够在网络安全分析中完美嵌套上数据挖掘算法以及大数据分析技术， 将可以不断的完善各项数据收集任务的工作质量与效率。 与传统的数据收集工作来比较的话， 引入大数据分析技术的数据采集工作将能够更好的保证数据的完整度和收集效率。

1.2 数据检索

与原始的数据检索方式相比较， 引用大数据分析技术能够完善目前的数据检索的方式， 并能大大降低原始检索方式的时间复杂度。 引用大数据分析技术能够实现并行化方式来进行数据检索， 将所需要的检索需求任务可以同时发布给大量的分节点， 这些分节点能够同一时间接收到任务并同时触发任务， 然后这些分节点能够各种数据挖掘算法计算来判断出是否存在契合任务所需要的相关数据。 如果分节点判断出自己是具有满足任务的数据时，即可将数据反馈给上层节点，从而实现数据检索的相关任务。 与传统方式相比，运用大数据分析技术能大大降低该任务的时间复杂度与空间复杂度，降低了工作者的工作难度，极大地提高了检索工作的质量与效率，减缓了工作者的工作压力[1]。

1.3 数据储存

随着互联网技术的不断提升，尤其是移动互联设备的普及，使得每天都会产生海量数据。 而这些数据中有传统的结构化数据， 也有非结构化数据乃至半结构化数据，如何储存这海量的数据是网络安全分析的工作者们需要解决的头等问题。 大数据分析技术的引用当即能够解决工作者们的燃眉之急。 上文讲到，引用大数据分析技术能够加快数据检索工作的效率和质量，意味着在同等的工作时间内，引用大数据分析技术能够更快更多的检索数据并且各个分节点也能够迅速给出反馈信息，加快比对并将海量数据分门别类的存储起来。 也就是说利用大数据分析技术能够使得对海量数据处理的方式更加规范，处理规则更加统一，所得到的结果更加精确，最后把得到的各类新的数据分开存储到各个位置，等待数据挖掘与分析工作的进行。 大数据分析技术的主要数据存储技术为是HDFS：Hadoop Distributed File System。 HDFS 是一个基于分布式文件系统。 它有一定高度的容错性和高吞吐量的数据访问，非常适合大规模数据集上的应用。 HDFS 提供了一个高容错性和高吞吐量的海量数据存储解决方案。

1.4 数据处理

利用大数据分析技术来进行网络安全分析，实践上就是想要通过实现不同种类的数据挖掘算法和分析技术来完成网络安全的分析。 与传统的流水式数据处理技术相比，大数据分析技术对于海量数据分析处理的优势则是分布式处理技术。 大量的分节点以不规则分布方式存在，待任务触发时，能够并发处理各项数据，从数据预处理，到算法核计算、分析以及最终的分析结果等步骤无不体现了运用大数据分析技术的优势。 不仅降低了任务的时间复杂度与空间复杂度，而且最终所得到的处理结果的准确率与完整性更高，消耗的时间更低，整体处理效率更高[2]。

2 构建大数据分析应用安全策略

大数据分析技术的出现给人们的生产生活带来天翻地覆的变化，在大数据技术的带动下，各个行业领域都做出了重大的改变与发展。 如何将大数据分析技术应用到网络安全分析工作中， 并且能够使二者完美的契合起来将是一个长远而又宏大的工程， 需要政府部门与高校研究人员以及相关技术企业等多方人员的全力配合， 才能够将大数据分析技术完美的融入网络安全分析工作中。

2.1 加强数据保护与安全建设

首先，要在思想上加强对数据安全保护的重视，网络安全所需要面临的问题并不是仅仅只有个人， 还有企事业单位以及各级政府，国家的信息数据安全最为重要。 综上所述，必须对网络数据安全建设提高重视，强化意识，需要大力鼓励与扶持相关技术研究企业的发展， 打下夯实的网络环境基础， 提高对各项数据的保护能力与监察能力，时刻保证单位的网络数据安全。 无论是作为个人还是单位员工都要提高网络安全意识， 保证自身的网络数据安全[3]。

2.2 提升大数据网络安全感知能力

如今， 几乎没有任何一个行业与领域能够离开互联网与计算机， 并且为了保障自身利益不受到损害先后都构建了各式各样的网络安全防护系统，但是当面临病毒、黑客入侵，不良信息发布时，绝大多数的网络安全防护系统大多不堪一击，几乎完全没有抵抗能力，一旦面临有比较大的危险时无法保护个人的数据信息， 导致个人或者企事业单位遭受巨大损失。 想要加强网络安全防护能力的建设，就必须要提升网络安全感知能力。 在当今互联网大数据时代背景下， 网络安全感知能力是一种能够提高处理效率， 同时准确率也能相对提高的一种网络安全技术，能够实现脆弱性感知、异常行为检测感知以及资产感知等操作， 还能够对用户的信息来往和操作进行安全性评估， 同时网络安全感知技术还能够对用户的行为进行特征分析计算， 从而进一步辨别用户的操作能否遭受到安全威胁。 当被判别为能够威胁到用过户的安全时，系统就能够自行屏蔽并提示管理员或者用户， 从而大大提高对个人或者企事业单位的网络安全保障。

2.3 提升大数据网络安全融合能力

与如今的互联网空间相比， 在过去的互联网普及度相对较低，互联网领域内的法律法规也并不规范、并不完善， 各单位所上线的网络安全管理系统在面对病毒以及黑客入侵时不堪一击，无法抵御恶意程序和病毒的入侵，也不能够拦截不良网站传播的各种各样非法广告与危险性极高的数据信息，大大破坏了网络的安全与环境。 而现今，随着业界内相关的法律法规逐渐发展与完善，各种各样的安全技术不断攀升，各式各样的安全设备推陈出新，例如边界防护墙、VPN 设备、上网认证系统、杀毒软件、上网行为管理系统以及用户访问控制系统等等，使得现今的网络安全系统越来越牢不可破。 但是，虽然各大安全技术厂家推出了各式各样的网络安全设备，如果仅用单一的网络安全设备或者单一厂家的安全设备，是不能在当今大数据时代来保护网络安全的。 如今的病毒或恶意程序是多渠道、多空间、多层次的无差别攻击，必须要将各个厂家的多种安全设备合理串联利用，例如天融信的防火墙，依讯的漏洞扫描，深信服的VPN 等等多厂家主打的网络安全设备筑起一道牢不可破的“长城”，才能提升网络安全防护能力。

2.4 构建基于大数据分析技术的网络安全平台

在了解各网络安全设备并构建了网络安全防护系统的基础上，还需要基于大数据分析技术搭建其网络安全平台。 构建网络安全平台的分为数据收集层与数据处理层。数据收集层又分为数据信息的分析层与大数据技术信息存储层，而数据处理层又分为数据挖掘层、分析层以及展示层。 在这些层面内能够对所得到用户各式各样的数据信息展开逐一分类，以方便对这海量数据的量化存储。 至于展示层就是通过大数据分析技术对数据进行特定的检索，并将其可视化，最后将安全规范数据多维度的空间模型来呈现网络的安全性。

基于大数据分析技术网络安全平台的构建在运行期间通常会采用Hive 的方式来统计和分析所得到的海量数据，通过分析、检索得到的数据可存储在HDFS 内。对于数据挖掘层而言，可采取基于Hadoop 技术的机械化数据挖掘技术（对于海量的静态数据而言，Hadoop 技术对数据的处理速度要远远大于Spack 技术）， 对于海量数据进行深度挖掘与整理，并且能够按照数据分析所引用的事件流来进行特殊化分析工作[4]。在最后可以采用CPE 技术来对平台内的不同类型、不同时间的数据加以分析，并且能够较好帮助建设关系库，从而更好实现平台对数据处理的整体性，以保障网络环境的安全与防范。

3 结论

在现如今的互联网背景下，虽然能够大幅度提高网络安全防护水平，但是从长远的角度来看，还远远不够，同样存在着比较严重的网络安全隐患。 对于网络安全防护要与时俱进，需要在设备上继续加大研发力度，在技术上要改进对网络安全隐患的分析方法，才能够在网络安全防患的能力上得到加强，确保网络环境的安全，才能够更好地服务大众与社会。