试论基于大数据的网络安全与情报分析

邹勤 余毅 袁俊

摘要：网络安全与情报工作中存在数据处理效率低下等问题，影响网络安全的保障效果。基于此，本文从网络与安全情报工作的不足入手，对大数据技术中能够应用于网络安全与情报工作的技术进行分析，并指出大数据技术在网络安全与情报工作中的具体应用，以期丰富相关理论，为我国网络安全发展做出贡献。

关键词：大数据；网络安全；情报

中图分类号：TP393 文献标识码：A

文章编号：1009-3044（2019）12-0008-02

开放科学（资源服务）标识码（OSID）：

互联网在为人们生产生活提供便利的同时，也为人们带来了网络威胁，个人信息、企业数据和国家敏感信息很容易被泄漏或篡改，对网络安全造成不利影响。因此，技术人员需要加强对网络安全技术的研发，从整体提升网络安全水平，抵御不法分子的攻击，保障个人、企业和国家的网络信息安全，促进网络的可持续发展。

1网络安全与情报工作的不足

在信息化程度不断加深的当下，网络安全与情报工作的不足逐渐凸显出来。互联网的普及是网络中产生了大量的结构化、半结构化及非结构化的数据信息，传统的网络安全技术难以在短时间内处理海量的数据信息，还不能长时间保留数据源，并不能全面分析网络数据信息，很容易使恶意数据信息成为“漏网之鱼”，对网络及网络用户造成不利影响。同时，互联网的发展也增加了威胁情报信息源的数量，而传统的网络情报分析技术难以将大量的威胁情报联系在一起，在关联分析和数据源检测方面存在不足，不能保障网络安全[1]。因此，对网络安全与情报工作的创新刻不容缓。

2网络安全与情报中应用的大数据技术

2.1大数据处理技术

在网络安全与情报工作中，需要采集并整合海量的数据信息，大数据技术在数据采集与处理方面有显著优势。大数据技术在进行数据处理与计算中，主要采用批量计算以及流式计算这两种模式。常用的数据处理技术包括以下三种：

第一，交互式数据查询技术，该技术是将HBase、Hive等数据库作为基础，实现多个数据库交互的技术，可以支持多个数据库的交互式查询，其数据查询时间可以控制在几分钟内，具有灵活直观等优势。目前常用的交互式数据查询系统有Dremel系统以及Apache Spark系统。

第二，批量数据处理技术，该技术能够批量进行数据的采集与处理，可以显著提升数据处理效率。在实际的批量数据处理技术应用中，首先将海量数据信息进行静态存储，再开展处理工作，可以显著提升数据处理的全面性和有效性。一般来说，对于相对复杂的数据信息，批量数据处理技术可以在数小时内完成，效率较高。

第三，流式数据处理技术，该技术能够开展实时数据计算与处理工作，数据处理结构的反馈效率也很高。在实际的流式数据处理技术应用中，可以直接在内存中开展数据信息的处理工作，具有延迟短和效率高等优势。

2.2大数据分析技术

在网络安全与情报工作中，需要对海量的数据信息进行分析，大数据技术在数据分析方面有显著优势。常用的数据分析技术包括以下三种：

第一，用户行为分析技术，在企业经营管理中，如果其内外网难以分开，企业难以通过安全技术抵御黑客的攻击，这是因为企业内部存在安全隐患。用户行为分析技术可以对企业内部用户的网络行为进行分析，通过UBA技术搜集用户在网络流量及日志记录等方面的行为痕迹，以此构建用户行为基准线，将基准线和用户行为进行对比，以此找出用户存在的异常行为，从而准确识别企业内部存在的安全威胁。

第二，安全可视分析技术，该技术可以实现数据的可视化，确保管理人员直观地看到数据隐含的信息，可以为安全管理人员提供更为丰富的参考资料，为安全管理人员发现网络安全问题及黑客攻击提供便利。在实际的安全可视分析技术应用中，首先要明确网络安全管理人员的管理问题，即从哪些数据内容中分析隐含信息；再进行数据可视化处理，通过聚焦或者关联等功能，实现人机交互，完成数据隐含信息的传递。

第三，安全事件关联分析技术，在互联网越来越普及的背景下，网络安全事件逐渐增多，不同网络安全事件中存在密切联系。安全事件关联分析技术可以就网络安全事件开展关联分析，从网络安全事件的本质入手，分析网络攻击行为，位网络安全事件的妥善处理提供帮助[2]。常用的安全事件关联分析技术包括安全设备报警关联分析技术、不同领域范围的安全关联分析技术以及网络主机关联分析技术等，可以实现全面的网络威胁分析。

3基于大数据的网络安全与情报

通过上述分析可知，大数据技术中的多项技术可以应用于网络安全与情报工作中，可以将其用于网络信息安全攻击检测、网络信息风险感知、网络情报分析及网络异常检测等方面，切实发挥出大数据技术的作用，创新网络安全与情报工作，提升其工作水平和质量。

3.1基于大数据的APT攻击检测

随着信息化的发展，网络APT攻击呈现出显著的渗透性及隐蔽性特征，对国家和企事业单位的网络安全造成了严重的威胁。比如，2010年出现的震网病毒；2012年出现的火焰病毒；2015年出现的黑暗力量入侵乌克兰矿业系统和铁路系统事件，均属于APT攻击的类型。在网络攻击中，APT攻击具有隐蔽性强、攻击路径和渠道难以明确的问题，普通的安全方案难以地域APT攻击。目前应用效果最佳的APT攻擊抵御方案为数据关联分析方法，而大数据技术可以提升数据关联分析方法的应用效果，可以将其用于APT攻击检测中。

比如，美国RSA实验室研发了一种Beehive系统，该系统利用大数据技术对大量的日志信息进行分析，并对组织结构中资源的使用状况进行检测，发现该组织结构中存在被恶意软件感染以及策略违背的内容，将看似孤立的事件进行关联分析，从而检测出该组织机构曾被APT攻击。Giura在2012年发布一项研究成果，结合攻击树技术和大数据技术，构建概念攻击模型，以此检测并抵御APT攻击。该概念攻击模型被称作攻击金字塔，其具体应用流程如下：攻击金字塔共有三个层次，其顶层为潜在的被攻击目标，涵盖系统中的敏感数据、数据服务器以及高层职员等数据信息，并通过横向平面标注和攻击相关的事件环境，将其划分为多个场景，根据不同的场景采用相应的Map Reduce进行并行处理，最后通过不同的算法对处理后的信息进行检测，以此实现APT攻击的有效检测。

3.2基于大数据的网络风险感知

针对网络中存在的多样化网络风险，企事业单位需要加强对网络风险的重视，实时掌握网络状态，确保网络风险可以及时感知，从而保障网络安全。在实际的网络风险感知工作中，需要全面分析多种安全因素，对其开展理解、评估及分析，实现网络安全状况的准确评估。在上述过程中，大数据技术的引进可以有效提升工作效率，保障网络安全。

针对网络风险感知问题，有很多企业单位都通过大数据技术构建网络安全数据感知平台，保障企业单位的网络安全。比如，阿里巴巴集团建设的阿里云云盾，通过SAAS实现网络风险的有效感知；360建设的NGSOC平台，可以通过大数据技术进行本地所有数据的采集和存储，将情报作为基础，开展网络的实时监控及安全分析工作，还支持威胁溯源功能，切实保障了网络安全；四川大学师生设计了NTCI.NUBA平台，对校园网进行实时监控，主要监控内容包括網络流量、数据中心流量以及身份认证数据等，并通过Hadoop及Spark开展数据分析，在很大程度上保障了校园网的安全[3]。

3.3基于大数据的网络情报分析

在网络安全与情报工作中，网络威胁情报的分析主要利用大数据技术、分布式系统进行网络威胁情报的收集。收集的网络威胁情报是指涵盖漏洞、威胁、特征及行为等证据的知识集合。在网络安全与情报工作中，网络威胁情报的收集与分析可以有效提升传统防御技术的防御效果，避免系统受到攻击。同时，网络威胁情报的收集能够加深系统用户对网络风险和网络威胁的认识，引导系统用户采用更为合理的方式抵御网络风险及网络威胁，从而降低网络攻击对系统用户造成的危害。一般来说，完善的网络威胁情报包括情报源、融合与分析以及事件响应这三个部分。

在人们网络安全意识提升的当下，国内外出现了大量的网络安全威胁情报提供企业，包括微步在线、Fire Eye、Symantec等企业，可以为用户提供多样化的网络威胁情报产品和服务，涵盖恶意软件清理、网络犯罪防范以及漏洞检测等内容，为用户的网络安全应用提供了保障。同时，我国有很多研究机构和学者构建了网络数据采集与管理系统，筛选其中的网络威胁情报，为系统用户提供帮助。本文以某研究机构设计的网络数据采集与分析平台为例，用户可以根据工作内容特点，设定不同的平台主题，平台会根据主题内容进行相应数据的采集，主要数据采集范围包括网站、微博、微信和论坛等网络平台，保障数据采集的全面性。数据平台具备热点话题追踪与分析以及溯源扩散等功能。

3.4基于大数据的网络异常检测

在网络信息安全管理中，网络异常检测属于基本工作内容，主要对网络中出现的流量异常、设备失效或者越权资源访问等问题进行分析。从本质角度而言，网络异常检测是根据表征目标对象属性以及状态变化忒单，进行相应检测模型的构建，从而分析网络中存在的策略违背行为或者非正常行为。在网络异常检测中，大数据技术的应用主要集中于网络用户行为方面，可以显著提升网络异常检测的准确性。基于大数据的网络异常检测是通过行为特征和机器学习，进行网络数据特征的高效获取，从而开展网络异常检测工作。

以360企业的工程师王占一为例，他在黑帽大会的演讲中提到，在网络流量的异常检测中，采用深度学习方法可以有效提升异常检测的准确率，使其高达90%以上。与此同时，基于深度学习的异常检测能够在不判断协议是否加密的情况下，对网络中的所有网络流进行识别。其中，网络流的可识别率近55%[4]。

4结论

综上所述，数据处理分析能力强大的大数据技术非常适用于网络安全与情报工作中，需要进一步推广应用。通过本文的分析可知，技术人员可以将大数据技术应用于网络安全与情报工作的APT攻击检测、网络风险感知、网络威胁情报分析以及网络异常检测等工作中，提升网络安全与情报工作水平及质量，促进网络的健康可持续发展，使其为人们带来优质的网络服务。

参考文献：

[1] 夏传勇.大数据背景下网络恐怖主义犯罪对策研究[D].华东政法大学，2018.

[2] 吴桐.大数据背景下的网络安全与情报分析工作研究[J].技术与市场，2017，24（10）：277-278.

[3] 陈兴蜀，曾雪梅，王文贤，邵国林.基于大数据的网络安全与情报分析[J].工程科学与技术，2017，49（03）：1-12.

[4] 琚安康，郭渊博，朱泰铭.基于开源工具集的大数据网络安全态势感知及预警架构[J].计算机科学，2017，44（05）：125-131.

【通联编辑：光文玲】