基于大数据的网络安全与情报分析

◆杨浩 魏巍

基于大数据的网络安全与情报分析

◆杨浩1魏巍2

（1.重庆若可网络安全测评技术有限公司 重庆 404100；2. 78156部队 重庆 404100）

随着通信技术和信息技术的飞速发展，网络环境也随之越来越复杂，网络攻击的破坏性、保密性以及持久性特征更为突出。加之，传统的网络安全技术和情报分析存在诸多问题，根本无法有效应对威胁网络安全的行为。基于此，本文拟以大数据为研究前提与基础，首先对大数据安全进行深入分析，其次简述网络安全大数据，最后提出大数据技术在网络安全与情报分析中的应用路径。

大数据；网络安全；情报分析；数据处理；技术

互联网科技的迅猛进步，一方面促使现代人的日常生产生活更为便捷，另一方面也带来了一定程度的网络安全威胁。其中，最为常见的就是国家安全信息、个人安全信息以及企业保密数据等相关信息的篡改或者泄露，给网络安全带来了严重的消极影响。所以，加大网络安全与情报分析的研发力度，切实保障网络安全，有效抵御不法分子的网络攻击行为等，对营造优良的网络安全环境至关重要。

1 大数据安全分析

1.1 大数据的基本内涵

大数据（Big Data，Mega Data）指从网络多层次视角对海量数据信息进行收集与整合的技术，具有显著的实时性特征。从技术视角去看，大数据和云计算息息相关，云存储、数据库与处理技术是开展数据信息搜索的重要依据。就目前而言，较高的科学技术水平与广泛流通的信息，促使人类进入了一个全新的社会形态。与20世纪相比，人们相互之间的沟通频次提高了约20倍，新时代人们平均每周所获信息量等同于古人毕生所获信息量之和[1]。

1.2 传统网络安全和情报分析的困境

首先是传统网络安全困境。随着网络技术的发展，IT体系结构的复杂性日益增加，各种应用层出不穷，促使大数据与业务的集中性更为突出，也导致传统网络安全设施难以对互联网领域进行有效控制。存储与分析大规模信息数据的成本高昂，且安全日志中存储的数据受时间局限严重，导致难以有效处理网络安全问题。

其次是传统情报分析困境。随着通信技术、物联网技术、云计算技术、移动互联网技术等技术推进，涌现出的网络威胁情报信息也随之陡增，而传统的信息分析设备因内容较为单一、数据源比较小、信息相互割裂等特征，无法满足需求。亟待构建兼具效率与质量的智能化数据信息检索系统，对采集的海量、非系统数据予以存储及处理，实现高速检索和实时信息跟踪。

2 网络安全大数据分析关键简述

2.1 大数据处理技术

网络安全与情报分析工作中，收集和整合海量数据信息十分重要，通常情况下，批处理模式和流计算模式是两种主要的大数据技术模式。常用的数据处理技术包括以下三种：一是基于Hive、HBase等数据库实现多数据库交互式查询技术，能够支持多数据库交互式查询，其数据查询时间可控制在几分钟内，具有灵活直观的优点。Dremel、Apache Spark等属于交互式数据的主要查询系统[2]。二是批量处理的信息数据技术，即通过对采集数据的批量化处理，实现数据处理效率的提升，在实际使用过程中，通常需要提前进行静态化的数据信息存储，以提高处理数据的整体质量和效果（如下图1所示）。三是流量数据的数据处理技术，旨在开展实时数据计算与处理业务，可以直接在存储器中进行，具有延时短、效率高的优点，具有良好的反馈效果。

图1 批量数据处理示意图

2.2 大数据安全分析技术

最为常用的大数据分析技术包括以下三类。一是用户行为分析技术。该技术主要是对企业用户的实际网络行径进行分析，通过UBA技术运用对网络流中的浏览痕迹、历史记录等予以搜集，并在此基础上创设用户行径基线，然后同用户行径做比较，从中寻出非正常行为，以此对网络安全威胁进行有效识别。二是可视化的安全分析技术。通过对数据可视化的实现，确保管理者能够对数据信息予以直接读取，从而为安全管理者提供丰富的参考依据，及时发现网络攻击和其他安全问题。三是安全事件的分析技术。逐渐攀升的网络安全事件之间存在千丝万缕的联系，而常用的网络主机关联、不同领域安全关联、安全设备报警等关联分析技术，能够有效分析出不同网络安全事件间的关系。

3 基于大数据技术的网络安全与情报分析应用路径

3.1 APT攻击检测

网络攻击表现出愈来愈强的隐蔽性及渗透性特征，这对网络安全构成更大威胁。譬如，近些年相继出现且造成重大损坏的超级工厂病毒、火焰病毒、黑暗势力等网络安全事件，显示出巨大的网络攻击性和破坏性[4]。其中，APT攻击最为突出，具有攻击路径不确定、攻击方向不明确、隐蔽性极强的特点，常用的网络安全方案根本无法有效抵御。然而，基于大数据的数据管理分析技术，却能够通过对数据信息之间关联性的高效分析，对APT攻击进行高质量监测。

3.2 网络异常检测

网络异常检测作为网络信息安全分析的基本内容，通常需要对越权性的资源访问、设备故障或异常网络流量等问题进行分析。网络异常检测主要依据检测对象目标的状态、属性等方面的一系列变化予以构建，目的在于分析网络异常行为或者违规操作行为（如下图2所示）。网络中的用户行径就是大数据技术检测的目标与对象，以大数据技术为基础进行的网络异常行径检测优势十分突出。比如，360企业工程师王占义在黑帽会议中曾提到，在对异常网络流量进行检测的过程中，实施深度学习方式能够将检测网络异常的精准性提高到90%以上。基于大数据的网络异常检测能够对网络流量进行全方位识别，对于协议的加密与否则无须予以判断，网络流量的最终识别率达到55%。

图2 网络异常流量监测过程

3.3 网络安全态势感知

针对网络中存在的多种安全风险，企事业单位需要实时掌握网络状态，确保网络风险能够及时被察觉。在网络安全态势感知的实际工作中，引入大数据技术，对各种安全因素进行分析、了解、评估和分析，可以有效地提高工作效率，保证网络安全。因此，许多企业利用大数据技术等于构建网络安全数据感知平台。例如，阿里巴巴集团建立阿里巴巴云盾，使用 SAAS实现对网络风险的有效感知；360建立NGSOC平台，使用大数据技术收集和存储本地所有数据，以智能为基础，提供实时监控和网络安全分析，并支持威胁追踪。四川大学设计院研发NTCI.NUBA平台对校园网络进行实时监控，包括网络流量、数据中心流量和身份认证数据，并通过 Hadoop和Spark进行数据分析，在很大程度上保证了校园网络的安全。

3.4 网络威胁情报分析

对网络威胁信息的分析以分布式系统、大数据技术的网络威胁信息采集为主。大数据网络安全保障技术对行为、特征、威胁以及漏洞等证据信息收集，能够最大限度地降低网络系统遭受攻击的概率（如下图3所示）。对网络威胁信息的收集还能够深化系统用户对网络威胁的识别，引导系统用户采用更为科学的方法抵御网络威胁。通常来讲，健全的网络威胁情报主要包括事件响应、分析融合、情报源这三方面内容。目前网络安全威胁情报分析的专业机构，如赛门铁克、微步在线等，都能为网络用户提供相关的服务及产品，包括预防网络犯罪、检测网络漏洞、清理恶意软件等。另外，研究人员也创建了一系列网络数据管理及采集系统，对网络威胁信息进行筛选，并为用户提供相应帮助。由此可见，基于大数据的网络威胁情报分析，更具技术性、规范性与科学性，在抵御网络威胁方面也更具优势。

总之，具有较强数据处理和分析能力的大数据技术非常适用于网络安全和情报工作，亟待其在此领域中的进一步推广和应用。相关网络安全与情报分析工作者可以在网络安全与情报工作中运用大数据技术来进行攻击检测、网络风险感知、网络威胁情报分析和网络异常检测，进而提高网络安全和情报工作的水平和质量，促进网络的健康和可持续发展，从而为人们带来更好更优、更高质量的网络服务。

图3 数据采集系统结构示意图

[1]邹勤，余毅，袁俊.试论基于大数据的网络安全与情报分析[J].电脑知识与技术，2019（12）：23-24.

[2]齐爱民.论大数据时代数据安全法律综合保护的完善——以《网络安全法》为视角[J].东北师大学报（哲学社会科学版），2017（04）：108-114.

[3]刘斌.大数据环境下网络信息安全的风险与应对策略研究[J].科技传播，2018（03）：166-168.

[4]水利部信息中心组织召开水利大数据中心和水利部网络安全防护能力提升工程项目研讨会[J].水利信息化，2018（04）：19.