基于大数据的网络态势感知体系架构

毛军礼，汲锡林

(1.中国电子科技集团公司第五十四研究所，河北 石家庄 050081；2.中国电子设备系统工程公司研究所，北京 100141)

0　引言

网络态势感知(Cyberspace situational Awareness，CSA)的概念[1]在1999年首次提出。网络态势是指由各种网络设备运行状况、网络行为以及用户行为等因素所构成的整个网络的当前状态和变化趋势。态势强调环境、动态性以及实体间的关系，是一种状态、一种趋势、一个整体和宏观的概念，任何单一的情况或状态都不能称其为态势。网络态势感知是指在大规模网络环境中，对能够引起网络态势发生变化的要素进行获取、理解、评估、显示以及对未来发展趋势的预测。态势感知能力是网络化信息服务能力的重要组成部分。

网络态势感知的目标是将态势感知的成熟理论和技术应用于网络管理，在急剧动态变化的复杂环境中，高效组织各种信息，将已有的表示网络局部特征的指标综合化，使其能够表示网络的宏观、整体状态，加强管理员对网络的理解能力，为高层指挥人员提供决策支持。随着信息化技术的深入发展，网络空间产生的数据数量级迅速加大、数据类型更为复杂、数据的来源愈加多样、病毒和攻击事件更加隐蔽，亟需研究大数据环境下的网络态势感知技术。

1　网络态势感知研究框架

网络态势感知作为数据融合的一部分，向下从Level 1融合获取各类感知数据，向上为Level 3融合提供态势信息，用于威胁分析和决策支持。网络态势感知研究包括多方面内容，其总体研究框架[2]如图1所示。

图1　网络态势感知研究框架

网络态势感知包括态势元素提取、当前态势分析和未来态势预测几个部分,主要涵盖以下几个方面:

① 在一定的网络环境下,利用数据挖掘和数据融合技术提取进行态势评估要考虑的各要素,为态势推理做准备。

② 通过特征分析、态势因子的提取等技术确定事件发生的深层次原因,确立态势评价指标,给出对所监控网络当前态势的综合评价。

③ 已知T时刻发生的事件,运用预测技术确定T+1,T+2,...,T+n时刻可能发生的事件,进而确定网络态势的发展趋势。

④ 形成态势图,以不同图标表示不同网络状态,运用可视化技术使管理员能直观地了解网络安全状况。态势感知的结果是形成态势分析报告和网络综合态势图,为网络管理员提供辅助决策信息。

2　网络态势感知模型

多年过去，研究者提出了几十种数据融合模型，被引用最多是美国国防部的实验室联合会(Joint Directors of Laboratories，JDL)模型[3-4]。JDL模型是由美国国防部提出的信息融合模型，在军事领域被广泛使用，信息融合模型主要包括信息的采集、信息的处理和精炼、态势评估、威胁评估、过程精炼、数据的存储和管理，以及人机接口，其结构如图2所示。

图2　JDL模型

JDL模型将数据融合过程分为：信息预处理、对象精炼、态势评估、威胁评估和过程精炼5个层次。信息预处理执行数据预筛选的最初过程，分配数据到适合的层次。对象精炼通过结合位置、参数和身份信息实现精确的个体对象的表达。态势评估确定态势中的对象与事件之间的关联。威胁评估是根据目前的状况预测未来。过程精炼被看作一个元过程，关注其他过程的进行。

2000年，Tim Bass提出了应用数据融合技术建立网络态势感知系统的框架，指出“下一代的网络管理和入侵检测系统将在统一的模型下交互，把数据融合成信息和知识，这样网络操作员就能够对自身网络的系统健康和实时安全状况做出有根据的决策”。BASS模型[5]整体共分5层，如图3所示，分别为数据精炼、攻击对象识别、态势评估、威胁评估和资源管理，整体思路体现了由数据到信息，最后到知识的处理过程。受BASS模型的启发，网络态势感知的研究领域出现了诸多基于多源异构信息的模型。

图3　BASS模型

3　基于大数据的网络态势感知体系架构设想

为了保障网络信息体系的安全运行，开展大规模网络态势感知技术研究十分必要，网络态势感知技术作为一项新技术，有很大的发展空间。能对大规模网络进行实时或者近实时的态势感知，快速准确地判断出网络安全状态，实现实时的态势可视化显示，利用网络安全事件的历史记录，为用户提供一个比较准确的网络安全演变趋势。

大规模网络条件下态势感知涉及的信息，不仅来源丰富，信息量巨大，信息种类多，结构复杂，信息的元结构和多维特性更加突出，而且更新动态性、处理实时性要求十分强烈，态势感知信息已经具备了大数据典型的“4V”特征[6-7]。大数据自身拥有的Variety支持多类型数据格式、Volume大数据量存储、Velocity快速处理、Value价值密度低的4大特征，符合网络态势感知对于海量数据处理的实时性、准确性、高效率的要求。利用大数据所提供的基础平台和海量数据处理技术进行网络安全态势的分析处理势在必行。

把大数据技术应用到态势感知领域，解决态势感知在大数据时代可能面临的诸多问题，是值得深入研究的技术方向。当前，传感器网络的快速发展带来了强大的数据获取优势，获取原始数据已不是难题，但是对数据的处理能力却极大制约着有效、有用信息的快速提取；“数据总量大，价值密度低”问题十分突出，数据处理现状难以应对大数据时代诸如“垃圾数据多”“数据污染严重”和“数据利用难”等困境。

针对大规模网络空间中数据的海量、多模式、多粒度的特点，满足并行性、实时性数据处理的要求，将大数据技术引进网络态势感知领域，并融合网络安全态势经典模型和演进模型，提出基于大数据的网络态势感知体系架构，如图4所示，包括数据采集、数据预处理、态势理解、态势评估、态势预测和态势展示6层。

图4　基于大数据的网络态势分析感知体系结构

3.1　数据采集

态势感知系统的输入来自不同数据源。系统通过多类传感器和探测设备观测网络系统的运行状况，采集网络系统的各种信息。网络态势的评估和预测需要结合网络特征，进行从物理层、链路层直到行为层的多层次全方位的信息探测与获取。基于网络特征的层次化信息探测技术，是获取网络态势感知大数据的重要技术途径，没有这些大数据的支撑，网络态势感知的结果必定是不全面和不准确的。

大规模网络中的安全工具复杂多样，既有部署的网络安全探针，又有运营商、网络安全监管部门等的上报数据。因此数据具备不同的模式和粒度，同时数量巨大。这些特征要求大数据计算系统具备高性能、实时性、分布式、易用性、可扩展性等特征。系统无法确定数据的到来时刻和到来顺序，也无法将全部数据存储起来，并且对数据实时性要求高。因此，不再进行流式数据的存储，而是当流动的数据到来后在内存中直接进行数据的实时计算，将大数据技术的流式计算技术[8]应用到数据采集处理过程。

3.2　数据预处理

由于网络态势感知的数据来自众多的网络设备，其数据格式、数据内容、数据质量千差万别，存储形式各异，表达的语义也不尽相同。如果能够将这些使用不同途径、来源于不同网络位置、具有不同格式的数据进行预处理，并在此基础上进行归一化融合操作，就可以为网络安全态势感知提供更为全面、精准的数据源，从而得到更为准确的网络安全态势。数据预处理包括数据清洗、数据转换和数据归并。数据预处理应用大数据所提供的Hadoop[9-10]基础平台和MapReduce[11-12]分布式并行计算技术。

3.3　态势理解

态势理解对获取的数据进行分析处理和筛选，为后续态势评估和预测提供准确、有效的数据源。态势理解通常采用关联规则分析方法，为了从海量的告警数据中提取出真正的风险事件，需要将来自不同数据源的各类网络安全事件进行关联分析。关联分析是指对不同地点、不同时间、不同层次的网络安全事件进行综合分析，从而挖掘出在时间和空间上分散的协同多步攻击，识别真正的网络风险，降低误报和重复报警率。关联规则分析融合原始数据，去除重复、错误项，修改不一致项，统一数据格式，提供规范化的数据供态势评估模块使用，研究基于关联规则的智能态势理解技术是态势感知的重要基础。

3.4　态势评估

网络安全态势评估是将采集到的大量网络安全事件进行分析处理，通过相应的模型和算法计算出一组或几组有意义的数值，并据此研究网络的安全态势。

因此，进行态势评估首先要建立一套态势感知量化评估指标体系，以指标体系作为量化评估的基准。指标体系的建立，为数据融合、归一化等数据处理工作提供参考标准，同时为网络态势评估、趋势预测、态势可视化提供了比较丰富的经过组织整理的有序的信息来源。

网络态势评估的目的是为提高整个网络和系统的安全性，其着眼点在于整体的状况，与网络结构和网络业务紧密相关。D-S证据组合方法和模糊逻辑结合是目前研究热点，首先模糊量化多源多属性信息的不确定性，然后利用规则进行逻辑推理，实现网络安全态势的评估，其中涉及很多算法，要处理非线性问题，使结果全面、准确，还要避免纬度灾难。未来的研究方向主要是解决基于大数据的高维非线性网络安全态势评估技术。

3.5　态势预测

网络安全态势预测就是根据网络运行状况发展变化的实际数据和历史资料，运用科学的理论、方法和各种经验、判断、知识去推测、估计、分析其在未来一定时期内可能的变化情况，是网络态势感知的一个重要组成部分。

由于网络攻击的随机性和不确定性，使得以此为基础的安全态势变化是一个复杂的非线性过程，限制了传统预测模型的使用。而大数据技术具有自学习、自适应性、非线性处理的优点，因此大数据技术在网络态势预测方面应用十分广泛。基于人工神经网络的安全态势预测技术采用人工智能的方法，该方法具有全局优化、收敛速度快，自学习、自适应、自组织和免疫记忆，未来研究的重点是如何避免维度灾难、降低计算复杂度以及降低空间和时间的预测代价。

3.6　态势展示

态势展示利用计算机图形学和图像处理技术，通过将大量的、抽象的数据以图形的方式表现，实现并行的图形信息搜索，提高可视化系统信息处理的速度和效率。它涉及计算机图形学、图像处理、计算机视觉、计算机辅助设计等多个领域。目前已有很多研究将可视化技术和可视化工具应用于态势感知领域，在网络态势感知的每一个阶段都充分利用可视化方法，将网络安全态势合并为连贯的网络安全态势图，快速发现网络安全威胁，直观把握网络安全状况。

4　关键技术研究与初步解决方案

4.1　网络态势感知量化评估指标体系

根据网络系统组织结构，网络的安全状态应该分层描述，而且是自下而上、先局部后整体。参考已有的网络安全风险评估的一些成果，拟采用自下而上、先局部后整体的评估策略，以攻击报警、扫描结果和网络流量等信息为原始数据，发现各个主机系统所提供服务存在的漏洞情况，进而评估各项服务的安全状况。在此基础上，综合评估网络系统中各关键设备的安全状况，最后根据网络系统结构，评估多个局部范围网络的安全态势，然后再综合分析和统计整个宏观网络的安全态势。因此，网络安全态势指标的选取需综合考虑不同层次(宏观网络、局部网络、主机、服务、攻击/漏洞)，不同信息来源(流量、报警、日志、静态配置)和不同需求(普通用户、管理者、维护者)。

网络安全状态是由多因素决定的，以上三方面为网络安全态势感知的指标体系建立提供了来源参考。根据指标体系的构建原则：相似相近原则、分层原则、动静结合原则，提炼出4个表征宏观网络性质的二级综合性指标：脆弱性、容灾性、威胁性和稳定性。网络安全态势评估指标体系如表1所示。

表 1网络安全态势评估指标体系

二级指标一级指标脆弱性网络漏洞数目及等级关键设备漏洞数据及等级子网内安全设备数目子网内各关键设备提供的服务种类及其版本子网内各关键设备的操作系统类型及其版本子网内各关键设备开放端口的总量网络拓扑容灾性网络带宽子网内安全设备数目子网内各关键设备的操作系统类型及其版本子网内各关键设备访问主流安全网站的频率子网内各关键设备提供的服务种类及其版本网络拓扑子网内主要服务器支持的并发线程数威胁性报警数目子网带宽使用率子网内安全事件历史发生频率子网内各关键设备提供的服务种类及其版本子网数据流入量子网流入量增长率子网内不同协议数据包的分布子网内不同大小数据包的分布流入子网内数据包源IP分布稳定性子网内关键设备平均存活时间子网流量变化率子网内不同协议数据包分布比值的变化率子网内不同大小数据包分布比值的变化率子网数据流总量流出子网数据包目的IP的分布子网内存活关键设备数目子网平均无故障时间

4.2　基于网络特征的层次化信息探测技术

态势感知需要根据网络特征进行多层次(通常包括物理层、链路层、网络传输层、信息层和行为层)信息的探测与融合，生成综合态势，引导网络攻防，评估网络效能，反馈业务质量，如图5所示。

图5　信息探测和分层处理分析

物理层：提供信息传输的基础连接，实现波形信号或比特流收发，信号电磁频谱截获与时域、频域、空域分析，信息比特流截获。链路层：以数据帧为单位，实现具备链路资源分配与差错控制能力的信息传输，节点连接关系配对、链路复用体制识别、链路报文截获与解释。网络传输层：以报文为单位，实现网络接入、管理及维持功能，同时提供路由服务功能，实现多节点间信息传输管理，以及拓扑结构探测、网络协议识别、网络传输报文的截获与解译。信息层：实现传输信息的信源编码、解码及收发信息的加解密处理，以及信息加密方式识别及解密、网络传输信息内容挖掘与解译。行为层：实现系统信息的使用以及信息系统的管理，以及目标行为识别与预测、基于网络态势变化的攻防有效性分析等。

4.3　基于关联规则的智能态势理解技术

为了从海量的告警数据中提取出真正的风险事件，需要将来自不同数据源的各类网络安全事件进行关联分析。通过关联规则分析实现智能化的态势理解。关联规则挖掘过程主要包含2个阶段：第1阶段必须先从资料集合中找出所有的高频项目组，第2阶段再由这些高频项目组中产生关联规则。需要选取合适的算法，来从大量数据中提取出高频项目组并产生关联规则。

事件关联规则就是对采集到的大量数据进行分析，从各种不同类型的数据中找出它们的联系，从而还原一个攻击行为。事件关联规则技术通过对收集到的大量的安全事件进行处理，减少了事件的数量，并提高了事件的准确性。

关联分析主要完成2个过程：① 解析树型关联规则并存储到内存中；② 根据解析的规则与事件进行层次化规则匹配，如果多条报警满足了某条规则场景中的所有层次，就将其放入表中，在界面上可以调用该表的数据用于显示场景分析，为用户提供场景描述，关联规则分析流程如图6所示。

图6　基于关联规则的分析流程

4.4　基于大数据的高维非线性网络态势评估技术

数据融合技术是一个多级、多层面的数据处理过程，主要完成对来自网络中具有相似或不同特征模式的多源信息进行互补集成，完成对数据的自动监测、关联、相关、估计及组合等处理，从而获取宏观的网络安全态势。

网络安全态势评估摒弃了研究单一的安全事件，而是从宏观角度去考虑网络整体的安全状态，以期获得网络安全的综合评估，达到辅助决策的目的。目前应用于网络安全态势评估的数据融合算法，大致分为以下几类：基于数学模型的融合算法、基于逻辑关系的融合算法、基于知识推理的融合算法和基于模式识别的融合算法[13]。

网络安全态势评估未来的研究方向主要是解决基于大数据的高维非线性网络安全态势评估技术。研究思路如下：

① 利用改进的D-S理论[14-15]融合多个安全设备的日志，得到攻击发生支持概率。

② 将攻击发生支持概率、攻击成功支持概率和攻击威胁进行融合，计算主机节点安全态势。

③ 将各主机节点的安全态势及其权重进行融合，得到网络的安全态势指标。

④ 将D-S理论与模糊集相结合的方法，能够处理非线性问题，使结果全面、准确，还能避免纬度灾难。

目前，D-S理论与模糊集相结合的应用研究较少，下一步研究重点放在如何将2种算法更好地融合并应用于网络安全态势评估中。

4.5　基于人工神经网络的安全态势预测技术

网络安全态势指标具有非线性时间序列的特点，基于RBF神经网络[16-17]借助神经网络处理混沌、非线性数据的优势可以进行态势预测。该方法通过训练RBF神经网络找出态势值的前N个数据和随后M个数据的非线性映射关系，进而利用该关系进行态势值预测。利用该方法对获得的数据进行预测仿真，并对其预测的网络安全态势结果进行预测误差分析和针对性的网络安全态势分析。神经网络应用于态势评估的预测框架如图7所示。

图7　基于神经网络的态势评估预测框架

基于人工神经网络的安全态势预测方法，全局优化、收敛速度快，自学习、自适应、自组织和免疫记忆，是未来研究的重点，避免维度灾难，降低计算复杂度，降低空间和时间的预测代价。

神经网络算法具有非线性、分布式、并行计算、自适应和自组织的优点，但目前使用各种核函数的神经网络存在2个问题。一是算法还存在经常停止于局部最优解，而不是全局最优解。二是算法的培训时间过长时，会出现过度拟合，把噪音当作有效信号。下一步的研究重点是解决这2个问题。

5　结束语

将大数据技术应用到态势感知领域，解决态势感知在大数据时代可能面临的诸多问题，是值得深入研究的课题。网络态势感知技术能够综合网络、安全和应用系统等各方面因素，从整体上动态反映网络的安全状况和运行状况，并对其发展趋势进行关联分析和评估预测。大数据技术特有的海量存储、并行计算、高效查询等特点，为大规模网络安全态势感知技术的突破创造了机遇。通过研究大数据条件下的网络态势感知需求和技术框架，提出一种基于大数据的层次化网络态势感知体系架构，对态势感知各个层次和大数据技术的结合点进行了研究，并提出了网络态势感知量化评估指标体系、基于网络特征的层次化信息探测等关键技术的初步方案和研究方向。对于大数据在网络态势感知领域的应用研究具有重要探索价值。

[1]本刊编辑部.美国:网络态势感知研究的进展与趋势[J].中国信息安全，2011(02):30-35.

[2]龚正虎,卓莹.网络态势感知研究[J].软件学报,2010,21(7)：1605-1619.

[3]Schreiber-Ehle S,Koch W.The JDL Model of Data Fusion Applied to Cyber-Defence——A Review Paper[C]∥Sensor Data Fusion: Trends,Solutions,Applications (SDF),2012 Workshop on,2012(9): 116-119.

[4]冯波.网络安全态势评估模型研究[D].成都：电子科技大学，2016.

[5]Bass T.Intrusion Detection Systems and Multisensor Data Fusion[J].Communications of the ACM,2000,43(4): 99-105.

[6]王寿彪,李新明.面向联合态势感知的大数据应用模式研究[J].中国电子科学研究院学报,2014,9(4):408-414.

[7]朱德君.基于大数据的分析技术[J].科技展望，2017,27(8):15.

[8]祝锡永,庞培培.大数据流式计算系统综述[J].成组技术与生产现代化,2016,33(4):49-54.

[9]陈忠义.基于Hadoop的分布式文件系统[J].电子技术与软件工程，2017(9)：175-175.

[10] Bu Y,Howe B,Balazinska M,et al.Erns.Ha Loop:Efficient Iterative Data Processing on Large Clusterspdf[J].Proceedings of the VLDB Endowment,2010,3(1-2):285-296.

[11] Dean J,Ghemawat S.MapReduce: Simplified Data Processing on Large Clusters[C]∥In: Proc.of Operating Systems Design and Implementation,San Francisco,CA,2004:137-150.

[12] Mavani M,Ragha L.Map Reduce Frame Work: Investigating Suitability for Faster Data Analytics[J].Communications in Computer & Information Science,2013,361:119-130.

[13] 楼巍.面向大数据的高维数据挖掘技术研究[D].上海:上海大学,2013.

[14] 赵争业.面向网络空间态势的多源数据融合技术研究[D].长沙：国防科技大学，2015.

[15] 刘炜,刘鲁.基于模糊模式识别和D-S证据理论的安全态势估计[J].计算机工程与应用,2006,42(22):20-22.

[16] Palftta M,Herrero P.Foreseeing Cooperation Behaviors in Collaborative Grid Environments[C]∥ Springer: 7th International Conference on Practical Applications of Agents and Multi-Agent Systems (PAAMS 2009),Spain.Heidelberg: Springer,2009: 120-129.

[17] 薛丽敏,李忠,蓝湾湾.基于在线学习RBFNN的网络安全态势预测技术研究[J].信息网络安全， 2016(4):23-30.