基于大数据技术的可视化安全态势感知

0 引言

近几年来，信息化应用水平提升到了一个更高的层次，如何从整体上动态反映网络安全状况，并对网络安全的发展趋势进行预测和预警是目前的难题。大数据技术特有的海量存储、并行计算、高效查询等特点，为大规模网络安全态势感知技术的突破创造了机遇，借助大数据分析对成千上万的网络日志等信息进行自动分析处理与深度挖掘，对网络的安全状态进行分析评价，感知网络中的异常事件与整体安全态势。

1 基于大数据技术的态势感知

网络安全态势感知的主要任务包括风险感知和事件感知两个方面。风险感知包括网络资产感知和网络脆弱性感知，网络资产感知是自动、快速发现和收集大规模网络资产的分布情况、更新情况、属性等信息网络脆弱性感知是分析、发现网络的脆弱性对脆弱性进行统一标识和管理。网络脆弱性包括不可见脆弱性和可见脆弱性。事件感知主要包括安全事件感知和异常行为感知，安全事件感知是指能够确定安全事件发生的时间、地点、起因、经过和结果，异常行为感知是指通过异常行为判定风险，以弥补对不可见脆弱性、未知安全事件发现的不足，主要面向的是感知未知的攻击。

2 网络安全态势感知的相关技术

实现基于多源日志的网络安全态势感知，采集了多种安全设备上多样的检测方式和事件报告机制生成的海量数据，而这些原始的日志信息存在海量、冗余和错误等缺陷不能作为态势感知的直接信息来源，必须进行关联分析和数据融合等处理。

关联分析。网络中的防火墙日志和入侵检测日志都是对进入网络的安全事件的流量的刻画针对某一个可能的攻击事件会产生大量的日志和相关报警记录，这些记录存在着很多的冗余和关联。因此首先要对得到的原始日志进行单源上的关联分析，把海量的原始日志转换为直观的、能够为人所理解的、可能对网络造成危害的安全事件。基于多源日志的网络安全态势感知采用基于相似度的报警关联可以较好地控制关联后的报警数量，有利于减少复杂度。其处理过程是：

首先，提取报警日志中的主要属性，形成原始报警，再通过重复报警聚合生成聚合报警，对聚合报警的各个属性定义相似度的计算方法，并分配权重，计算两个聚合报警的相似度，通过与相似度阀值的比较来决定是否对聚合报警进行超报警，最终输出属于同一类报警的地址范围和报警信息，生成安全事件。

融合分析。多源日志存在冗余性、互补性等特点，态势感知借助数据融合技术，能够使得多个数据源之间取长补短，从而为感知过程提供保障，以便更准确地生成安全态势。经过单源日志报警关联过程，分别得到各自的安全事件。

态势要素分析。通过对网络入口处安全设备日志的安全分析，得到的只是进入目标网络的可能的攻击信息，而真正对网络安全状况产生决定性影响的安全事件，则需要通过综合分析攻击知识库和具体的网络环境进行最终确认。主要分为三个步骤：一是通过对大量网络攻击实例的研究，得到可用的攻击知识库，主要包括各种网络攻击的原理、特点以及它们的作用环境等；二是分析关键主机上存在的系统漏洞和承载的服务的可能漏洞，建立当前网络环境的漏洞知识库分析当前网络环境的拓扑结构、性能指标等得到网络环境知识库；三是通过漏洞知识库来确认安全事件的有效性，也即对当前网络产生影响的网络攻击事件。在网络安全事件生成和攻击事件确认的过程中，提取出用于对整个网络安全态势进行评估的态势要素主要包括整个网络面临的安全威胁、分支网络面临的安全威胁、主机受到的安全威胁以及这些威胁的程度等。

3 安全风险态势感知的预警分析技术

对于海量网络安全日志信息，仅通过网络安全设备提供的网络安全日志分析网络安全事件通常是滞后的，因此利用大数据分析技术针对海量网络安全日志 数据进行深层次的分析，从中发现有价值的信息。发现数据中存在的关系和规则，根据现有的数据预测未来的发展趋势，从海量的安全数据中发现潜在的安全威胁和攻击。

网络安全事件预警分析技术采用基于动态基线的方法并结合数据挖掘算法进行预警分析。通过设置的20种指标项，利用以存储的海量日志数据获取网络安全事件的标准差及标准误差，最终针对指标项计算其置信区间，系统针对存储的历史数据进行机器学习，分析日志特征并对于置信区间进行动态规则设置，利用置信区间及置信区间规则，分析实时采集的日志数据，如果在置信区间范围外的数据或置信区间内匹配异常场景的数据进行攻击场景及资产脆弱性关联分析，为用户提供对应的预警信息。预警分为安全事件预警和重要信息系统预警。

安全事件预警流程为当发生安全事件时，首先判定事件等级，根据事件等级选择通知相应的负责人处理，处置完成后判断系统运行是否正常，如果正常则通知系统管理员填写信息安全事件和系统故障处理记录单并结束流程，并将此次处理填入值班记录；如果处置完成后系统没有正常运行，则重新判断事件等级进行处理。

重要信息系统预警流程为当发生系统故障时，首先判断故障等级，根据故障等级选择通知相应的负责人处理，处置完成后判断系统运行是否正常，如果正常则通知系统管理员填写信息安全事件和系统故障处理记录单并结束流程，并将此次处理填入值班记录；如果处置完成后系统没有正常运行，则重新判断故障等级进行处理。

4 尚存在的技术难题分析

由于目前用户普遍网络规模较大，结构复杂，网络数据还存在实时可变的特征，网络系统安全态势的可视化是实现网络态势感知的难点。基于主机的数据显示和基于网络的数据显示是态势可视化的两大方面，可视化的结果既要反应区域内主机网络安全威胁等级，也要从宏观上对整个网络的安全态势进行描绘。可视化还需考虑人机交互的可操作性，基于多数据源，多视图的可视化系统才能满足态势可视化要求。

5 总结

网络安全态势感知基于全网海量多源异构各类告警数据、业务数据、网络数据、网管与运维数据和内控数据，通过数据的集中分析，构建安全场景分析，实现安全风险与态势的实时感知。将事前风险合规性管理运维流程成果量化、事中发生的各类安全告警和异常行为及时感知，事后网管系统监测到的业务异动和事件处置运维流程情况，全部汇总统一成风险感知的业务数据链。