基于大数据下的网络安全威胁感知决策指挥系统设计

尹立君

(邢台职业技术学院，河北 邢台 054035)

1 背景

网络安全是一个事关国家安全的重大战略性问题，党的十八大以来，党中央、国务院高度重视网络安全工作，习近平总书记站在战略和全局高度，就网络安全工作发表了一系列重要讲话，提出了“没有网络安全就没有国家安全”“安全是发展的保障，发展是安全的目的”“加快构建关键信息基础设施安全保障体系，全天候全方位感知网络安全态势，增强网络安全防御能力和威慑能力”，为网络安全工作指明了方向。[1]

在《中华人民共和国网络安全法》第 32条中明确要求“建设关键信息基础设施应当确保其具有支持业务稳定、持续运行的性能，并保证安全技术措施同步规划、同步建设、同步使用”。并且等级保护 2.0 相关政策条例的修订与出台、也提出了一些新的安全要求，如：安全态势感知、检测新型威胁等。

借助态势感知平台可以宏观把握整个网络的安全状况，分析攻击者的意图，为管理决策提供重要依据。在原有边界防护、网络防护、通信防护的基础上，建设基于大数据分析平台支撑下的网络安全威胁感知决策指挥系统。旨在利用大数据平台的存储计算资源，通过分析网内或行业的海量安全类数据，输出安全风险、安全问题的可视化结果并进行运维处置，实现网内的网络安全风险预警与安全事件全闭环处理。

基于大数据分析平台支撑下的网络安全威胁感知决策指挥系统主要包括：1.建设网络安全威胁感知系统，基于网络安全大数据平台，利用各类安全相关数据，实现资产管理、风险感知、预警管理、共享交换功能；2.建设网络安全决策指挥系统，在网络安全威胁感知系统的支撑下，实现网络安全事件分析研判支撑、事件闭环处置、应急预案管理联动、应急演练、综合展示、信息系统等保管理等功能，形成可不断演进的网络安全决策指挥系统。

2 总体设计

2.1 设计概述

系统由两个子系统“网络安全威胁感知系统”和“网络安全决策指挥系统”有机组成。核心能力构建由两方面构成：数据驱动安全、人机共智。

通过数据驱动安全理念，建设大数据驱动的全方位网络安全威胁感知系统。拥有纯正的大数据基因，具备完善的大数据采集、大数据存储与计算、大数据威胁分析与建模、基于大数据的告警优化等要素。系统汇聚多维数据：网络中所有 IT 资源(包括网络、系统、应用和数据库)产生的安全信息(包括日志、告警等)。使用立体的分析能力：大数据关联分析、特征匹配、聚合统计、威胁情报分析、机器学习、深度学习、异常检测等。构建真正的具有“立体和纵深”的网络安全威胁感知系统，广泛覆盖已知和未知威胁，并识别来自外部的入侵，监控审计内部的违规、误操作行为。

网络安全决策指挥系统集成了独有的“人机共智”创新技术能力，以安全效果为目标，在网络安全运营过程中将人员、技术和流程结合起来，实现高效运转。通过大数据关联分析、机器学习、AI 和安全专家协同，实现网络安全事件分析研判支撑、事件闭环处置、应急预案管理联动、应急演练、综合展示、信息系统等保管理等功能，形成持续闭环、不断迭代优化的 XX 单位网络安全决策指挥系统。

2.2 系统架构

2.2.1 系统架构图

如图1所示，整体系统架构分为四层：数据源层、大数据平台层、网络安全威胁感知系统、网络安全决策指挥系统。

图1 系统架构图

数据源层为大数据平台需要对接采集的数据源，数据类型：安全设备日志、安全审计日志、网络流量数据、系统应用日志、资产与脆弱性数据及其他类型数据。数据对接方式为Syslog、Kafka。

大数据平台负责对接数据源层的各类设备、系统、应用的数据，提供存储层和计算层，对海量数据统一接入、存储、数据治理，并支撑大数据关联分析。存储层提供 HDFS、ElasticSearch 存储方式；计算层提供 Flink、Spark 计算框架及 Yarn 资源调度框架。大数据平台支撑网络安全威胁感知系统及第三方算法模型。

网络安全威胁感知系统和网络安全决策指挥系统是构建在大数据平台之上的安全应用。网络安全威胁感知系统使用大数据平台的存储和分析计算资源，提供安全模型和可视化建模画布。可视化建模画布提供可视化的方式进行安全建模，并把安全模型转换为作业，通过大数据平台的 API，提交作业，运行在大数据平台上。安全模型包括：威胁检测、异常检测、攻击成功识别、告警优化、资产和脆弱性数据优化等功能。

作业读取大数据平台的数据，包括消息总线和安全主题库中的多源日志数据；进行安全分析，并将分析后的安全告警、事件再存入大数据平台的安全主题库中，供网络安全决策指挥系统统一管理、可视化展示、检索和处置。网络安全决策指挥系统是对网络安全威胁感知系统产生的安全事件告警进行处置闭环，包括：事件分析研判、事件响应处置、溯源加固等全流程管理；安全事件处置预案与应急预案管理、可视化展示等功能。

2.2.2 系统模块介绍

网络安全威胁感知系统功能可分为：可视化建模画布和安全模型。安全模型包括：威胁检测、异常检测、攻击成功识别、告警优化、资产和脆弱性数据优化等功能。

(1)可视化建模画布：提供可视化的方式进行安全建模，并把安全模型转换为作业。通过大数据平台的 API，提交作业，运行在大数据平台上。可视化建模画布提供可视化关联分析工具、可视化威胁情报分析工具、可视化机器学习工具、可视化深度学习工具等模块。支撑以拖拽控件的方式进行可视化安全建模，可以任意选择数据源，分析算子和输出目的算子进行交互式安全建模。

(2)威胁检测：通过对多源数据(网络流量、系统日志、应用日志等)进行特征匹配、关联分析、聚合统计、威胁情报分析、机器学习和深度学习建模广泛覆盖网络威胁。包括：账号安全检测、邮件安全检测、web 攻击检测、漏洞攻击检测、C&C 检测、文件检测和违规检测等。

(3)异常检测：使用机器学习、深度学习对主机数据、用户行为数据、和网络流量数据进行建模，建立正常行为基线，然后比对实时数据来检测异常行为，用于发现内部违规和高级别攻击。异常检测模块包括：主机异常检测、用户行为异常检测和网络流量异常检测；攻击成功识别：从海量安全日志和安全告警中，通过上下文、大数据关联分析、特征匹配等进行攻击成功识别，包括暴力破解成功识别、Web 攻击成功识别、漏洞攻击成功识别、威胁定性等。

(4)告警优化：将各个安全设备、安全产品、安全系统、各厂商的安全模型上报的海量安全告警通过大数据关联分析将其聚合、归并、关联、统一，并进行归并去重优化、白名单优化、攻击场景优化。可以大幅降低重复的、无效的、低危的告警数量，突出真正高危攻击，便于真正的风险能够及时处置闭环。从而消除告警疲劳，大幅降低事件处置工作量，提高处置效率，从而提高安全威胁决策指挥能力。

(5)资产和脆弱性数据优化：对从各数据来源收集到的资产数据、资产脆弱性数据进行归并、去重、去错等处理，形成规范的资产库和资产脆弱性库。

网络安全决策指挥系统通过网络安全威胁感知系统中各类模型算法分析出优化削减后的告警结果，进行多维度关联的安全事件分析研判，同时提供各类安全上层应用，便于进行网络安全运维和事件处置工作，其应用包括安全事件全流程处理(安全事件发现、分析研判、响应和处置)、应急预案管理(应急预案管理、处置剧本、应急演练和知识库)、等级保护管理、可视化展示，通过各个应用模块协助网络管理者进行日常运维管理工作。

(1)安全事件管理：提供包括安全事件发现及确定、安全事件分析研判、安全事件响应、安全事件联动处置等全流程管理。包括提取网络安全威胁系统中发现的网络安全事件；为人工分析研判告警提供支撑工具，协助运维人员识别真实网络安全事件；通过蓝信、邮件、短信平台等，通知负责人联动响应；联动安全设备实现策略处置。真正实现对于安全事件全流程的有效管理。

(2)应急预案管理：实现网络安全应急预案的电子化管理，为每一种网络安全事件设定对应的应急预案；编排并可设置 playbook 处置剧本，能够通过可视化拖拽平台将任务形成剧本自定义；内置处置知识库，降低现场运维压力。

(3)资产管理：通过多种方式进行网内/外资产的探测和识别，并将所识别和探测的资产相关信息进行有效整合或归并，形成完整的资产信息条目，进而建立资产管理库，实施资产管理。

(4)脆弱性管理：通过主动扫描网络安全设备、主机网络安全管理软件、网络安全漏洞发现算法等来源发现漏洞、弱口令和基线配置，并对所发现的脆弱性信息进行有效整合，对有效脆弱性进行工单跟踪，实现闭环处置(发现、验证、修复、复测等)。

(5)等级保护管理：可对信息安全等级保护工作中的备案初审、提交测评报告、备案审批、备案证明等各个工作环节中的信息和数据进行集中管理和统计分析，并对上述各工作环节的工作流程进行规范化管理。

(6)可视化展示：利用统一展示层可视化展示 XX 单位全网安全态势、重要信息资产情况、应急演练全流程。包括：综合安全态势展示、重要信息系统安全展示、事件处置状态展示、全国 XXX 网络安全状态展示、演练展示、漏洞可视化、资产信息可视化。

(7)处置命令对接集成：提供到 XX 单位各个网络安全设备的单点登录功能，并对接网络安全设备集中管控平台或网络安全设备 API，实现对网络安全设备直接下发处置命令处置安全问题的效果。

2.3 业务流程

图2为业务数据流程图。

图2 业务数据流程

(1)数据源层：将采集的数据上报到大数据平台，包括流量数据、设备日志数据、部分资产数据、漏洞数据等。

(2)大数据平台的消息总线和安全数据仓库：大数据平台数据层提供统一接入组件如 Kafka、HDFS、ES 等，对数据源层的数据进行标准化采集、解析和治理，并存储在安全数据仓库中。

(3)网络安全威胁感知系统的安全模型通过可视化建模画布建模，生成安全模型作业，提交并运行在大数据平台上。安全模型作业包括威胁检测、异常检测、攻击成功识别、第三方算法模型、告警优化、资产和脆弱性数据优化等。威胁检测、异常检测、攻击成功识别、第三方算法模型读取大数据平台的消息总线 Kafka或安全数据仓库中的海量安全数据，进行安全分析，并将分析后的告警存入大数据平台的 Kafka。然后告警优化读取 Kafka 中告警数据，进行归并去重优化、白名单优化、攻击场景优化并将优化生成的安全事件存入大数据平台的安全数据仓库中。资产和脆弱性数据优化读取大数据平台中的资产和脆弱性数据，优化后存入大数据平台的数据仓库中。

(4)网络安全威胁感知系统的安全模型作业和第三方算法模型的安全模型作业，运行在大数据平台上，由大数据平台的资源管理层 Yarn 组件统一纳管。

(5)运行在大数据平台上的安全模型作业将分析后的告警、事件、资产和脆弱性等数据写入到大数据平台的安全数据仓库中。

(6)网络安全决策指挥系统从大数据平台的安全数据仓库中获取分析后的告警、事件、资产和脆弱性等数据进行事件处置、资产管理、脆弱性管理、可视化展示等。

3 总结

整个网络安全系统设计由多个子系统组成，威胁感知系统通过对大数据平台数据的分析计算生成安全告警，由决策指挥系统统一管理，包括：事件分析研判、响应处置、溯源加固等。系统建设完成后可以宏观把握整个网络的安全状况，分析攻击者的意图，为管理决策提供重要依据，实现网络安全。