基于大数据分析的态势感知平台设计

◆迟玉领

基于大数据分析的态势感知平台设计

◆迟玉领

（国能黄骅港务有限责任公司 河北 061113）

针对传统的网络安全产品难以解决当下用户网络安全问题的现状，本文设计了一种基于大数据的网络安全态势感知平台，包括大数据平台技术架构设计和网络安全态势感知平台功能设计。基于大数据平台提供的组件功能，为态势感知平台提供数据获取、数据融合、分析、检索、存储以及模型、算法、机器学习、接口等众多基础服务功能，保障态势感知平台能够对海量告警数据进行提取、响应、分析、处理，准确地识别出安全事件，真正解决用户安全问题，为今后网络安全态势感知平台产品发展方向提供思路和方法。

大数据;网络安全；态势感知；机器学习；可视化

1 引言

随着传统互联网、大数据、物联网等技术的快速发展，信息安全问题越来越突出，不仅引起了企业领导的重视，更引起了国家领导人的关注。习近平总书记更是提出了要“构建关键信息基础设施安全保障体系，全天候全方位感知网络安全态势”[1]。

同时，由于攻击者、黑客技术水平的不断提升，攻击手段已向着更为复杂的0day漏洞利用和APT攻击演变，攻击手段多样化，这给企业的安全保障带来了极大的困扰[2]。

但是，目前主要的应对措施依然是基于安全产品的简单组合，存在较多的不足[3-4]：

1) 安全设备孤岛式分布，无法关联分析；

2) 安全设备告警泛滥，运维人员处于告警疲劳；

3) 安全告警依赖内置规则，缺乏建模分析；

4) 无安全回溯能力，无法对攻击者追踪溯源；

5) 缺失资产、弱点、安全事件的关联对应。

基于这些痛点，目前迫切需要一种能够对海量数据进行准确提取、建模、分析，再结合威胁情报，精准发现安全事件，提升用户运维效率、协助用户解决安全问题。

2 基于大数据的网络安全态势感知平台设计

2.1 大数据平台技术架构设计

大数据平台架构设计采用对开源组件的封装和增强，提供组件，主要解决多源异构数据的采集、汇聚、处理、存储以及为上层应用提供各类计算能力和数据服务能力，大数据平台技术架构设计如图1所示[5-6]。

图1 大数据平台技术架构设计

系统管理设计：主要提供高可靠、安全、容错、易用的集群管理能力，支持集群化的安装部署、监控、告警、用户管理、权限管理、审计、服务管理、健康检查、问题定位、升级和补丁等管理功能。

分析展示设计：主要提供仪表盘、大屏、告警中心、可视化图表等多种展示功能。

接口设计：主要提供REST API、SDK、JDBC/ODBC等接口，供第三方系统调用。

数据交换设计：主要采用NxLog、Beats实现平台与关系型数据库、文件系统之间的数据交换功能。

分布式消失队列设计：主要采用kafka组件实现实时消息发布，提供可扩展、高吞吐、低延迟、高可靠的消息分发服务。

任务调度系统设计：主要采用Scheduler组件，实现各任务之间的调度功能。

资源调度管理设计：主要采用YARN组件，实现各类应用程序进行资源管理和调度。

流计算框架设计：主要采用Flink开源流处理框架，支持批处理和流处理功能。

分布式文件系统设计：主要采用Hadoop架构，提供高吞吐量的数据访问功能。

实时分布式数据库设计：主要采用Hbase技术，实现海量数据存储的功能。

全文检索设计：主要采用ElasticSearch检索引擎，实现快速、稳定、可靠的搜索功能；

分布式文件系统设计：主要采用HDFS技术，实现批量文件的快速存储与调取功能。

关系数据库设计：主要采用MySQL数据库组件，提供一个具备高可靠性的传统关系型数据库功能。

2.2 态势感知平台功能设计

基于大数据技术，建立安全数据中心，利用AI模型和可视化技术，对企业网络环境内发生的所有行为进行全面分析，实现对脆弱性、威胁、事件的深入分析和关联，从业务系统、应用情境、用户等维度进行关联分析，实现攻击路径还原、攻击危害评估、调查取证、安全态势可视化分析等安全能力。功能架构设计如图2所示[7-8]。

图2 态势感知平台功能架构设计

2.2.1安全数据采集系统功能设计

1）流量数据采集设计

基于流量深度检测DPI技术，针对HTTP、SMTP、POP3、IMAP、SMB、FTP等网络协议进行流量采集，并对二至七层全协议进行深度解析，并对流量中隐藏的木马、蠕虫、病毒等恶意代码流量进行检测告警。

2）日志数据采集设计

通过采用Syslog、SNMP Trap、Netflow、NMAP、FTP、ODBC、SSH等协议进行日志数据采集。包括网络设备、安全设备、主机、服务器、中间件等日志。

3）外部威胁情报采集设计

通过集成第三方威胁情报源，对系统中存在的恶意IP、URL、Domain等可疑行为进行及时告警和通知。

4）APT攻击检测设计

利用自学习白名单分析、病毒特征库匹配以及动态沙箱等技术手段对APT攻击进行检测分析。

2.2.2安全威胁分析预警系统设计

1）攻击分析设计

DDOS攻击分析：利用机器自学习功能对DDOS攻击流量样本进行训练，识别出Syn-flood、ack-flood、udp-flood、ICMP-flood等攻击。

CC攻击分析：通过分析流量特征和HTTP协议中的报文，识别出CC攻击；

僵木蠕毒数据分析：通过nmap技术实时扫描网络状态，识别出僵尸网络；利用病毒库特征库匹配技术检测出木马、蠕虫、病毒等。

APT攻击分析：利用动态沙箱技术，识别出网络中存在的APT攻击威胁。

2）UEBA分析设计

资产自动发现：利用识别指纹库，对流量和日志数据进行指纹抓取，自动识别出相关网络资产，包括安全设备、网络设备、主机、数据库、中间件以及应用系统等资产；

主机失陷检测：用机器学习检测DGA域名请求、远控工具指纹库、漏洞库，以及多个隐蔽信道通信检测模型，可以全方位发现主机被远程控制或被挂马。

端口分析：主要利用nmap技术，对存活设备的端口进行监测，密切关注高危端口的TCP报文连接情况分析。

账号失陷检测：检测内部用户账号被恶意滥用行为，如检测不合理的登录行为和操作行为。

用户行为画像分析：利用机器自学习技术对用户日常操作行为进行建模，对用户操作行为进行画像分析。

攻击者画像分析：利用大数据分析技术，对既有安全日志从事件、时间、影响、危害等多个维度分析，从而快速、全面的获取攻击画像。

3）数据泄露分析设计

可疑的文件监测：通过判断用户文件夹访问行为、移动行为等，识别出可疑的文件操作；

敏感数据访问异常检测：通过IP与用户的映射关系，实时检测分析非法用户是否在访问敏感数据；

敏感数据访问统计分析：统计分析哪些用户正在使用敏感数据、访问时间、访问频率；

基于内容文件分类：通过文本内容提取出内容的主题，根据主题对其进行分类分析；

机器学习构造敏感词库：通过构建敏感关键词库，利用敏感词识别器直接识别出敏感的文件和应用内容。

4）应用安全数据分析

基于业务健康指数模型，从业务的性能与可用性、业务的脆弱性和业务的威胁三个维度综合计算出业务的健康指数，以及业务健康指数随时间波动的曲线，来分析应用数据的安全性。

5）关联分析

通过安全事件找到相关的资产，关联查找资产的漏洞，从而建立安全事件与漏洞之间的可能关系。情报源中的威胁信息可在关联规则中引用，进而对安全事件、资产、漏洞、威胁等进行关联分析。

2.2.3态势感知可视化系统设计

主要对存在的主要安全威胁和攻击事件进行检测，利用大数据分析方法对各种安全信息进行深层次关联融合，以攻防的视角，从整体安全态势、DDOS攻击态势、僵木蠕毒攻击态势、网站安全态势、0days漏洞态势、APT威胁安全态势、资产安全态势、数据泄露安全态势、账号安全态势、流量态势、业务应用态势、脆弱性利用态势、内外网连接态势等维度进行可视化展示。

（1）事件可视化展示

基于事件五元组数据（源IP、源端口、目的IP、目的端口、协议）五个数据组成的平行坐标图；

基于事件源IP、目标IP的视网膜图可视化展示，利用视网膜图可以清晰地看到源IP到目的IP连接的次数，当连接次数越多时，源IP到目的IP的宽度则越宽，方便进行数据分析。

（2）流量可视化展示

基于外部IP访问流量TOP排名可视化展示；基于资产流量TOP排名可视化展示，通过计算一段时间内资产（IP）的流量大小，计算输入（下行）、输出（上行）流量以及总流量，进行TOP排名可视化展示。

基于协议类型进行流量TOP排名可视化，通过计算一段时间内资产的流量大小和某种协议的连接次数，分别按流量和连接次数进行分析；

基于资产流量（基线）画像可视化，通过计算一段时间内资产的流量大小、平均流速、峰值流速和某种协议的连接次数，进行资产流量可视化展示。

（3）脆弱性可视化展示

基于已发现的漏洞清单与资产关联可视化，每个资产的脆弱性（包括病毒、漏洞等）所关联的IP情况，一个漏洞对应多个IP，可以从图标上直观看出资产的脆弱性，清晰的展示效果方便于资产脆弱性的数据分析。

基于某一漏洞关联资产的关联可视化，从相关联的资产可直观看到其资产所关联的脆弱性情况，层层的数据关联，通过一对多的模式清晰的展示资产脆弱性的关系，

（4）漏洞利用可视化

基于漏洞利用可视化分析：安全事件-关联资产-关联漏洞、合规问题、弱口令；安全事件-关联威胁情报。

2.2.4追踪溯源系统功能设计

在确定攻击事件后，按事件线索汇总所有分析的结果，按时间顺序、网络拓扑路径、网络连接访问路径进行攻击路径还原，进入还原黑客整个攻击行为。

2.2.5通报和应急处置系统设计

通报管理：接收、汇总各种类型，不同来源的安全信息通报，实现漏洞信息录入、通报信息录入、通报管理下发等功能。

安全事件应急处置：针对网络安全事件的应急响应、处理流程进行综合管理，对各方资源的有效整合、集中管理、集中监控、集中维护，实现应急预案数字化管理。

系统内置以下知识库：安全事件处理流程、安全知识库管理流程、安全运营流程、安全问题管理流程、漏洞评估处理流程、安全事件应急响应流程、通报流程以及安全作业计划流程等。

2.2.6基础安全运维门户系统

基础安全运维门户系统作为态势感知平台的基础管理支撑，负责用户管理、角色管理、权限控制、门户定义、资产管理、业务管理、日志范式化库、事件告警管理、各种策略管理、各种统计分析报表以及整个平台组件的监控管理等功能。

3 结束语

本文从传统安全产品不能解决当下用户安全问题的需求为出发，设计了一种基于大数据的网络安全态势感知平台，包括大数据平台技术架构设计和网络安全态势感知平台功能设计。基于大数据平台提供的组件功能，为态势感知平台提供数据获取、数据融合、分析、检索、存储以及模型、算法、机器学习、接口等众多基础服务功能，保障态势感知平台能够对海量告警数据进行提取、响应、分析、处理，准确识别出安全事件，真正解决用户安全问题，为今后网络安全态势感知平台产品发展方向提供思路和方法。

[1]胡志军.基于大数据的网络安全态势感知平台的应用思考[J].金融时代科技.2019，（10）：44-46.

[2]韩晓露，刘云，张振江，吕欣，李阳.网络安全态势感知理论与技术综述及难点问题研究[J].信息安全与通信保密，2019，23（4）：61-64.

[3]赵梦.基于大数据环境的网络安全态势感知[J].信息网络安全，2016（9）：90-93.

[4]陈兴蜀，曾雪梅，王文贤，邵国林.基于大数据的网络安全与情报分析[J].工程科学与技术，2017，49（3）：1-8.

[5]朱义杰，杨玉龙，李帅，成建宏.面向大数据环境的网络安全态势感知平台研究[J].网络安全技术与应用，2018，8（2）：65-69.

[6]琚安康，郭渊博，朱泰铭.基于开源工具集的大数据网络安全态势感知及预警架构[J].计算机科学，2017，44（5）：125-131.

[7]管磊，胡光俊，王专.基于大数据的网络安全态势感知技术研究[J].信息网络安全，2016，32（8）：211-215.

[8]毛军礼，汲锡林.基于大数据的网络态势感知体系架构[J].通信系统与网络技术，2018，44（3）：217-223.