次数据集的网络安全态势感知技术应用分析

◎张 琦 丁 庆 陈 瑜

（上海文化广播影视集团有限公司 上海 200000）

随着计算机网络技术的高速发展，网络数据处理技术和网络安全态势感知技术为网络环境提供强有力的保障。我国网络信息主要存在两方面的问题：一是外部威胁，信息网络日益开放，引起不法分子觊觎，以黑客攻击为首的网络恶意攻击，侵入网络信息内部来获得重要网络信息，影响网络信息安全，网络环境面临巨大威胁；二是系统内部隐患，海量信息数据运行，不能有效管控运行数据，垃圾文件在网络系统肆意流转，势必影响网络安全。当前形势下的安全态势感知，将数据预处理技术与网络安全态势感知技术结合，处理网络安全隐患，保障网络运行环境稳定有序。

一、次数据集的技术背景

次数据集技术是数据预处理技术的前期整合技术方法，数据预处理在收集到安全态势数据之后，本身经过二次矩阵反应可以得出一套数据恢复反应总结，根据实际使用前的数据集合与具体反应能力，一般数据都会有所反应，经过进行预处理的数据都会形成有效的集合。这里主要的预处理工作是将安全态势数据与安全事件数据结合，整合为两种反应弧射，一种是映射关系，一种是聚合关系。

在安全态势数据与安全事件数据的双向融合中，安全态势感知一般会占据主机的大部分数据内容，基于次数据集的前期感知会将主机IP层次中所涉及安全的部分全部改写，认定安全事件数据则是基于组织/企业层次，根据认定的具体层次关系以及预测组织/企业的事件内容进行范围界定，确定清晰的安全态势感知事件内容，根据方法来看，次数据集的主要技术是通过一个Sample IP作为代表IP来确定本次攻击目标的实际所有者（组织/企业），再通过查询公开的RIR数据库获得与攻击目标相关的所有IP地址块，然后这些IP地址块作为一个聚合单元与安全态势数据进行结合。

二、次数据集的网络安全态势感知技术构成

大数据时代的网络安全态势感知体系是从全局出发，整体把控网络环境，又要做到由点到面，全方位监管信息，保障每个场景信息都能及时获取，转化成计算机文件，从而查验是否存在安全隐患。大量的网络信息以计算机代码形式，承载着不同内容运行在网络环境，怎样收集、匹配、转化、储存和修复这些网络信息，迫切需求强有力先进技术支持。安全感知是实现全网安全检查和预警的一种新技术，次数据集的网络安全态势感知技术构成为：数据驱动、场景获取、态势转化、系统画像等，以下分别进行详细分析。

（一）数据驱动

建立基于大数据的态势感知体系可以全面提升发现识别、理解分析、响应处置威胁的能力。数据是态势感知的基础，态势感知系统想要充分发挥作用必须从真实的数据做起，即要获取最真实的底层数据。

实现对整个环境的安全态势要素的完整获取，要有对数据理解、获取和采集的能力，如流量数据的还原与监控、包括流量数据和各类日志数据等。把来自不同的源头、不同类型的数据融合在一起、产生关联，通过进一步分析去发现问题。利用大数据平台能实现海量数据高效的存储与计算处理，在此基础上做深度的安全检测、事件捕猎、调查分析，发现、定位、溯源安全事件。以数据驱动，就是对内通过全面日志的收集与分析，实现全方位的日志获取和监控，最终达到全面防御的目的。

（二）场景获取

“态势感知”是一个由微观到宏观的过程。微观即数据，宏观即场景。数据的集合构成不同的场景，如何从数据中通过分析得到场景，就是我们的研究目标。

态势感知要得到完全的微观信息。连接是网络中信息的最小颗粒，微观信息就是连接参数的全部。有了完整的信息才能进行统计和分析，得到可测量的宏观量。宏观量随时间的变化，对网络安全威胁是在时间上体现出来的，时间维度是我们最重要的一个维度。由微观信息可以得到各种统计，例如IP地址的分布，端口的分布，协议的构成等等，也是数据之间的关联的一种表现，随着统计涉及越来越多的参数和维度，就进入了越来越多的层次，独立出越来越多的场景。

（三）态势转换

态势转换的重点为日志转换为事件。独立的日志仅仅只是日志，只有将日志转换为事件，才能针对事件进行分析、匹配、挖掘、机器学习。

在数据获取阶段，利用ETL过程将数据进行标准化，包括对数据的筛选、过滤、补齐将数据形成统一的标准。针对标准化之后的数据，利用规则匹配、关联分析、复杂事件处理、黑白名单匹配等操作，将数据进行关联，形成已知规则的事件；同时，通过分类、聚类、特征值提取、机器学习等对数据进行深度分析，发现未知事件。这两类事件互相补充，匹配后的数据分析，以确保全面核对数据，处理安全隐患，实现全方位监控以及告警。

（四）系统画像

在实现全面日志接入之后，通过对系统各个维度的日志信息的采集，实现全方位系统画像。在基础硬件层面，通过获取基础设施日志如CPU、内存、磁盘、监控当前的系统基础设施的性能；在安全层面，获取系统相关安全信息，如频繁受到过攻击的类型，有哪些漏洞；在网络层面，获取不同时段的流量信息，同时对流量进行还原，监控流量文件，发现未知威胁；对报文进行监听，分析报文中交易是否正常；在业务层面，获取用户行为、交易成功率等，保证业务系统的连续性；在应用层面，获取应用系统状态，如并发是否过高，服务是否健壮。

全方位的系统监控与预测，对外可以阻断、预测外部攻击，对内可以及时发现违规、危险操作。在本次网络安全态势感知的建设过程中，我们主要集中在基础设施、安全以及网络层面。在实现日志的全面接入之后，从业务系统以及应用层面进行分析，补全系统画像，实现全方位的防护。

三、结语

结合上述分析，可以了解到次数据集的网络安全态势感知技术应用在基础建设与安全结构网络层面内的认知中都拥有很强的技术指导性，随着业务系统与应用的技术不断丰富，次数据集的网络安全态势感知能力也不断增强，伴随着数据库的发展越来越完善，这是一种自我升级与自我优化的数据矩阵数列，针对次数据集的网络安全态势感知技术持续发展具有很好的推动力。在科学技术推动下，基于最新网络安全感知技术的不断发展，势必使网络的安全环境得到更好完善，为用户提供更加安全的网络环境。