基于大数据视角下的网络安全态势感知研究

张小林 罗汉云 鲁雷

摘 要：随着网络技术的不断发展，信息化社会带来了很大的便捷，但是网络安全风险与日俱增。本文主要研究了来自网络入侵、防御、安全审计等安全威胁事件，通过大数据和数据挖掘技术进行分析，得到网络安全态势感知趋势。通过分解独立安全风险域和网络中的安全风险事件以及信息系统的安全等级进行量化，得到网络安全风险评估的量化风险值，给决策者提供网络风险管理依据。

关键词：安全风险;安全威胁评估;态势感知;日志分析

中图分类号：TP393.09  文献标识码：A  文章编号：1673-260X（2020）09-0045-04

1 引言

随着通信技术的不断发展和5G技术的普及应用，促进了物联网的建设，也带动了网络的不断扩张。信息化是推动经济社会发展转型的一个历史性过程，伴随着Web技术的发展，H5技术的出现，基于智能终端的应用、App出现爆发式增长，给人们的工作、生活带来了极大的便利，但这种野蛮式的增长也带来了极大的网络安全风险。

目前，各级人民政府、高校、企事业单位都拥有自己的局域网，有各种各样的应用系统和业务平台。有的用于办公，有的是对外提供服务查询。在各个系统中含有海量的数据，其中也有很多涉及隐私的信息。2017年6月1日《中华人民共和国网络安全法》正式颁布，信息系统安全等级保护的建设也写进了网络安全法，网络安全建设已经成为信息系统建设中的一个重要组成部分，目前最常见的方式是通过部署网络安全设备进行防御。本文主要研究通过安全设备、网络设备产生的海量安全威胁事件、安全审计事件等数据以及主机的安全风险数据进行分析，对其中的安全风险、安全威胁等进行量化处理，从中分析出当前网络的安全风险值以及得到网络安全态势。

2 网络态势感知的概念

态势感知[1]最早源自在军事对抗中。1988年，Endsley首次明确提出态势感知的定义，态势感知是指“在一定的时空范围内，认知、理解环境因素，并且对未来的发展趋势进行预测”[1]。态势感知的思維方式和方法，在战斗指挥、医疗应急调度等应用范围很广，但这个概念并没有引入网络安全领域中。直到1999年，Bass提出了网络态势感知这个概念，提出“多传感器数据融合技术为下一代入侵检测系统和网络态势感知系统提供了一个重要的功能框架，它可以融合多源异构IDS的数据，识别出入侵者身份、攻击频率及威胁程度等”[2]。

当网络态势感知被引入到网络安全领域后，国内外很多专家针对这个概念提出了概念模型和功能模型，Endsley[3]和Bass[4]为网络安全态势感知的研究奠定了基础，给出了网络安全态势感知的概念，“在大规模网络环境中，对能够引起网络态势发生变化的安全要素进行获取、理解、显示以及预测未来的发展趋势”。网络安全态势感知首先需要获取安全要素，这些安全要素可以理解为与网络安全相关的信息，这些信息可能来源于网络传感器、嗅探器所采集的数据、网络安全设备等。当这些安全信息收集完成后，需要对它们进行分解，对这些安全要素进行分析、关联等技术，最终能够将这些安全要素所能表达的过去某个时刻网络的状态，并且能够为决策者提供预测未来的发展趋势。

很多文献对网络安全态势感知都没有给出一个完整的概念定义，只是对网络态势感知进行了定义，文献明确地定义了网络安全态势感知的概念，以及提出了网络安全态势感知现状以及问题[1]。根据不同角度对安全要素观测点不同，建立的模型以及研究方法也有很多，在文献中提出了一种基于神经网络的网络安全态势感知方法[2]，也提出了基于知识发现的网络安全态势感知研究[5]。也有很多学者通过网络的脆弱性信息来评估网络的脆弱性态势，有的也有通过采集网络的警报信息来评估网络的威胁性态势。

3 安全要素获取

3.1 网络安全风险评估

在网络安全风险评估领域，我国起步较晚，重视程度也不够。直到2002年，颁布了国家标准《信息技术、安全技术、信息技术安全评估准则》（GB 18366-2002）[6]，2009年颁布了《信息安全技术 信息安全风险评估规范》GB/T 20984-2009，经过反复修改和征求意见，在2012年发布了《信息安全技术 信息安全风险管理指南》GB/Z 24364-2012[7]，这些国标的出台，对我国的网络安全风险评估等方面的建设带来依据，同时也表明国家对网络安全风险也越来越重视。一般认为，对安全风险进行评估时，需要从三个方面着手：就是资产、威胁、脆弱性。通过基于这三个方面的安全风险评估，获取网络的整体安全风险。在一个大型网络中，首先取得网络的拓扑图，针对网络中的信息系统保护的级别、边界防护设备的分类，可以将网络分解为合适的独立的网络域，形成独自的安全风险域，通过对各个子安全风险域进行以上三个层面的风险评估，最终网络安全风险将由各个子网络域的安全风险汇总而成。定义NSR表示网络安全风险值，则NSR=NSRk，n为网络中独立安全风险域的个数。

网络安全威胁是一个动态的过程，它不是一次就能完全解决的，安全风险总是一直存在的。在实践过程中，存在着风险与成本的关联关系，也存在着安全风险与可用性的关系，所以在客观实践中，要合理地评价和分析网络安全风险。安全风险评估是通过科学的分析，通过量化确定风险的过程。通过风险评估可以让管理者更好地预防风险，通过管理和技术进行风险控制，以及减少风险的产生。

在网络结构中，各个设备、服务器、主机、应用系统的重要性不一样，可以依据各个信息系统的级别给他们分配不同的权值。信息系统的安全保护等级分为五级，一至五级等级逐级增高，在大部分网络中，二级和三级的信息系统占大多数，在[0，1]区间定义权值，级别越高，权值越高。

3.2 安全要素的来源及处理

在网络中，每时每刻都会有大量的数据在传输。在使用涉及网络安全的数据时，可以从网络中的传感器、网络安全设备的入侵检测、入侵防御、漏洞扫描系统、堡垒机、数据库审计等，另外可以服务器、网络设备等，如服务器、交换机、路由器等而产生的信息数据。这些数据有的是安全日志，对于安全日志只需要提取那些受到威胁或攻击等的日志，正常日志不需要进行收集;对于网络底层的数据流量，采用NetFlow v5格式，利用SILK收集和分析数据流，并将异常的数据以一定的格式传输到安全威胁数据库中。

网络中每天产生的数据量增长很快，对这些海量的日志数据、威胁数据、风险警报数据、漏洞风险等数据的存储，需要整合到系数据库系统、分布式文件系统、数据库集群以此建混合式数据仓库，利用大数据技术，在Hadoop框架下的分布式文件系统HDFS和分布式计算MapReduce对海量数据进行运算。

3.3 安全要素的分析

通过分类，入侵检测和防御类的，主要有IDS（入侵检测系统）、IPS（入侵防御）、Web应用防火墙等，这类设备主要是能提供网络中攻击威胁，也是威胁量化中的一个重要数据来源。还有如数据库审计系统、运维审计系统类，能够提供一些非法的操作、异常行为事件等重要信息。

入侵检测设备（IDS）是一种主动防护的安全技术，对外网传入内网的数据流进行即时监视，在发现可疑传输时发出警报或者采取主动反应措施的网络安全设备。根据不同的信息来源和不同的检测方法也有不同分类。在IDS中，会产生大量的入侵事件，系统根据相关的规则库对事件也进行了分类，同时也会有很多类型的日志信息。

Web应用防火墙，也称为WAF设备，目前有很多使用方式，有的通过云部署，有的通过本地部署。主要用途是针对网站入侵进行防护，随着web技术的不断发展，很多新技术不断涌现，但同时也带来了大量的安全漏洞，这也成为很多黑客组织攻击的主要目标，OWASP组织提供权威的十项最严重的Web应用程序安全风险列表，总结了Web应用程序最可能、最常见、最危险的十大漏洞，同时也给开发、测试、服务、咨询人员应知应会的知识。根据OWASP组织提出的十大风险漏洞，给风险值较高的威胁分配不同的量化值，结合其他安全要素定义每个风险安全域的量化安全风险值。Web防火墙记录有Web站点入侵事件记录，同时也会有其他的日志记录，如web安全日志、web防篡改日志、网络层访问控制日志等。

漏洞扫描系统，根据漏洞知识库从操作系统、服务、应用程序和漏洞严重程度多个视角进行分类，需要给出具体的分类信息。可以针对操作系统、数据库、中间件、通信协议进行漏洞扫描，也可以对常用软件、应用系统、虚拟化系统等进行扫描。漏洞扫描系统可以从弱口令的猜测到主机系统的安全配置，以及部分应用系统和应用软件的漏洞扫描，提出风险点，根据各个风险点的级别和重要程度进行量化。同时可以在漏洞扫描系统中，将资产纳入统一管理，同时建立资产风险评估。

在不同的网络中，所采取的安全防御措施和网络安全设备的部署情况以及策略设置、安全管理等不尽相同，是根据客观实际情况，对不同的资产重要程度、事件安全风险级别、信息系统的安全级别进行量化。本文采用的量化标准[9]，对网络、服務器进行分类，按照重要程度进行分配权值。目前一些主流的安全产品，主要的漏洞风险库都是参考CVE、CNCVE、CNVD、CNNVD等数据库，每一种风险漏洞都有其编号以及其威胁程度。在漏洞扫描时，根据漏洞的威胁程度，给出安全风险级别，根据风险级别高、中、低，进行量化。

3.4 安全要素的融合

借助大数据技术，通过对这些安全事件、安全威胁日志等大量的数据信息进行处理，是为后面进行关联规则分析、态势感知提供最可靠的数据源，预处理过程中的第一步数据质量的把控非常重要，涉及数据的误报和数据的聚合等。在数据融合根据关联规则分析需要的特定的数据格式，要在数据预处理阶段进行转换。

在事务识别和聚合的分析过程中，源地址和目的地址都是一个主要的特征表示进行数据挖掘，同时事件的时间是各个安全要素统一的连接点。当某个系统在遭受攻击时，可以对之前的数据进行梳理，通过关联规则找到攻击的时间点以及攻击路径，一般的攻击行为都会通过信息收集、扫描，获取大量的信息，然后通过漏洞挖掘、查找相关软件的漏洞等等，最后通过漏洞利用，进入系统，进行提权操作等。那么在所收集的安全要素中，一些常见的扫描、爬虫等安全事件是不能随意忽略的，通过多个安全事件以及建立本地的知识库，将这些看似平淡无奇的安全事件反应在网络安全态势中。

在海量异构数据处理过程中，数据融合是一个非常重要的环节，涉及数据的提取、理解、分析等，数据融合是一个多级、多层面的数据处理过程。网络安全态势感知的数据融合有很多算法，有的是基于逻辑关系，有的是基于数学模型，有的是基于概率统计等。基于逻辑关系的数据融合是根据信息内在的逻辑关系进行的融合，采取的融合方法是警报关联[10]。这种数据融合的方法很好理解，它能可以快速直观地在海量数据信息之中分析出网络的安全态势。

4 网络安全态势感知量化

通过网络安全风险评估，基于网络中的大量的安全要素，以及通过大数据技术、数据挖掘技术对这些安全信息进行研究分析，最终将这些数据理解、量化，通过可视化技术来显示。

通过采集、分析Web防火墙、IPS、数据库审计等安全要素，得到某Web站点的攻击趋势图，如图1所示。

根据文献，并根据信息系统的安全等级保护的级别、漏洞等要素，将网络安全态势的安全等级进行分级[11]，用[0，1]区间进行量化描述，分为安全、轻度危险、一般危险、中度危险、高度危险几个级别，通过这些量化，给管理者提供更直观的安全感知。

5 结束语

通过大数据技术对网络中的安全要素进行处理，将单个的网络安全事件、安全漏洞、安全威胁、安全日志等，通过量化每个风险指标，形成网络安全态势。将整个网络通过分解成多个独立安全域进行安全风险评估，根据等级保护级别，依据量化的风险值，从而形成了整个网络的安全风险值，安全威胁是一个动态的过程，虽然所采集的是历史的数据，但是通过安全风险评估和关联规则分析，能够形成网络安全态势的趋势预测。通过网络安全风险评估，能够给管理者提供更全面的网络安全态势，更好地有针对性地做好安全保障工作。

——————————

参考文献：

〔1〕龚俭、臧小东、苏琪、胡晓艳、徐杰.网络安全态势感知综述[J].软件学报，2017，28（04）：1011-1026.

〔2〕谢丽霞，王亚超.网络安全态势感知新方法[J].北京邮电大学学报，2014，37（05）：31-35.

〔3〕Trusted Computing Group.TCG Specification architecture overview specification revision 1.2[EB/OL].[2011-04-15].http：//www.trustedcomputinggroup.org /.

〔4〕BASS T，ARBOR A.Multisensor data fusion for next generation distributed intrusion detection systems[C]. Proceeding of IRIS National Symposium on Sensor and Data Fusion.Laurel，1999： 24 - 27.

〔5〕王春雷，方兰，王东霞，戴一奇.基于知识发现的网络安全态势感知系统[J].计算机科学，2012，39（07）：11-17.

〔6〕中国国家标准化管理委员会.信息技术、安全技术、信息技术安全评估准则：GB18366-2002[S].北京：中国标准出版社，2002.

〔7〕中国国家标准化管理委员会.信息安全风险管理指南：GB/Z24364-2012[S].北京：中国标准出版社，2012.

〔8〕中国国家标准化管理委员会.网络安全等级保护测试评估技术指南：GB/T36627-2018[S].北京：中国标准出版社，2018.

〔9〕司加全，张冰，荷大鹏，等.基于攻击图的网络安全性增强策略制定方法[J].通信学报，2009，30（02）：123-128.

〔10〕单宇锋.网络安全态势感知系统的关键技术研究与实现[D].北京邮电大学，2012.

〔11〕谢丽霞，王亚超.网络安全态势感知新方法[J].北京邮电大学学报，2014，37（05）：31-35.