网络日志和流量关联分析的必要性

文/杨连群 宋津旭 李翔宇

网络日志和流量关联分析的必要性

文/杨连群 宋津旭 李翔宇

针对日益频繁的信息安全事件，基于日志和基于流量的分析工具都已经有成熟的产品，但是都各有优势和局限性。本文从将网络日志与流量关联分析的必要性和可能性出发，结合大数据技术的发展，提出了基于大数据架构的网络日志和流量关联分析平台，为信息安全分析的发展方向提供参考。

日志分析 流量分析 关联分析 威胁 检测大数据

21世纪以来，互联网技术取得了快速的发展，人们在生活时也深深的受到互联网的影响。4G网络、Wi-Fi等技术也伴随着移动无线技术的发展被广泛的应用到各领域中，方便了人们日常工作和生活所需。但当人们在享受这些互联网移动技术带来的方便的时候，各种信息技术安全问题也日益突出。随着网络安全事件爆发的次数日益增加，事件的影响和造成的损失也越来越大，人们逐渐开始认识到了网络攻击或者黑客入侵对人们的工作和生活造成了严重的威胁。因此，安全监测的意义也变得越来越重要。目前信息安全监控主要分为两个主要的方向，一是基于网络日志的分析，另一种是基于网络流量的分析。

1 网络日志分析系统

日志，是一种对于计算机系统运行中所产生的事件性记录。通过对这些日志的分析，IT的管理人员可以有效的了解目前系统运行的状况，而对这些日志进行有效的分析，IT从业管理者可以对信息系统的安全性做出有效的分析，并能从中发现网络中的不足之处。目前市场上基于网络日志的安全分析已经非常成熟，产品也非常丰富。

基于日志的安全分析系统依赖传统安全设备的日志，通个日志的归并和去噪，将安全设备日志中的关键信息及时通过告警呈现出来。针对一些不能提供安全日志或者因为其他原因无法获取日志的设备和系统，日志分析则无用武之地。

2 网络流量分析

以往对流量的分析只是为了更快的掌握网络流量的属性及性能，可以使网络的带宽配置得到最优化，最大化的解决了网络各方面性能的问题，因此采集到Netfolw信息就够了。随着各种高级威胁的出现，由于基本规则的安全设备不能及时发现，就开始引入全流量存储分析，通过全流量的深度检测技术，安全分析人员可以对已经发生的攻击行为进行多角度、全方位、可反复回溯的深度检测，从而更容易检测出潜在的入侵行为，发现被其他工具漏掉的攻击。

对于各类网络流量的分析，不但可以有效的查看各类应用的服务、服务器的漏洞、主机间的连接，还可以有效的监视网络中的各类活动，让万一发生故障可以第一时间的查找并得到排除，找到当前所处网络存在的一些问题，并从中来提升网络的性能，最终识别有问题的主机以免让漏洞、木马、APT功击有机可乘，已知和未知的安全威胁，并对网络攻击进行定位和取证。帮助用户提升安全分析能力和响应能力，最终降低安全损失。

由于流量数据的采集采用旁路的方式，并不需要对原有网络结构做调整，因此无法通过安全日志进行分析的设备或系统，可以通过流量分析的方式来检测其中的威胁。

3 网络日志和流量关联分析的必要性

基于日志和基于网络流量的分析在安全方面均有各自的优势和局限，随着计算和存储能力的发展，将网络日志和网络流量进行集中收集，关联分析逐渐成为信息安全技术的发展方向。

3.1 强化威胁发现和预警能力

通过安全日志关联分析技术，发现各类已知威胁；通过网络深度包检测分析模型，实现对未知高级网络攻击的预警；通过网络深度流检测分析技术，对可疑IP/主机进行画像分析，及时发现各类威胁。

3.2 提升安全事件研判能力，构建发现、取证、研判、处置的闭环体系

针对日志或流量分析发现的疑似安全事件，通过高效的数据挖掘和查询能力，对事件的相关原始日志进行查询，对事件的网络行为进行网络流量回放，对原始数据包采用解码分析技术进行完整分析和数字取证，最终帮助安全人员采取针对性响应措施对安全事件进行处置。

3.3 实现全天候全方位的威胁态势感知

提供丰富的安全态势感知展示界面，通过基于日志分析的安全态势和基于网络流量的安全态势，实现整体网络安全态势。通过整体态势、攻击源分布、重点资产态势、攻击关联图等展现方式，使管理者对组织内部网络安全态势一览无遗，有效辅助决策。

3.4 合并建设，降低资源投入，提升利用率

通过日志分析系统和网络系统功能对比来看，很多功能模块都是相同的，比如数据存储，事件告警，报表管理等；只是日志和流量的采集方式不同，分析方式和模型有所差异，因此合并建设不仅可以节约建设阶段的资源投入，还可以减少将来安全运维人员的投入。

虽然，将日志和流量进行关联分析有诸多好处，但是由于企业和组织安全体系架构日趋复杂，各种类型的安全数据越来越多，传统的数据库面对这么多种类和这么大量级的数据明显力不从心。

4 大数据为网络日志和流量关联分析提供了技术基础

恶意代码检测、入侵检测作为传统的基于特征的信息安全分析技术已经广泛被应用等，但是伴随着数据量越来越庞大和一些新型的信息安全攻击的出现，传统的安全技术已经很难应付，所以应用大数据分析技术对新型信息安全攻击进行分析已成为业界研究热点。Gartner在 2012 年的报告中明确指出"信息安全正在变成一个大数据分析问题"信息安全变成一个大数据分析问题主要体现在以下三个方面：

（1）数据量越来越大：网络已经从千兆迈向了万兆，网络安全设备要分析的数据包数据量急剧上升。

（2）速度越来越快：对于网络设备而言，包处理和转发的速度需要更快；对于安管平台、事件分析平台而言，数据源的事件发送速率（EPS，Event per Second，事件数每秒）也越来越快。

（3）种类越来越多：除了流量数据包、日志、资产数据，还加入了漏洞信息、配置信息、身份与访问信息、用户行为信息、应用信息、业务信息、外部情报信息等。

目前市场上，传统安全厂商都在向大数据安全方向转型，但是大部分只是将传统的安全分析功能移植到大数据的基础架构上，只有小部分厂商开始在基于大数据的基础架构上，进一步对各类安全日志和流量进行关联分析，相信这一小部分的探索，才是大数据安全或者安全分析的发展方向。

[1]李天枫.大规模网络异常流量云检测平台研究[D].天津理工大学,2015.

[2]张淑英.网络安全事件关联分析与态势评测技术研究[D].吉林大学,2012.

[3]陈吉荣,乐嘉锦.基于Hadoop生态系统的大数据解决方案综述[J].计算机工程与科学,2013(10)：25-35.

作者单位 天津市滨海新区公安局 天津市 300450