基于大数据对信息安全主动防御体系的探究

叶水勇，叶 菁，张 月，程晓洁，聂立莎，王文林，宋浩杰

（国网黄山供电公司，安徽 黄山 245000）

0 引言

“互联网+”和计算机通信技术的迅速发展，电网系统各类运行数据量急剧增长，计算机网络的应用越来越广泛，其规模越来越庞大，信息网已从原有的小型企业内部局域网逐步发展成为大型企业所特有的混合型网络［1-2］。如何使用现有的网络资源以满足不同的业务系统传输，尤其对种类丰富、数据量庞大的数据实现统一采集、存储、计算、分析成为亟需解决的问题。通过将市、县广域网平台的互联将实现资源的统一管理，建立信息设备台账基线数据库，对交换机运行状态实现7×24 h监控，最终实现信息安全事件事前预警、事中跟踪、事后分析的主动防御。

1 主动防御体系的架构设计

1.1 数据分析模型

通过研发基于大数据的网络日志信息安全场景式分析工具，结合大数据特性，采用Hadoop架构从数据存储、数据管理、数据计算、数据整合与治理、数据分析与挖掘、数据展示等方面进行架构设计，对终端、交换机、路由器、防火墙等信息设备的台账信息、日志信息、巡检日报、告警信息进行统一采集、存储、分类、计算、建模。

数据采集与分析模型如图1所示。通过数据建模促使信息从结构化数据分析向多类型数据分析的转变、从抽样数据分析向全量数据分析的转变，从小批量数据分析向海量数据分析的转变，从单一应用系统数据分析向多应用系统数据分析的转变，从准实时数据分析向实时数据分析的转变，最终实现安全事件预判越来越及时、准确，安全防御由被动防御向主动防御转变［3］。

图1 数据分析模型图

1.2 基线数据库构成

信息设备台账基线数据库构成如图2所示，台账是物理对象在业务系统中的抽象化表征，对于同一物理对象，不同业务系统根据需要，依据不同的数据模型存储对象，但各业务系统在应用过程中均会产生日志信息、运行参数、告警信息等相似记录［4-5］。依托数据分析模型来收集、汇总、整理、分析信息设备的相关数据，建立信息设备台账基线大数据库，为设备规范化、专业化的管理实施提供数据支持。

图2 信息设备台账基线数据库构成图

2 主动防御体系的研发过程

2.1 信息设备台账基线数据库的全生命周期管理

信息设备台账基线数据库基于多个应用系统数据库，在利用数据价值的同时，充分考虑到信息设备基础设施的脆弱性以及面临的信息泄露和恶意攻击等信息安全方面的问题［6-7］。信息设备全寿命周期闭环流程如图3所示。

2.1.1 信息设备台账基线数据库建设

加快信息设备台账基线数据库建设，力争形成完整准确的信息设备台账基线数据库清单，为信息设备规范化、专业化管理的实施提供数据支持。具体措施如下：

1）通过网络地址资源的分配使用情况跟踪信息设备台账。

2）定期收集、汇总、整理、分析信息设备的相关数据，建立地市公司网络地址资源池。

3）重点依据一体化运行监测工具中的IP地址为源头对I6000、VRV、ERP中的信息设备进行全面清理，补全漏录的台账，纠正错误的台账。

图3 信息设备全寿命周期闭环流程

2.1.2 完善信息设备台账基线数据库内容

将设备名称、设备状态、运行参数、数据包、网络流量、漏洞信息、时间序列数据、各种日志文件的数据整合到一起，汇总成信息设备台账基线库，相互搭配进行可视化展示能够从多个角度来全面准确地监测分析一个网络事件，并且很好地体现当前网络及设备的数据传输、网络流量来源及流动方向、受到的攻击类型等安全情况。

2.2 交换机在线监测与预警

2.2.1 交换机运行状态智能巡检

1）巡检日报。将交换机关键运行参数、配置文件自动化采集的同时以巡检日报的方式呈现给用户。根据业务需求，巡检日报可以添加或删除监控项目，依据实际情况，设置监控项目的限值；按照监控项目的紧急程度，设置项目的监控级别。

2）巡检内容。巡检内容包含交换机的内存、CPU、流量等主要关键指标。将ARP地址表、端口配置、端口流量、日志配置、VLAN配置等信息采集后上传至信息设备台账基线数据库。

2.2.2 交换机监控告警

对交换机运行状态进行监控，尤其记录发生故障的交换机告警时间，IP地址，告警内容以及恢复时间。

3 主要实施方法

3.1 海量数据的整合与处理

基于市县一体化的信息本质安全主动防御体系建设与实施是建立在信息设备台账基线数据库基础上，而信息设备台账基线库建立在设备资产库、设备运行状态库、设备存储库和设备三维数据库的数据之上。通过将不同数据源产生的不同类型的数据和日志，进行采集、分类、比对、分析，最终数据以图形化的方式进行展示［8-9］。

3.1.1 数据来源

数据的来源决定了数据价值。设备信息、数据包信息、运行状态信息、漏洞信息等安全数据均具有较高分析和可视化价值，在海量数据信息中找到有价值的信息进行可视化分析能够帮助网络安全分析人员发现网络中更多未知的威胁，更好地维护网络及基础设施的安全。

如表1所示，针对设备资产库、设备运行状态库、设备存储库和设备三维数据库收集来的不同安全数据信息进行分类。汇总整理后融入信息设备台账基线数据库中。

表1 来自不同数据源的安全数据

3.1.2 数据特点

信息设备台账基线数据库是基于Hadoop技术的Hbase数据库，该数据库中的安全数据有以下5 V特征：

1）Value，即蕴含的价值高。从数据规模上来看，数据总量越大，所蕴含的价值总量也是相当可观的。如分析工具研制与应用系统中的数据包信息、用户信息、交换机信息等安全数据。

2）Velocity，即处理速度快。随着信息设备台账基线数据库规模的扩大，网络安全监测对时间的即时性需求越显重要，而安全事件的产生以及原因是具有时间跨度的，因此需要将可视化中带有时间序列的动态数据流作为可视化输入来帮助安全分析人员识别可疑的事件及行为。

3）Volume，即数据量大。设备资产库、设备运行状态库、设备存储库和设备三维数据库中所有数据信息汇总后将是一个庞大的数量级。

4）Vast，即数据范围广泛。即各类数据集合的分类与可视化能够帮助网络分析员从类型上了解数据的路径变化从而识别网络中的异常行为。

5）Variety，即数据类型众多。随着各类安全设备的使用，会产生防火墙、入侵检测、主机安全以及垃圾邮件等各种类型的日志数据，而安全事件与攻击行为产生的痕迹将会以各种日志的形式记录在不同的安全设备上，对日志文件关联融合分析以及可视化能够帮助网络安全分析人员找出安全事件间关联，快速识别网络异常并发现不同的网络攻击模式。

3.1.3 数据采集

利用大数据组件Flume-NG提供的syslog agent、文件agent等多种方式实现信息设备运行参数、运行状态、日志以及各支撑系统告警信息的实时采集［10］。如图4所示，以交换机和服务器日志为例，采用syslog和Agent两种采集方式，将最近一个月以内的日志数据发送到服务器端，服务器端的组件flume对日志数据进行统计。

图4 数据采集流程图

原始日志中包含了丰富的安全事件信息，在保证信息真实可靠、来源广泛的基础上，对日志进行整理分类、甄别取舍以格式化输出。

3.1.4 数据比对

当信息设备物理对象的部分特征发生变化时，台账基线数据库内的数据应及时调整，否则数据库信息与物理对象实际参数会产生偏差，在融合比对多应用系统数据库表数据、日志的基础上，定期开展信息设备台账基线数据库无效数据的清理和整治工作［11-12］。

运用大数据技术，结合信息设备台账基线数据库，着重比对IP、MAC等信息。现将比对内容和流程作如下说明：

1）使用python服务程序采集信息设备资产库中所有信息设备的IP信息，并以TXT文档的格式存储，通过flume采集TXT文档数据，并存储到基于hadoop的信息设备台账基线数据库中的IpInfoAddress表。

2）服务程序通过Hive，定期取出表 IpVRV KnowAddress中的VRVIP字段，将单条数据与表IpYTHKnowAddress中的TYHIP列数据逐条进行比较。如果两者相同则将该数据存放于信息设备台账基线数据库中的IpBindedInfo表中。若不相同，则继续与IpInfoAddress表中的IP列数据逐条比较。若存在，则不做任何处理，若不存在，则添加该数据到UnknowIpInfo表（未知信息设备）中。

3）使用python服务程序采集信息设备三维资源库中信息终端的IP信息，并以TXT文档的格式存储，通过flume采集TXT文档数据，并存储到基于hadoop的信息设备台账基线数据库中的IpYTHKnowAddress表。

4）使用python服务程序采集信息设备运行状态库中信息终端的IP信息，并以TXT文档的格式存储，通过flume采集TXT文档数据，并存储到基于hadoop的信息设备台账基线数据库中的IpVRVKnowAddress表。

3.1.5 数据分析

该主动防御体系支持基于关系查询的日志存储方式以及安全设备日志的集中存储，且提供高效的统计查询分析功能，具体如下：

1）支持以图形化的方式展示一段时间内聚合集合的变化趋势。

2）能够根据时间段、设备、日志等级及关键字等进行过滤查询及日志导出。

3）能够根据时间段、设备及关键字等同一类日志进行聚合查询并给出聚合查询结果，结果包含聚合日志的起始时间、结束时间及聚合条数。

以日志分析为例，对关键字进行二次查询搜索并以列表和图形化显示，可以直观地提醒安全管理人员在第一时间内对暴力登录、恶意攻击等事件进行响应，做到积极主动防御。

3.1.6 数据展示

数据是可视化的根源，没有数据就没有可视化界面和分析工具［13-14］。该主动防御体系重点为疑似暴力登录、恶意攻击的未知设备进行实时监控、告警。

1）查看任意时间段未知设备的详细信息。详细信息主要包含交换机名称，未知设备IP和Mac，以及扫描时间。

2）以日历的形式展示了每天未知设备的数量，黄色表示有未知设备，反之就没有。点击黄色图标，能够显示红色数字，此数字表示未知设备的数量。

3）按天展示UnknowIpInfo表中未知网络设备的数量、变化趋势以及详情信息。

3.2 暴力登录分析

利用采集到的交换机日志信息，通过编写服务程序实时分析日志数据中存在的可能性的暴力登陆行为。分析日志数据中5 min内连续30次网络设备错误登陆为网络设备暴力登陆事件并由此形成暴力登陆事件趋势图，展示在Web界面供用户分析查看。

3.2.1 事件判断

日志分析服务程序定期不间断地通过轮巡服务对已采集到的日志数据进行关键字分析，判断是否含有符合事件标准的信息设备暴力登陆事件。并将分析后符合标准的日志事件数据及时存入信息设备台账基线数据库的暴力登陆事件表中［15］。

3.2.2 效果展示

暴力登录事件趋势图展示分为图形展示和列表数据展示，并可以通过拖拽时间轴的方式实现按时间查询。通过点击暴力登录次数，实现查看详细的暴力登陆信息。

1）对于小于1天按时查询数据，并且可以通过点击节点进行更详细的信息查询。

2）超过1个月，小于6个月的情况下自动按周统计暴力登录趋势图。

3）对于时间跨度较大的情况下，程序自动实现超过6个月按月显示暴力登录趋势图。

4）小于1个月的情况下，按天分别统计暴力登录事件。

4 结束语

公司通过构建信息设备资产库、信息设备运行状态库、信息设备存储库、信息设备三维资源库等四大信息设备大数据库，实现快速定位海量数据中核心日志信息和暴力登录分析的专业化管理；不断完善交换机智能巡检、突发事件应急处理的规范化管理，构建市县一体化的主动防御体系，为公司信息化建设提供安全、可靠、高效的技术保障。