尹杰 常力文 陈炳桥 赵敏
摘 要:当今社会,网络安全领域是数字型网络社会的研究重点,尤其对当前智慧城市的建设中,及时预测与监测各种网络漏洞,来保证各个互联网公司系统安全,因此推广网络安全示范是数字化城市的关键,当前对基于大数据技术的WEB威胁分析态势感知平台创新试点项目,并需要加强安全威胁分析与预警平台项目建设中实现落地加以推广应用。当前安全态势感知漏洞还存在许多建设难点,传统技术架构无法解决安全运营中的管理 “痛点”。现有技术架构由于缺乏对海量数据集中化存储支撑,造成数据碎片化,不利于进行数据管理的统一规划,此外现有数据处理能力无法有效发现高级、持续的敏感信息泄露网络与业务操作全局的轨迹。由此需要建立更加高效实用的安全监测体系,利用大数据平台及技术对应对新型安全威胁的感知、识别、分析方法和应用技术研究,实现数据安全、业务安全的风险监测与防御;实现安全数据中心(SDC)的管理。
关键词:WEB威胁;存储支撑;风险监测;SDC
1.结构布局
本文主要设计了安全态势平台的工作,来实现检测告警日志的实时报告,安全告警的及时展示功能。设计系统需要使用大数据分析技术来实现,功能点在于安全告警监控与安全告警的处理。
具体操作步骤为首先数据的产生也需要使用工具来进行采集,实现结构化的数据处理能力,使用flume采集相应的数据集,这是一类架构简单以及操作灵活的架构,是日志数据的收集端,比如通过flume采集nginx日志,之后写入数据处理端kafka(kafka是进行数据的缓存,存储,并进行简单的处理)应用,然后采用solr来建立索引日志,这是一款性能强大的全文搜索引擎。之后建立zookeeper组件集群,使用zookeeper建设各种复杂并且易错率较高的分布式一致性服务封装起来,构成一个安全高效的集群序列,最终实现一系列的简单易用接口提供给用户使用,对告警日志进行分類整理操作,判断安全告警的事件名称,这类操作主要是通过Hdfs分布式操作来实现,然后实现落地动作操作,最终系统的整体框架就已经搭建完成,有用数据最终需要存储在所建立的mysql数据库中,并保证数据库容量,防止数据库范围太广造成损失,告警管理:
1)可以看到各种告警,这些告警有的来源于IDS\WAF等安全日志,也有部分是自行分析的,例如错误日志等;
2)搜索支持筛选,选择高级搜索,支持告警级别,源IP,目的IP,告警时间以及告警状态的搜索分析情况,并可以自行进行相应的处置操作;
数据流是系统所需要进行识别,筛选的,整个数据流包含清洗过滤、标准化、关联补齐、数据标签化以及存储过程中数据在各个阶段的格式定义,最后需要对整个数据流钻取处理,存入创建数据库中
2.告警功能与系统设计
后续是对安全告警的功能研究,通过对安全事件、日志以及网络流量进行检测,分析出网络攻击、系统攻击、异常流量等威胁,产生安全告警,本功能以实时和统计的方式对安全告警进行展现。
告警状态分为实时告警和历史告警,经过确认或处理后的告警状态为历史告警。而安全告警功能是告警监控功能展示内外部威胁分析产生的安全告警,会实时显示对告警进行处理,包括确认、清除、派发、告警级别调整;对告警处置状态展示,包括未处理等状况;告警内容包含有源IP、目地IP、业务系统、、事件类型、事件名称、告警级别等,如下所示告警的字段信息,
time:2019-12-15_13:42:30;danger_degree:1;breaking_sighn:0;event:[50193]某某入侵攻击件;src_addr:192.168.10.244;src_port:138;dst_addr:192.168.10.255;dst_ port: 138;protocol:UDP.NETBIOSDGM;user:xiaoming.
告警的处置过程需经过生成、处理、关闭等几个步骤。安全威胁与预警平台产生告警,需要相应的避免不准确、信息不全、级别较低的告警占用,,同时不断提升安全告警的准确与精炼.安全告警需要与处置建议条目相关联,需要引用处置建议条目的属性,存在告警名称,告警级别,告警类型,相应的描述信息,并且本平台以及相关日志生成设备的产品应具有误报判断能力,保证输出的日志、使事件过滤掉大部分误报。
所设计的平台系统流程步骤如下,安全威胁分析与预警平台分析产生的安全告警,由安全管理员在线进行告警审核。进行安全告警审核的系统操作时,依据安全告警、相关安全资产状态等进行相应的处理。选择告警级别调整;实时告警经过确认或清除,告警状态变更为已确认或已清除,同时,告警变更为历史告警。当操作人员进行告警的日志处理时,可对安全告警信息进行必要的补充,帮助处理人明确告警中描述的威胁、解决目标。在补充阶段可以调整所有的说明性文字、增加附属文件,调整属性,主要任务是对解决方案进行合理修订,使其可执行、可量化指标。完成安全预警的任务处理后,告警状态变更为已完成,同时告警变更为历史告警。
为了保证系统安全运行,防止系统受到外来攻击、破坏和非法访问,需要从不同层次并利用多种手段来保证系统的安全。主要包括系统的主机安全、网络安全、信息保护、Web应用安全、安全保障以及审计日志等功能。主要通过Java语言来编写系统分布式模块,实现告警监控的框架搭建,这也是本文所需要实现的难点,这是基于大数据进行操作的,需要包括有分布式的消息总线设计,分布式文件的处理,核心服务组件必须拥有高可用性能力,以保证在特殊情况下的系统稳定性和高可用性如下所示为展示的实验结果,具体为平台系统界面的展示,网络安全监测的实验效果
最终通过展示效果,发现了告警类型,具体内容,源ip,目的ip,网路攻击类型统计,展示出安全告警系统模块的实现。
还需要对搜索模块的研究设计,更具体的展示采集的告警日志,首先需要对采集资源的字段标准化,本文设计的主要安全监测字段是EVENT_NAME的字段,这个字段主要记录采集的告警具体信息,会显示相应字段的钻取信息,例如僵尸网络,恶意链接等,选择点击 DST_IP字段,会发现许多互联网IP,相当于一个搜索的条件筛选,将该目的IP的日志搜索出来。
3.结论分析
网络安全的监测需要大量日志的收集整理,对安全态势行为进行分析,本文完成了日志识别整理,对告警日志的整合分析,具有一定的研究价值。
参考文献:
[1]刘剑, 苏璞睿, 杨珉, 和亮, 张源, 朱雪阳, 林惠民. 2018. 软件与网络安全研究综述[J]. 软件学报,29(1):42-68.
[2]韩晓露, 刘云, 张振江, 吕欣, 李阳. 2019. 基于IFS-NARX模型的网络安全态势预测[J]. 吉林大学学报(工学版),49(2):592-598.
[3]王禹贺. 2019. 工业控制网络安全评估方法研究[D]. 哈尔滨:哈尔滨理工大学.
[4]赵松. 2019. 基于攻击图的网络安全度量研究[D]. 西安:西安电子科技大学.
[5]Sahinaslan, Ender. 2019. On the Internet of Things: Security, Threat and Control[J]. AIP Conference Proceedings,2086(1):030035(1-4).