高永龙 陈绪 席新 李雁
摘要:本文根据移动警务信息化建设需求,在分析当前移动警务信息网络安全现状和现有安全管控系统的基础上,提出了一种为移动警务态势感知提供基础支撑的安全管控系统。该系统在广泛采集网络组件状态信息和在网各应用系统日志文件的基础上,通过异常用户关联审计、基于规则的分析和基于机器学习的异常日志分析等,能感知网络安全态势,并可根据策略给出安全警报和防护建议。
关键词:移动警务;态势感知;安全管控;策略
中图分类号:TP391.0 文献标识码:A 文章编号:1007-9416(2019)11-0149-04
0 引言
随着移动警务信息化建设的深入和网络规模的不断扩大,网络系统面临不断变化的蠕虫病毒、大规模网络攻击等安全威胁。传统的网络安全设备不能准确、有效地发现和利用事件之间存在的关联关系,具有较高的误报率和漏报率。网络安全态势感知是解决这些问题的有效途径[1],即通过在一定时间及空间范围内感知所发生的网络安全事件,针对安全数据进行综合处理,分析系统受到的攻击行为,提供网络安全的“全局视图”,评估网络系统的整体安全状态和推测未来的安全趋势[2]。
移动警务信息系统目前在用的管控系统,大多未规划一体化的动态策略管理与指令联动能力,没有真正发挥出安全管控系统的态势感知能力,需要在现有系统基础上,构建一个覆盖业务运行状态、环境运营状态、安全运行状态的全网监控体系,实现对全网管控对象的一体化分析与监测,从而为实现移动警务态势感知提供基础支撑。基于此,系统应实现包括数据采集、数据存储、数据分析、UI展示等主要功能。
1 业务架构
为实现移动警务态势感知基础支撑的主要功能,整个系统划分为数据采集、集中分析、数据可视化展示与集中运维管理控制,以及配套的标准规范建设。
(1)数据采集与标准化:围绕各类管控对象,依据设备类元数据标准与采集标准,构建适配器,实现对各类异构管控对象数据源的数据采集、数据转换能力,形成标准化的数据装入数据存储。采集的内容包括基础信息、业务日志、安全事件等。(2)关联分析与预测:运用大数据技术,实现对用户行为与安全事件的关联分析与预测。(3)可视化:从业务、安全、运维多个角度,进行全面的系统态势分析与报表可视化展示。(4)集中运维:以资产管理为基础,围绕网内的各类安全事件与运维事件,实现对问题、事件、变更、发布等的运维流程处理,过程中积累沉淀知识库。(5)标准规范:由于涉及管控对象众多,需要建立一套标准规范进行统一管理,具体体现在对各类管控对象的日志收集与策略管控层面。形成的标准规范包括:
1)设备类元数据:按照设备分类,建立一套设备或应用的标准对象化描述,包括基础信息、状态信息、事件信息与策略管控等信息。2)基于设备类元数据描述,建立设备采集规范与策略上报与下发规范。
2 数据架构
数据是实现态势感知的基础元素,态势感知安全管控系统的基础支撑作用核心体现在数据。数据载体分散在管控对象和管控中心两端,采用基于Hadoop的大数据平台[3,4]和基于Elasticsearch的分布式存储和索引技术。
(1)管控对象端的数据包括需上报的设备的日志、策略、事件信息以及指令执行反馈信息。(2)管控中心端对上报数据进行处理。包括标准化装载、存储、指标化,并依据指标进行业务分析、事件分析、策略管控。
3 逻辑部署架构
移动警务网从整体上看,可分为部、省、市三级管理。市级安全管控系统将采集到的管控对象日志数据上传至省级管控中心,省级管控中心根据部级要求上报数据[5]。
省级态势感知安全管控系统由I,II,III区前置机与总态势感知安全管控中心构成。其中各区的前置机部署采集适配器与规则/指令适配器,负责分别采集I,II,III类区的管控对象的日志,进行数据标准化预处理后经过日志/指令交换通道统一上报汇集到III类区域中的态势感知安全管控中心,实现统一存储,并基于存储构建分析与展示。图3为态势感知安全管控系统逻辑部署架构图。
4 数据采集
系统支持最广泛的数据采集,以期为异常分析提供最全面的数据支持。系统采用主动接口上报与轮询扫描两种方式采集应用系统和设备产生的日志、事件与策略数据,依据设备类元数据与采集规范,适配不同类型、不同型号设备或应用,并通过数据汇聚处理,实现对各类异构设备或应用的标准化处理。支持SNMP、syslog、netflow、API接口等数据采集渠道。系统对采集的信息进行标准化、归一化处理,清洗掉不一致、不完整、重复的日志类信息,并完成相关信息依据规则的映射与转换。采集到的数据或者转换后的数据通过自定义的加载器加载到不同类型的数据库(如ES、mysql)中[6]。
移动警务信息系统分为三个互相隔离的区域,因此所有的数据都通过Restful API发给每个区的消息队列后,经过消息队列的中转,最后统一汇总到三区公安内网区。所有的数据分析和展示都通过三区的管控中心和日志审计系统提供的Restful API进行获取。图4为态势感知安全管控系统数据流图。
在本系统设计当中,为建立一套实时全文搜索系统,采用了Elasticsearch提供的分布式大数据存储系统和倒查排序搜索系统[7],使得系统具有准实时全文搜索能力、可靠的容灾备份能力、PB级数据存储扩展能力、算力的平滑扩展能力。表1是数据采集和存储相关性能指标,表2是数据采集定义标准。
5 监测审计和异常行为分析
5.1 用户行为关联审计
将用户信息以及终端信息、应用信息、请求数据服务信息等用戶操作行为进行关联审计。
5.2 基于规则的用户行为异常分析
首先统计历史数据,对用户,机构,或设备等统计画像。之后对最新日志进行分析,或对统计的画像信息进行分析,对不符合画像特征(比如出现过陌生应用或操作),或不符合一些其他定义的规则(比如访问频率过高),标记为异常行为,最后生成用户画像,如图5所示。
5.3 异常日志分析
异常日志分析子系统,是整个分析系统的核心功能,也是态势感知安全管控系统为态势感知能力提供支撑的基础。[8]异常日志分析子系统负责从采集到的异常日志信息中,利用非监督的机器学习算法分析可疑连接,对接入被监控系统的异常日志信息,利用机器学习的方法,从异常日志信息中分离出可疑的日志信息,经过上下文增强、噪声过滤、白名单和启发式算法等等一系列手段,最终产生少量且准确的安全威胁事件呈现给用户。它利用主题建模来发现正常和异常的网络行为,为每个IP 地址的异常日志建立概率模型,每一条异常日志都會被该模型进行评分,将其中得分较低的日志标记为“可疑”以作进一步分析。
系统流程涉及四个节点:数据源(公安网络异常日志),数据接入系统(sas),数据分析系统(异常日志分析系统),UI系统(安全集中监控与审计系统)。
本文采用模糊聚类[9-10]的算法,该算法过程比较简单,其过程可分为以下3步:(1)进行训练样本的标准化处理;(2)进行聚类,即利用适当的距离模式求得数据的模糊矩阵,并利用聚类算法实现样本的聚类;(3)求得最优聚类结果。模糊聚类模型的建立可以通过下面4个步骤实现:
假设样本数量为n,每个样本有m个量化指标,xij则为样本的指标。
6 结语
随着移动警务建设的深入发展,网络安全问题日益突出,本文介绍的态势感知安全管控系统虽然已经具备了部分网络安全态势感知能力,但是由于该系统数据来源局限于日志数据和网络组件的状态信息,尚无法全量实时关联分析全网数据,其态势感知能力局限性较大。
下一步,我们将研究如何实时分析移动警务系统全量数据,并结合本文介绍的态势感知安全管控系统,全面感知网络安全威胁态势、洞悉网络及应用运行健康状态,为移动警务信息系统安稳定运行提供安全保证。
参考文献
[1] 席荣荣,云晓春,金舒原,等.网络安全态势感知研究综述[J].计算机应用,2012,32(1):1-4+59.
[2] Ousterhout K,Rasti R,Ratnasamy S,et al.Making sense of performance data analytics frameworks[C]//Proceedings of the 12th USENIX Symposium on Networked Systems Design and Implementation (NSDI) Oakland,CA.2015:293-307.
[3] Michael Armbrust,Reynold S.Xin,Cheng Lian,et al.Spark SQL: Relational data processing in Spark[C]//Proceedings of the 2015 ACM SIGMOD International Conference on Management of Data. ACM,2015:1383-1394.
[4] 张波.基于大数据技术的公安移动警务通信数据处理平台设计与实现[D].济南:山东大学,2016.
[5] 于兆良,张文涛,葛慧,等.基于Hadoop平台的日志分析模型[J].计算机工程与设计,2016,37(2):338-344+428.
[6] Lee M,Jung H,Cho M.On a Hadoop-based Analytics Service System[J].International Journal of Advances in Soft Computing & Its Applications,2015,7(1):35-39.
[7] 段明琪.基于日志分析的大数据威胁感知系统的研究[D].北京:北京邮电大学,2019:31-35.
[8] 王长会,马庆利.基于大数据的移动用户行为分析研究[J].现代信息科技,2019,3(12):58-60.
[9] 胡聪,刘翠玲,吴尚.基于大数据日志的预警技术分析[J].电气技术,2016(06):328-329.
[10] 韩晓露,刘云,张振江,等.网络安全态势感知理论与技术综述及难点问题研究[J].信息安全与通信保密,2019(07):61-71.
[11] 张晓宇.基于流被动测量的时间测度的研究[D].南京:东南大学,2009.
[12] 石金龙,孙翼.基于Libnids库的Internet网络协议还原系统研究[J].电子技术,2014(03):13-19.