基于大数据的网络安全态势分析平台

王志奇 陈宇 雷亚

1. 河南省公安厅网络安全保卫总队 2. 郑州信大天瑞信息技术有限公司

引言

随着我国信息化建设步伐的加快，信息系统建设已经达到了一个相当的规模，据有关部门统计，目前我国各行业重要系统的数量（等级保护第三级以上的系统）已经达到数万个。这些系统中承载着我国各行业的重要业务，正发挥越来越重要的作用，成为我国的关键信息基础设施。

与此同时，国内国外均有大量针对我国网络空间“第五疆域”的安全威胁。国外，有组织的黑客攻击破坏活动频发；国内，各类网络安全事件严重影响着社会秩序。这些问题均暴露了我国目前重要信息系统安全防护能力和网络安全事件监测预警手段的不足。因此，我国已将网络空间安全问题提升到国家安全战略的高度，加强和完善网络安全监测预警与主动防御能力刻不容缓。针对这一问题，以云计算、大数据为代表的新技术在促进数据信息应用和提升协同计算能力方面成效卓著，为问题的解决提供了可适用的参考模式。因此，面对当前严峻的互联网安全形势，有必要引入新的技术理念，建设基于大数据的网络安全态势分析平台，实现对安全风险的实时监测与精准预警，以及对网络安全态势的全面感知和响应，有效对抗各类新型安全威胁。

基于大数据的网络安全态势分析平台正是在这样的背景下研发，旨在提高公安机关网络安全监管部门及各行业信息系统运维管理部门的网络安全态势感知能力，增强我国关键信息基础设施安全保护的整体防护能力，网络安全事件应急处置与网络功能恢复能力，以及依法侦查打击针对和利用关键信息基础设施实施的违法犯罪活动的能力。

一、公安行业需求分析

经过十多年的高速信息化发展建设，我国各地关键信息基础设施网络均逐步完成了安全功能和产品的基础建设。为各级政务外网、各政府及企事业单位互联网站服务的大量安全产品已可以在较大程度上满足其基本安全需求，能够有效完成访问控制、入侵侦测、漏洞扫描、防病毒等具体的安全功能和技术需求。

但是，随着互联网网络安全环境的不断变化及日益复杂，网络安全事件仍然层出不穷。

2017年6月1日起，《中华人民共和国网络安全法》正式落地实施，根据第一章第8条的要求，公安部门作为依照本法律及有关法律、行政法规负责网络安全保护及监督管理的主体单位，肩负着实施我国境内的重要信息系统安全监管、网络与信息安全信息通报、打击与预防网络违法犯罪等重要的职责。然而，各级公安网络安全监管部门逐渐发现，仅仅依托于用户信息系统环境中部署的各类基础安全措施，无法准确把握所辖区域关键信息基础设施网络的底数，对其辖区安全态势的感知及全局把握能力、对突发安全事件的应急处理能力、对大规模安全事件的协调处理能力、网络安全犯罪行为的追查处置能力等，均难以有效提升。各地各级公安部门在执行《网络安全法》赋予的职责的同时，普遍面临着以下几种突出的问题：

（1）网络攻防双方的技术力量不对等带来的系统修复滞后，导致网络安全事件不可能完全避免；

（2）等级保护制度虽然已实施多年，但由于欠缺实施技术手段、管理流程自动化水平较低等，其覆盖范围、实施精度和深度等均有待加强；

（3）由于缺乏网络安全事件研判手段及有效的技术工具支撑，对网络安全事件的研判能力较低，从而导致相关通报的权威性受到一定程度的影响；

（4）由于缺乏有效的网络安全预警发布及通告平台，当发现安全事件预警信息时，预警信息往往难以及时发布和通知，造成了对病毒、攻击等安全事件扩散的控制能力较弱；

（5）由于缺乏针对安全事件的分析及应急处置平台，网络安全事件发生时的应急处置流程往往规范性较差，并且缺乏针对多项相关安全事件的关联分析能力，不利于事件的及时处置及相关案件的分析判断；

（6）由于缺乏网络安全事件发生机理的分析手段及技术能力，事件发生后往往无法定位和发现攻击者，导致事件线索难以转化为公安部门的案件线索，并且针对目前猖獗的网络犯罪行为，事件溯源及案件取证都缺乏有力的手段。

以上各项问题，最终导致了大量网络安全事件及网络安全违法犯罪行为无法得到及时处置、大量犯罪人员无法定位和处理、网络环境的治理效果较差、网络公共空间安全秩序混乱等后果。

基于以上问题，各级公安机关亟需建设立足于顶层视角、旨在网络安全态势感知与协同处理的基于大数据的安全分析平台，协助网络安全监管部门掌握网络安全态势，提升网络安全事件的防范能力，有力打击和预防网络违法犯罪行为。

二、平台系统

（一）设计思路及理论依据

1. R3-AST风险管理思路

在进行信息安全系统的建设和运行工作中，风险管理是一个根本性的思路。风险管理思路已经被业界广泛认可。

在《信息安全技术信息安全风险评估》（GB/T 20984-2007）规范中，比较全面地阐述了风险管理的几个主要要素，并详尽而准确地阐述了各要素之间的关系。上图中的每一个要素，都可以成为风险管理乃至信息安全管理工作中的要点。

风险要素模型有不同的形式，为了能够更好地抓住风险管理的线索，便于实际工作，将上述风险10要素（含风险）总结为风险三要素（不含风险），如图2所示。

在国家标准中的10要素，业务战略、资产、资产价值被合并为本模型的资产；安全需求和安全措施被合并为保障措施；脆弱性、威胁（狭义）、安全事件被合并为广义的威胁；风险和残余风险都是风险。

通过风险的三要素，可以抓住风险管理的实质。也就是被保护的“资产”，可能产生侵害的“威胁”，防范威胁保护资产的“保障措施”。

在一个实际的信息安全保障体系中，必须全面考虑资产、威胁和保障措施这三个方面，片面地考虑一个或者两个，都可能产生遗漏和偏离。所以说，R3-AST的风险三要素思路，充分体现了信息安全特征的思路，需要在整个方案中得到体现，也要在实际的执行过程中不断反省。

2. 遵循的国际国内标准和规范

平台在研制设计过程中，遵循的相关技术标准和规范主要包括：

（1）信息安全运营中心系统建设服从信息安全风险评估方法——按照国信办颁发的《关于印发<信息安全风险评估指南>的通知》（国信办[2006]9号）；

（2）ISO 27001信息安全管理体系国际标准；

（3）公安部颁布的《信息安全等级保护管理办法（试行）》及相关规定；

（4）CCISO 15408 和GB/T 18336 信息技术安全性评估准则；

（5）GB/T 20984-2007信息安全技术信息安全风险评估规范；

（6）ISO-13335 IT 安全管理指南。

（二）技术架构

平台的基本架构如图3所示。

平台基本架构根据系统处理流程可分为数据采集、汇聚处理、资源存储、分析挖掘、业务应用、展示显示六个层次，其中：

1. 数据采集层

通过收集与网络安全态势感知相关的互联网数据、重点单位监测数据、信息安全企业相关数据、G01攻击监测数据、专家系统分析数据、等保相关数据、其他网安业务相关数据、其他共享交换数据等，为安全态势感知业务应用的实现提供数据基础。

2. 汇聚处理层

根据统一规范的数据标准，将数据采集层收集到的数据进行归类整理，形成统一格式的数据，将其送入资源存储层实施存储，留待后续分析处理。

3. 资源存储层

利用大数据存储技术，集中存储经汇聚处理层归类整理过的规范化数据。

4. 分析挖掘层

针对业务应用层的数据分析要求，利用聚类分析、神经网络等大数据分析挖掘及知识发现技术，对海量安全相关数据进行深度分析挖掘，形成知识化数据，为业务应用层提供数据结果支撑。

5. 业务应用层

根据平台功能设计系统业务流程，利用分析挖掘层的数据分析结果，为追踪溯源、事件应急、重大活动安保等网络安全态势感知相关业务流程的实施提供平台及手段。

6. 展示显示层

利用可视化技术，将看似混乱无序的各类安全数据转化成直观的可视化信息，形成明晰且直观的实时网络安全感知，为公安部门网络安全管理业务的实施提供便利的决策手段。

（三）核心技术与创新优势

基于大数据的安全分析平台，通过在安全全要素数据采集、安全事件分析研判、安全事件通报处置等领域开展新技术应用研究，推进公安机关与其他网络安全监督职能部门、行业单位、信息安全企业、专家团队等协同联动，能够协助平台用户构建起条块结合、纵横互通的数据通道，形成威胁感知能力、应急指挥调度能力等大规模网络安全管理及应急能力。平台实现的主要技术创新包括：

1. 全要素高环境适应性数据采集技术

在平台设计中，数据采集模块负责采集与安全相关的海量异构数据。针对安全态势分析与安全趋势预测等功能技术要求，为了完整收集所有安全相关要素的数据，平台设计中提出并实现了全要素高环境适应性数据采集技术，将安全要素数据根据采集技术特点的不同分为了三大类型，并针对各类数据采取不同的采集技术进行数据收集。具体分类方式为：

第一类，威胁探测器采集数据：通过在现网安全域的关键位置部署相应的网络威胁采集引擎，可对全网安全威胁包括业务系统漏洞、应用配置问题、安全事件、病毒木马等安全威胁进行监测；对用户网络资产信息、内外部威胁情报进行采集；

第二类，高频数据：也就是通常所说的大数据，以海量、高速、异构为特征，主要有外部流、运行状态和性能数据、日志和事件、原始流量镜像包和Flow流数据等，通过高速数据总线采集；

第三类，低频数据：包括常见的资产信息、配置信息、弱点信息、身份信息和威胁情报等，通过低频数据总线进行采集。

除此之外，基于大数据的安全分析平台还拥有三个可选对接维度的数据源：（1）平台集成了创新的威胁情报体系，可有效获取与外部情报相结合的威胁信息；（2）平台可与运维平台对接，实现内网运营情境数据采集，包括内部人员行为审计日志、日常网络运行安全数据、漏洞管理信息等；（3）系统可接收来自公安部一所G01系统的互联网安防业务数据。

2. 全业务流程安全分析技术

任何业务化平台要得到好的应用效果，都必须在用户交互环节设计合理、完备的业务流程。在这方面，基于大数据的安全分析平台采用了全业务流程安全分析技术，在交互部分设计实现了以下四大业务流程分析功能，为安全管理人员提供了可靠的态势感知、安全事件处理能力及漏洞、情报预警能力：

（1）安全监测：辅助用户对重点部位、专项威胁、特定对象开展监测工作。同时对网页篡改、网站挂马、流量告警、入侵检测事件等网站安全状态信息进行全面监测。能够对非重要报警进行智能过滤，解决传统监控设备（如IDS）大量报警导致威胁分析和处理难的问题，不再需要使用者在海量的日志数据中进行人工分析，提高使用者的工作效率。

（2）态势分析：从宏观方面分析整个互联网的总体安全状况，包括各类网络安全威胁态势分析和展示；从微观方面提供对特定保护对象所受各种攻击的趋势分析和展示。此外，还提供网络安全总体态势的展示和呈现功能。

（3）漏洞预警：支持针对各种安全数据自动生成预警通报，包括Web站点漏洞信息、安全配置问题等，协助用户对Web问题提早发现并及时整改，对未发现漏洞的攻击事件及已发现漏洞的联动攻击事件进行通报预警。同时，通过漏洞扫描引擎达成资产感知能力。

（4）事件分析：通过对威胁数据的聚类和关联挖掘有价值的威胁事件线索，对重点事件、嫌疑对象、跳板主机、攻击溯源等提供分析支撑。采取的技术包括三元组分析、异常服务分析、攻击者分析等，支持分析提供异常服务和参与对外攻击的主机，支持分析挖掘疑似攻击人员相关信息，并支持非技术化语言的威胁分析，以及对事件的关联分析。

3. 第三方运维系统松耦合融合技术

作为一个复杂的安全管理平台，为了减小用户的整体IT管理工作量，降低平台使用门槛，平台设计中实现了第三方运维系统松耦合融合技术，较好地保障了平台与第三方平台的融合对接。平台系统通过实现第三方运维系统松耦合融合技术，提供广泛通用的接口支持能力，能够有效地支持与各类业务信息系统、统一告警平台、电子运维系统、网管系统、综合拓扑监控系统等的无缝对接。平台满足的接口原则包括：

（1）松耦合原则：此原则包括接口方式与信息模型的松耦合以及系统与外部信息源的松耦合两个层面。其中接口方式与信息模型的松耦合要求需与本平台进行接口的应用系统均遵循统一的信息模型与本平台进行信息交互。本平台与外部信息源的松耦合要求通过接口的信息交互，不应使本平台与采集信息源或监控对象之间存在强依赖的关系。

（2）可靠性原则：接口方式是信息模型的载体，无论采取何种接口方式，都保证所传递的信息是可靠、完整和一致的。接口可靠性不仅要求交互方式的可靠与稳定，还要求接口的实现不能对参与接口的系统的可靠性造成任何不良影响，如当采集链路或程序异常时，不应造成数据丢失以及对接口相关系统的正常工作造成影响。

适度冗余可以作为安全管理平台接口的建设参考，以在某种接口方式失效时保证信息的正常交互。

（3）安全性原则：安全管理平台与外部系统通过接口交互的信息有着不同的安全保密要求，如配置信息通常比安全事件信息更需要保密，根据信息的安全级别可采取内网传输等多种方式进行保护。

（4）高效性原则：安全管理平台的运行效率与接口效率密切相关，接口的高效性要求采用的接口方式与实现技术必须保证接口的畅通以及不会造成待交互信息的积压或延迟。

（5）扩展性原则：接口的可扩展性包括多个层面的意义：

管理功能的可扩展性：接口的定义不应限制安全管理平台的功能实现，并且在将来安全管理平台管理功能发生改变时，接口方式应能继续提供支持；

信息模型的可扩展性：随着通信网络的发展，网络结构、网络设备、安全设备及业务应用必然发生变化，管理对象的种类和具体指标都会发生改变。无论采取何种接口方式，都应能很好地支持信息模型的改变；

与其他系统的连通性：安全管理平台也需要与其他系统互联来交换信息，各系统之间建议采用统一、通用的接口方式进行互联。

（6）成熟性原则：接口方式与实现应当尽可能采用成熟的先进技术，与国际主流技术保持一致，从而使系统得到较好的投资保护。本系统要求采用标准接口模块，支持多种接口模式。

（7）保留对被管对象的控制接口：大部分安全管理平台接口，如与系统或应用的接口，都以采集或监视信息的上行为主要信息流向，建议接口方式也应当支持控制信息的下行，即支持安全管理平台对被管对象进行适当控制的扩展接口。

（8）自维护能力：安全管理平台在异常发生后，可以向其他系统如统一告警平台发出告警信息，提示监控人员注意，并具有一定的自我恢复能力。

（四）功能服务

通过平台的建设，各级公安部门能够在数据采集、分析研判、通报处置的方向推进多种信息安全相关业务，能够有效推进公安机关与其他网络安全监督职能部门、行业单位、信息安全企业、专家团队等的协同联动，构建条块结合、纵横互通的数据通道，形成威胁感知能力、应急指挥调度能力，形成协同防御的网络安全防御体系，提升关键基础设施的主动防御能力。实现网络安全监管部门的全景安全视野，增强决策支撑，规范安全事件处置流程，持续优化管理办法，提高响应能力。

平台建设能够实现的功能包括：

1. 网络威胁感知与态势分析

帮助用户实现网络安全态势感知与安全预警，是本平台的核心设计目标和功能。平台通过在一级节点部署高性能大数据计算集群，实现数据分析和存储功能，建设可编辑的研判分析数学模型，进行实时计算，从而实现：第一时间通报已爆发的网络入侵行为、病毒传播等事件；对网络潜在的安全风险以及恶意攻击行为进行分析预警；对业务系统漏洞及配置弱点进行告警。进而为保障关键信息系统的安全运行、掌握网络总体安全状况、制定信息安全策略等提供基础数据和决策依据。

2. 海量异构安全信息采集、汇总及分析展示

要获悉全网的整体安全态势，首先需从现有各类IT系统及安全系统中采集相关日志信息，即在需监测的业务系统中部署日志采集手段，在安全域的主交换节点部署流量采集设备，用以收集海量的异构安全数据，为态势感知平台提供大数据计算基础。上述信息的完整采集能够保证态势分析研判的准确性及安全事件回溯及取证分析的准确性，并最终通过直观的分析结果展示，使数据分析为安全管理流程所用，为管理层提供决策支持。

3. 数据决策后的监督执行

将态势感知的数据发现和决策，快速通告组织内的负责人及相关执行者，并且持续反馈过程处理；针对事件处置进行全流程监督，并且反馈经验及沉淀知识库。

4. 构建安全管理的长效机制

有效保障组织的战略可持续运营，问题的处理反馈能够不断优化管理办法，强化组织结构，持续提高效率。因此，需要从业务系统的高度去看待建设需求，通过构建安全管理长效机制，进一步实现持续的安全运营。

5. 安全应急响应到持续响应的升级

将现网内多项安全能力、诸多安全产品进行集成整合，得到数据决策后，快速实现安全能力和策略的调整与部署，打通“发现、通告、响应、复盘”的全流程，将安全防御的动作从应急响应发展到持续响应。

6. 符合并体现等级保护及信息安全管理体系的要求

随着安全管理需求的不断提高，等级保护和信息安全管理体系建设已成为安全管理工作中必不可少的职责。各类信息系统管理运维单位均需建立并完善其信息安全保障体系和安全管理体系，以达到系统、完整地保障其信息系统安全的目的。

三、平台应用

目前，基于大数据的安全分析平台已经在河南省洛阳、新乡等多个地市的公安网络监管部门投入应用。平台收集了海量的异构安全态势要素信息，对河南省范围内的1950台关键信息基础设施服务器实施了安全监督，监管系统数量近2万个，日均监测发现攻击行为13万次以上，每天发布预警信息超过1000条，为提升河南省内公安网安部门的关键信息基础设施安全监管工作效率起到了积极的推动作用。

以洛阳市为例，系统于2017年9月部署上线，洛阳市公安网安部门民警每天通过登录本平台，能够概览与洛阳全市互联网信息安全态势相关的安全要素数据，及时接收系统推送的预警与告警信息。系统上线后，对洛阳市1276个单位的1894个互联网信息系统实施监管，攻击行为检测数量超过1.8万次/天。另外，根据安全事件导致的系统告警信息，责任民警也能根据事件信息及时发起案事件处置业务流程，第一时间通知事件处理流程后方的相关下游政企单位，使安全事件处置链条高效运转。系统上线后，日均发布告警信息4条，目前为止的安全事件告警处置率87.6%，事件平均处置时间8.73天。

四、结语

通过基于大数据的安全分析平台的建设，协助信息安全监管单位对政府部门、企事业单位网站及重要信息系统等关键信息基础设施实现立体安全监测，从系统基本信息、受攻击事件、系统漏洞、系统风险等多个维度对大量信息系统进行全方位安全监控，对安全事件和漏洞情况及时告警和预警，并可提供全部监测目标的全局统计报表和趋势分析，为监管层改进关键信息基础设施安全状况提供有价值的参考数据。

最终实现提高公安网监部门及各行业信息系统运维管理部门的网络安全态势感知能力，增强我国关键信息基础设施安全保护的整体防护能力，网络安全事件的应急处置与网络功能恢复能力，以及依法侦查打击针对和利用关键信息基础设施实施的违法犯罪活动的能力，为在当前日益复杂的国际网络安全生态中提升我国关键信息基础设施整体安全状况提供有力的技术支撑。

李 欣

博士，现任中国人民公安大学信息技术与网络安全学院院长，中国计算机学会计算机安全专业委员会委员，公安部通信标委会委员，公安部公安视频监控专业人才库专家。长期从事信息处理和信息安全相关领域的教学和科研工作，完成了科研项目二十余项，发表论文二十余篇，获得发明专利授权4项，获得国家科技进步二等奖一项，公安部科技进步三等奖一项。

近年来，国内外大量针对我国网络空间的安全威胁事件频发，严重威胁着国家安全、社会秩序和人民生活。加强和完善网络安全监测预警能力刻不容缓，提高感知网络安全态势的能力十分重要。由于缺乏网络安全事件研判分析、技术支撑工具、应急处置手段等因素，大量网络安全事件及网络安全违法犯罪行为无法得到及时处置，相关犯罪人员无法定位和处理，导致网络环境的治理效果较差、网络公共空间安全秩序混乱等问题。

本文基于大数据技术，面向公安实战需求设计开发了一种基于大数据技术的网络安全态势分析平台，实现网络安全态势的感知和响应，安全风险的实时监测与预警。该平台在安全全要素数据采集、安全事件分析研判和安全事件通报处置等方面具有自身的优势。平台在河南省洛阳、新乡等多个地市的公安网络监管部门投入使用，能监测发现攻击行为和发布预警信息，获得了实战的检验。

未来，面对网络空间的各类新型安全威胁，应不断发展完善网络安全态势分析技术，提高相关部门的安全管理及应急能力，更好地维护国家网络空间安全主权。