数据中台在城市应急领域中的应用

黄礼成

（南京哈卢信息科技有限公司，江苏 南京 210000）

0 引言

数据是新的生产要素，随着信息技术的不断发展，各领域都会不断地产生数据，从而驱动处理数据模式的变革。然而，当前大量的交管业务数据散落在不同的系统中，无法立即掌握所有的数据形态，数据质量也参差不齐，仅靠人力经验难以了解城市数据下隐藏的深层次问题和规律，也难以发挥数据真正的价值。视频数据、图片数据等资源处于沉睡状态，没有发挥最大的作用。因此，亟需基于数据意识，应用大数据、云计算以及人工智能等前沿科技，通过融合处理数据来改变单个系统、单批设备调用或获取数据的方式，利用大数据的信息集成优势和关联分析构建统一的以信息充分共享、资源高度融合、数据深度挖掘以及部门协调联动为核心的数据中台，深度挖掘潜藏在数据中的巨大价值，为各类业务应用提供统一的数据资源。

基于数据中台4ONE的理念，总结了一套面向应急服务行业的具体的数据治理方法，从价值服务场景角度出发，通过制定数据中台顶层设计规划、数据中台标准体系、理清数据中台资源、智能化数据加工、价值化数据资产、超市化数据服务以及便捷化服务数据应用助力快速实现整个链的数据化、数据智能化的目标，帮助解决数据利用在存、管、通以及用等方面所存在的问题。

1 数据中台的功能架构

根据功能可以将应急数据中台分成大数据基础支撑平台、应急全息数据模型、应急数据智能引擎、数据治理实施、数据运营管理以及配套的规章制度。

1.1 接入数据源

接入数据源包括接入应急部门内部数据、各委办局数据、物联网实时采集数据以及互联网数据。

1.2 基础能力

构建应急数据治理的基础设施，以便快速构建应急行业数据中台，从而为数据赋能业务提供支撑。包括大数据基础平台和数据工厂。大数据基础平台采用Hadoop+MPP混搭技术架构保障安全、可靠地存储与计算海量业务数据，满足各行各业、各种复杂业务场景下的数据处理需求。数据工厂通过数据标准、数据集成、数据开发、数据融合、数据编排以及数据开放等工具可以轻松实现智能数据精炼、数据资产沉淀以及对外服务等功能。

1.3 应急全息数据模型

应急全息数据模型基于汇集多渠道、多视角且多维度的全量数据，利用各种算法模型对各类数据进行逻辑组织，构建面向行业的“数据-信息-知识-智慧”整体脉络，具体包括行业数据技术管理层、应急数据融合层和数据资产管理层。通过数据上云、数据融合以及数据资产化3个过程构建面向应急行业的数据资产体系。行业数据技术管理层即数据上云的过程，从“多源+多元+异构”的源数据到精细化数据仓库的构建，具体数据仓库的分层设计包括原始层（STG）、资源层（ODS）、主题层（DWT）、专题层（DWS）、DIM层以及EVL层。

应急数据融合层中数据融合是基于数据上云的成果，通过应急基本要素的时空融合和交管数据智能引擎的能力实现精细化管理数据的目标。完善数据资产管理层后，通过构建业务基础数据目录结构以及数据指标体系来形成有价值的数据资产体系。

1.4 数据开放

数据开放是实现数据中台能力的表现，对外提供各类数据服务，形成与外部的开放协同，还可以为各类业务应用提供支撑。

1.5 数据运营服务

通过建立数据运营管理制度和流程规范来构建完整的数据运营体系，对数据中台的数据态势进行全景展示并提供数据增值服务，实现提高数据运营质量与效益的目标。

1.6 标准及规范体系

标准及规范体系包括数据标准、技术标准、运营标准、安全标准以及相关部门发布的一些规范要求，可以为建设数据中台提供指导意见。

2 数据中台的功能特性

构建应急管理大数据治理体系，实现数据访问、处理、存储和应用的全生命周期管理。建设统一的应急大数据资源中心，实现统一的数据标准、数据接入、数据服务、数据深度应用并保障数据安全。通过提供数据共享交换、数据应用等服务来构建“纵向到末端、横向到边缘”的数据业务流程模型，为应急管理业务提供有力支撑，其应急数据治理结构如图1所示。

图1 应急主题数据服务主线流程图

2.1 应急数据治理

应急主题数据服务的数据源来自数据接入、汇聚。数据汇聚包括以下7个方面：1） 市应急数据。其主要包括市应急管理局内部系统产生的数据以及各区县应急生产数据。2）市其他部门数据。其主要包括市自然资源局、水利局、气象局、林业局、住房保障和房地产管理局、卫生健康委员会以及交通局等单位产生的数据。3） 省应急数据。其主要包括省应急综合业务管理平台、省危险化学品安全生产风险监测预警系统等产生的数据。4） 省其他部门数据。由政务网的省数据共享交换平台统一进行数据接入，市数据共享交换平台通过与省数据共享交换平台进行对接来获取相关数据。5） 市应急感知数据。其主要包括物联感知数据、视频感知数据。6） 市其他部门感知数据。其主要包括物联感知数据、视频感知数据等市兄弟委办局单位产生的感知数据。7） 省级感知数据。由政务网的省数据共享交换平台统一进行数据接入，市数据共享交换平台通过与省数据共享交换平台数据进行对接来获取相关数据。

应急主题数据服务与业务系统的数据治理全链路数据处理流程包括以下5个方面：1）数据接入形成原始库。基于数据接入、汇聚，根据应急项目数据需求按需获取应急所关注的相关原始数据，数据接入后形成该项目的原始库。该项目原始库的数据来源包括市其他部门数据（例如气象数据、地质灾害数据等）、应急管理局垂直内部数据。数据类型包括结构化数据、半结构化数据和非结构化数据。2）数据处理形成资源库。基于原始库，通过数据抽取、数据清洗以及数据标准化来形成资源库。3）数据处理形成主题库。主题库是提取分散在资源库各业务数据表中的要素，根据应急对象要素、要素特征等进行搭建，主要用于对资源库存储层中的数据进行深度关联、整合。主题库数据包括灾害事故主题、管理对象主题、应急环境主题、救援资源主题以及动态感知主题。4）数据处理形成专题库。专题库面向应急管理常态与非常态业务需求，通过二次抽取装载资源库、主题库数据的方法重新组织数据，并按照不同事件专题的应用需求重新整合形成专题库。专题库是资源库和主题库的延伸，专题库存储不同来源、不同主题的专项业务数据，是服务于某一专门领域的专题业务应用。专题库可划分为危化品事故专题库、地震专题库以及地质灾害专题库等。5）数据处理形成业务库。业务库是应急管理综合应用（应急指挥救援系统、应急一张图等）的数据源。

2.2 数据接入

数据采集支持多源数据的接入，包括异构数据源管理、异构数据采集，支持数据库接入、文件接入、流式接入、批量数据接入、实时数据接入以及交互式接入。

对现有的系统接入来说，其已与应用集成的系统采用一次性全量接入的方式进行数据迁移，沿用系统全量数据抽取、增量同步的方式接入数据；在规划新建系统时将根据实时性要求接入、交换数据。

数据采集功能支持通过JDBC/ODBC的方式从异构数据源系统的数据库表或视图中采集数据，在采集数据时，可以根据数据量大小、网络情况以及系统负荷等情况采用不同的方式（全量采集或者增量采集）采集数据（支持Oracle、MySQL等多种数据库）。

数据采集功能支持Blob、Clob类型的大字段数据。支持Excel、XML、CSV以及纯文本等格式。支持来自通信协议的数据采集，例如HTTP、JMS、FTP以及Kafka等接口对接协议，支持自定义协议。

数据采集功能支持多种数据采集模式，每种数据采集模式都可配置不同的数据采集频率，包括触发器、时间戳、标志位以及日志分析模式。

2.3 应急数据融合

充分对接和利用省、市大数据管理局数据，有针对性地对各委办局的监测、预测以及预警等各类数据进行抽取选择，充分考虑应急管理机构改革，实现消防救援、水利、气象、自然资源、行政执法、建设以及交通等相关部门资源整合的目标，一方面保证数据层融合可以对单一数据源数据缺失和不完整等问题进行修补，另一方面实现最大限度地扩展数据资源的目的。

应急数据中台的指标体系建设不仅能够对现有的基础数据、业务数据和指标进行整合，而且还能够形成应急管理行业独有且能重复使用的指标体系，最大程度地减少重复建设，节约协作成本。指标体系建设后能够对整个应急行业的指标进行归类，还能提供高质量的应急管理要素。

3 防汛防台应用

通过数据加工建立防汛防台能力评价体系，包括水库超汛限指标、水库超防洪高指标、承灾体灾情指数指标、区域面动态风险指数指标、承灾体应转移人员统计指标以及累计降雨量统计指标。

3.1 等级计算

业务模块由洪涝判断模块和台风判断模块两个部分组成。2个判断模块均将实时数据输入各自的判断矩阵，从而得到响应等级结果，将洪涝监测结果和台风判断结果进行比较，得到最终的响应等级推荐结果。台风判断是对台风的预测登陆区间、登陆等级以及警报类型进行判断，从而提出对应的启动、升级以及解除建议。

洪涝判断是通过定时监测任务对全市日降雨量、48 h累计降雨量、72 h累计降雨量、市气象台预报未来24 h降雨等级以及洪水位进行判断。

3.2 典型场景

在发生台风洪涝的过程中，根据接入的降水数据和承灾体的信息可以在地图上动态地展现城市不同承灾体的灾情指数（用5种颜色分级显示），清晰地为辨识风险提供依据。

根据历史台风发生期间的人员转移情况、气象数据以及各区县人员转移基数建立模型。在台风到来期间根据各区县的应急响应等级、是否休渔期、是否寒暑假以及未来降雨量等因素计算该区县的建议转移人数。

4 结语

数据中台的建设理念是通过大数据赋能管理，利用数据中心将大数据转化为实际的“可用”事物。随着云计算技术和新一代人工智能技术的发展，“云”中的数字化建筑已成为发展的主要趋势。数据中心作为一种新架构、新实践，其尚处于成长阶段，需要通过数字化建设来提高大数据的治理能力，从而解决城市应急领域中所存在的问题。