李 莹 王国复
(国家气候中心, 北京 100081)
我国是世界上气象灾害最为严重的国家之一。1991—2020年平均每年气象灾害造成我国2000多亿元的直接经济损失及3000余人死亡,占全国国内生产总值的1.7%[1]。在全球气候变暖背景下,随着我国社会经济发展进程的加快,气象灾害不断给国家安全、经济社会可持续发展、生态环境以及人们的日常生活带来严重威胁[2]。
气象灾害影响的严重程度不仅与致灾因子(如极端天气气候事件)有关,很大程度还取决于承灾体的暴露度和脆弱性[3-5],在防灾减灾过程中理解和管理灾害风险具有十分重要的意义[6-7]。面对多变的极端天气气候事件,面对复杂的承灾体暴露度和脆弱性特征,面对日益紧迫的防灾减灾形势,气象防灾减灾的重点从减少灾害损失向减轻灾害风险转变。全面提升气象灾害风险管理能力是当前气象科学和服务领域的重要研究内容,既是科学问题,同时也是极具挑战性的业务发展问题。
灾害风险管理是典型的交叉学科,其发展既依赖于各类气象观测数据、数值预报产品,又需要社会经济、工农业生产、基础设施等承灾体数据。气象灾害风险管理系统作为防灾减灾的非工程措施,可为用户提供决策依据,是减轻气象灾害风险最有效的工具之一。早在21世纪初,国外一些机构已利用在线灾害图集进行风险管理。美国内布拉斯加大学林肯分校建立了一套在线的、实时更新的干旱风险图集支撑全美干旱灾害的风险管理[8]。国内也已开展诸多利用灾害图集和风险图集进行风险管理的工作[9-10]。由于构成灾害风险的致灾因子、承灾体的暴露度和脆弱性是变化的,在进行风险分析和风险决策时需充分考虑这些动态因子带来的风险变化。为满足实时性、动态性和综合性要求,充分利用信息化手段开展灾害风险管理已成为发展趋势[11]。
为提高灾害风险管理支撑能力,我国已开始由传统灾害性天气预报向基于气象灾害影响预报和风险预警的转变[12-13],形成一套由气象灾害风险普查、科学确定致灾阈值、基于阈值的灾害风险预警、定量化灾害风险评估、精细化灾害风险区划[14]、业务检验和效益评估组成的技术体系,初步建立国家级、省级、市级、县级四级气象灾害风险管理业务体系。与此同时,气象大数据和气象云的发展,为气象灾害风险管理带来新机遇与新挑战[15-17]。一方面需要纳入多种新的灾害风险管理业务技术方法,适应由单一灾种、面向有限行业的独立业务向多灾种、多行业交叉业务的转变;另一方面数据共享机制尚未建立、大数据挖掘应用能力薄弱,气象灾害信息、基础地理信息、社会经济信息等各类数据需要进行统一、规范的集成和综合处理,为气象灾害风险管理业务提供基础数据支撑。因此,迫切需要建立一套气象灾害风险管理系统支撑业务体系的发展。
气象灾害风险管理系统功能应覆盖风险业务的主要环节,特别是能够生产制作气象灾害影响评估、风险评估、风险预估等业务产品,为风险管理业务人员和相关决策者所用,与气候信息交互显示与分析平台(CIPAS)在产品体系和用户群有所不同[18],分别实现对外和对内支撑,共同组成气候业务核心平台。气象灾害风险管理系统应以客观化、定量化和精细化为目标,随着风险管理业务体系的发展不断完善。气象灾害风险管理系统应采用大数据时空融合、Web-GIS、空间数据的分布式存储等先进技术开展建设,适应新业务拓展需要。气象灾害风险管理系统应全面融入气象大数据云平台,实现集约化高效发展。在推广应用上,系统不仅能够满足国家级业务发展的需求,还应推广应用到省级、市级和县级,有效支撑各级用户对气象灾情、致灾因子、风险指标、风险产品等信息检索、多维显示、在线分析和产品制作的需求。
基于上述定位和需求,国家气候中心2017年启动气象灾害风险管理系统建设,2018年完成核心框架、主要功能和数据环境建设,并于2019年通过业务化评审,2020年在国家级业务单位投入应用。多类业务产品的发布有效支撑了防灾减灾决策服务。
气象灾害风险管理系统的设计思路是“数字风险一张图”。在数据层面,整合致灾因子、气象灾情、致灾阈值、承灾体、隐患点、数值天气预报、客观化气候预测模式产品、综合风险普查等各类信息;在应用层面,以主要气象灾害事件(暴雨、干旱、高温、低温、台风等)为主线,在线分析制作精细化、定量化、客观化灾害风险产品;在运行管理层面,在统一业务标准、数据环境、软件架构、技术实现和运行环境下,开展系统设计、建设和运行维护。
系统总体框架如图1所示。数据层是数据采集和存储部分,存储系统所需各类数据,包括基础专题应用数据以及支撑业务的其他数据。支撑层通过服务接口提供业务功能、地理信息功能和数据地图等服务。应用层是系统的核心,分为大数据应用分系统、模型算法分系统、在线分析与产品制作分系统和综合运维分系统。用户层包含不同的用户角色,分为气象部门内用户和部门外用户。系统还建立安全保障与运维管理体系和标准规范体系,贯穿于数据层、支撑层、应用层和用户层,用于系统开发、数据管理、产品应用以及运行安全等方面的规范、保障和管理。
气象灾害风险管理系统分为4个分系统:大数据应用分系统、模型算法分系统、在线分析与产品制作分系统和综合运维分系统。
大数据应用分系统包括各类数据的实体库和建库、管理的技术规范流程。数据是大数据应用分系统的核心,包括API接口调用数据[19]、风险普查数据、科研成果数据、模式模拟数据、网络抓取数据、行业交换数据、基础地图数据等。数据采集有两种方式:一是基于可视化建模技术的后台自动化处理,如采集灾情直报数据、气象要素数据、台风路径数据、S2S预测数据[20],以及网络抓取数据等,是系统主要数据采集方式;二是基于Web的人工处理,如采集年度灾情数据、昨日灾情数据、台风登陆信息等。在数据质量控制方面,制定数据质量检查方案,在数据采集接入时按照预定规则质检,从数据格式、逻辑性、空间一致性等方面自动识别问题数据,并给出提示信息。以灾情数据为例,利用时间合理性、阈值间比较、字段逻辑关系、无效记录检验等多种方式完成数据的自动审核。在数据存储方面,有Oracle,mySQL,PostgreSQL,Elasticsearch和文件型等多种存储方式,系统采用Supermap的动态配准技术,利用数据时空属性进行数据融合。在数据管理方面,建立气象灾害风险大数据资源目录,实现元数据驱动的数据存储与管理。在数据监控方面,利用数据可视化大屏对数据总量、增量、质量和采集生产情况进行实时监控。在数据备份方面,根据不同的数据类型采用不同的备份策略,对气象灾情等录入数据、文件型数据以及系统加工产品采用每日增量备份的方式,对API直接调用的数据则无需备份。在数据归档方面,根据数据的更新频率划定优先级,将风险区划、风险普查等静态数据优先归档。
同时,建立数据整理、建库和管理的规范和流程,包括数据收集、数据质量控制、数据入库、数据备份、数据归档、数据清洗、数据服务、数据接口等多个环节,确保系统所有数据能够在统一的框架、流程和规格下,实现有效的数据管理。目前,大数据应用分系统存储的数据和产品集按照功能分为13类(表1),记录超过9亿条,容量超过30TB。
表1 数据类别表Table 1 Data types
模型算法分系统以算法为核心,包括算法注册、算法编辑、算法调度管理和算法运行监控等模块,通过算法集成和有效管理,提升系统功能性和兼容性。模型算法分系统独立封装各类气象灾害风险算法和评估模型,将符合接口标准的算法或模型进行注册,实现灾害风险各类模型统一优化编辑、管理调度和运行监控。
为了满足不同应用场景的需要,如灾害对行业的风险评估需要集成水文、环境或农业领域的专业模型,灾害事件的判定或致灾危险性评估需要个性化算法,系统提供多种语言编译环境(NCL,Fortran,Python,Java等)。在数据处理和产品制作过程中利用可视化建模技术,通过可视化的图形拖曳构建灾害风险产品制作流程,极大提高数据处理、业务分析、产品制作的建模效率,提升模型的复用能力。
在线分析与产品制作分系统是系统的门户和核心,以气象灾害事件为主线,将气象灾害风险管理相关业务在5个维度进行整合,为用户提供业务分析与产品制作服务。从灾害维度看,已集成暴雨、干旱、高温、低温和台风5种主要气象灾害,可根据业务发展实现多灾种横向扩展。从功能维度看,已覆盖灾害监测识别、灾害影响评估、灾害风险评估、灾害风险预估、灾害风险区划、灾害信息服务,串联起完整业务链条。从时间维度看,通过时间轴将数据和产品有效整合,实现历史回溯分析、实时监测识别和未来风险预估。从空间维度看,通过GIS空间可视化技术,实现精准的空间分析。从产品维度看,通过在线交互分析,实现专题地图、统计图表、图文报告等多种形式的产品输出。
在线分析与产品制作分系统由主界面、场景标签、菜单栏、功能栏、时间轴和信息栏等组成(图2)。主界面以天地图为底图,用户通过与地图的交互操作获取信息、制作产品。场景标签对应暴雨、干旱、台风、高温、低温等不同应用。菜单栏包括区域查询、底图切换、统计表、统计图等通用工具。功能栏覆盖系统所有的功能,信息栏与功能栏通过时间轴联动,可提供各功能对应数据和图表信息,如进行灾情查询时,信息栏给出灾情的历年变化信息;进行灾害事件查询时,信息栏给出事件的起止时间、影响评估、风险评估、过程灾情等信息。
鉴于气象灾害风险产品的时效性要求,灾害事件监测、风险评估、风险预估等常规业务产品要求能够自动、定时生成并及时提醒和快速调阅,系统以自动化任务调度引擎做支撑,通过触发器与各类模型任务进行关联映射,完成自动定时作业任务的执行。
综合运维分系统包括两方面功能:一是管理用户,面向各级用户采用严格的用户认证制度,根据角色分配相应的数据和功能使用权限,包括登录验证、用户管理、角色管理、权限管理、版本管理和行为监控等模块;二是运行和维护系统的软硬件运行环境,主要包括网络、主机与服务器、存储系统、基础软件和信息安全环境等。
以往气象灾害影响评估业务多针对气象要素的独立场景分析,较少进行不同要素间的交叉分析,但气象灾害风险管理不仅要考虑致灾因子,还需要综合考虑灾情和相应的承灾体,开展进一步风险分析。气象灾害风险管理是大数据融合技术的应用场景,通过多源数据交叉应用,挖掘提升原有数据价值[15,21]。
为了提高灾害风险管理的时效性,需要对多源异构数据进行组织和分析,关键在于建立以目标对象为核心的数据关联模型,实现多源异构数据的关联组织和基于统一时空框架的数据分析,该方法曾在遥感数据组织与分析中得到应用[22]。考虑到气象灾害风险管理涉及的多源异构数据均具有时间和空间属性,参考上述对多源异构数据进行组织和分析的方法对系统数据进行关联组织,在时空上对数据进行对标和标签处理。在时间上,按照时、日、月、年等不同时间段分组,将数据切分和重新组织;在空间上,按照经纬度信息、行政区划信息、流域信息等进行分组,将数据关联和重新组织,形成支撑系统运行的数据矩阵。
以基础地理信息数据为基础层数据,各类数据参考进行统一的空间管理和逻辑关联,如观测数据和灾害事件识别产品根据经纬度坐标进行空间信息关联,灾情数据和社会经济数据根据行政区划编码关联,普查数据根据编码和基础层数据空间属性关联,风险区划数据和模式产品则按照流域、区域和格点3种不同的空间分辨率分别与基础层数据关联等。在数据融合过程中还进行投影坐标、高程基面等参考信息的统一,系统所有数据均采用WGS84投影坐标和黄海基面。通过多源数据融合,灾情数据和气象致灾因子数据可以迅速匹配,如通过点击地图上的暴雨灾情信息实现暴雨灾害发生时临近气象站的降水信息等快速检索。
气象灾害风险管理系统采用Web-GIS 技术进行系统前端页面的展示和操作,这也是国内外相关系统设计的趋势[23-25]。在系统建设中使用Web-GIS技术有以下4点优势:首先,在GIS环境下各种数据可通过其空间值表示,便于进行大规模的风险评估计算,提高产品时效。其次,近年来越来越多的GIS工具和插件出现在风险评估模型中,可以方便集成并进行空间计算。第三,与传统的表格或图表相比,Web-GIS在可视化方面的表达更直观,便于用户进入不同应用场景,理解数据和图形背后的含义。第四,Web-GIS交互界面友好,用户通过点击地图即可方便获取系统信息。系统利用GIS区域自动识别与事件动态关联技术,通过空间叠加分析提取兴趣点、隐患点、危险性指标、影响指标与风险指标完成业务分析,如可以快速获取单次灾害事件或不同风险等级下影响的国土面积、农田面积和人口等信息。尽管Web-GIS与传统桌面GIS相比[26-27],渲染能力略显不足且响应速度受带宽影响,但其在系统升级、管理和维护方面具有优势。用户在系统使用过程中不受操作系统、本地硬盘容量、浏览器兼容性以及数据的限制,无需安装桌面客户端,无需进行本地化配置。
大数据应用分系统中的空间数据类型多样,有点、线、面等。考虑到空间数据的不同类型,为了提高数据查询应用的效率,选用不同的分布式存储系统进行数据存储和管理。系统采用主流分布式存储系统[28],包括PostgreSQL,MongoDB,Elasticsearch等。为满足海量气象数据的快速查询,采用PostgreSQL数据库。在进行风险区划图或风险评估图存储时,为了便于存储和发布海量瓦片和缓存数据,采用MongoDB数据库。在进行风险普查数据中隐患点的存储时,为提高空间数据查询效率,采用Elasticsearch数据库。系统运行中涉及Oracle和mySQL及文件型数据库等常见数据库,采用Oracle存储灾情和灾害事件等数据,采用mySQL存储模型算法分系统中的调度信息,采用文件型数据库存储netCDF格式的气象预测或预估数据等。
系统建设采用GIS云端一体化的思路,选取Spark构建基于多种分布式存储系统之上的统一空间大数据引擎。采用Spark Streaming的实时流处理技术[29],空间数据存储到数据库后直接发布数据服务,实现多终端分发与共享。
气象灾害风险管理系统以数据服务、功能服务、接口服务为核心,借助容器及微服务技术形成服务资源池,建立服务引擎,为各种业务应用场景提供服务。微服务架构和面向服务的分布式架构类似,强调业务需要彻底的组件化和服务化。将系统业务拆分为独立的服务单元,每一个服务单元处理单一业务,不同的微服务可用不同的语言开发或调取镜像。将各类气象灾害风险算法和评估模型封装成不同的微服务应用,有利于算法的独立运行和后续升级。已有研究表明:在GIS服务中引入容器技术,可以提升系统的稳定性、高可用性,并降低部署运维的复杂度[30]。系统通过搜索SuperMap容器中心,取得GIS镜像、MySQL镜像、MongoDB镜像、SuperMap iServer镜像等,进一步获取应用服务。微服务以镜像的形式运行在容器中,利用SuperMap iCloudManager进行管理,将每个容器进行进程级别的隔离,从而减小资源占用率,提高系统响应速度。
对于一个面向全国不同用户的庞大业务系统,用户有个性化的业务需求,且需求存在变化性。多租户技术可实现对计算资源、数据存储能力,甚至功能配置的虚拟分区,使得内、外部用户以租户方式隔离获取计算能力和数据资源。用户可根据需求对系统功能进行灵活配置,满足个性化业务需求。多租户技术的应用使系统具有扩展性,为功能的不断完善打下基础,也可实现国家级、省级、市级、县级等多层级、多角色的服务共享,为系统在全国推广应用和多版本开发提供便利。
系统具备实时气象灾情动态监测功能,并可进行全国和任意区域灾情查询、统计和分析。图3是2021年1月全国受低温灾害影响的直接经济损失分布图,该数据源自气象部门灾情直报系统。2021年1月全国低温灾害主要分布在东南沿海以及云南等地,江西瑞金市和广东惠东县受低温灾害造成直接经济损失超过1亿元。该产品已应用于国家气候中心每月发布的《全国气候影响评价》。系统还具备查询统计年度气象灾情数据并在地图上进行空间展示和产品制作的功能 。
气象灾害风险管理系统针对暴雨、干旱、高温和低温,集成不同客观化区域性灾害事件识别方法[31-33]。
以暴雨灾害事件为例,系统回算了1954年以来2000余次暴雨灾害事件,形成逐个事件的基本信息、极端性评估、影响评估、过程灾情、相似过程等服务产品。交互界面下方时间轴上标签的不同颜色代表事件的综合强度,长度代表事件持续时间,用户可通过点击标签对历史上所有事件的信息进行查询。2020年6月27日—7月12日发生当年最强区域性暴雨事件,其累积降水量分布如图4所示。此次暴雨事件的持续时间长达16 d,668个气象站的日降水量达到暴雨等级,其中249个气象站出现大暴雨,单站最大累积降水量和最大日降水量均出现在安徽黄山,有58个气象站日降水量达到极端阈值标准,4个气象站超过历史极值。根据持续时间、影响面积和平均降水强度等指标判定本次降水事件综合强度仅次于发生在1998年6月12—27日的暴雨事件,排在第2位。
以干旱为例,图5是单次干旱过程影响面积的逐日变化和不同等级气象干旱逐日监测图。2021年3月24日—4月19日我国南方地区出现一次区域性气象干旱事件。4月4日中等以上气象干旱面积达1.02×106km2,为本次事件影响面积的峰值(图5a),华南大部及云南大部、四川南部、贵州中西部、福建中南部、江西南部等地存在中度及以上气象干旱(图5b)。
以高温为例,图6是我国单次区域性高温事件最大影响气象站数的历年变化。由图6可见,1961—2021年我国每年单次区域性高温事件最大影响气象站数呈明显增加趋势,20世纪90年代后增加趋势显著。由此可见,在气候变化背景下,我国高温事件影响的范围扩大。
台风带来的极端风雨可对我国造成巨大损失,如超强台风利奇马(1909)造成的直接经济损失高达515亿元[34]。台风登陆前对台风灾害进行风险预估,可有效减少灾害损失。气象灾害风险管理系统利用观测的风雨数据、台风路径强度数据以及预报风雨和台风路径强度数据,根据台风风险评估模型[35]每日起报,对未来24 h,48 h和72 h的台风灾害风险进行预估,生产滚动产品。2020年8月28日15:00(北京时)台风美莎克(2009)在菲律宾吕宋岛以东生成,9月1日发展为超强台风,9月3日移入吉林省境内,吉林和黑龙江出现极端性降雨和大范围大风,局地阵风达11级。受台风美莎克(2009)影响,黑龙江、吉林、内蒙古、辽宁等地有686.4万人受灾,直接经济损失为129.3亿元。图7是2020年9月2日起报的未来24 h台风美莎克(2009)风险预估分布图,中等及以上台风灾害风险主要分布在吉林省中部和黑龙江省中南部。
气象灾害风险管理系统具备气象灾害风险区划产品的集成、展示和产品加工制作的能力。产品来源包括暴雨洪涝灾害风险普查、自然灾害综合风险普查以及科研项目成果。以城市内涝为例,综合考虑降水强度、城市人口经济暴露度和城市内涝适应性指标(如排水管网密度、绿地率、河网密度等),建立城市内涝风险指标[36]。图8是系统集成的我国东部城市内涝风险区划图,内涝风险最高的6个城市分别是深圳、北京、茂名、阳江、汕尾和东莞,这些高风险城市在遭遇极端降雨时,可能比我国东部其他城市遭受更大的损失。
分析表明:
1) 气象灾害风险管理系统是我国气象灾害风险管理业务的支撑平台,面向暴雨、干旱、高温、低温和台风5类主要气象灾害,以灾害事件为主线,涵盖气象灾害风险管理业务的主要环节,具备气象灾害监测识别、影响评估、风险评估、风险预估、风险区划和综合信息服务等功能。
2) 气象灾害风险管理系统采用基于时空匹配的大数据融合、Web-GIS和空间数据的分布式存储等技术,通过微服务和多租户技术进行系统建设。新技术的应用显著提高了系统对多源、异构和海量气象灾害风险管理相关数据的访问效率和应用能力。
3) 气象灾害风险管理系统已实现业务化应用,在暴雨、干旱、高温、低温和台风等气象灾害风险评估产品生成、重要气候信息制作以及自然灾害综合风险普查中均发挥了重要作用。
随着系统在各级用户的推广应用,需求将不断增长。依托于气象大数据云平台发展的有力支撑[37],更多丰富可靠的数据资源、更多风险评估模型的集成将驱动气象灾害风险管理系统的发展[38-40]。今后将按照集约化、一体化和客观化的发展道路,打造气象灾害风险管理系统的应用生态圈,为各级用户提供更加丰富、实用的气象灾害风险管理产品,进一步发挥信息化在气象灾害风险管理中的重要作用。
致 谢:感谢国家气候中心高歌正高级工程师、尹宜舟正高级工程师、冯爱青高级工程师、代潭龙工程师在系统功能建设方面给予的建议和支持。