交管风险管控平台与气象大数据云平台融合的实践与思考

■ 唐卫 渠寒花 霍庆

(作者单位：唐卫、渠寒花，中国气象局公共气象服务中心；霍庆，国家气象信息中心)

气象信息化是实现气象现代化的重要途径。气象大数据云平台是气象信息化工作的“主角”，中国气象局组织编制了《气象大数据云平台试点建设工作方案》，要求推进云平台与天气、气候、探测、服务等核心业务应用系统的对接，满足国家、省级核心业务应用系统数据需求，在国家级和部分省级建成云平台，提供在线数据访问与数据挖掘应用功能，在公众服务、行业影响服务开展气象服务核心业务试点应用。交管天气风险管控平台作为2018年中国气象局山洪新建项目，成为公众服务方向融入大数据云平台试点工程的首批项目。以云平台为支撑，依托其基础环境池、存储资源、超算能力、国省共享通道、监控保障等优势能力，推动交管平台融入云平台，更是现阶段实现气象资源互联互通、共享共用，构建资源高效利用、数据充分共享、流程高度集约、标准体系完备的气象业务现代化新格局的必行之举。

1 交管天气风险管控平台基本情况

交管天气风险管控平台（Traffic management weather risk control platform，TWRCP，图1），联合交通管制部门、国省气象服务部门，建设了“一级部署、两级应用”、多部门协同的综合业务服务平台，综合运用大数据分布式处理、流式计算框架、GIS空间分析、数据库、多维可视化等关键技术，重点建设了交管气象服务大数据集、交管气象风险一张图、业务应用3个分系统，研发全国主要高速干道15万桩点、1 km和10 min—小时级别的精细化时空分辨率交通气象服务产品，通过实时气象数据、高速管控数据、地理数据、交通数据的共建、共享、共用和挖掘分析，开展交管与气象大数据的融合应用，旨在为交通管理部门实时决策提供辅助工具，提高国省气象灾害应急工作效率，提升防灾减灾服务水平。

图1 交管风险管控平台主界面

2 交管平台融入云平台的主要需求

2.1 大数据资源需求

交管平台数据涉及基础气象资料，行业社会的交通管制数据，基础地理数据等4大类30余项，涉及公安部门、交通部门、气象部门及社会企业等10余个单位，数据来源广泛、格式标准各异、接入方式复杂，交管平台依靠自身力量，协调部委和数据提供方精力不足，依据数据门类专门研发相应数据接口和算法工作量大、效率不高。

2.2 高效存储访问需求

经测算，交管平台涉及输入输出数据60余种、处理业务功能140余项，日采集及处理数据量约3 TB，日生成服务产品近100 GB，日缓存数据超过300 G，日分布式存储记录1.2亿余条，高速路段与桩号信息分别与8大类气象要素的空间叠加分析及中间计算结果以小文件存放，高时空分辨率数据时空分析、高频回滚计算对分类存储、快速存储检索、分析再计算能力均提出更高需求。

2.3 高性能计算及服务能力需求

交管平台涉及全国主要高速公路15万桩点、900多条主要路段，实现分钟级交通实时流量叠加分析，同时，精细化至全国1 km路段、桩号的实况、短临和预报，逐10 min至小时级的产品滚动计算加工及多要素气象交通数据产品实时反演分析，需要满足数据访问、在线计算及回存需求，实时数据访问秒级响应，历史长序列数据统计分析秒级响应能力的支撑能力。

2.4 支撑部门内外、国省业务的混合网络架构需求

交管平台服务交管、国省气象业务部门，存在大量数据和产品实时汇交与共享，数据分析、产品加工、前端交互涉及多个网段，目前虽功能研发完成，但建设单位不具备向外部门、国省业务部门提供应用服务能力，需从业务布局出发，联合大数据云平台统一设计、集约部署。

2.5 统一监控运维需求

交管平台未来面向交管部门、国省气象业务服务部门7×24 h全天候服务，需对数据到达、产品加工、服务分发等关键环节提供“全流程、全要素、全过程”监控，在信息监视、指标性能、秒级事件处理能力方面提出更高要求，以提高数据质量、服务时效、故障处理时效，增强平台运行的稳定性。

气象大数据云平台，以提供“数算一体”的平台化服务为目标，采用统筹构建基础设施资源，统一构建数据环境的方式，旨在打造气象信息资源互联互通、开放共享的 “云+端”业务模式的全面发展，逐步构建集约化、标准化、开放发展的气象新业态，经过一年多来的建设与完善，在气象数据资源、数据交换、产品加工、挖掘分析、存储与服务、业务监控等，初步具备支撑交管平台的能力。

图2 交管天气风险管控平台应用融入方案

3 交管平台融入大数据云平台的实践

根据交管平台业务架构和功能特点，向气象大数据云平台的融入分别从“云”“端”两方面联合设计融入方案（图2）。其中：1）“云”的融入包含IaaS层、SaaS层。其中，IaaS层由大数据云平台提供TWRCP所需的虚拟资源池、分布式物理池、数据存储的基础设施资源，在此不作赘述；SaaS层，云平台针对TWRCP数据及产品特征，提供分类数据存储、算法集成改造融入、扩充现有数据服务接口，将原TWRCP中的算法库管理、工作流引擎、任务调度和并行处理框架调整为大数据云平台的加工流水线支持，生成的业务产品存入云平台统一的数据及存储环境。2）“端”的融入包括Web端展示融入、后端管理端的融入改造。后端管理端的改造在消息机制、用户权限管理方面保留前端界面，实现交互信息加工结果的获取与展示，并增加交管平台监控功能改造后融入天镜的需求，实现TWRCP全业务、全流程的监控。

3.1 数据流程改造

数据存储的应用融入，经过交管平台数据流程再梳理，如图3所示。将数据采集、存储及服务接口统一纳入云平台。

图3 数据应用与服务融入流程设计

数据采集环境，现有数据交互算法向云平台迁移。对于原本对接CIMISS数据服务接口，不作变化。对于云平台尚不包含的实时流量等数据，遵循大数据云平台的数据输入输出和监控规范，纳入统一交换及质控系统进行解析处理，采集算法封装后注册到流水线环境，采集信息管理纳入天镜统一监控。

数据存储管理，完全转移至云平台。新增空间数据库，以postgreSQL支撑点、线、面SHP数据与气象基础数据的空间融合入分析与信息提取；扩充历史分析库，大体量、长时次、循环滚动计算的历史检验数据，采用云平台ADS/Gbase分析型数据库提升计算效率；分配共享文件存储，用于中间结果缓存，对频繁更新的共享指标、路况流量以分布式NAS存储。

数据服务接口改造，数据接口融入包含两部分，基于现有标准、扩展MUSIC底层通用接口，在时间窗、区域段、地理信息区间等方面容纳更多动态适配参数，定制开发空间分析服务接口功能，满足不同参数化方案下的动态空间信息调用和分析；利用众创接口，对MUSIC接口无法满足的功能定制开发，如根据TWRCP前端展示需求，形成多个数据服务接口。

3.2 产品加工算法改造融入

按照服务功能对数据采集算法、交通事件融合算法、实况短临预报产品道路融合算法、风险产品的道路融合算法、风险等级计算及等级订正6类89个业务算法进行整合封装，形成独立运行的可执行脚本或程序，注册至大数据云平台的流水线环境，实现交管平台算法的统一注册、审核、发布等管理。

算法的管理在后端管理层实现，包括算法的部署、管理、运行等，算法的支持环境为基础设施的算法运行池，生成的业务产品存入数据环境。通过任务调度方式纳入大数据云平台产品加工流水线，以参数形式触发定时任务执行，其输入输出参数改造为云平台存储环境提供的开放数据接口，并通过监控日志统一监测、调度、管理。

TWRCP算法按照流水线环境的统一标准规范改造封装后注册在流水线环境。其中，对气象业务中频繁使用的气象基础数据要素提取算法、GIS地理数据引擎调用接口、历史气象要素统计算法等，注册时采用了public方式暴露接口，可提供及其他平台或系统的复用，如支撑防灾减灾监控管理平台应用、辅助决策支持系统等，其他平台将依托流水线的众创发现接口多次调用，同时也提供支持源码共享服务。

3.3 前端应用服务融入

TWRCP属于典型的应用服务型业务系统，因服务用户的特殊性，TWRCP Web端服务既要满足用户交互、共享、服务需求，同时也要按照大数据云平台融入要求，开展交互操作、服务发布的准确、实时应用，分两个阶段开展工作。

1）由大数据云平台提供前端Web网络环境，完成网络架构下整体功能的迁移。因TWRCP服务用户的特殊性，采用分两步实施：先期开通气象宽带网，实现国家级、省级气象业务人员应有，实现国省交通风险指标的汇聚、基础支撑产品与风险产品的共享与下发。

2）对迁移后的TWRCP前端，逐步开展云平台的融入改造。TWRCP前端Web服务的人工交互操作，保证交互操作分析、计算返回结果的准确性和实时性，是TWRCP前端融入的关键所在。对TWRCP web应用服务接口改造，梳理WEB应用涉及的服务接口，在大数据云平台新增人工触发接口，同时设计共享存储目录及文件，做好服务接口与共享文件的触发匹配，确保交互数据及产品能够准确返回。

4 业务融入中的经验与思考

4.1 协同融入需重视，组织管理是保障

合作双方达成共识，是推进融合的工作基础。早在交管平台系统设计阶段，实施责任机构组织省级试点单位、联合国家气象信息中心气象大数据云平台团队成立专项联合工作组。结合气象大数据云平台技术能力，就融入流程、技术条件、功能流程做早期需求分析，联合设计国省业务架构、共享流程、产品分发，并就相关的软硬件资源申请、基础数据列表做前期沟通，形成工作共识，同期做好会议纪要，为后期融入工作提供了组织保障。

4.2 顶层设计要统筹，融入进程要同步

对新建业务系统来说，协同顶层设计能有效避免后期技术架构、业务流程的反复工作量。团队主要采用分工合作方式，设计阶段由气象大数据云平台负责国省业务架构布局设计，研发团队同期提交输入输出数据列表、给出存储资源、计算资源、网络资源详细测算列表，双方就消息中间件、数据库等应用软件进行了定制部署，较好地支撑了平台融入工作。

4.3 重视数据产品接口规范的设计与规划

未来各项业务服务系统融入气象大数据云平台是大势所趋，各类数据、产品、接口要严格遵循云平台技术标准和规范要求。其中，应用的大数据云平台CIMISS数据，一般都有相应标准规范，难点在于自身业务逻辑输入及产出的数据、产品。团队参照交通行业标准及规范、联合公安部交通管理科学研究所，先后形成了《交管天气风险预警指标技术规范》《高速公路交通安全管控风险预警等级》《交管天气风险管控平台风险产品共享格式规范》等，参照《气象信息化标准》、大数据云平台现有规范，联合国家气象信息中心，形成功能算法、数据服务接口、监控格式规范多类，为平台向大数据云平台的快速融合与业务应用奠定了良好基础。

深入阅读

沈文海, 2016. 再析气象大数据及其应用. 中国信息化, (1): 85-96.

王志, 韩琰红, 李蔼恂, 2017. 我国公路交通气象研究与业务进展.气象科技进展, 7(1): 85-89.

翟永, 刘津, 2015. 建设地理信息大数据的思考. 气象科技进展,5(1): 70-71.

张晖妍, 杨青军, 李林, 等, 2019. 青海省气象大数据云平台设计. 青海科技, 3: 67-71.