综合气象信息共享与管理系统的构建与应用研究

丁伟杰，黄志聪，陈 燕

（佛山市高明区气象局，广东 佛山528000）

近些年在气象事业快速发展的同时，信息化建设成为了主流，佛山市结合自身实际情况，利用信息化手段，不断提升气象信息化管理水平，让气象信息业务水平及管理水平得到极大提升。通过基础设施的信息化建设，能够实现综合业务工作开展的信息化，将气象观测、天气预报等设置在系统中，发挥系统管理在实际工作中的作用。气象信息综合管理共享系统的构建与应用，能够满足时代发展需求，确保在气象行业的健康发展，为气象业务管理工作提供支持。

打破业务数据管理壁垒、整合气象信息技术资源、简化业务流程和各环节、推进气象业务数据融合与技术协同，在进行气象管理工作期间，可以实现气象数据信息共享，提升气象工作的管理水平，为佛山市气象信息业务的发展奠定坚实基础。

1 系统设计

1.1 总体架构

佛山市综合气象管理信息资源共享与数据管理服务系统平台致力于在综合气象管理行业内部有效满足各气象业务部门和信息管理系统之间的气象数据信息资源相互共享和信息交换，为各区综合气象管理业务和信息管理系统用户同时提供气象信息资源共享和管理一站式信息在线查询服务。归纳起来，共享管理信息主要类型包括气象观测基础数据、公共服务产品、专业服务产品和人员信息等大数据。

实现上述基础信息的存储统一管理共享和集中管理，系统必须独立制定一套标准、规范的共享数据管理存储信息格式，实现系统多源、异构共享数据的信息集中管理存储和统一共享，功能上主要包括共享数据系统资源信息目录存储管理、元数据存储管理、共享数据信息存储管理、系统资源存储管理、数据服务器和接口存储管理、数据系统监控等诸多基础信息。系统数据总体管理架构如图1所示，采用成熟的三层数据体系管理架构：数据表示层、业务逻辑处理层和重大数据处理层。表示层网站是气象系统监测门户，采用国际标准的移动webgi客户端进行开发，负责与监测用户数据进行交互，提供数据状态智能自动检索、快速智能导航、个性化智能推荐和监测数据状态可视化智能展示等多种功能，通过输入webgis、图形、表格等多种方式即可实现各类大型气象监测数据的信息共享上传服务。业务系统逻辑管理层除了可以提供对于基础用户数据、公共气象服务产品、专业气象服务产品和用户管理业务信息的各种接口数据访问，还可以提供对所有用户业务行为、日志管理信息等业务系统本身的数据管理信息服务。数据管理层主要集成依赖于CIMISS气象数据管理环境库并构建佛山市本地气象业务综合信息数据库，在对本地气象数据等进行存储与管理期间，可以对其进行集中存储与管理，在对应的气象数据服务管理接口，能将各类数据服务请求进行及时接收，然后确保在气象系统发展期间，能在数据支持下实现业务的合理开展。

图1 综合气象信息共享与管理系统总体架构

1.2 功能设计

佛山市综合基础气象管理信息数据共享与综合管理服务系统主要包括共享基础气象数据、业务管理产品、服务管理产品和综合气象信息管理4个主要功能模块。

1.2.1 网站首页

首页气象作为系统的气象访问检索入口，综合方位展示我市气象行业基础技术数据、业务、服务和气象信息安全管理等重点领域关注的气象信息，功能除了各类业务功能导航、通知栏等信息外，还包括各种智能气象检索、个性化气象推荐、最新气象产品详情链接等。

1.2.2 检查基础统计数据

基础气象数据通常认为是气象行业内和用户整体需求量最大的一类基本气象基础科学资料数据，根据基础气象科学资料的主要内容功能属性和诸如CIMISS等的分类使用标准，功能数据分类主要包括辐射地面、高空，辐射农气及水生态，大气化学成分，大气生态环流及辐射雷达、卫星气象数值天气预报5类产品和其他共10类基础气象科学资料。除了提供包括制图查询、统计和文件下载等各种常规制图功能外，还包括了诸如显示时序结构图、分布结构图、等值图曲线、色斑结构图的各种在线自动制图查询服务。

1.2.3 业务核心产品

业务核心产品主要面向各级气象业务部门、科研企业用户。功能范围覆盖各级气象部门所属核心气象业务，包括气象天气预测类、气候监测类、农气服务类、专业气象服务项目类和气象人影服务类的气象业务核心产品。除可以提供各种常规数据查询服务功能外，还可以提供材料加工数据统计值、分布统计图等多种在线数据分析查询功能。

1.2.4 服务性的产品

服务各类产品主要用于面向政府决策、公众和气象专业用户服务，将气象行业基础技术数据、气象服务产品加工制作和服务产品应用有机相互融合，提供基于气象服务产品的可视化信息展示应用功能。

1.2.5 妥善管理个人信息

管理决策信息中心面向各级气象辅助管理决策部门主体用户，实现各级气象辅助业务、事务管理决策数据的信息规范化、扁平化，为各级气象辅助管理部门提供气象辅助管理决策数据支持，提升决策执行力和决策预判的能力。功能上主要范围包括网络数据安全监控、质量安全监控和网络信息安全通报。数据质量监控主要包括气象基础技术数据、业务以及产品、服务以及产品，从数据收集、解析、入库管理到用户共享等一体化、全方位流程的质量监控数据管理;信息质量服务监控主要包括信息传输服务质量（CIMISS、mdos）、预报服务质量、预警服务质量等相关信息的质量监控；信息资源主要包括现代化网站建设、产品信息发布、数据资源下载信息通报等。

2 系统关键技术

2.1 海量异构气象数据存储

由于CIMISS对于采用关系型气象数据库组合存储非典型结构化气象数据的采用元数据存储信息、采用气象集群文件系统组合存储非典型结构化气象数据文件，上述基于传统软件架构对不断变化增加的应用海量非典型结构化气象数据系统数据库和存储文件服务系统功能需求不足，易出现数据负载性能饱和、读写系统性能不足的服务瓶颈技术问题，影响了气象系统存储服务的数据时效性和数据稳定性。

因此，对基于CIMISS等的数据库和存储系统进行了可扩展性和应用场景研究，提出基于Adoracleop数据库存储集群和Ci-Hadoopop分布式文件系统等混合应用架构的气象管理综合信息数据库，气象信息基础设施数据、业务硬件产品、服务软件产品和企业管理气象信息的一个标准、统一、集约化的存储应用环境。

2.2 气象数据加工处理

气象统计数据分析加工任务处理功能系统按照不同业务处理功能主要分为自动常规产品统计处理产品计划加工、网格化处理产品统计加工、自动图形化处理产品统计加工。在不同的业务功能产品下，根据相关标准及规范，对本地气象常规统计产品要素，一定要对其进行明确，并能将日、候、旬等基本单位进行囊括；气象网格化统计产品主要是以5×5公里气象实况的网格化统计产品数据为统计基础，融合本地区小时、日等值的地面气候观测气象数据，细化设计生成1×1公里的本地区特色实时气象要素和网格式特点化统计产品；气象图形化统计产品以气象图形化统计产品作为标准，实时、准实时地细化生成区域落区气象图、分布气象图等13种气象图形化统计产品。

任务调度、数据接口加工等是数据接口加工任务处理工作的基本流程，在不同模块的规范实践下，能够保证业务开展的可靠性与合理性。任务调度管理采用Quartz软件开源开发组件进行实现，Quartz组件是一个轻量级的大型企业任务调度管理框架，完全由Java语言编写，能为任务调度管理提供可靠支持，确保管理机制开展的有效性，而且在软件的实际应用中操作比较简单。在Quartz任务调度系统框架的应用下，加工资料处理任务系统能够对一个加工处理任务进行触发，调用加工处理任务后，任务调度要求的统计结果集可以在服务用户接口终端获取；然后可以在统计算法以及模型中将统计结果集以及数据模型传入，这样就可以在统计算法以及模型的应用下，得到对应的统计结果集；最后，服务接口终端需要接收统计运算后的结果，然后可以写入加工数据。在具体操作期间，每一次都会进行日志记录，为以后进行日志记录分析工作提供数据参考。

2.3 智能搜索引擎

传统的气象数据检索处理方法已经难以有效满足用户日益增长的各种气象信息数据高性能信息检索服务需求，如何快速、高效地从各种海量化的气象信息数据中检索有用的气象数据信息资源已经发展成为信息共享与数据管理信息系统的一大难点。因此，结合气象个性化信息推荐和分布式气象搜索分析引擎，提出了基于数字Elasticsearch引擎构建的智能气象搜索分析引擎，针对海量气象信息数据可以实现智能自动检索分析相关气象信息，同时为广大用户免费提供快速气象信息检索查询分析服务。

构建案例Elasticsearch垂直搜索集群引擎设计包括分布式搜索集群引擎设计、垂直搜索领域内的专业搜索词典引擎构建、数据资源索引、数据资源搜索和企业个性化产品推荐。Elasticsearch分布式气象集群根据现有的气象行业基础集群数据、各类集群产品应用规模及集群相关产品性能数据进行气象集群结构设计。

2.4 面向气象数据的可视化信息技术

可视化信息技术系统融合了工业信息技术可视化、科学技术可视化、人机交互、数据挖掘等多门学科，针对复杂气象相关数据模型具有多交互类型、高交互维度、弱交互模式等不同特点，利用交互分布式界面对复杂气象相关数据模型进行实时分析和综合展示，同时充分融入用户认知思维能力和综合计算思维能力，从而为用户实时提供复杂气象相关数据的高效处理和分析服务。

3 结束语

综合气象信息数据共享与业务管理信息系统不仅是直接支持气象信息业务管理应用的气象数据服务技术平台，同时也是直接支撑气象部门核心技术业务、提升气象部门信息管理服务水平的重要技术基础，该信息系统的开发设计与应用研究将有效地解决气象部门对多媒体类型、规模大、业务管理逻辑复杂等气象数据缺乏共享和信息管理不足的实际难题。