基于网络技术的气象数据共享方案探讨

◆黄锦灿 蔡贤达 田良钰



基于网络技术的气象数据共享方案探讨

◆黄锦灿 蔡贤达 田良钰

(佛山市高明区气象局 广东 528500)

随着科技的不断发展，为了对于气象信息的解读也更加科学与高效，加强气象数据系统建设与信息分享势在必行，本系统建设以气象业务系统、预警发布手段以及电子政务网和政务大数据为基础，充分利用移动、联通、电信等运营商的网络资源和社会资源，实现气象信息的高速共享，为其进一步发展打下坚实的基础。

网络技术；气象数据；共享

0 引言

目前高明区气象局每天要处理大量的观测数据、预报数据、预警数据，但是尚没有自己的数据中心，所有数据需要从其他局系统中抓取，经常导致数据不完整、不稳定、不正确、不及时等问题。严重影响气象业务的正常开展，更加难以适应“互联网+”和大数据战略的实施。难以给公众和各行各业提供实时、准确的、充足的气象数据和服务。同时经过多年的建设，高明区气象局在硬件上已经满足了日后的发展的需要，随时可以满足气象数据综合管理系统的建设。如果不充分利用这些硬件设施，会造成资源的浪费，因此需要对于气象数据做好共享工作，提升共享效率。

1 高明区气象局数据中心建设背景

1.1建设现状

高明“智慧气象”数据中心是基于高明气象局以及其他部门的数据共享的基础上，利用气象大数据，搭建气象数据中心以实现数据资源的采编、审核、清洗、分析、挖掘的等一系列的功能，为智慧气象的业务系统和信息服务提供深入、全面的数据基础，并提供相应数据接口。数据中心的主要功能有数据交换与共享、数据存储、数据处理三大部分。实现对采集到的各种信息进行分类和存储等功能，能够按照数据来源、数据类别、数据时间等多种维度进行管理，且具备统计分析、监控、报表制作等功能。在数据的存储上要求能够存储和管理结构化数据，也能够存储和管理非结构化数据。能够应对大数据量、多数据类型的情况。

1.2建设目标

智慧气象是智慧城镇建设的重要组成部分。要实现智慧气象更好的服务公众，服务行业经济，实现“互联网+”的应用和跨界大数据分析功能，首先要建立一个气象数据综合管理中心，提供数据管理和气象数据支持，通过整合统一的大数据接口平台为其他部门、社区信息员和人民群众提供精细化、网格化的信息服务，为智慧城镇建设提供气象信息支持。

根据以上背景和分析，我们提出以下项目建设总体目标：

（1）依托通用数据平台，建设“智慧气象”数据中心管理平台基于广东省气象局和佛山市气象局的数据支持和其他部门的数据共享，“智慧气象”数据中心项目将搭建大数据平台以实现数据资源的采编、审核、清洗、分析、挖掘的等一系列的功能，为智慧气象的业务系统和信息服务提供深入、全面的数据基础，并提供相应数据共享接口。

（2）建设基于GIS的气象业务数据可视化支撑平台为协助气象部门对气象数据分析预报并使服务信息更精细化，项目将建设气象数据结合GIS地理信息分析，展现各类的气象要素，从而综合提升气象部门的业务能力。

1.3建设意义

本系统充分利用公共无线和固定通信网络，通过多种发布手段相互结合、互为弥补的方式为人民群众提供一个及时传递气象产品信息和公共事件预警信息的载体，是解决信息服务“最后一公里”问题的有效途径，大大提高了公共事件预警信息发布的时效性。通过智慧气象系统建设，使原来分散在不同部门、不同行业的应急信息，通过系统中专用的突发公共事件预警信息发布系统，权威、畅通、有效的突发公共事件预警信息发布渠道统一进行发布。同时，利用各种发布手段的覆盖范围和控制功能，可以将气象产品信息和公共事件预警信息的发布范围进行精确控制。气象数据的跨行业价值挖掘将产生巨大的社会和经济价值，据了解，英国的气象服务已经全部商业化，年产值达到2600亿美元，美国1600亿美元，日本100亿美元，而中国只有6亿美元，专业的气象数据服务在中国市场前景巨大。本系统的建设将挖掘气象跨行业的数据价值，最终提供商业化服务。

2 网络技术在气象数据共享中的应用

2.1技术规范

数据中心配备包括支撑以上功能的硬件基础设施、大型外部设备、数据库管理商用软件、数据处理专业商用软件、数据管理应用软件、数据服务应用软件、数据交换系统，以及相应的专业人员。数据中心硬件配置一般包括：服务器（业务应用服务器、数据库服务器、交换服务器）、存储系统（SAN 光纤交换机、磁盘阵列、NAS文件存贮）、交换机（核心交换机、服务器群子网交换机、部门接入子网交换机）、大型外设、全冗余的硬件设备及链路。数据中心软件配置包括：网管软件、应用服务器软件、数据库管理系统、GIS软件、数据备份软件、目录服务及元数据发布软件、LDAP服务器、安全管理软件、消息中间件、云虚拟机管理软件等。整个高明“智慧气象”数据中心网络可以建立在云计算平台之上，所有的应用系统服务器均由虚拟化服务器提供，这样的好处在于可以按需配置服务器资源，保障服务器资源的充分利用和灵活调度。

2.2数据采集

气象业务数据采集子系统包括：气象自动站数据采集模块、气象格点数据数据采集模块、台风路径数据采集模块、气象预报数据采集模块、气象预警数据采集模块。

（1）气象自动站数据采集模块连接气象自动站数据源接口，按相应规则定时采集指定时次，站点，要素的自动站基础数据。

（2）气象格点数据数据采集模块连接气象格点数据源接口，采集指定时次、要素、区域范围的格点数据。

（3）台风路径数据采集模块连接台风数据源接口，按数据规则采集台风数据，采集内容包括台风名称、实时风力风速、途经地点、风力半径等。

（4）气象预报数据采集模块连接气象预报数据源接口，采集多时次、多区域的天气预报、气象指数、景点天气预警等预报数据。

（5）气象预警数据采集模块连接气象预警数据源接口，采集指定区域的实时预警数据。

2.3数据存储

高明“智慧气象”数据中心由两台高性能计算机作为数据库载体，配以大容量的磁盘阵列和磁带机，系统通过光纤存储交换机相连，采用双链路备份的方式，保证数据库的可用性与可靠性。系统涉及到整合其他业务系统的数据，其他写数据有结构化数据和非结构化数据，数据库可能有Oracle或者SQLServer等结构化数据库，也有NoSQL类型的数据库，或者分布式数据库，同时考虑到与政务大数据平台相结合，因此，本方案设计系统把采集过来的数据存储在由Hadoop搭建的分布式存储系统上，通过HBase进行结构化数据存储，通过逐步建立分布式数据分析模型，不断地丰富系统提供的气象产品服务。

2.4数据共享

MapReduce是由Google提供的建立在HDFS之上的一个并行计算框架；我们需要通过MapReduce框架设计对共享数据的检索与分析，为各种业务系统提供数据。HBase是一个类似于Google BigTable的分布式NoSQL列数据库；Hive是由Facebook贡献的一个数据仓库工具提供类SQL查询方法，使得上层数据应用程序可以通过关系型数据库访问的方式查询分布式文件系统中的数据；Zookeeper是由Facebook提供的一个分布式锁设施，在整个平台中起到协调各种操作的作用。Pig是一个大数据分析平台，为用户提供多种接口，在系统中主要通过其方便的脚本编程接口为上层数据应用程序提供服务。

3 总结

在对于气象数据进行分析和共享时，各种错误数据需要认真的比对和分析，从而对其进行评估，因此作为工程师应当具有一定的建模能力，使得共享效率提升，能够将相应工具在精确运行中应用，同时这样有利于实现气象数据设备的科学规划与合理布局。共享技术对于气象设备的发展来说具有极为重要的意义，因此需要对其技术进行进一步的优化。

[1]王阔音.航空气象信息服务系统的设计与实现[D].中国矿业大学，2015.

[2]冯慧菁.基于GIS的气象信息集成与可视化系统[D].南京信息工程大学，2013.

[3]王增武.基于GIS技术的气象数据处理系统设计与实现[D].电子科技大学，2008.

广东省气象局“气象信息大数据创新团队”（团队编号：201507）。