云计算环境下气象大数据服务应用

华丽+陈澄

摘 要：本文研究探讨了云计算环境下气象大数据服务应用系统，该系统以Map Reduce 分布式处理技术为主要基础计算架构，并给出应用示例，以供相关学者参考借鉴。

关键词：云计算；气象大数据；服务应用

中图分类号：P409 文献标识码：A DOI：10.11974/nyyjs.20170933204

引言

云计算环境下气象大数据服务应用系统研究与实现，降低了气象工作人员劳动强度，方便客户端操作，提升了气象数据运行效率。在云计算环境下，该系统能够快速部署提供气象大数据服务，用户只要接入网络，就能对服务访问，有效运用云中高性能计算，云计算环境下气象大数据服务应用对于气象事业的快速发展将具有十分重要的意义。

1 云计算环境下气象大数据服务结构

1.1 气象大数据特征分析

大数据量具备体量大（Volume）、数据类型复杂多样（Varity）、数据值价值高（Value）、数据处理速度快（Velocity）等特点。现阶段气象业务的开展已经累积了大量数据，达到PB 级，符合大数据的Volume 特征；气象数据类型涵盖各种标准及非标准性的数据，与Varity 特点相符合；气象数据的自动化采集属于24h不间断的过程，气象数据量增加速度快，处理速度的需求也在增加，与Velocity特点相符合；气象数据统计屠户非必须、处理等工作，有利于气象服务工作开展，如预测预警等数据符合大数据Value 特点。可见气象大数据处理问题已经成为迫切需要解决的问题。云计算技术能够对这些问题进行有效处理，更好地实现高效气象大数据服务，增强气象服务能力。

1.2 气象大数据服务结构

在中国气象领域内，气象中心通常放置了许多设备，涵盖性能较高的计算机、普通的服务器以及一些通讯设备等。这一系列设备借助云计算加以协调处理，然后促进气象专有的云的形成。气象大数据服务的结构能够根据气象行业专有云布局。根据上面所描述的内容，本研究对云环境中气象大数据服务结构进行布局（图1）。

基础设施层。用来存储和处理气象大数据，涵盖主机、数据中心、照明、存储、制冷、网络等。在云计算环境中，以前的基础层最好能够被云化，产生设施资源池，其计算及存储资源能够发生变化，扩展为气象及研究人员运用，促进资源的有机协调，全面增强资源的使用率。

平台层。凭借云计算在基础层面主要技术基础上构建平台。能通过Hadoop系统完成分布式文件的备份存储，凭借HBase完成动态大数据分布式数据指标；通过MapReduce达到数据计算目的；凭借Hive完成静态数据的保存和快速查询。平台层实现后，给予应用层技术支持。

应用层。借助于平台层给予的软件工具做好数据存储、分析、处理等应用开发，通常涵盖台站监控、云平台监管及气象服务。站点监控一般要对站点情况、设备设施以及数据园的情况进行管控；云平台监管一般要对气象数据中心服务器的节点加以管理；根据使用目的区别给予数据查找、运用、存储、产品制作以及复杂天气预警等各方面的气象服务。

大数据服务层。基于应用层研发的不一样类型，给予气象大数据服务。基于HBase 的实时数据索引，给予气象单位各种气象服务；借助分布式数据处理模型 MapReduce对数值预报及预测产品制作开展气象数据分布式处理，随后给予气象研究以及公众服务。

用户层。气象大数据服务，涵盖气象部门主要用户，气象研究人员以及其他领域的人员。气象部门工作人员凭借气象部门内网获取气象大数据服务；气象研究人员借助网络取得一些权限数据；并借助网络取得有关预测产品。

2 基于MapReduce 的气象大数据服务应用

2.1 MapReduce处理技术

用于大量数据集（超过1TB）并行操作的编程模型。借助MapRe-duce对气象大数据开展并行处理（图2）。MapReduce在处理输入数据前把输入数据分成相等大小的数据片段；使用MAP对各个片中数据资料加以处理；对获悉数据资料开展REDUCE处理，获取相关结果及最后输出。

2.2 基于MapReduce 温度与降水量统计

以我国地面国际交换站气候资料数据当作实施目标，在实施前存储于HBase數据库内。采取MapReduce计算模型用于分析及处理气象数据。对数据统计与分析前，凭借对测试对象加以分析获取结论。凭借每月统计的气温及降水资料，能对站点的历史温度及降水动态明确掌握，作为今后温度与降水量变化预测的指导依据。

MapReduce可对存储于Hbase内的气象资料开展分布式处理。若干Map工作会对气象数据信息并行读取，并将Map工作内容数据输入成{key，value}对。key是行键，value是与行键相对应的数据行。Map任务操作会产生1个新的{key，value}对，当成Reduce工作内容输入。Reduce工作内容完成后会把每月的数据资料输进结果文件内，并把涵盖的每月信息转入关系数据库My SQL内，统计获取每年气象数据信息。

3 结语

气象大数据服务是气象领域的重点工作任务，其面临着诸多困难，所以迫切需要采用云计算技术开展气象大数据服务应用。本文着重探讨云计算环境下气象大数据服务结构及实例，以提高气象服务水平，促进各地气象部门资源共享，推动气象事业信息化发展。

参考文献

[1]沈文海.气象数据的“大数据应用”浅析——《大数据时代》思维变革的适用性探讨[J].中国信息化，2014，30（11）.

[2]李文，马勇杰.大数据时代的气象服务应用研究[J].河南科技， 2014（18）.

[3]颜斌.云计算安全相关标准研究现状初探[J].信息安全与通信保密，2012（11）：66-68.

[4]赵蓓.大数据时代对气象服务的推动[J].考试周刊，2014（33）：

195-196.

[5]付伟铮，巴洪连，任爱胜.大数据时代农村信息服务的实例研究[].农业网络信息，2014（11）：5-10.

作者简介：华丽（1987-），女，湖北孝感人，本科，南京信息工程大学研究生。endprint