省级气象基础设施资源池的建设及在业务中应用

朱亮 贺炜 钟艳雯 欧阳计跃

摘要：本文讲述省级气象基础设施资源池建设以及使用的虚拟化、分布式计算等技术，介绍了集约化基础设施资源池在气象业务中应用，实例讲解虚拟化资源池，分布式数据环境在业务中发挥的效益。从而得出通过发挥虚拟化技术和分布式数据环境各自的优势，按照需求进行扩容，實现全局共享，从而提升资源利用率。

关键词：资源池；集约化；虚拟化；分布式

中图分类号：TP311 文献标识码：A

文章编号：1009-3044（2019）10-0208-03

开放科学（资源服务）标识码（OSID）：

Provincial Meteorological Infrastructure Resource Pool Construction and Application in Business

ZHU Liang， HE Wei， ZHONG Yan-wen， OUYANG Ji-yue

（Hunan Meteorological Information Center， Changsha 410118， China）

Abstract： This paper introduces the provincial meteorological infrastructure resource pool construction and the use of virtualization， distributed computing technology， introduces the application of intensive infrastructure resource pool in meteorological service， and explains the benefits of virtualized resource pool and distributed Data environment in business. It is concluded that the advantages of virtualization technology and distributed data environment should be brought into play to expand capacity according to the demand and realize global sharing so as to improve resource utilization.

Key words： resource pool； intensive； virtualization； distributed

1 背景

随着气象现代化不断推进和气象观测预报预测业务能力不断建设，气象业务的快速发展，信息处理能力逐年提高，对服务器资源的需求也逐渐增大。 气象业务系统一般均为7*24小时运行，传统的业务部署方式是增加一项业务就配备一台或多台服务器，往往会造成服务器资源利用率低，管理开销大，耗电量大，运维成本高等问题，已经无法满足海量业务数据存储以及气象资料分析处理加工的需求[1-4] 。按照信息化、集约化、标准化的理念和方式推动气象业务现代化，进行省级基础设施资源池建设。基础设施资源池是由虚拟化、分布式计算等技术构建的IT虚拟资源和物理资源的集合，主要满足不同业务应用对基础设施资源的需求。

2 省级基础设施资源池

基础设施资源池整合各种IT硬件资源，向上层应用系统提供基础设施资源服务。省级基础设施资源池由虚拟化池、分布式物理池池构成。按照《气象信息化基础设施资源池建设指南》的技术指标进行购置和搭建，纳入信息化基础设施资源池进行统一管理。同时通过制定《湖南省气象局省级计算与存储资源管理办法（试行）》，规范省级计算与存储资源的规划、审批、建设、使用、运行、维护、安全与评估等，明确省局各内设机构和直属单位采购的用于各类应用系统的基础软、硬件设施应纳入省级资源池的统一管理和调配使用，推进基础资源池集约化建设。

虚拟化资源池将服务器、存储和网络等基础IT资源通过虚拟化软件逻辑化，实现运行、维护、安全与评估等，明确省局各内设机构和直属单位采购的用于各类应用系统的基础软、硬件设施应纳入省级资源池的统一管理和调配使用，推进基础资源池集约化建设。

虚拟化资源池将服务器、存储和网络等基础IT资源通过虚拟化软件逻辑化，实现资源的统筹高效利用，为上层应用提供灵活可扩展的基础架构。利用虚拟化软件将一台物理机虚拟成多个逻辑虚拟机，虚拟机从功能、性能和操作方式上等同于传统的单台物理服务器，相当于一台计算机同时进行多个逻辑资源，互不影响，从而提高资源利用率，降低成本[5]。

分布式物理池通过各种分布式计算系统和云数据库构建及调度运行，分布式系统是一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统。简单来说就是一群独立计算机群体共同对外提供服务，但是对系统用户而言，好像是只有一台计算机在提供服务[6]。

2.1 虚拟化技术实现

虚拟化资源池建设，系统通过在所有的服务器上安装虚拟化软件，服务器通过光纤交换机共享磁盘阵列搭建硬件环境，再通过集群软件和虚拟化软件等实现虚拟化。省级气象部门虚拟化技术实现采用主流VMware，通过在物理机上部署ESXi系统，并在服务器集群中安装虚拟化管理软件vCenter Server实现所有的服务器资源实现共享。通过VMware vSphere Client客户端对物理机和虚拟机进行统一管理，向省级用户提供IaaS服务。 省局成立气象信息化集约化工作相关机构，在省局范围内项目建设统一规划，统筹考虑。从2014年开始，《湖南省县级人影作业气象业务综合平台省级基础环境建设》，气象监测与灾害预警工程项目《省级服务器和网络系统设备购置》《强对流天气临近预报分系统省级基础环境建设设备采购》《集约化基础设施资源池建设》等多个项目也已陆续纳入省级虚拟化资源池，如图1所示，根据购买的服务器情况分批次进行扩充，尽量保持同一个集群中服务器配置一致。

2.2 分布式技术实现

目前省级分布式数据环境系统主要有Cassandra分布式存储系统的MICAPS4业务系统及基于Hadoop的分布式存储系统的湖南气象业务内网平台。如图2所示，系统底层硬件资源采用通用x86服务器部署，同时采用内部交换与外部访问独立的方式，内部数据交換采用堆叠的两个万兆交换机，外部数据交换采用堆叠的两个千兆交换机。系统利用分布式存储与计算架构大数据体系，并根据需求进行一定封装和订制开发；处理后的数据根据上层应用需要向各系统提供数据订制服务和数据共享服务。

对于Cassandra分布式存储系统各服务器节点，各节点保持硬盘类型、个数、容量和RAID配置完全一致。对服务器进行RdaHat7.0操作系统安装，再进行Cassandra及DPC等相关应用部署；而Hadoop分布式数据环境5台服务器，操作系统安装CentOS7.3，在进行Hadoop，Hbase等相关应用部署。

3 应用效果

3.1 虚拟化应用效果

当前集约化平台共计虚拟机26台，虚拟化资源池已有主机26台，CPU608核，内存6144GB，存储200TB，已经整合了现代业务平台、智能网格预报、雷电中心站、农田小气候、区域站中心站、内网平台等业务系统，总体运行情况良好，为综合观测、预报预测、减灾服务等提供服务，管理界面如图3所示。通过Vm ESXI 网络支持Trunk的设置，提供跨网段给其他业务部门使用，如现代天气业务平台。主要有以下几点优势：

1）省级虚拟化资源池搭建后，充分发挥虚拟化技术的HA功能、负载均衡和实时迁移等功能，保证其上的所有业务稳定运行。服务器集群的搭建能保证业务的连续性、可靠性和可维护性，提高服务器资源利用率；2）利用VMvare进行服务器虚拟化后，将业务程序运行在虚拟服务器上，一台物理服务器承担了原有几台服务器的业务量，同时能保证业务程序的正常运行。通过VMvare vRealize Operations Manager 进行运行状态查看。从服务器CPU、内存的使用率来看，虚拟化后，服务器CPU利用率和内存利用率均提高；3）系统可扩展性，在充分利用现有项目的情况下，系统实现了服务器通过光纤交换机共享磁盘阵列搭建硬件环境。虚拟化软件和数据库系统具有可扩展性，除了满足项目需求外，预留一定的服务器资源。若有服务器资源可直接加入服务器集群，或者有新增业务，可以在该基础环境之上运行，不需要再做重复的资金投入。根据《湖南省气象局省级计算与存储资源管理办法（试行）》办法，已经进行多批次扩充。

3.2 分布式应用效果

分布式物理资源池包括17台服务器、CPU352核、内存3968GB、存储222TB 。主要包含以MICAPS4和内网平台应用为主的分布式物理资源池，系统运行效果良好，为各类气象业务系统提供硬件基础环境，为气象预报预测服务，气象防灾减灾服务提供了强有力支撑。

3.2.1 MICAPS业务

原有MICAPS在全省的业务布局是每个站点配备一个接收机，一台数据处理服务器，全省92个县级气象局以及14个市州气象局。通过接收卫星数据广播系统（CMACast）广播数据和省内预报预警指导等产品，在数据处理服务器进行处理得到预报所需的实况模式等资料。运行过程中存在以下问题：1）由于受到卫星信道传输误码、接收干扰、雨衰等因素影响，CMACast小站文件接收错误或丢失情况时有发生；2）我省内的市（州）、县级CMACast小站由于设备故障、技术服务不到位等原因，影响了资料接收的完整性，给预报业务和服务业务带来了直接影响；3）每个站点都要设备维护，数据维护，重复工作量偏大，加大了基层维护困难。

基于CASSANDRA的MICAPS4分布式数据环境以CIMISS为基础，接入了包括T639、欧洲中心、德国、日本数值预报及模式产品，以及卫星、雷达、高空地面资料等在内的多种气象数据，建立了省市县三级共用的统一的数据环境，为全省各类业务提供数据支撑，其界面如图4所示；处理服务器从全省的100多台到集中省级8台，提高了实时气象数据存储效率与检索速度，实现了市县气象局数据环境“零维护”， 解决了基层气象部门低水平重复开展数据加工处理问题[7]。

3.2.2 湖南省气象业务内网平台

基于Hadoop湖南气象业务内网平台部署在省级，面向省-市-县三级用户提供统一的数据产品和共享服务，提供省内实时观测、预报预警、气候业务、气象信息业务等气象信息与产品的一站式可视化展示，其界面如图5所示。

内网平台将会商视频点播、城镇预报降水/气温/风预报检验及评分结果查询、自动站降水实况与统计等功能移植整合，逐步取代会商视频点播、城镇预报质量检验、中小尺度天气资料应用系统等功能单一的业务系统。内网平台根据业务特点，聚合数据和服务，计算、存储资源向省级集中，通信资源向外延伸，形成 “一级部署、多级应用”的业务布局。以省级为核心，省市县三级应用的模式，减少了基层气象部门设备及运维成本，实现了业务扁平化。

4 结束语

省级气象基础设施资源池建设充分发挥虚拟化技术和分布式数据环境的优势，按照需求进行扩容，实现全局共享，从而提升了服务器资源利用率。总体得出以下结论：

1）省级成立气象信息化集约化工作相关机构，同时制定《湖南省气象局省级计算与存储资源管理办法（试行）》，项目建设统一规划，统筹考虑。通过提前规划、采购并部署所需资源或能力，并通过各种虚拟化、分布式技术实现资源和能力的池化，在实际业务需求到来时将池化的资源按需分配给业务使用。

2）针对各类中心站，WEB应用，数据存储等单一、小而散应用服务，充分发挥虚拟化技术的HA功能、负载均衡和实时迁移等功能，提高资源利用率。

3）针对MICAPS4及气象业务内网平台的计算和IO高的实时业务采用分布式数据环境，通过统一的数据平台，实现了市县两级运维人员对该系统“零”维护，为气象预报预测服务，气象防灾减灾服务提供了强有力支撑[7]。

参考文献：

[1] 罗林艳，张继光，刘晓波等.基于 Hyper-V 的湖南气象信息业务系统虚拟化实现[J]，安徽农业科学.2017，45（ 6） ： 198-199，204.

[2] 汪华，黄笞，方斌.贵州省气象信息业务系统的虚拟化实现[J].成都信息工程学院学报，2012，27（ 2） ： 186-191.

[3] 刘国宏，余东昌，刘旭林.等.虚拟化技术在气象业务中的应用[J].计算技术与自动化，2013，32（ 4） ： 119-122.

[4] 聂元丁.基于云计算的国家级气象资源池设计与建设[J].计算机技术与发展.2018.12.

[5] 俞辰鸣.浅析VMware虚拟化技术在民航气象系统中的应用[J].信息通信.2018，02：179-180.

[6] 张建辉.基于分布式技术的气象预报业务系统的设计与实现[D].南京，东南大学.2018.

[7] 杨芳，金琪，邢丽平，等 .基于Cassandra 的实时气象数据分布式存储系统[J].陕西气象，2017（4）：26-30.

【通联编辑：梁书】