气象数据分发系统集成优化技术研究与应用

马艳军 江蕾 刘俊宏

摘 要 本文针对省级数据分发系统集群故障频发，难以支撑海量数据分发，影响业务应用的问题，研究新一代国内通信系统、CMACast系统及数据下载系统的软件结构、硬件结构和硬件虚拟化技术，基于虚拟化环境整合混闪存储和服务器，构建与硬件无关的操作系统环境，通过整合新一代國内通信系统的数据、CMACast卫星接收系统和数据下载系统，实现单台服务器完成数据接收、下载和面向用户的海量数据分发。并基于虚拟化环境实现系统的高可用性，最终形成一台虚拟机替换原有6台服务器加存储的一个集群系统，在降低能耗和运维难度的同时，提高系统的稳定性，为各类业务系统提供稳定的数据保障。

关键词 分发系统;CMACast;虚拟化;气象数据

引言

随着气象业务的快速发展和预报技术手段的逐渐丰富，气象预报所需资料越来越多，气象数据也趋于海量增加，CMACast卫星数据广播系统下发的数据巨大。因此，保证各类气象数据的完整高效接收，实时提供给预报人员，对于预报预测、气象预警和决策服务等具有重要意义。

1研究背景

目前，全省气象预测预报的所需各类资料主要通过新一代国内通信系统完成分发，包括CMACast卫星数据广播系统下发的各类资料，以及新一代主动从北京下载的各类资料。CMACast采用卫星广播的方式，快速、大容量的下发各类资料，包括常规资料，数值预报，雷达PUP产品，卫星资料，数据接收量每日大概430多G，新一代下载系统主动下载各类资料，每日数据量大概200多G。新一代国内通信系统完成各类资料的分发，同时分发给多个业务单位的业务系统，其中包括气象台数值预报解码系统，集合预报处理系统，雷达处理系统，数据存储系统等，气象服务中心全国区域站接收处理系统，数据中心基于Cassandra的Micaps 4系统，全省资料共享服务器和四川周边11个省的区域站和雷达基数据共享等[1]。

新一代国内通信系统始建于2009年，其由6台服务器构建的一个集群系统，共享存储盘阵，由于使用时间比较久，盘阵的读写能力已经大大减弱。由于CMACast卫星广播系统和新一代下载系统每天接收和下载的数据量特别大，新一代共享盘阵的读写能力严重不足，出现了大文件接收不完整，错误文件特别多的现象。更严重的是今年已出现3次共享盘阵崩溃的现象，虽然共享盘阵修复成功，但其稳定性已严重不足，严重影响业务运行。

综上所述，目前急需建设一套气象数据分发集成系统，集CMACast卫星数据广播系统接收，新一代下载分发于一体，稳定高效运行，实时提供各类气象数据，保证全省气象预报预测的正常需要。该系统运行的稳定性将是我省气象业务正常开展与否的一个决定性因素，该系统作为气象信息系统的核心基础系统，保证其用备健全是最基本的要求。

2气象虚拟化资源池云

服务器虚拟化设计运用VMware整体解决方案设计建设省级计算资源池，实现了计算资源的虚拟化。利用双路机架式中端服务器5台和四路机架式高端服务器10台初步建成计算资源池提供应用计算型服务。其中高端四路机架式服务器每台配置4颗Xeon E7-4830 v2 CPU、160G内存，中端双路机架式服务器每台2颗XeonE5-2620 CPU、192G内存，软件上配置相应虚拟化软件许可，以及服务器操作系统、GIS、云自动化管理运维等基础软件，资源池整体可提供约250台虚拟服务器供应用级业务系统使用。 VMware底层架构内置了虚拟机交换机和存储多路径软件，可以灵活实现虚拟化系统中网络环境和存储环境的共享和隔离。通过充分利用资源和自动化，实现只有由 VMware 虚拟化驱动的云计算基础架构才能提供的经济性、弹性、安全性和遵从性。通过将 IT 硬件抽象为按需分配的资源池和部署私有云，可以实现极高的资源利用率和效率，以及更好地支持业务增长所需的敏捷性。

存储虚拟化设计，采用业界先进SAN+NAS统一存储技术，通过搭建一套NetApp FAS8040，与NetApp V3250存储进行存储集群部署，实现对现有的主流存储进行虚拟化，对现有存储资源的统一，形成块级存储资源池，可用存储容量200T，并可线性扩展，可对群集中引擎之间的存储域进行自动共享、平衡和故障切换。通过SnapMirror复制软件，与NetApp VSC备份功能相结合，实现四川气象关键业务数据的在线实时复制，虚机本地和远程周期性备份，进一步提升四川气象局数据安全和业务系统高可用。

运维管理设计，设计建设基础资源池运维管理系统，实现资源池的资源自动化调度、运维管理和监控、日志管理、故障分析等功能;通过搭建云门户平台，满足对资源池的可视化管理、满足对资源的自助式服务，自动化、流程化、标准化分配和回收。为多个业务及部门或单位提供隔离的自助式门户，实现统一资源调配、分级管理。

通过资源的集约化，利用率大大提高，按照标准规范化建设完成具备一定规模、统一管理、扩展灵活的基础设施资源池，建立健全基础设施资源池管理机制，逐步向基础设施资源池迁移现有资源分散式、烟囱型业务系统，面向省级业务单位统一提供服务。虚拟化整合后，两路中端服务器能够承载的虚拟机为1：10，四路高端服务器能够承载的虚拟机为1：20;物理机数量少，服务器资源利用率高，可根据各应用情况动态调节资源;通过预先制定好的各种操作系统、应用模板和自部署向导或拷贝虚拟机，快速部署开发测试环境和应用;自动备份和快速恢复虚拟机和重要数据;可以通过在线迁移功能将虚拟机迁移至另一台物理机，硬件故障维护或升级时不影响业务的正常开展;管理维护的物理机数量大大减少;通过VMware HA功能，当服务器故障时，自动重新启动虚拟机;物理机数量和机柜大大减少，减少耗电量[2]。

3气象数据分发系统集成优化技术应用

3.1 虚拟化及CMACast卫星接收机和加密狗的接入

数据中心虚拟化资源池设计运用基于VMware虚拟化和深信服超融合云两种主流技术架构整体解决方案设计建设省级计算资源池，实现了计算资源的虚拟化。底层架构内置了虚拟机交换机和存储多路径软件，可以灵活实现虚拟化系统中网络环境和存储环境的共享和隔离。通过充分利用资源和自动化，实现只有由虚拟化驱动的云计算基础架构才能提供的经济性、弹性、安全性和遵从性。存储虚拟化设计，采用业界先进SAN+NAS统一存储技术，通过搭建一套整合混闪存储进行存储集群部署，实现对现有的主流存储进行虚拟化，对现有存储资源的统一，形成块级存储资源池，并可线性扩展，可对群集中引擎之间的存储域进行自动共享、平衡和故障切换[3]。

CAMCast卫星接收系统主要由室外天线系统、卫星接收机、小站服务器和软件子系统组成。CMACast卫星接收机拥有独立的私网网段，同时，CMACast软件系统需要USB接口的加密狗，所以在基于虚拟化环境整合混闪存储和服务器后，构建与硬件无关的操作系统环境中，接入CMACast卫星接收机私有网址，与CMACast卫星接收机连通后，测试其连通。同时，在虚拟化的操作系统里，配置USB接口模块的加载，接入CMACast接收系统加密狗，使其識别加密狗，读出加密狗的卡号。

3.2 气象数据分发系统单机构建及其高可用性

在研究虚拟化和CMACast卫星接收机和加密狗接入虚拟机的基础上，构建气象数据分发系统，在虚拟机linux操作系统稳定运行的基础上，首先，用root用户安装mysql和tomcat，导入mysql的相关数目库表，然后用cmss用户安装新一代分发下载软件，配置相关分发下载，最后用cmacast用户安装卫星系统接收软件，配置相关接收和ftp推送，优化相关接收通道，接入CMACast卫星接收机，测试其连通性，同时接入加密狗，测试加密狗识别加密狗卡号。至此，基于虚拟化环境的气象数据分发系统完成，最终形成一台虚拟机替换原有6台服务器加存储的集群系统，构建与硬件无关的操作系统环境，通过整合新一代国内通信系统的分发、CMACast卫星接收系统和数据下载系统，实现单台服务器完成数据接收、下载和面向用户的海量数据分发[4]。气象数据分发系统如图1。

图1 气象数据分发系统

基于数据中心VMware虚拟化和深信服超融合云2套资源池，建设2套与硬件无关的气象数据分发系统，系统可以定期备份，如果故障，可以恢复到前一个时间点。2套气象数据分发系统分别用2套CMACast卫星接收机，2套CMACast加密狗，形成一主一备，互为备份，提高系统的高可用性，在降低能耗和运维难度的同时，提高系统的稳定性，为各类业务系统提供稳定的数据保障[5]。

气象分发系统是7*24小时不能间断的业务，特点是实时性要求高、数据量大、处理复杂，必须保证整个系统的长期稳定性，不能出现任何系统级的影响业务运行的故障。

4结束语

基于虚拟化构建与硬件无关的操作系统环境建设的气象数据分发系统是7*24小时不能间断的实时业务，该系统稳定高效运行，实时提供各类气象数据，保证全省气象预报预测的正常需要。该系统运行的稳定性将是我省气象业务正常开展与否的一个决定性因素，该系统作为气象信息系统的核心基础系统，对于预报预测、气象预警和决策服务等具有重要意义[6]。

参考文献

[1] 马渝勇，徐晓莉，宋智，等.省级气象信息共享系统的设计与实现[J].应用气象学报，2011，22（4）：505-512.

[2] 沈文海，赵芳，高华云，等.国家级气象资料存储检索系统的建立[J].应用气象学报，2004，15（6）：727-736.

[3] 李集明，熊安元.气象科学数据共享系统研究综述[J].应用气象学，2004，15（B12）：1-9.

[4] 聂峰英.大数据资源技术服务协同研究—以气象数据为例[J].信息化研究，2016（1）：6-11.

[5] 王若瞳，黄向东，张博，等.海量气象数据实时解析与存储系统的设计与实现[J].计算机工程与科学，2015，37（11）：58-64.

[6] 杨芳，金琪，邢丽平，等.基于Cassandra的实时气象数据分布式存储系统[J].陕西气象，2017（4）：26-30.

作者简介

马艳军（1976-），男，甘肃省平凉人;学历：硕士学位，职称：高级工程师，现就职单位：四川省气象探测数据中心，研究方向：计算机应用及HPC。