气象基础设施资源统一管理系统的设计与实现

陈开 陈柯辰

（浙江省大气探测技术保障中心 浙江省杭州市 310000）

1 引言

基础设施资源池主要包括硬件资源和管理平台。资源池硬件资源主要由计算 资源，存储资源，以及可灵活配置的网络支撑资源构成。基础设施资源经过虚拟化软件、分布式系统池化后，按照业务特点构成不同的分类精细化资源池，由资源池管理平台统一管理。

基础设施资源池[2]采用统一架构、统一标准构建，通过提供资源管理接口[1]（定义为 CMAR-API），实现与基础设施资源和资源池管理平台[3]的交互；通过管理平台，提供标准丰富的、强大的业务能力；通过资源池综合管理接口（定义为 CMAC-API）实现国省资源池的统一管理，以及与第三方监控运维系统[4]的对接。

基础设施资源池通过资源池管理平台的统一门户，为系统运营人员和用户提供统一的接入和业务运营管理，保证了基础设施资源池对各种类型应用、按需服务、自动弹性伸缩[5]、高可扩展、高可用性等的良好支撑。

2 系统需求分析

2.1 系统功能需求

2.1.1 资源管理需求分析

资源管理包括了基础服务、管理控制和服务运营等功能。具体如下：

（1）基础服务：云主机服务、块存储服务、对象存储服务、自动伸缩服务、虚拟数据中心服务、虚拟负载均衡、虚拟防火墙、备份管理服务。

（2）管理控制：资源全生命周期管理（创建、启动、分配、调整、停止、挂起、回收等）、资源组管理（资源分组）、用户管理及权限控制、配置管理、接口（综合管理及资源接口）。

（3）服务运营：服务申请、审批、服务编排、服务计量、统计报表等。

2.1.2 运维管理需求分析

根据国家级、省级气象部门可能存在异构虚拟化层的实际情况，以及实现面向系统管理员、最终用户、展示需求等不同维度的需要，通过池管理平台的综合管理接口 CMAC-API 获取管理信息，实现各类资源和业务的状态及性能监控、资源的统计报表等功能，包括对资源池及其上承载的各种业务实现实时监控、捕获资源的部署状态、性能指标、运行指标、各类告警信息等，以及资源操作日志等。监控运维是多种设备统一展现，提高运维效率，降低运维成本。

2.1.2.1 监视信息的采集

为实现对基础设施资源池的监视，需要采集的数据包括性能、告警和配置信 息等。

（1）性能监视数据的采集。对虚拟资源的监视内容包括但不限于集群服务资源使用情况；来自宿主机、虚拟机、虚拟存储的性能数据。对于物理资源的监视内容包括但不限于：采集对象范围应该包括主机设备、数据库软件、中间件软件、网络设备（交换机、路由器、防火墙）、存储设备（磁盘阵列、光纤交换机等）、备份设备（磁带库、备份软件等）；对于运行在虚拟机之上的操作系统、数据库和中间件等软件资源的数据采集内容与运行在物理服务器的采集内容相同；采集指标包括主机设备 CPU 使用率、数据库软件表空间使用率、存储设备磁盘 IO 速率等。

（2）告警监视数据的采集。针对虚拟资源的需要监视的内容包括但不限于：来自集群、宿主机、虚拟机、虚拟存储、虚拟网络设备的告警。针对物理资源的监视内容包括但不限于：采集对象范围应该包括主机设备、数据库软件、中间件软件、网络设备、存储设备、备份设备；对于运行在虚拟机之上的操作系统、数据库和中间件等软件资源的数据采集内容与运行在物理服务器的采集内容相同，包括主机设备主机状态、数据库软件数据库状态、磁盘阵列状态等。

（3）配置信息监视数据的采集。针对虚拟资源的配置信息监视内容包括但不限于：虚拟数据中心名称；集群名称、是否开启资源动态调配 、是否开启 HA、是否开启增强型在线迁移、是否支持动态电源管理 、是否支持存储动态迁移、自动化模式等信息；宿主机采集内容应该包括：主机名、地址、型号、CPU 信息、内存信息、操作系统版本（虚拟化管理软件及版本）、内置盘等信息；虚拟机采集内容应该包括：虚拟机名称、IP 地址、各类虚拟通道信息、虚拟 CPU 信息、虚拟内存信息、虚拟硬盘信息、操作系统版本等信息。；虚拟存储采集内容包括：存储类型、容量、可用大小、存储设备等信息。；虚拟网络采集内容包括：虚拟交换机名称、网卡类型、VLAN、端口组、端口等信息。

（4）监控信息采集的时效要求。应合理设计监控信息的采集及传输策略，以保证信息传输的实时性，且不影响被监控对象的正常运行。能够指定不同对象的监控的生效时间和失效时间。能够指定不同对象的周期性的数据采集任务，采集周期和采集时间可配置。能够指定不同对象的定期性的数据采集任务，采集周期和采集时间可配置。

2.1.2.2 监视信息的展示

监控信息展示系统需满足以下要求：对监控信息实时更新；支持按照资源类 型、业务系统等维度对监控信息进行展示；支持所有设备监控信息的展示，并能分层次、逐级细化显示；支持通过图表、仪表、统计报表等形式对监控信息进行展示。可根据日期手工设定信息的起始时间与截止时间，对超出阀值采用加亮颜色对比等方式着重展示。支持历史曲线与发生的变更或事件进行关联展示。与曲线关联变更或事件描述应当包括：类型、发生时间及描述。支持资源池中各节点性能数据在同一界面中统一展示，便于集中观测与管理。

2.1.3 备份管理需求分析

网络高可用性，为保证核心业务的不中断运行，在网络整体设计和设备配置上均需按照双冗余备份要求设计的。在网络连接上消除单点故障，提供关键设备的故障切换。关键设备之间的物理链路采用双路冗余连接，按照负载均衡方式或active-active 方式工作。关键主机需采用双路网卡来增加可靠性。全冗余的方式使系统达到 99.999%的电信级可靠性。

图1：技术架构图

保护重要数据的存储与传输安全，防止和防范数据被篡改，建立数据备份机制和提高容灾能力。

2.1.4 系统管理需求分析

系统管理是对系统的日志以及状态进行维护。在系统登录时，系统对用户输入的账号密码进行校验，若空则重新获取账号密码，查询用户信息表，若未空，则重新获取账号密码，否则判断用户的密码是否与数据库保存的一致，来判断用户是否为合法用户。

3 系统设计

3.1 系统架构设计

系统的逻辑架构包括了表现层，逻辑层以及数据层。表现层是用户输入数据之后，通过请求，由路由找到对应的控制器，然后调用后端的业务逻辑进行处理。逻辑层是通过逻辑处理之后，调用对应的业务逻辑处理方法进行处理。数据层是对数据进行存储，确保数据的安全性，数据安全以及备份是数据库的重要方面，也是数据库的优劣标志。

基础设施资源池整合各种 IT 硬件资源，向上层应用系统提供基础设施资源服务。系统技术架构如图1 所示。

3.2 系统功能模块设计

在国家、省级集中部署、整合集约基础设施资源，提供统一服务，支撑国省地县扁平化的业务、服务、政务、科研、教育培训应用体系。国省两级中心按统一标准，采用相同的技术架构，按实际业务需求确定建设规模，在保证基本服务相同兼容的框架下按需开发个性化服务。通过 CMANet/互联网实现国、省互联。系统功能结构如图2 所示。

4 资源池管理技术要求

4.1 服务器虚拟化

服务器虚拟化[6]将服务器物理资源抽象成逻辑资源，让一台服务器变成几台甚至上百台相互隔离的虚拟服务器，让 CPU、内存、磁盘、I/O 等硬件变成可以动态管理的“资源池”，带来降低运营成本、加速部署应用、提高服务可用性、提升资源利用率和动态调度资源的技术优势。

主要实现以下功能：

（1）完全虚拟化，无需绑定操作系统即可搭建虚拟化平台；

（2）可以管理和控制物理主机、虚拟机以及虚拟资源，并进行权限管理与配额管理；

（3）虚拟化平台可分布式跨交换机的虚拟机在线复制、迁移；

（4）为各类资源池设置不同的调度策略以满足调度的需要；

（5）实现存储管理功能；

（6）网络管理功能。

4.2 桌面虚拟化

桌面虚拟化是一种仅将操作系统桌面呈现在用户面前的技术，由服务器端完成运算，一般会结合服务器虚拟化和应用虚拟化进行。虚拟桌面的存储和执行（包括操作系统、应用程序和用户数据）都集中在数据中心，用户使用终端设备通过远程协议（如：HDP、RDP、ICA）进行访问。

桌面虚拟化具备物理 PC 终端的桌面特性，满足高性能要求，提供强大的处理能力，保证用户使用的良好感知。具备高可靠的自身安全性，保证网络、自身设备的高可用性；提供方便灵活的部署方式、丰富的系统管理能力、便捷的维护管理方式等。

4.3 资源管理平台

资源池管理平台提供统一、全方位的资源管理功能，包括资源的调度、监控、服务和运营等，根据不同的用户需求，动态配置、调度各类软、硬件资源，实现用户应用环境的动态弹性扩展，满足用户的云服务需求。

图2：系统功能结构图

资源池管理平台同时为业务系统提供灵活的部署、运行和管理环节，屏蔽底层硬件、操作系统的差异，为应用提供安全、高性能、可扩展、可管理、可靠性和可伸缩的全面保障，降低开发、部署、运行和维护应用系统的成本。

4.4 监视运维

通过池管理平台的综合管理接口 CMAC-API 获取管理信息，实现各类资源和业务的状态及性能监控、资源的统计报表等功能。运维流程管理包括了监控信息管理、权限管理、系统配置管理、告警和故障管理、日志管理。

监控信息管理实现监控信息的合理存储；通过采集到的监控信息，根据资源池逻辑与物理的整体架构及其内部关联关系生成不同的拓扑视图，以供展示系统显示；通过对资源总量、已分配资源、未分配资源进行统计，计算容量数据，并在容量接近饱和时生成报警信息；进行多维度统计分析，通过汇总历史监控数据，并参照历史数据计算出资源池各设备的动态健康阀值，按照时段生成文字或图形报表以供查看。

权限管理是对资源池监控运维系统的权限进行管理，支持多个资源池运维系统管理员，不同的管理员管理的范围和权限不同。资源池监控运维系统只能有一个超级管理员，超级管理员由云统一管理平台预生成。资源池系统权限管理功能用于超级管理员为不同的资源池运维系统管理员分配不同的管理范围和权限。

系统配置管理功能用于管理员对资源池系统正常运行必需的配置参数进行设置和管理。管理员通过系统配置管理可以对系统配置信息进行增加、删除、修改、查找等操作，管理员的每个操作需要在日志中进行记录。

告警和故障管理用于对资源池内所有物理设备的告警信息进行管理，包括对告警信息的查看、查询、撤销，支持告警信息的通知和提醒等功能，并对资源池内所有物理设备的故障信息进行管理，包括对故障信息的查看、查询、处理，支持故障信息的通知和提醒等功能。

日志管理功能应能实现：日志数据的生成和采集、日志数据管理、日志数据备份、日志容量告警、日志文件、日志查询和日志保存。

5 总结与展望

5.1 总结

本文通过对基础设施资源池管理平台的分析，对基础设施资源池管理平台有了更深的理解，资源池硬件资源主要由计算 资源，存储资源，以及可灵活配置的网络支撑资源构成。基础设施资源经过虚拟化软件、分布式系统池化后，按照业务特点构成不同的分类精细化资源池，由资源池管理平台统一管理。

5.2 展望

在系统的开发中，缺少了对数据挖掘算法的应用，后期在这一方面需要加强研究，提升系统的智能化。