超融合架构私有云服务平台的设计与实现

马国胜 刘小艳 马敏

摘要：在信息技术不断发展的背景之下，如何解决传统IT应用模式下存在的问题，实现IT架构的云化，提高资源利用效率和优化管理被广泛讨论和实践。超融合架构能实现存储、计算以及网络等资源的集中统一调度和管理，能够以云服务的形态，为各行各业提供灵活、敏捷的IT基础服务。

关键词：超融合;云服务;虚拟化

中图分类号：TP393       文献标识码：A

文章编号：1009-3044（2019）20-0275-03

开放科学（资源服务）标识码（OSID）：

近年来，传统的“以计算为中心”的IT应用模式向“以数据为中心”转变过程中，对IT基础资源和服务提出了越来越高的要求。超融合架构作为一种实现云计算的手段，可以提供高性能、高可靠性、高安全性的云服务。本文基于超融合架构设计和实现的私有云服务平台，在实际工作中产生了很好的应用价值。

1 传统模式下面临的困局

筆者所在单位共使用10多台物理服务器采用“一机一应用”的传统IT应用模式部署了办公自动化、门户网站、会计核算系统等应用系统，这种模式下暴露很多突出的问题。

1）运维管理有困难。IT技术人员面对的设备类型和型号比较多，无法实现统一运维。设备和系统的部署使用时间较长，因为兼容性等因素，无法迁移到新的服务器上，给IT人员在运维工作上带来压力。

2）业务连续性无法保障。服务器和软件出现故障，相应的业务也将中断。遇到硬件需要维护和升级、硬件出现故障等事件，业务系统没有自动切换方案，也影响到业务的连续性。

3）资源利用率不高。服务器硬件资源使用率较低，CPU、内存和硬盘硬件资源很大一部分没有发挥作用，不能灵活的被调度给其他业务系统使用，形成投资浪费。

4）未来发展的弹性不够。现有系统的软硬件环境相对封闭，没有扩展性，只能单纯的通过添置硬件的方式应对未来业务系统升级、新建和部署的需求。

2 什么是超融合架构

超融合架构（Hyper-converged infrastructure，HCI）以软件定义为核心理念，是资源池化、虚拟机、分布式存储、软件定义网络等技术的集合，采用软件定义资源灵活提供IT基础服务。

2.1 服务器资源池化

将分散在物理节点的CPU、内存、存储、网络等物理资源融合为逻辑资源，形成统一管理、调度和分配的计算资源池、存储资源池、网络资源池，并使用软件定义方式创建云服务器部署应用系统。

2.2 可视化统一管理

采用统一的图形界面对虚拟资源池，底层硬件资源，虚拟实例后的云服务器进行集中管理和运维，使技术人员的运维对象改变为对1个平台运维，降低了IT运维维度，实现极简运维。

2.3 全方位容灾机制

虚拟机热迁移和热备份机制，为应用系统和数据提供自下而上、全方位的容灾备份解决方案，能实现宕机恢复和数据同步自动化，保证数据的安全及业务的连续性，使业务系统的RTO/RPO达到秒级。

3 私有云服务平台设计和实现方案

本文作者所在单位运用超融合架构建成云服务器平台（以下简称“Server Cloud”），在设计时按“避免单点故障”的原则配置软硬件，兼顾了投入产出比和业务增长规模等因素。

3.1 物理架构

Server Cloud平台物理架构如图1所示，平台使用3台高性能的X86服务器组成服务器集群，使用2台10GE速率的网络交换机作为存储网络交换机用于构建分布式存储资源池，使用3台支持10GE速率上联的网络交换机分别用于服务器集群间通信（VxLAN）、云服务器实例的业务数据传输。为保障平台的业务连续性，提高业络的可管理性和高可靠性，业务和管理网络交换机、汇聚层交换机分别采用网络虚拟化技术部署。服务器集群的物理节点使用链路聚合方式，经业务交换机和汇聚层交换机接入现有生产网络。

3.2 逻辑架构

Server Cloud平台逻辑架构如图2所示，分为物理层、超融合架构层、业务应用层、管理层4个层，并提供API接口用于系统集成。

1）物理层提供平台运行所需的CPU、内存、存储和网络等物理资源，以服务器集群方式和高性能网络通信向上一层提供支撑。

2）超融合架构层使用软件定义资源和虚拟机技术将物理层的资源池化，物理层的CPU和内存资源组成计算资源池，磁盘和SSD盘等存储设备以分布式存储方式组成存储资源池，业务、管理、存储和集群通信网络统一起来构成网络资源池。Server Cloud平台计算资源池具备96个2.1GHz性能vCPU（虚拟CPU）和768GB内存容量的资源，存储资源池具备2TB高速数据缓存存储空间和72TB永久数据存储空间的资源。网络资源池中业务网络负责VM虚拟机与物理网络之间通信的“南北向流量”，管理网络负责传输管理层和VM虚拟机热迁移等数据，存储网络负责虚拟存储的主机间存储同步数据传输，集群通信网络负责集群内主机之间通信的“东西向流量”。

3）业务应用层在超融合架构层支持下使用软件定义各类资源集合创建VM虚拟机，以云服务器形态为各类应用系统提供服务，每台VM虚拟机就是一台云服务器的实例。

4）管理层是提供统一的管理平台，对资源进行全面管理、调度，可以针对物理主机、云服务器和业务系统进行资源负载、虚拟资源配置和调度、网络软件定义、故障排查、数据备份和动态迁移进行管理。

5）API接口提供符合业界规范的开放API接口，第三方云管理平台可以调用API接口对ServerCloud平台中的所有资源的进行管理，实现业务流程化管理。

3.3 存储资源池的实现

如图3所示为ServerCloud平台存储池具体实现方式，平台中每台主机配备了6*4T的普通硬盘和2*480GB的SSD存储盘，每台云服务器的以双虚拟机形式对存储资源进行读取、访问。一台云服务器产生的数据和其容量本身的数据经条带化、分片、复制后产生2份的一样的数据，然后分散存储在3台主机上，其中1份数据会聚合在主机1上，称之为聚合副本，另外1个份数据会分散在其他2台主机上，称之为散列副本。

虚拟机优先运行在聚合副本所在的主机上，对数据进行访问，直接从聚合副本中读取，避免跨存储网络对数据进读取，以此可提高数据读取的吞吐性能，突破网络带宽的瓶颈。为优化并发读写性能，平台上2种数据副本，经带条化、分片后落入某主机存储时，会分组、分片优先跨磁组分布。每台主機中的磁盘组配备SSD为组中的硬盘提供缓存加速能力，1组数据会尽可能跨越1组中多个磁盘存储，以保证并发读写性能。虚拟机对存储访问时，同时对多个磁盘进行读操作，经SSD缓存后组成带组数据。

3.4 云服务器的热迁移

如图4所示为Server Cloud平台中云服务器热迁移实现示意图。在平台内的VMM设置VM状态、应用活动和网络活动等检测时间为10s，实现对每台云服务器的状态检测。当平台上的管理层探测到主机1故障、云服务器1宕机和其上的应用停止等造成不能提供应用服务，且持续10s以上，平台会从主机2和主机3上组织数据，建立起一台与云服务器1相同的云服务器2为用户提供服务。在故障恢复后，云服务器1作为云服务器2的备机运行，随时准备为下一次故障做准备。

4 平台的应用价值

ServerCloud平台上线运行后，实现了一个易于部署管理和经济高效运行的IT基础服务平台，应用云服务平台产生很大的应用价值。

4.1 实现IT投入的高收益

在平台上精准分配资源实例化云服务器运行现有业务系统，服务器只需要3台，IT能耗从10-20KW下降至3-5KW，在提高IT资源利用率的同时，实现绿色IT的节能目标。通过实测数据和对未来发展的评估，平台还能为20-30套业务系统提供云服务器支持，以极高的性价比，为未来业务发展预留了空间。

4.2 构建敏捷信息服务体系

在平台上使用模板克隆虚拟机或者容器实例化一台云服务器，部署新应用仅需要0.5小时-1小时，相比传统方式需要花费5-10个工作日，平台为实现敏捷IT服务提供了基础平台。实践工作中， 笔者所在单位通过平台创建4台linux和windows云服务器部署新应用服务器，仅用0.5个工作日完成上线工作。

4.3 化解业务工作管理困局

平台以极简模式提供一键式的自动化运维手段，实现业务的故障排除和资源优化自动化，大幅提升了运维效率，缓解了IT技术人员面临的诸多压力，使IT技术人员有精力专注于业务层的问题。在实际工作中，笔者所在单位原来需要配备4名应用系统管理员减少为1名IT人员负责系统管理。

4.4 完成业务连续性管理

平台硬件采用冗余设计，服务器采用高可用性集群， 虚拟化存储采用2副本方式保存数据，构建了无单点故障、可快速切换的高可用体系， 能在用户无感知下连续提供服务。通过采取断开物理节点网络连接和抽取单个硬盘模拟故障，故障主机上的云服务器自动切换到健康主机运行的速度分别<1秒和<1分钟。

参考文献：

[1] 左勤刚. 超融合技术在基层央行“云”化工程的研究和实践[J]. 金融科技时代， 2018（6）： 47-48.

[2] 席科文. 超融合架构在运营商IT支撑系统建设中的应用[J]. 通信世界， 2017（3）： 53-54.

[3] 张光华. 超融合系统架构在数据中心的应用研究[J]. 通讯世界， 2017（9）： 21-23.

[4] 尹劲梅. 基于超融合架构的机房建设浅析[J]. 电脑知识与技术， 2016（30）： 9-10.

[5] 许玉焕. 基于VMware 的高校云计算数据中心设计与实现[J]. 网络安全技术与应用，2016（8）： 84-85.

[6] 解培. 超融合基础架构在商业银行私有云中的应用[J]. 金融电子化， 2015（12）： 75-77.

【通联编辑：谢媛媛】