超融合技术在高校数据中心基础架构中的应用

彭 飞

(扬州职业大学, 江苏 扬州 225009)

近年来,随着大数据、智慧校园的发展,传统的数据中心技术和解决方案已无法满足高校对于基础设施的要求,“软件定义”以及超融合技术为此提供了一个全新的解决思路,超融合技术(HCI)已应用于银行、医院等数据中心的基础架构中。[1]某高校信息化建设采用超融合技术,逐渐替代传统技术,使其成为数据中心的核心基础架构。

1 超融合技术概述

伴随着计算机技术的发展,数据中心基础架构经历了单独服务器、服务器共享存储、服务器虚拟化和超融合四个阶段的变迁,前三个阶段统称为传统数据中心基础架构。数据中心基础架构发展的所有阶段都是围绕着如何为应用程序提供计算、存储和网络这三项重要功能,其中计算和存储功能在传统数据中心都无法提供灵活的纵向和横向的扩展,直接导致这些架构方式在性能、成本、可靠性、可扩展性等方面存在诸多问题。超融合技术基于虚拟化系统,通过对计算、存储和存储网络的集成,解决了传统数据中心的固有问题,通过分布式架构、“软件定义”的方式及自修复等功能提供更高的可用性和可扩展性。

虽然超融合技术处于发展初期阶段,各厂商对其定义也不尽相同,但总体形成了一个统一的认识,即其是一个“软件定义”、可灵活配置、按需扩容的全堆栈基础设施,无需传统的存储系统,除具备计算、网络、存储和虚拟化功能之外,数据备份、恢复、复制、压缩、纠删码和重复数据删除等功能也均包含在管理软件或集成硬件中,最终统一交付[2]。超融合技术总体可以分成松耦合和紧耦合两种形式,它们主要区别在于I/O处理的机制,如图1所示。松耦合方式使用独立的CVM(控制器虚拟机)进行I/O处理,不绑定虚拟化系统,升级CVM时虚拟化系统不需随之升级,反之亦然。而紧耦合方式将CVM即I/O处理功能集成在虚拟化系统的内核,需与虚拟化系统同时升级。相较而言,采用松耦合方式的超融合技术更加灵活,也节约成本,适合高校部署。

图1 超融合基础架构的两种方式

2 数据中心的超融合架构设计

某高校数据中心经过历次升级改造，已经处于传统数据中心的服务器虚拟化阶段，其架构如图2所示。在物理架构上,采用服务器集群和SAN(存储区域网络),服务器集群使用SAN提供的存储,系统采用VMware vSphere(以下简称vSphere)构成虚拟化集群。使用虚拟化集群,一定程度上提高了服务器的资源利用率和服务的可靠性,有效地控制了服务器数量的无序扩张,但在实际运行中又存在缺乏弹性和性能受限等问题。

图2 某高校传统数据中心

传统数据中心因其架构复杂、维护难度大、成本高等因素,已经无法适应某高校的业务发展需求,经过广泛调研和学习多个平台解决方案,超融合技术在可扩展性、可维护性、成本、性能等多方面都切合目前实际情况,可以解决传统数据中心带来的问题,因此某高校决定采用松耦合超融合技术进行数据中心的改扩建。

2.1 超融合技术物理规划

此次改进数据中心,经过初步估算,先期采用4个节点,实施完成后再根据运行情况和业务要求逐步扩展。每个节点的服务器配置以及网络物理硬件配置如表1、表2所示。

表1 节点物理硬件配置信息

表2 网络物理硬件配置信息

节点配置中M.2 SSD为系统盘,主要安装虚拟化系统和存储CVM的虚拟化配置文件、Swap文件,硬盘配置没有采用全部SSD全闪存模式,而是SSD和HDD混合模式使用,将热冷数据分层,从而也可以达到理想的I/O性能和较低的延迟。2个万兆网口专用于存储网络,4个千兆网口用于业务网络(虚拟机网络),1个千兆网口作为服务器管理端口(IPMI)。

网络配置中，联想交换机作为下联各节点的存储网络,华三交换机作为上联外部网络、下联各节点的业务网络。物理架构如图3所示,交换机物理端口采用Trunk模式,使用虚拟堆叠、链路聚合等技术,使得同品牌交换机两两虚拟为一个,增加了带宽和端口数,多条物理链路之间可以互为备份也可以进行负载分担,通过冗余提高了链路可靠性。具体实施如下:

图3 超融合物理架构

(1)两台联想交换机建立ISL (交换机间链路),两台交换机之间的流量都是通过ISL网络进行通讯,每个节点的两个万兆网口分别上联两台交换机的对应端口,这两个端口被配置成vLAG(虚拟链路聚合),使用LACP(链路汇聚控制协议)形成聚合链路。

(2)与联想交换机类似,两台华三交换机使用IRF(智能弹性架构)技术虚拟化为一台设备,每个节点的四个千兆网口分成两组,两两分别上联两台交换机的对应端口,这四个端口也使用LACP形成聚合链路。

2.2 虚拟网络设计

超融合集群软件采用Nutanix技术[3],其底层的虚拟化系统可以基于vSphere,也可以使用其自研的AHV。为了与传统数据中心统一,便于集中管理,故而采用vSphere。在虚拟化层面上,CVM作为超融合的核心技术,以虚拟机的形式存在于vSphere虚拟化系统ESXi上,并通过vSphere虚拟交换机组件与外界连接,对整个集群提供存储功能,具体虚拟网络逻辑架构如图4所示。虚拟网络采用本地虚拟交换机(vSwitch)和分布式虚拟交换机(vDSwitch)相结合。

图4 虚拟网络逻辑架构

vSwitch默认名称是vSwitchNutanix,主要作为CVM和ESXi主机之间的本地通信,CVM有一个网络接口绑定到vSwitch的端口组svm-iscsi-pg上,作为私有的存储网络路径,vSwitch一般不变更。vDSwitch按照万兆和千兆端口划分成两个,分别为STOR-MGT-vDSwitch和BIZ-vDSwitch。STOR-MGT-vDSwitch作为存储专用通道,主要负责CVM和其他CVM通信以及ESXi主机管理,BIZ-vDSwitch主要用于虚拟机的网络通信,即业务网络。vDSwitch采用LACP与物理线路连接,形成聚合链路,达到安全可靠和负载均衡。

由此可见,超融合技术中的分布式存储由CVM提供,存储网络和业务网络则由虚拟化系统的虚拟交换机和物理交换机共同提供。CVM将每个节点的硬盘统一管理,建立存储池(Storage Pool),如果需要将存储空间挂载到相应的ESXi主机中,可以创建一个容器(Container)。

2.3 超融合网络配置规划

根据虚拟化系统设计情况,将超融合集群的网络地址规划如表3所示。

表3 网络地址规划表

CVM与ESXi建议同网段,如图4中的NTNT-10和MGMT-10就是划分在一个VLAN 10的网段里,这样CVM可以集中管理ESXi,包含ESXi的版本升级等,如果将它们分在不同子网,会减弱CVM提供的故障保护,还会存在一些其他问题。如果为了安全,EXSi还可以增加一个管理端口,和vCenter一起连接到不同于CVM的网段,这样就会内外网隔离,如果需要管理CVM,还需要增加跳板机。

2.4 超融合部署及数据可用性设计

根据超融合虚拟化架构,开始进行现场部署。必须采用一键式部署工具Foundation将ESXi、CVM等同时装入物理设备。在部署过程中,需要注意到可用性,以确保系统的健壮性。这里可用性主要包含数据可用性和应用(虚拟机)的可用性。数据可用性依靠超融合系统的分布式体系和冗余机制加以实现,而应用可用性则在于vSphere提供的诸如HA的功能保障。

Nutanix技术使用冗余因子(RF)来设计可靠性,其要求节点数一定要大于等于3个。根据不同的冗余因子,确定保障数据可用的最少节点数。冗余因子为2时,最少需要3个节点,最大可以接受1块硬盘或1个节点故障,或者1个节点内的多块硬盘故障。冗余因子为3时,最少的节点数为5,最大允许同时坏2块硬盘(含不同节点的)或2个节点同时故障,或者2个节点内的多块硬盘故障。不同的冗余因子的设置,也会影响存储空间的实际使用率。一般如果使用冗余因子为2的时候,实际使用磁盘空间会减少一半,相当于RAID1的空间利用率,但比RAID更灵活。如果对磁盘空间使用率比较敏感,可以使用纠删码技术,这里不再详述。某高校部署采用冗余因子为2,这样可用空间也可达到20TB左右,能够满足实际需求。

3 性能测试

根据超融合物理和虚拟化架构设计,安装实施完成后,进行性能测试,重点在于顺序读写带宽和随机读写IOPS。经过测试，其顺序读写带宽分别达到4121MBps和1611MBps，随机读写IOPS分别达到299879和193873。

超融合技术依据程序访问局部性原理,其分布式架构使得SSD成为一个虚拟缓存集群,理论上其节点越多,磁盘性能越高。实际测试验证了这一推测,超融合技术可以满足日常业务需求,尤其对于类似于网站群和数据库的文件小访问频繁(体小量多)的系统应用可提供高速服务。

4 结语

超融合技术是信息化发展的必然结果,作为基础设施即服务(Iaas)[4]的底层平台,满足了日益增长的数据对于硬件的可扩展性、可靠性等多方面的需求,其发展有逐渐取代传统数据中心之势。某高校从实用性和成本等方面出发,选取的以Nutanix技术为核心的超融合技术,其性能完全适合高校领域的基础平台的应用,且具备灵活的弹性和成本优势,适合在高校领域逐步取代传统数据中心。