吴恒清 ,吴静子
(1. 淮河水利委员会信息中心,安徽 蚌埠 233001;2. 长江水利委员会网络与信息中心,湖北 武汉 430010)
“十一五”以来,水利部淮河水利委员会(以下简称淮委)信息化依托淮委电子政务系统工程、防汛抗旱指挥系统工程、水资源监控能力建设、淮河数据容灾备份中心和重要信息系统等级保护等一批重点项目的建设,建成了较为完备的数据采集传输、防汛通信和计算机网络、数据备份容灾及安全保障等基础设施,积累了水利基础空间、防汛抗旱、水资源管理等九大类数据资源,建设了电子政务、防汛抗旱综合管理、水资源综合管理等多个业务应用系统。淮委水利信息化体系初具规模,为流域水行政管理提供了有力支撑。
但是,随着业务应用信息系统的增加,淮委水利信息化存在以下问题:
1)水利信息化资源“烟囱、孤岛”等问题逐步显现,数据资源存在信息孤岛、交互协同不足、更新维护得不到保证等问题,限制了数据的使用和内在价值的发挥;
2)业务应用孤立分散,没有形成横向数据贯通、应用协同,不能满足未来流域综合管理和决策支持的需要;
3)基础软硬件资源分散,资源利用率和安全管理受到局限[1]。针对这些问题,水利部根据《水利信息化资源整合共享顶层设计》,批准淮委开展综合管理信息资源整合与共享建设。
随着业务应用信息化的发展,不同业务信息系统的投入使用,每套信息系统都配套了相应的物理服务器,使得数据中心机房硬件环境越来越复杂,物理服务器的数量逐年增加,从最初的 10 多台,增加到 200 多台。物理服务器数量的不断增加,除了利用率不高,还给运维和管理带来极大的困难。针对较低的资源利用率等信息化建设面临的现实问题,将物理服务器进行虚拟化是有效的解决途径。为此,着重研究如何合理运用虚拟化技术,将其应用于淮委综合管理信息资源整合与共享建设,构建淮委计算存储资源池(即基础运行环境“一朵云”,以下简称“一朵云”),为全委业务应用信息化提供私有云运行环境支撑。
虚拟化技术主要包括 CPU、内存、存储资源(或磁盘)、网络、安全等虚拟化技术[2–3],主要应用于服务器、存储资源、网络及安全设备和桌面虚拟化等方面。在淮委信息资源整合共享建设中主要运用了服务器和存储资源虚拟化技术。
服务器虚拟化是指应用 CPU、内存、磁盘、网络等虚拟化技术,将服务器的 CPU、内存、磁盘、I/O 等硬件集中管理,通过集中式的动态按需分配,将物理服务器通过虚拟化软件虚拟成多台虚拟服务器(又称虚拟机 Virtual Machine,以下简称 VM)。通过虚拟化后的虚拟服务器可以无感知地与物理服务器以相同的方式提供服务,每台虚拟服务器可以通过资源池动态分配资源,兼容不同的操作系统,支撑不同的系统应用。服务器虚拟化能够通过区分资源的优先次序,随时随地将服务器资源分配给最需要它们的工作负载,简化管理,提高效率,从而减少为单个工作负载峰值而消耗的资源。
通过服务器虚拟化技术,用户可以动态启用虚拟服务器,每个服务器实际上可以让操作系统及在上面运行的任何应用程序误以为虚拟机就是实际硬件。运行多个虚拟机还可以充分发挥物理服务器的计算潜能,迅速应对数据中心不断变化的需求。
所谓虚拟存储,就是把多个存储介质模块或资源(如硬盘、磁盘阵列 RAID、存储系统等)通过一定的手段集中管理起来,所有的存储资源在 1 个存储池中得到统一管理,从主机和工作站的角度,看到的不是多个硬盘,而是 1 个分区或者卷,就象是1 个超大容量的硬盘。这种可以将多种、多个存储设备统一管理起来,为使用者提供大容量、高数据传输性能的存储系统资源,就是存储资源虚拟化。
虚拟存储设备主要通过大规模的 RAID 子系统和多个 I/O 通道连接到服务器上,智能控制器提供LUN(逻辑单元号)访问控制、缓存和其他(如数据复制)等管理功能。这种方式的优点在于存储设备管理员对设备有完全的控制权,而且虚拟存储设备与服务器系统分开,可以将存储管理与多种服务器操作系统隔离,很容易地调整硬件参数。
1.3.1 服务器虚拟化技术实现
目前常用的服务器主要有 Unix 和 X86 2 种服务器。对 Unix 服务器而言,IBM,HP,Sun 各有自己的技术标准,没有统一的虚拟化技术,因此,目前Unix 的虚拟化还受具体产品平台的制约,Unix 服务器虚拟化通常会用到硬件分区技术。X86 服务器的虚拟化标准则相对开放,新引入的虚拟化层通常称为虚拟机监控器(VMM),也叫做 Hypervisor。X86服务器的虚拟化技术包括以下三大流派[4]:
1)半(准)虚拟化。半虚拟化又称为操作系统辅助虚拟化,即通过改动客户操作系统,让它以为自己运行在虚拟环境下,能够与 Hypervisor 协同工作,这种方法也称准虚拟化。半(准)虚拟化中的 Hypervisor不对 I/O 设备做模拟,仅仅对 CPU 和内存做模拟。半(准)虚拟化技术的优点是性能高,经过准虚拟化处理的服务器可与 Hypervisor 协同工作,其响应能力不亚于未经过虚拟化处理的服务器。
2)完全虚拟化。使用 Hypervisor 在 VM 和底层硬件之间建立 1 个抽象层,Hypervisor 捕获 CPU 指令,为指令访问硬件控制器和外设充当中介。这种虚拟化技术几乎能让任何一款操作系统不加改动就可以安装在 VM 上,而它们不知道自己运行在虚拟化环境下。完全虚拟化是处理器密集型技术,因为它要求 Hypervisor 管理各个虚拟服务器,并彼此独立。完全虚拟化的主要缺点是 Hypervisor 会带来处理开销。
3)硬件辅助虚拟化。硬件辅助虚拟化技术,就是在 CPU、主板芯片组及 l/O 设备等硬件中加入专门针对虚拟化的支持,使得系统软件可以更加容易、高效地实现虚拟化功能。KVM(基于内核的虚拟机)是基于硬件辅助虚拟化技术的典型方案,其核心是在服务器体系架构中增加相应的硬件支持。针对 CPU 硬件辅助虚拟化技术,CPU 带有特别优化过的指令集控制虚拟过程,Intel 发布了 Intel-VT-x及相关的处理器产品,AMD 推出了虚拟化解决方案 AMD-V。针对内存虚拟化提供硬件支持,Intel和 AMD 分别提出扩展页表(EPT)和 NPT(Nested Page Table)技术,都是在硬件层面上实现虚拟地址到机器地址之间的转换。针对 I/O 虚拟化,Intel 推出 VT-d(Intel’s Virtualization Technology for Directed I/O)技术,AMD 推出 IOMMU(Input/Output Memory Management Unit)技术。
1.3.2 存储资源虚拟化技术实现
对于存储资源虚拟化,主要有以下 3 种实现方式[5]:
1)基于主机的虚拟存储技术实现。依靠安装在主机上的逻辑卷管理软件在主机上实现虚拟存储,通过存储虚拟化的控制和管理,屏蔽了物理磁盘的管理,在逻辑与管理网的控制下实现存储介质的统一管理。
2)基于存储设备的虚拟存储技术实现。存储设备的资源虚拟化主要依靠提供的存储设备控制器,通过网络技术将存储设备的控制器和存储设备连接,在存储系统内进行存储虚拟化工作,从而提供更多统一管理利用的存储空间。
3)基于网络的虚拟存储技术实现。网络存储资源虚拟化依赖于存储网的设备进行虚拟化。利用网络途径和通道,通过在网络设备上安装虚拟化存储的系列软件,形成存储的控制器,将各种存储资源整合为一条存储体系,从而将存储资源进行统一管理、合理分配。
在淮委“一朵云”(即淮委私有云)构建过程中,主要运用 H3C CAS 云管理平台硬件辅助虚拟化技术,分别采用基于 FC SAN(光纤存储)和 VSAN(分布式存储)结构的计算存储资源虚拟化技术架构,将物理服务器及存储系统(或磁盘阵列)通过H3C CAS 虚拟化软件虚拟成多台虚拟服务器。
FC SAN 结构是一种常用的存储系统应用模式。基于 FC SAN 结构的计算存储资源虚拟化[6],实际上是利用虚拟化软件,将架构中挂接的计算、内存和存储等资源进行虚拟化,或者将服务器和存储系统等资源进行虚拟化,以实现少量物理服务器和存储系统生成多台虚拟机,支撑多业务应用。若多个存储系统需要虚拟化为 1 个容量较大的存储资源池,还可以采用 VMware 虚拟化引擎 Vplex 完成。基于 FC SAN 结构的计算存储资源虚拟化由物理服务器、存储系统及虚拟化软件构成,具体架构如图 1 所示。
VSAN[7–8]是针对软件定义数据中心范围中的软件定义分布式存储的典型代表,通常被简称为软件定义存储。从设备形态和架构的角度讲:VSAN将传统的集中存储体系 SAN 进行了抽象,并且将存储架构分散到多台物理主机上,这属于一种对存储设备的虚拟化行为。基于 VSAN 结构的计算存储资源虚拟化,是利用虚拟化软件,对服务器(具有较大磁盘空间)全部资源进行虚拟化,以实现少量物理服务器生成多台虚拟机,支撑多业务应用。基于VSAN 结构的计算存储资源虚拟化与基于 FC SAN结构的计算存储资源虚拟化的最大不同是:不需要独立的存储系统,直接采用虚拟化软件对服务器硬盘进行统一管理,形成 1 个总逻辑磁盘,再将总磁盘分成 2~3 个镜像副本,数据同时存储在不同副本中,实现数据灾备。基于 VSAN 结构的计算存储资源虚拟化由自带磁盘阵列的物理服务器和 VSAN 虚拟化软件构成,具体架构如图 2 所示。
图 1 基于 FC SAN 结构的计算存储资源虚拟化架构图
图 2 基于 VSAN 结构的计算存储资源虚拟化架构图
淮委信息资源整合与共享建设重点之一是:通过资源整合建成统一计算存储资源池,即构建淮委“一朵云”。在整合过程中,充分利用现有服务器、存储系统设备,运用硬件辅助虚拟化技术,充分考虑网络安全要求,分别基于 VSAN 和 FC SAN 结构,建成分区分域的计算存储资源池[9],其中基于VSAN 结构的虚拟化技术主要应用在新建的计算存储资源池上。
淮委信息系统运行环境整合建设坚持一体化、合理化、规范化和科学化原则,以满足应用为先导,结合淮委信息化应用实际,做到统一规划,集中管理,降低运维成本,采用先进、适用的虚拟化技术,最大化地提高资源的利用率和复用率,满足应用业务需求扩充与资源部署迁移的发展需要。整合后的淮委“一朵云”分布在公众服务区和业务应用区,公众服务区部署互联网应用,业务应用区部署内部业务应用。淮委“一朵云”架构如图 3 所示。
图 3 淮委“一朵云”架构
淮委信息系统运行环境整合运用 H3C CAS 云管理平台,以硬件辅助虚拟化技术对服务器进行虚拟化;运用 H3C CAS 云管理平台 VSAN 和硬件辅助等虚拟化技术,建立了基于 VSAN 存储结构的计算存储资源池;运用 VMare Vplex 存储资源虚拟化技术,对存储系统进行整合,并结合 H3C CAS 云管理平台,实现虚拟机存储支撑,建立基于 FC SAN 存储结构的计算存储资源池。运用数据库集群技术,分别采用小型机、机架式服务器及存储系统,建立数据库专用运行环境。在业务应用区、公众服务区分别建立虚拟化池,实现内部业务与互联网 2 类应用的分区分域物理分离部署,再施以网络域控策略,可有效防止网络攻击。
在业务应用区、公众服务区建立物理上分离的计算存储资源虚拟化池,共采用不到 20 台物理服务器,解决了淮委业务应用信息系统的部署问题,并使得互联网应用与内部业务应用的部署相互独立,即便互联网应用受到网络攻击,由于采取分区分域策略,物理上的独立分区增加了一道防线,攻击不至于很快波及到内部业务应用,更有利于网络安全防护。基于 VSAN 和 FC SAN 存储结构的计算存储资源池运行都很稳定,实现了计算存储资源的统一管理、按需弹性分配、自动容灾备份,有效提高了使用效率。基于 FC SAN 与 VSAN 结构的计算存储资源虚拟化优缺点比较如表 1 所示[10]。
从表 1 分析可以看出:基于 VSAN 结构的计算存储资源池构建和运维的成本都较低,使用效果不低于基于 FC SAN 结构的计算存储资源池,更具有推广应用价值。
表 1 基于 FC SAN 与 VSAN 结构的计算存储资源虚拟化优缺点比较
独立的数据库集群运行环境,为各类业务应用提供了统一的数据库系统服务,既便于数据库容灾备份,也有效提高数据库的访问效率,更利于数据的维护管理,同时也提高了数据的安全性。
通过淮委“一朵云”构建及其应用分析,基于VSAN 结构的计算存储资源池运行稳定可靠,效果良好;由于存储采用服务器硬盘,价格远低于存储系统专用硬盘,并可采用服务器直接扩容,不需要另配存储系统,扩容和运维成本均较低。因此,基于 VSAN 结构的计算存储资源池可作为政府部门或行政事业单位建立统一管理“私有云”的有效借鉴。作为政府部门及行政事业单位,履职产生的数据具有较强的内部应用属性,需要对其进行安全防护,适宜在“私有云”上建立数据存储和业务应用。