●成 星(深圳图书馆,广东 深圳 518026)
虚拟化技术是目前整合管理服务器群的最优技术,其工作原理是在一台服务器上虚拟出多个虚拟机,或者多台服务器的资源集中生成一个虚拟机,使一台物理服务器完成多个不同的业务应用。该技术能够提高机器利用率、灵活迁移应用系统以及安全备份与恢复数据,确保数据与应用的高安全性,因此是深圳图书馆解决随着服务器的增长而带来管理压力的有效方法。[1]
目前深圳图书馆(以下简称“深图”)的IT设备配置高端,功能开发齐全,且业务应用丰富,业务和服务器数量都已突破70个。这些业务应用,由于其对服务器的要求各不相同,比如操作系统、系统硬件兼容性以及软件开发平台等,所以只能单独为其配置服务器。这样一来,服务器数量将直线增加,增加的不仅是购置成本,同时也增加了管理压力,降低了设备的利用率。因此,单靠增加服务器已经不能适应业务应用的快速发展。
深图的硬件系统主要由网络、服务器与存储、PC及周边设备三大块组成,软件系统主要由数据库及多个业务子系统组成。其中服务器数量随着业务量的不断增加直线上升,作为业务平台和数据库后台的强大支撑,服务器合理的管理和使用尤为重要。下表为目前服务器配置使用情况(AIX系统暂不做统计)。
表统计显示:深图共有73台服务器,其中2台闲置。60台为Windows/Linux/Unix系统,11台为AIX系统(对于AIX系统,建议采用IBM PowerVM进行虚拟化,本文只讨论非AIX的虚拟化过程)。60台从功能上又划分为测试编译用机(8台)、核心业务用机(其中包括核心热备用机,19台),24小时对外业务用机(16台),专业数据库资源用机(12台),内部办公业务用机(5台)五大类,业务应用共52个。如此庞大的服务器群,在使用和管理过程已出现诸多问题。
表 深图服务器使用率统计表
另有11台AIX系统服务器,2台闲置服务器
2.1.1 硬件成本高且利用率低
新增设备的费用逐年增加;大部分设备已超过厂家维保期限,由经销商承保,维保费用居高不下;部件已开始损坏,进入老化期,配件成本高;占用机房空间大,增加了机柜、网线、电量和人工成本;由于一台服务器只能运行一个应用,因此CPU、内存、硬盘空间的资源利用率大都不超过20%,相反有些系统需要大量的资源来提升业务速度但本地资源不够用,资源不能充分调配而被闲置。
2.1.2 可维护性差
由于服务器数量多,机柜空间拥挤,每新上一台服务器及部署新应用都将耗费大量时间。一旦出现故障,配件更换周期长,且更换的时间要选择业务量最少的时段,通常都在凌晨。
2.1.3 业务应用无保障
首先,由于每个应用都占用一台服务器单机,如果机器出现故障,则相应的业务将被中止,而如果每个应用都采用双机热备,则配置成本更高;其次,系统周期维护需要停机进行,也将影响为读者服务的质量;第三,由于大多数应用没有做热备,读者业务处于无保障状态。
通过虚拟技术的应用,我们将达到如下既定目标。
(1)提高资源利用率。通过整合服务器,将所有运算设备作为大的资源池进行统一管理,并按需分配资源,从而提高单机资源利用率。
(2)提高维护灵活性。部署新应用时,可减少服务器重建和应用加载的时间,快速响应读者需求;当物理机发生故障时,可迁移业务系统模块到正常设备上继续运行,方便对故障设备的维护。
(3)确保业务无障碍运行。每个业务都可进行热备,心跳感应设备故障,自动启用备份系统接管主业务;当业务量增加导致设备负载增大时,服务器可动态迁移业务数据到其他闲置设备来保证业务应用有足够的资源,避免读者业务受到影响。
(4)为集中网络存储打基础。整合物理设备后,所有应用的数据将全部接入到存储网络,将分散数据集中存储备份,为异地灾备打下基础。[2]
(5)延长旧业务系统的生命周期。由于应用平台的限制使得原有应用系统硬件不能升级。虚拟化后可确保原系统平稳运行,且大幅提高其应用性能。
通过集中资源管理,管理员可以管理虚拟化平台内所有的计算资源,包括服务器、网络、存储和应用等。利用此功能,管理员可对设备资源进行灵活配置。
通过服务器、存储、网络等虚拟化技术将设备资源按照不同的标准组织成不同的资源池,如高性能资源池、高存储能力资源池、低负载资源池、数据库资源池和中间件资源池等,定义模式灵活、便利。[3]
当设备虚拟化后,虚拟机以一组文件的状态封装在存储设备中。系统通过虚拟网络将源虚拟机的实时内存和执行状态文件快速传送到目的虚拟机,实现动态热迁移。该功能确保了业务运行不中断,实现零停机时间。
在Vmotion的基础上,系统可动态监控并调整虚拟机需要的资源,根据预先制定的策略触发资源调整功能,保证应用有足够的资源,实现资源动态均衡。如设定OPAC检索系统并发连接最大值为100个的请求,当超过这个上限值时,系统自动触发分配设备资源,增加CPU或者内存给该虚拟机,保证读者业务不受影响。
利用心跳技术,当一个关键业务的物理服务器或虚拟服务器发生灾难时,系统会在别的服务器上自动启动备份服务,减少业务中断带来的损失。[4]
在虚拟化的同时,系统会产生两个潜在的风险:一是单台物理机中并行运行了多个虚拟机,当物理机出现故障,必然会同时造成多个业务的中断。因此在加强物理机可靠性的同时,还应采用虚拟机热备策略,保证业务能够持续不断地运行。二是由于虚拟机封装在独立文件中,并存放在共享的磁盘阵列中,因此我们还必须考虑单台磁盘阵列故障带来的业务中断影响。根据深图实际业务情况,我们对不同业务采取不同的资源配置方案:对于单机核心或AIX系统在保持原有架构不变的前提下,增加独立双机集群进行热备,保证在出现灾难的情况下所有业务不中断;对于众多应用服务器,采用虚拟化技术,将应用服务整合到多台物理机上,实现物理服务器的虚拟化。同时采用虚拟机热备策略,保证业务安全运行;在数据存储方面,由于虚拟机存在的形式是一组实时封装完毕的文件,因此通过IPSAN网络进行存储。通过IPSAN架构进行在线热迁移虚拟机、进行资源配置的动态平衡管理和基于快照技术的数据恢复等,同时为以后搭建异地容灾系统提供扩展性并打下基础。
根据深图实际情况,拟将20台IBM X3650服务器作为资源池。在物理层之上采用VMware Vsphere5.0进行虚拟化部署生成不同配置的虚拟机,然后通过VCenter虚拟机管理平台并结合VMware的VMotion、DRS和HA等功能,进行虚拟机的管理,为全网虚拟机提供技术支持。
(1)在服务器裸机上部署VMware Vsphere5.0企业增强版,包括ESXi Server、VCenter(其中包含VMotion、DRS和HA等)和VMFS文件系统三大组件。它能自动将物理服务器上的资源池化,按照业务需要划分成多个虚拟机。
(2)建立VirtualCenter统一管理平台。在单台IBM X3650服务器上部署Vcenter实现集中管理和监控,为应用提供自动资源调配。
(3)使用第三方迁移工具P2V Assistant,将现有物理系统的映像转换为虚拟机,无需重装软件或重配应用程序,加快虚拟化进程。
(4)将建立好的虚拟机进行热备。将封装好的虚拟机文件热迁移到不同虚拟机上,实现应用的双机备份,并设置触发策略,保证业务不间断运行。[5]
(5)应用IPSAN网络实现虚拟机封装文件及数据共享。在存储服务器上安装VMFS文件系统,并将虚拟机封装文件和数据存储在SAN网络存储上,这样多个ESXI Server将可以访问到同一文件,从而消除单点故障。
4.3.1 VMware ESXi Server配置说明
本方案的主体部分是20台安装了VMware vSphere 5.0套件的IBM X3650服务器。ESXi Server是VMware虚拟架构套件的基础组成部分,是实现动态优化IT结构的基础。在物理机上安装ESXi Server,池化其计算、存储和网络资源。在业务运行时,通过优化共享硬件资源的方法来提高硬件利用率。
虚拟化过程可以根据不同应用对系统资源的不同要求,生成特定资源配置的虚拟机。如OA系统只需要一个3.0 GHz CPU,512MB的内存就可以很好地运行,而CNKI数据库系统有高访问率和高吞吐量,则需采用两个双核CPU、8GB内存配置。由于每个虚拟机所使用的资源都是由ESXi统一调配,因此可充分保证每一个应用都有充足的计算资源。同时系统可根据每个应用的负载情况自动调整对应的虚拟机资源配置,最大限度地提高硬件资源利用率。另外,虚拟对称式多重处理技术,可使单个虚拟机并行使用多个物理处理器,增强虚拟机集群能力。
4.3.2 IPSAN集中存储实现虚拟机文件共享
利用现有的IPSAN网络存储结构,将虚拟机系统文件创建在H3C IPSAN存储阵列上。基于该网络结构,所有虚拟机全部安装VMFS虚拟机文件系统,这样虚拟机都可以访问同一虚拟机存储,实现高性能的群集文件共享,为数据集中异地备份打好基础。
4.3.3 虚拟机集中管理及优化
Virtual Center服务器对虚拟机进行管理和监控,同时还为IT资源提供集中池化管理,为业务应用提供自动化操作(Vmotion)、资源优化(DRS)和高可用性(HA)功能。其中VMotion可热迁移虚拟机;DRS将根据业务优先策略来自动调配可用资源,优化资源利用;HA实现应用程序的高可用性。
4.4.4 双机高可用性
为了使业务应用实现绝对的高可用性,Vcenter服务器上加装NEC的虚拟机双机高可用系统Expresscluster。该系统利用心跳技术全面监视服务器上的各种软、硬件资源的状态。一旦被监视项目发生故障,则可以根据故障类型并结合Virtual Center组件功能,在虚拟服务器之间或物理服务器之间将业务或虚拟机自动切换,保证业务连续运行。
(1)减少了设备购置成本,优化了资源分配,提高了资源利用率。系统在20台机器上总共部署了60个虚拟机,节约了近40台设备,其中20台用于完全高可用性双机热备,20台用于核心和AIX系统服务器的完全热备。由于应用和硬件完全分离,从数据层面杜绝非法访问,保证网络安全。
(2)灵活配置资源,为业务发展提供保障。虚拟化后系统按业务需求进行资源自动调配。当业务需要更多资源时,虚拟构架动态迁移业务或自动增加资源的分配,确保业务长足发展。
(3)提高IT服务效率。VCenter的应用,提高了IT部门设备管理能力,缩短了物理机维护周期,使服务器的管理更加直观快捷,同时加载新的应用更加方便,全面提升了IT服务能力。
(4)方便数据备份,为容灾系统打基础。基于IPSAN的数据存储,让分散的数据集中统一存储管理和备份,为即将开展的异地容灾备份建设打下坚实基础。
(1)建立虚拟机冗余机制。在单台物理服务器上运行多个虚拟机,同每台物理服务器运行一个应用相比,硬件故障会影响更多的应用。因此需要建立冗余设备来降低风险。无论是数据库还是虚拟机文件,都需要建立热备,甚至是异地灾备。
(2)确保虚拟机之间资源利用不冲突。虽然ESXi Server能在同一套物理环境中安装多个操作系统,但在加载应用时,建议把对资源需求不同的应用分到一组,放在同一套硬件上。只有这样才能确保运行在这些虚拟机上的应用不会互相冲突而降低应用性能,最大化地利用硬件资源。
(3)预测虚拟化带来的性能损耗。测试结果表明,跟在物理服务器上运行相比,同一应用在虚拟机上运行会产生性能上的损耗。这种损耗随着应用的不同而变化,在6%~20%之间。因此在分配资源时,磁盘容量的划分应考虑到虚拟机镜像文件的大小,并预留足够多内存给虚拟机使用等。
(4)采用VMware或第三方工具简化迁移成本。为了获得更好的可移植环境,使得虚拟机更容易被迁移到其他硬件平台,以便虚拟机从灾难性硬件故障中恢复,建议购买一些特殊的第三方工具,如Altiris的方案。
[1]黄泽伟.基于多系统的虚拟网络教学架构的实现[J].重庆电力高等专科学校学报,2010(4):32-34.
[2]李馥娟.虚拟机技术在复杂网络技术中的应用[J].实验技术与管理,2009,26(12):134-135.
[3]周俐军,等.基于VMware的高校数据中心虚拟化管理探究[J].中国管理信息化,2009,12(16):65-66.
[4]董兆殷.基于ESXI Server的校园数据中心虚拟化技术的研究[J].电脑知识与技术,2010,6(12):3140-3141.
[5]孙昱,等.虚拟机实时迁移技术研究[J].微型电脑应用,2008,24(7):1-2.