Pro-CIMS系统虚拟化的实现与应用（上）

宫鲁沙 孙红伟 于 艳/大连船舶重工集团有限公司

当前，云计算发展十分迅速，在信息化建设领域的应用越来越广。云计算是一种新的计算模式，它以服务的形式为用户提供各种计算资源、如硬件资源、存储资源和应用程序等。实现云计算的关键技术是虚拟化，虚拟化技术在资源的有效利用、动态调配和高可靠性方面有巨大的优势。通过在物理多路服务器上创建多个虚拟服务器的方式，来替代传统物理服务器模式。建立基于虚拟化服务器的运行环境，为Pro-CIMS服务平台及各个支持系统提供计算和存储资源。

1.虚拟化技术

虚拟化技术就是把一个物理单元虚拟成多个逻辑单元，供多个应用一起使用。是一个为了简化管理、优化资源的解决方案。虚拟化将技术细节进行了封装，对实际的资源进行了虚拟，使得用户可以在虚拟环境中使用真实环境中的若干功能。与传统模式不同的是，虚拟化环境下的资源调度、管理监控、服务部署和性能配置有着很大不同。

虚拟化技术主要体现为服务器虚拟化和桌面虚拟化。服务器虚拟化是指把一台或多台服务器的硬件资源整合起来，利用虚拟化技术，建立一个或多个虚拟机（即虚拟的服务器），统一调配这些物理硬件资源，以提供系统和应用服务。虚拟化技术分为全虚拟化、半虚拟化和硬件辅助虚拟化，其通过运行在服务器硬件和操作系统中间的Hypervisor来实现的。Hypervisor分为两种类型，第一种被称为TypeⅠ型，虚拟机直接运行在硬件上，能直接被管理这些硬件的操作系统支持。TypeⅠ能直接调用计算机硬件，最大化的使用系统资源，鉴于此，它主要应用在服务器虚拟化中，例如VMware ESX Server、IBM System z PR/SM，微软的Hyper-V、Xen和KVM(基于Linux内核)。第二种称为TypeⅡ型，需要部署在传统操作系统之上，该Hypervisor也被称为宿主型，主要成为桌面虚拟化的应用技术。

本次采用TypeⅠ型VMware vSphere虚拟化技术将数据中心转换为简化的云计算基础架构，并汇总多个系统间的基础物理硬件资源，同时为数据中心提供大量虚拟资源。通过ESXiServer安装到服务器后提供虚拟化服务器功能。同时通过Vmware VCenter服务器对虚拟化资源进行统一管理。

2.VMware vSphere基础架构

与基于Linux平台开放源代码的Xen半虚拟化技术不同，Vmware ESX采用全虚拟化（Full Virtualization）技术，主要是在客户操作系统和硬件之间捕捉和处理那些对虚拟化敏感的特权指令，使客户操作系统无需修改就能运行。Hypervisor为全虚拟化技术的核心，它直接将真实的物理硬件设备隐藏起来，通过仿真硬件层仿真出一个具备常用硬件设备的服务器给每个虚拟机，虚拟机则通过特权指令来控制这些仿真硬件设备，这些指令无需进行修改就可在不支持IntelVT/AMD-V的CPU上运行。

VMware vSphere所 使 用Monolithic Hypervisor架构，如图1所示，在Monolithic设计中，驱动被作为Hypervisor的一部分包括在内，所以说运行ESXi主机之上的虚拟机能够与物理硬件直接通信，不再依赖中间设备。第一层为硬件层，各个虚拟机共享的底层物理硬件，包括服务器内存、物理网络、存储设备、AMD-V、Intel VT等硬件支持。第二层为中间软件层，运行在服务器物理硬件和操作系统之间，虚拟机通过它被创建、相互通信和获得物理资源，该软件被称为虚拟机监视器（Virtual Machine Monitor）或者Hypervisor层。VMware vSphere在本层管理其组件，包括资源调度，分布式文件系统、用于部署VMware网络的网络协议栈组件和存储堆栈组件。第三层为控制层，用于部署虚拟机和相关应用，系统管理员通过该层完成对虚机日常管理操作。

图1 虚拟化架构图

图2 嵌入式部署策略

ESXi是VMware vSphere虚拟架构中基础组成部分，是被生产验证的高性能虚拟化层。ESXi直接部署在物理服务器的硬件之上，将物理服务器的硬件资源通过共享方式直接抽象提供给各个虚拟机。共享资源使得硬件利用率大大提高，所需运行成本也大大降低。

从vSphere 6.0开始，引入了具有嵌入式 Platform Services Controller的vCenter Server部署策略和具有外部Platform Services Controller 的 vCenter Server的部署策略。Platform Services Controller 包含vSphere组件之间进行通信所需的全部服务，其中包括vCenter SingleSign-On、VMware 证书颁发机构、VMware Lookup Service以及许可服务。

嵌入式部署将vCenter Server、vCenter Server服务组件和Platform Services Controller部署在一台虚拟机或物理机服务器上，如图2所示。此模型适用于8个以内（包括8个）的实例的部署。优点是：小型环境管理方便、需要较少的Windows许可、无需负载均衡器就能实现负载均衡。

分布式部署将Platform Services Controller和vCenter Server分隔开来，并将它们安装在不同的虚拟机或物理服务器上。首先安装Platform Services Controller，然后在另一台虚拟机或物理机上安装vCenter Server和vCenter Server组件，并将vCenter Server连接到Platform Services Controller。可以将许多vCenter Server实例连接到一个Platform Services Controller， 如 图 3 所示。此模型适用于8个以上的实例部署。与上一个方式相比，其优越性在于：适用于多个vCenter Server实例的大型环境、消耗的资源和内存占用量少于第一种方式。

2.1 硬件平台选型和资源分配设计

建设基于虚拟化服务器集群作为Pro-CIMS服务平台的主要服务器资源供给方式，能在满足业务应用压力需要的前提下，最大限度的提高设备的利用效率，提供最大程度的服务器高可用性。预计平均处理器利用率可以达到40—60%，通过HA配置可实现主要业务系统3—5分钟恢复应用。虚拟化服务器集群的建设从虚拟机、存储、网络、主机、资源池等几个方面考虑：

（1）虚拟机：主要从虚拟机数量和规模两方面考虑。

①虚拟机数量：总计约50个左右虚拟机，其中包括vCenter Server服务器、Pro-CIMS服务平台应用服务器、Pro-CIMS数据库服务器、数据备份服务器、存储控制服务器。

②虚拟机规模：按照业务不同的设置相应规模的虚拟机，如2路CPU，4GB内存，适用于较小规模业务；4路CPU，8GB内存，使用与中等规模业务；8路CPU，16GB内存，适用于较大业务压力业务，核心业务；16路 CPU，32GB内存和32v路 CPU，64GB内存，适用于重业务压力业务，如核心数据库。

（2）虚拟机存储：由于大量使用虚拟机运行业务系统，且虚拟机文件都存储在集中存储上，需要对集中存储的容量进行详细规划。整个虚拟化集群初期设计的50个虚拟机操作系统平均按照80GB容量需求计算，总共需要4TB容量，由于按照精简配置方式使用存储，可以大量节约存储容量，初步估计实际使用约2TB左右。

（3）虚拟交换机：为不同功能不同业务配置单独的虚拟交换机，每个虚拟交换机至少分配两个千兆以太网端口分别连接到2台接入网络交换机上。目前的虚拟网络规划3虚拟交换机，具体如下：

①集群内部通信网络：包括集群心跳、Vmotion流量、FT流量等；

②对外提供服务的网络：用于IT基础管理、客户端通讯、数据传输等；

③虚拟化平台管理；

（4）物理主机：根据上述的资源要求，选择3台HP DL580 Gen9服务器作为虚拟化集群的计算资源。每台服务器配置：

① 4颗12核心Xeon E7-4830 v3@2.1GHz处理器，每台服务器48个处理器核心，支持最大48vCPU 的虚拟机；

②512GB内存，最大可以支持8个64GB内存的虚拟机；2块单端口16Gb光纤通道卡，不同业务的虚拟机通过FC-SAN网络访问存储LUN；

③8个千兆以太网端口，2个用于集群内部通信网络，用于控制台、集群心跳、Vmotion流量（虚拟机的在线迁移组件），2个用于虚拟机业务网络，2块用于网络管理，其余根据需要灵活调配；

④本地磁盘配置2块300GB容量SAS磁盘，RAID0配置，冗余电源。

（5）资源池：建设一个处理能力总计331.2GHz，1.5TB内存，虚拟机需要和业务需求总计超过40TB存储，占用6个16GB光纤通道端口，24个千兆以太网端口的资源池。

2.2 VMware vSphere 6.0虚拟化方案

本方案的物理硬件平台为三台HP DL580 Gen9四路服务器，部署VMware vSphere 6.0，虚拟化架构连接方式如图4所示，这里我们以两台服务器为例进行说明。安装EXi的物理主机按照业务不同设置3台相应功能的虚拟交换机，完成管理、生产实际和虚拟化Vmotion等业务。虚拟交换机与物理交换机之间的连接通过物理网卡（上行链路适配器）实现互联。虚拟交换机中按照业务不同划分VLAN，通过上行链路适配器连接到物理交换机的Trunk端口，让虚拟机划分到所属网络中的不同VLAN中。

为对所创建的虚拟服务器进行管理，我们配置一台vCenter服务器作为该系统的管理和监控中心，提供集中化的管理。配置方式为VMware vCenter Appliance， 利 用vCenter实现资源优化和高可用性，实现HA、DRS和VMotion等服务。★

图3 外部式的部署策略

图4 虚拟化架构内部连接图