创建企业私有云实战

■ 济南 张雨

编者按：信息孤岛、共享困难等问题，严重阻碍了企业信息化向更高阶段发展，因此企业云战略应运而生。本文将介绍私有云建设的具体方案，希望能对大家有所启示。

虚拟化技术是企业私有云建设的主流技术，它可以有效提高资源利用效率、系统部署的灵活性和可靠性也会得到很大提高。

图1 总体方案结构图

总体方案

虚拟化环境提供了一个功能完整的、标准开放的、方便集成的IaaS层，本层是整个云计算服务的基础支撑，其核心部分是用虚拟化软件构建的云计算服务基础架构。通过部署虚拟化软件、服务器、存储设备、网络设备等搭建虚拟化环境，形成统一的云计算平台。总体方案如图1所示。

计算资源池规划

通过虚拟化技术构建的资源池，可以实现对硬件和软件资源的灵活、有效利用。虚拟化技术将标准服务器及其处理器、内存、磁盘形成一个逻辑计算资源池中。操作系统及其应用程序被隔离到安全、可移植的虚拟机中。基础架构会根据每个虚拟机的需要和优先级，将系统资源动态地分配给它们，从而实现主机级容量分配，以及对服务器资源的控制。虚拟机可动态、自动地分配给资源池中最合适的主机，从而确保软件应用程序的服务级别。

通过将硬件资源聚合到资源池，使IT环境可得到优化，从而动态支持不断变化的业务需求，同时确保灵活有效地利用硬件资源。

大型的应用系统需求超过单台服务器的性能时，采用RAC集群等虚拟化整合技术，将多台服务器整合为服务器集群同时承担。当应用需要单台服务器处理多个业务和应对大并发需求时，可采用虚拟化拆分技术，将单台服务器拆分成多个虚拟机器满足应用的需求，有效提高了硬件资源的利用率和系统的高可用性。

主机集群系统（Cluster），通过虚拟化平台HA、DRS等技术，实现任何一个主机系统出现故障，都可以自动将该主机的负载转移至系统内的其他成员。配置的磁盘阵列采用双冗余控制器，可在很大程度上避免单点故障，提高整个业务系统的可用性。

为了对数据进行快速备份和恢复，虚拟化平台采用自带的快照软件对业务数据做快照，按照时间计划自动将数据进行快照，实现短时间点数据保护。

虚拟化技术应用大大减少物理服务器的部署数量，并且具备智能电源管理技术，当集群中的虚拟机所需资源较少时，会将工作负载整合到较少的服务器上，并关闭其余物理服务器以减少能耗。当虚拟机资源需求增加时，会让关闭的主机恢复联机，以确保达到服务级别要求。

在现有网络资源的基础上，对服务器虚拟化资源统一整合后，将年久过保服务器上的核心应用逐步迁移至性能更高的服务器上，保证业务正常运行和具有充足的计算资源。虚拟化后CPU每核平均使用率提升至70%，考虑虚拟化资源占用及其它资源的复合增长，初期部署规模7台24核128GB内存四路服务器。

考虑当前网管中心有6台近年采购的浪潮NF8460M3服务器，可对其中4台进行内存升级至256GB，以满足新增业务的需求，并新增一台服务器。考虑初期并非所有业务一次性全部迁移至虚拟化平台，按照“测试→部分迁移→测试、验证→全部迁移”的策略进行迁移。

存储资源池规划

在网络中心SAN架构设计方面，采用Core-edge核心-边缘的架构方式。用2台导向器级别的SAN交换机组成的冗余模式架构，作为整个系统的核心，整合所有的业务主机、存储系统并添加备份阵列。整合后的系统结构简单，集中度更高，可减少管理的复杂度并提升业务的运行水平。在架构设计方面要求所有的部件都是冗余的，包括交换机、服务器FC HBA卡、存储阵列的前后端控制器、磁盘、磁带库驱动器、光纤链路等。

在本项目中使用中高端存储、交换、备份设备，要求每台设备自身的可用性达到99.99%，以达到整个SAN网络架构的高可用性。

当前数据中心无存储设备，正在运行的服务器数据空间为25.17TB，按40%的使用率计算，按年复合增长率10%计算，配置不少于24TB的存储空间，考虑业务的迁移需要一个过程，暂购置一台存储设备，将来再增加一台同等配置的存储组成同步镜像，部署主、从存储，通过数据镜像的方式实现主、从存储的数据同步以及存储故障时的设备切换，避免单台故障、保证数据的高度可靠性和稳定性。

虚拟化平台的选择

1.虚拟化的优势

（1）高效的云平台

对于虚拟化平台承接的众多普通应用，需要有大量低成本的服务器，来满足绿色、低碳的应用需求。传统机架式服务器，密度有限，在空间上造成很大浪费，不能满足云计算、虚拟化工作的深入需求。而高密度刀片，由于刀片缺乏统一标准，各大厂商的产品缺乏通用性，成本居高不下。因而，高密度、低成本的通用型Rack服务器产品是虚拟化平台的理想选择。

（2）支持异构的虚拟化

同构与异构并存；

对异构系统统一分类，统一标识，与同构系统加以区分；

同构系统资源池来满足高级功能-实时迁移，动态负载均衡，容灾；

异构系统资源池，可以实现基础功能-静态迁移，静态负载均衡；

（3）按需部署和调度

根据用途进行分类，虚拟化平台针对不同类型的硬件设备加以标识区分。

根据不同的应用类型，将资源划分到不同的业务资源池中，部署业务时根据相应类型的资源进行部署。

（4）权限分级管理

平台使用者可以根据其目的和角色进行详细的划分。

运营部门：管理整个平台。

管理层：关心平台资源的利用情况。

查询性能指标：事件出发提醒，以此作为购买硬件资源的依据。

业务管理部门：业务环境的搭建，业务部署，业务日常管理。

2.虚拟化平台的对比

云计算平台需要有资源池为其提供能力输出，这种能力包括计算能力、存储能力和网络能力，为了将这些能力调度到其所需要的地方，云计算平台还需要对能力进行调度管理，这些能力均是由虚拟化资源池提供的。云计算离不开底层的虚拟化技术支持。

当前虚拟化技术有超过60种，基于X86体系的超过50种，其中有4种虚拟化技术是当前最为成熟而且应用最为广泛的，分别是：VMWARE的ESX、微软的Hyper-V、开源的XEN和KVM。从虚拟化的实现方式来看，虚拟化架构主要有两种形式：宿主架构和裸金属架构。

目前虚拟化软件分为两类：以Vmware、微软、思杰等为代表的商用套装软件和以KVM、VirtualBox、OpenVZ等为代表的开源软件。

从架构上来看，各种虚拟化技术没有明显的性能差距，稳定性也越来越接近，各自有着自身的优势场景和市场群体。因此，我们在进行虚拟化技术选型时，没有局限于某一种虚拟化技术，而应该有一套综合管理平台实现对各种虚拟化技术的兼容并蓄，实现不同技术架构的统一管理及跨技术架构的资源调度，最终达到云计算可运营的目的。但考虑到企业业务非常关键，需要一个健壮、成熟的平台，在选型上以商业版虚拟化软件为主，并 通 过VMware、Hyper-V、Citrix三种平台功能、技术、市场等多方对比，最终选择使用广泛的VMware。

业务迁移

1.迁移规划

（1）迁移的目标是最小化整体迁移的时间和停机时间，对业务的影响降至最低。虚拟机迁移的性能指标包括以下三个方面：

①整体迁移时间：从源主机开始迁移到迁移结束的时间。

②停机时间：迁移过程中，源主机、目的主机同时不可用的时间。

③对应用程序的性能影响：迁移对于被迁移主机上运行服务性能的影响程度。

（2）项目实施过程

①物理设备到货上架，一般在5天之内；

②新系统主机、网络和存储整个系统的规划，一般在3天之内；

③虚拟化平台搭建，一般在3-5天之内；

④虚拟化平台配置，一般在1-3天之内；

⑤虚拟平台应用系统和数据库创建，一般在2-5天之内；

⑥应用物理平台数据库建设，一般在3天之内；

⑦其他应用迁移，一般在10-20天之内；

⑧管理系统创建，一般在3天之内。

考虑到实施过程中需要进行多方面的沟通交流，以及实施过程可能出现的技术难题等因素，预留3天时间机动时间，全部工期在1个月左右完成。

2.迁移前准备工作

迁移之前需要考虑的环境因素：

（1）对源物理机器进行一次数据全备份；

（2）校验源物理机器的Hostname、网络配置情况以及源物理机器的OS和Patch，确认硬件平台和模块；

（3）校验源物理机器的硬件的设备，包括NIC、CPU、存储卡以及其他的设备；

（4）获取管理员的密码；

（5）记录源物理机器的IP/GateWay/DNS/WINS等设置；

（6）确认与P2V的工具运行的机器网络连接是否正常，与目标虚拟服务器之间的网络连接是否正常；

（7）记录源端的分区的情况和盘符；

（8）检查是否有LIC和源端特定的硬件有关，比如MAC地址绑定；

（9）确认是否有跟硬件相关的特定的应用程序和服务；

（10）确认目标的VMFS是否有足够大的空间容量。

3.迁移后的测试、验证和优化

（1）移除不再使用的硬件和原硬件管理软件（比如DELL OpenManage，HP SIM等等）；

（2）安装VMware Tools工具；

（3）调整目标虚拟机的vCPU个数和资源预分配；

（4）迁移后验证测试：

①确认目标虚拟机的名称，SID值以及目标虚拟机的OS和SP级别；

②确认系统硬件是否有兼容性问题，测试硬件配置状态，SCSI控制器类型是否正常；

③检查Boot.ini、Event logs是否异常；

④确认目标虚拟机的硬件设备包括NIC、CPU、RAM和虚拟磁盘的大小；

⑤确认目标虚拟机的网络是否可通,测试网络访问，及网络速度；

⑥确认目标虚拟机的应用程序是否能正常运行，并检测应用程序日志是否异常；

⑦检测一段时间内，目标虚拟机的资源使用是否异常；

⑧确认目标虚拟机的是否可以成功完成VCB备份；

⑨如位于Cluster里的主机，测试Vmotion和HA。

（5）迁移后的优化：

在把应用和服务迁移到新平台上后，要密切关注业务运行情况，这是至关重要的。应当建立性能和使用方面的一些准则及阈值，并评估这些衡量标准对将来的调整及改进意味着什么。必要时，还要考虑调整硬件配置、网络设置或者增加带宽。一旦完成最后的启动、成功进入虚拟化操作系统，后续还有很多工作要做。由于物理环境与虚拟环境还是存在一定的差异性，运维人员需要不断监控、评估、调整及改进，来达到最终的迁移效果。

4.基于VMware Converter的P2V迁移

优先采用VMware专业的迁移工具Converter进行迁移，所有迁移过程将不破坏原有的应用。迁移后的虚拟系统先工作在独立的网段中测试一段时间，待工作稳定后再逐渐替换原硬件上OA应用的工作。这样做的好处是可以最低限度的降低系统迁移的风险。

使用VMware vCenter Converter，可以简化物理机到虚拟机以及虚拟机格式之间的转换过程。VMware vCenter Converter向导界面直观、操作方便。

备份系统

备份步骤如下：

在接入SAN的服务器上安装备份软件，则服务器成为通过SAN网络直接向备份设备直接写入数据的介质代理服务器。

（1）在需要做数据备份的服务器上安装备份软件客户端。

（2）由备份服务器发起备份作业，各服务器接受备份服务器的备份指令，从磁盘阵列中提取需要备份的数据，并直接通过SAN网络将数据写入备份设备中。

（3）备份作业结束后，返回一个成功备份的信息给备份服务器。

（4）发起数据恢复操作也是一样，备份服务器接受数据恢复指令后，将备份记录读取任务分配给相应的介质服务器，然后由介质服务器从备份设备中提取出来，恢复到指定的主机上。

（5）恢复作业结束后，也会返回一个成功恢复的信息给备份主服务器。

设备利旧

为高效利用资源，降低成本和管理难度。实际应用中，传统IT设备包括空调、交换机、路由器、服务器、存储、机柜、供电、网络等，都会碰到设备如何利旧的问题。

1.如何整合利用这些旧资源，需综合考虑以下原则：

（1）设备是否在服务期内，硬件厂商能否供应配件。

（2）确保硬件与虚拟化软件相兼容。（3）确保硬件具有足够的扩展能力。按目前虚拟化技术，虚拟机无法同时使用两台物理主机上的资源，服务器的硬件扩展能力将决定它承载虚拟机的能力，也决定整合比，影响最终的总体拥有成本（TCO）与投资回报率（ROI）。塔式PC服务器、1U的机架式服务器，通常扩展能力有限，不适合利旧。

（4）权衡利旧所减少的采购成本与低密度整合所增加的运维成本。

2.据此确定利旧方案：

（1）对使用期在3年以内的部分设备依据设备实际配置情况投入基础设施资源池虚拟化平台应用。

（2）对使用期在3年以内的部分设备，依据设备实际配置情况，不能作为虚拟化平台应用的设备作为管理、备份、测试、运维等节点。

（3）对使用期在5至7年仍正常运转的部分设备，以搭建实验测试环境为主，服务于测试平台。

（4）对使用期在8年以上的，考虑到原厂已不再供应零件，设备不再利用。