电信运营商的云计算资源池部署方法概述

燕 杰，樊勇兵，金华敏，唐 宏

（中国电信股份有限公司广东研究院 广州510630）

1 引言

云计算是近年来IT和互联网领域研究的热点，国内外的电信运营商也开始进行积极的探索、研究、试验和应用。按照业界的一般理解，云计算存在IaaS（infrastructure as a service，基础设施即服务）、PaaS（platform as a service，平台即服务）、SaaS（software as a service，软件即服务）3 种服务模式[1]。IaaS对内能够进行IT资源整合，提高资源利用率，对外能为用户提供按需付费的弹性基础设施服务，是电信运营商研究和应用云计算、实现集约运营的关键切入点之一。

在谈云计算的时候，首先要明确“一朵云”是什么样的。根据业界对IaaS的理解，在云计算的语境下，计算、存储等IT设施是以资源池的形式出现的，笔者认为，可以将一个资源池作为“一朵云”。“一朵云”中包括了大量的服务器、存储和网络设备及相应的管理系统。但是，从技术现状和管理水平两方面看，资源池的规模不可能是无限大的，资源池的数量也是需要规划的。对于全国性的大型企业，尤其是国内电信运营商而言，如何划分资源池、如何构建资源池、应用系统如何评估、是否适合迁移至资源池都是要考虑和解决的问题，而目前业界还没有公开的、成熟的规划部署方案。本文将结合云计算IaaS技术特点与发展现状，提出资源池的规划部署方案。

2 云的划分方式

为方便描述，选取一个典型的国内电信运营商管理架构模型，并以此模型为蓝本讨论电信运营商部署云计算资源时如何对云的类型和数量进行划分。本文选取的电信运营商管理架构考虑了国内电信运营商的企业发展历史、经营体制、业务类型及规模等因素，其模型具有如下3个特点。

（1）地域范围广

电信运营商业务覆盖地域广阔，至少包括20个区域（一般而言，一个区域是指一个省级行政单位），横跨地市众多，用户数量庞大。

（2）总部和分部两级管理

整体运营由总部统筹管理，在各区域设置地方分部机构，管理和运营区域内业务。

（3）按照专业类型进行网络资源与IT资源的建设和管理

可划分为基础网络、业务网络和IT系统。基础网络主要是接入各类用户、提供网络承载服务和基础资源出租服务；业务网络主要汇聚了3类平台，一类是电信运营商直接对外提供服务的业务类平台，一类是短信、彩信等电信能力类平台，另一类是实现业务受理流程、处理业务订购关系、资源监测管控等管理功能的管理类平台；IT系统主要是运营商内部的MBOSS，包括了计费、CRM、OA等内部系统。具体的管理架构模型如图1所示。

对于电信运营商而言，在考虑云计算技术，尤其是IaaS技术的引入和部署时，基础网络、业务网络和IT系统都可以作为重要切入点。具体来说，可以与基础网络中已有的基础资源出租服务相结合，开展虚拟服务器、存储空间出租等云计算服务；可以在业务网络和IT系统中分别引入计算虚拟化和存储虚拟化等技术进行基础设施的资源整合，提高资源利用率和业务上线速度。

从品牌宣传角度看，“一朵云”的范围应该涵盖电信运营商的云计算建设发展内容，让外界认同电信运营商云计算的完备性，因此，云的名称数量越少越好，更能让外界认同电信运营商云计算的整体性和统一性。从部署建设的角度看，“一朵云”是为某个管理单位（如省公司）的某个运营目的 （如解决重要的生产需求和管理问题）而服务的，在“一朵云”里，需要层次化、模块化地进行规划，云的资源可以分散在多个地域，但必须实现统一管理，对“统一管理”的定义不同会导致云的大小不同。

通过上述论述，部署云计算资源池时，主要根据以下两个因素进行划分。

（1）管理架构

在上述模型中，业务覆盖地域范围广是无法改变的客观因素，总部和分部的两级管理也是大型企业最有效的管理架构之一，而且还没有变动的驱动力。因此总部和各分部可能会独立部署资源池，各资源池是平级关系并具有松耦合性，可通过本资源池的管理平台进行独立管理；从全网资源统管的角度，可以在总部层面设立全网的管理监控平台，统一呈现、监控、调度资源。

（2）解决的问题域

在总部或各分部内，可以从对外提供弹性资源出租服务、对内进行业务平台资源整合、对内进行IT系统资源整合3个方面进行划分，可以划分为4种方式。第1种方式是分别解决3个专业类型的问题域，为资源出租服务、业务平台、IT系统分别部署1个资源池；第2种方式是按照资源池所承载的业务是对内服务还是对外服务进行划分，为资源出租服务、业务平台等直接对外提供业务的应用服务部署1个资源池，为不直接对外的IT系统部署1个资源池；第3种方式是按照业务所需的基础设施资源是运营商内部自用还是对外出租进行划分，为资源出租服务部署1个资源池，为各类业务平台、IT系统部署1个资源池；第4种方式是完全打破专业领域，为资源出租服务、业务平台、IT系统统一部署1个资源池。4种方式的对比见表1。

对于计算、存储资源需求量大的分部机构可以根据自身的运营管理情况，按照方式1、方式2或方式3进行部署建设，但需要保证管理平台遵循相同规范，资源池统一规划，以便于后续资源池的整合与统一管理。

对于计算、存储资源需求量小的分部机构直接按照方式4进行部署建设，统一管理本省所需的计算存储资源。

对于总部机构，建议根据各分部机构的划分方式，尽可能选择与大多数分部机构的划分方式相适应的部署方式。

与电信运营商在企业发展过程中的管理集中/分散、网络整合/拆分过程一样，云的发展可能也是螺旋式上升的过程，资源池可能将面临不可预料的融合与拆分，其大小与数量也将随之变化，但最终趋势还是走向融合。

图1 国内电信运营商管理架构模型

图2 资源池技术架构

3 资源池的构建

3.1 资源池的技术架构

按照上述思路和原则划分资源池后，各个资源池在体系架构上应该是趋同的，技术架构如图2所示。

资源池技术架构主要包含物理资源、虚拟资源、软件资产和云管理平台。

·物理资源主要包括服务器、存储设备和网络设备，其为IaaS服务提供了最底层的物理资源能力。

·虚拟化资源池是指通过服务器虚拟化、存储虚拟化、网络虚拟化等技术，将物理设备资源进行池化，抽象成可管理、可调度的逻辑资源。

·软件资产目前主要包括操作系统的存放介质和License，是实现虚拟机模板定制和管理的重要要素。

·云管理平台定位于实现对云计算资源的可管、可控和可运营，通过实现对物理设备（服务器、存储和网络）、逻辑资源（计算资源、存储资源和网络资源）的统一管理、监控和部署调度，实现异构虚拟化技术封装的虚拟资源的管理、多个地域资源的统一管理以及业务流程管理、用户服务管理等功能。

3.2 以“集群”为最小单位的资源池部署方式

本文建议电信运营商在建设云计算资源池时，按照“管理域”、“集群”两级进行规划、部署和管理，如图3所示。

所谓“集群”，是云计算最初建设的最小单元，一个集群的设备必须在同一机房甚至同一LAN内，其软硬件设备应尽可能避免异构。提出集群的概念，是考虑到虚拟机热迁移范围、单节点物理机纳管数量、共享存储访问效率都受限于现有虚拟化技术，需要定义和划分建设部署一个基本单元，以保证该单元的性能最优化和效率最大化。

所谓“管理域”，是从业务类型的维度进行划分，通过云计算管理平台的分权分域，将承载相同业务类型的集群纳入统一管理域。提出管理域的概念，是考虑到同类型的业务可能由同一个前端业务团队和同一个后端维护团队进行管理，按照业务类型或管理团队进行逻辑划分能更好地与现有体制衔接，实现平滑过渡。

该部署方式的主要优点有如下3个。

·软硬件同构，更容易体现云计算的技术特点，实现业务热迁移。集群内的软硬件都尽可能保证同构，避免异构带来的兼容性和互通性问题，能够最大程度地保证集群内的虚拟机实现自动、在线的热迁移。

图3 “管理域”和“集群”两级的资源池部署方式

·实现差异化承载。不同的集群可以使用不同的虚拟化解决方案，可以同时承载处于不同生命周期阶段的业务，实现不同成本、不同功能的业务差异化承载。例如，对于成长期的业务应用，可以采用高成本、功能丰富的虚拟化软件；对于衰退期业务，可以采用低成本的虚拟化软件。

·方便规划和建设。明确了集群作为规划和建设的最小单元，能够实现最小单元化和单元建制化，方便云计算环境的规划和后续扩展；能够为规划、建设和运维人员提供明确的物理对象，方便其定位和管理。从技术角度看，集群由计算子系统、存储子系统和网络子系统构成，具体架构如图4所示。

（1）计算子系统

配置8～16台x86服务器；建议每台服务器的硬件配置（包括CPU、内存、网络接口）在类型和数量上均一致；支持硬件辅助虚拟化技术，如Intel的VT技术和AMD的AMD-V技术；网络接口配置为4～8个；使用相同厂商和版本的虚拟化软件。

（2）存储子系统

在规模部署的前提下，建议使用SAN技术。如果使用FC SAN，则需要部署SAN交换机；如果使用IP SAN，建议使用专用的存储交换机形成独立的存储网络，避免和其他网络数据流量抢占带宽。

（3）网络子系统

接入交换机需要支持VLAN、QinQ、QoS等功能；建议通过物理端口+VLAN的方式，将物理服务器的上联通道划分为业务数据通道、虚拟机迁移数据通道、虚拟机管理通道。

4 已有业务系统迁移至云计算资源池的可行性评估

云计算资源池建设部署完成后，需要考虑将已有的业务从物理服务器环境迁移至云计算资源池中，由于已有业务的业务定位与发展情况、应用架构、物理资源占用情况都不尽相同，需要进行一个细致的可行性分析评估和判断已有业务是否适合迁移至云计算资源池中。如何对被迁移系统进行有效的系统评估，为迁移和整合提供有效的支撑数据，是迁移前的重要工作，也是迁移和整合过程中的一个难点。可行性评估可以从驱动力与配备条件是否具备、技术上是否能够迁移、技术上是否适合迁移3方面进行。

4.1 驱动力与配备条件

首先，需要从近期及长远的角度明确迁移的驱动因素是否存在及合理，如迁移后能够节约建设成本、提高业务部署效率和灵活性、对企业更高层面的战略目标执行有帮助。这些因素是决定迁移必要性的首要因素，只有在具有明确驱动力的情况下，才考虑后续的迁移工作。

其次，需要确认资源池建设完成后是否能正常运行，考虑是否具有相关的运维人员和维护保障手段。这些因素是考量是否进行迁移工作的客观条件。

4.2 迁移的技术可能性

首先，需要明确应用系统是否能运行在x86服务器上。如果应用系统不能运行在x86服务器上，则不能采用虚拟化技术，因此无法迁移至云计算资源池中。

图4 集群具体架构

其次，需要确认应用系统是否需要配置特殊硬件，如窄带卡、中继卡、3D卡、显卡、加密卡、磁带机、infiniband等。如果具有特殊硬件配置，则不能采用虚拟化技术。

再次，需要确认应用系统首选什么操作系统，版本编号是什么，还有哪些候选的操作系统。检查首选操作系统版本是否在主流的虚拟化软件的兼容列表内，如果不在兼容列表内，则检查后续操作系统版本是否在主流的虚拟化软件的兼容列表内，如果仍然不在兼容列表内，则不能采用虚拟化技术。

4.3 迁移的适宜程度

可以从3个方面评估业务迁移的适宜程度：业务的保障要求、已有硬件配置和资源利用情况、应用系统架构与业务逻辑。

4.3.1 业务保障的要求

评估业务应用的业务规模和活跃用户情况，评价业务目前处于生命周期的哪一个阶段，如发展期、成熟期、衰退期，根据对业务的评估结果判断使用什么类型的虚拟化软件。如果业务保障要求高，建议使用商用成熟度、可靠性高等高级功能完善的虚拟化软件，但购买成本相对较高；如果业务保障要求不高，可采用低成本、只具有基本可靠性功能的虚拟化软件。具体的判断方法见表2。

另外，部分虚拟化软件目前还不支持双机热备份，如果业务应用需要部署服务器的双机热备份，则需要选用能够支持此功能的虚拟化软件。

表2 根据业务保障要求判断虚拟化部署方案

4.3.2 已有硬件配置和资源利用情况

从传统的物理环境迁移至虚拟机环境，需要详细了解已有的硬件配置和在传统环境下的资源利用情况，便于更明确地考虑虚拟化环境下各个虚拟机的角色定义和配置。需要从以下几方面考虑。

·目前采用什么配置的物理服务器安装该应用系统，CPU、内存、硬盘、网卡、HBA卡的配置是什么。根据此问题答案，可以将现有的物理服务器配置直接转换为虚拟机的配置进行试运行，在试运行期间可以根据实际资源利用率再进行调整。

·应用系统是否需要高CPU运算，CPU平均利用率是多少。

·系统运行时占用大量内存，内存平均利用率是多少。

·应用系统是否有大量对存储的I/O读写操作，如经常进行大文件的拷贝。

·应用系统运行时是否需要处理大量的网络流量，平均网络流量是多少。

根据上述问题，梳理应用系统中的各个物理服务器对CPU、内存、存储I/O、网络I/O中哪类资源有较高的占用需求。最适宜迁移至虚拟化环境的，是对4类服务器资源占用率都较低的物理服务器。对于在物理环境下已经采用高配置的服务器，如果系统运行时CPU、内存、存储I/O、网络I/O中有一类资源的利用率长期超过70%，为保证系统运行效率，不建议迁移至虚拟化环境。对于其他情况，需要结合物理服务器对资源密集占用的类型总体考虑虚拟机的部署，如为避免多个同样是内存密集型的物理服务器在虚拟化后放置在统一物理服务器上，应尽可能将资源占用密集的物理服务器通过虚拟化后部署在同一台物理服务器上，实现服务器CPU、内存、存储I/O、网络I/O资源的充分复用。

在进行硬件配置和资源利用率信息收集时，建议使用专门的工具（如hp的CAT、VMware的CP）收集相关信息，保证信息的精确性。同时，信息收集周期至少为2周，尽可能收集到应用系统在业务峰值和谷值时的资源利用率信息。

4.3.3 应用系统架构与业务逻辑

在评估业务应用迁移至虚拟化环境的适宜程度时，需要考虑应用系统的架构和业务逻辑。

需要明确应用的系统架构，了解系统由哪些模块构成、各模块之间如何工作。

需要明确在传统方式下，系统的物理部署拓扑图如何，物理设备与逻辑模块的对应关系如何，各服务器所承担的角色分类是什么，每种角色服务器的功能是什么。

根据上述两问题的答案，明确从物理环境转变为虚拟化环境后，虚拟机需要承担哪些系统角色，建议谨慎评估以下系统角色的虚拟化：运行音视频流媒体引用程序的系统、大型数据库系统（如 Oracle、DB2数据库软件）以及运行CAD、CAM、PRoE等工程设计应用程序的系统。

需要明确系统模块之间的业务逻辑如何，与之对应的物理设备之间的网络互访流量情况如何。参照此问题的答案，进一步明确物理服务器在转变为虚拟机后是集中部署在一台服务器中还是分散在多台服务器上。从提高系统运行效率的角度看，可以将业务逻辑关系密切、网络互访流量较大的设备角色放置在同一台物理服务器上；从设备角色的业务逻辑关系看，可以判断设备间的依赖关系和系统间的逻辑关系，为确定迁移依赖关系、迁移顺序和迁移后位置提供有力的参考。

5 结束语

结合电信运营商跨地域、跨专业领域、总部/分部两级的特点，从技术实现、运营管理、投资成本3方面进行考虑，为电信运营商部署云（资源池）的数量提供决策参考。从技术体系角度提出了资源池的技术架构，并从网络部署角度明确了资源池在现网中的部署方式。在制定资源池构建方法的同时，明确了对现有业务的云化评估思路，从驱动力与配备条件是否具备、技术上是否能够迁移、技术上是否适合迁移3方面提出了评估原则和方法。

云计算的部署技术和方案还处于发展阶段，尤其在电信运营商领域还没有成熟的部署和管理方案，相关的部署思路、技术架构、构建方案和演进路线还需要进一步的研究和验证。

1 IBM虚拟化与云计算小组.虚拟化与云计算.北京:电子工业出版社,2009

2 Open Cloud Manifesto.http://www.opencloudmanifesto.org,2009