云计算数据中心间的跨域无缝融合

（中国移动通信集团广东有限公司，广州 510623）

云计算数据中心间的跨域无缝融合

潘毅，梁勇

（中国移动通信集团广东有限公司，广州 510623）

随着业务的发展，电信运营商逐渐转型为云计算的提供者。为构建大规模的云计算平台，多个数据中心需要跨域无缝融合。本文以中国移动通信集团广东有限公司公众云南基节点和中能节点双中心的成功案例介绍其OTV（Over Transport Virtualization）实现的原理和实施细节。

云计算；跨域无缝融合；公众服务云；OTV

从2011年起，中国移动通信集团广东有限公司（以下简称中国移动广东公司）就规划确定了云计算发展的总体目标。该总体目标要求对内实现资源的合理调配，对外为全社会提供基于云计算的IT服务，构建IT支撑云、业务平台云、公共服务云三大云计算平台。

公众服务云（以下简称公众云）为了达到计算、存储、网络等资源的有效共享和灾难备份的目标，需要将物理上处于不同地点的多个数据中心跨域无缝融合成一个逻辑上的数据中心，以便承载业务的虚拟机能够在多个数据中心的机房内自由漂移，向用户提供一致的服务。

中国移动广东公司公众云南基节点和中能节点双中心项目是上述目标的重要组成部分。为保证业务虚拟机能跨机房自由漂移，两个数据中心的机房必须在二层VLAN跨机房打通。也就是说，当业务虚机从南基节点的宿主机上通过VCENTER调度移动到中能节点的宿主机时，二层VLAN保持不变，虚拟机的IP地址也不改变。从而保证了虚拟机在线迁移的过程中，用户的业务不受影响。

在本次项目中，利用互连南基节点和中能节点的思科Nexus 7000（也写作Nexus 7k）核心交换机的基于传输的虚拟化（OTV，Over Transport Virtualization）技术实现了数据中心的跨域无缝融合。基于此次项目的成功经验，本文系统地介绍了OTV技术及其用于云计算数据中心跨域无缝融合的实施细节。

1 跨域二层互连技术

1.1 云计算数据中心跨域二层互连的必要性

传统设计中，多个不同数据中心的机房之间是用IP实现三层互连的，并通过与存储SAN网络互连，实现信息备份和灾难备份等功能，但通常都不具备二层互连的能力。

然而，云计算数据中心和传统主要用于信息存储的数据中心有很大的不同，传统的三层互连难以实现业务虚拟机在多个机房之间自由漂移并向外提供一致服务的功能。鉴于云计算数据中心在计算资源共享、集群计算、应用部署和灾备恢复等方面的新需求，实现二层互连很有必要，具体说明如下。

首先，构建云计算平台的一个重要目的就是提高资源的共享，将多个数据中心融合起来有利于整合资源，更好地满足用户的需求。随着新业务的到来，越来越多的业务虚拟机会启动，这会加重宿主机的负载，降低虚拟机的性能。一种有效的方法就是虚拟机迁移（比如VMotion技术）：从系统整体最优的策略出发，将承载某业务的虚拟机迁移到不同数据中心的机房中。为保证虚拟机承载的业务不中断，向外提供一致的服务，迁移中IP和VLAN不能改变。因此传统的三层互连无法满足要求，需要二层VLAN跨域打通。

其次，数据库和系统灾备等应用需要跨机房的服务器集群来分担负载。服务器集群的建立与集群节点邻居之间状态保持都需要通过集群心跳包通信来实现，但这种纯二层分组没有IP字段，只能在二层转发。所以基于三层IP的互连方式不适用，也需要二层VLAN打通。

此外，二层转发相对三层转发简单，不需要设置网关和实现路由协议。在云计算的环境中使用二层转发，可简化软件部署的环境。

最后，二层VLAN打通之后业务虚机能够在不同数据中心之间自由漂移。当一个数据中心的物理设备故障或者网络出口出现问题，可以快速地迁移到另外的数据中心，实现灾备或者快速的业务恢复。

1.2 数据中心传统二层互连技术的现状

鉴于数据中心之间二层互连的必要性，学术界和产业界积极探讨解决方案。现有的主要是3种方式：通过裸光纤或传输实现交换机级联，基于EoMPLS 二层VPN的点到点二层互连，基于VPLS 二层VPN的多点到多点的二层互连。但这3种方式的缺陷也很明显：裸光纤方式对传输资源的要求非常高，而EoMPLS和VPLS需要网络支持MPLS的二层封装，对设备要求高且配置复杂。

除了这些方法各自的缺陷外，传统的数据中心二层互连方式还存在可靠性、运维复杂性和稳定性方面的问题，使它们不适合用于云计算数据中心之间的二层互连，具体来说：

首先，传统的二层自学习交换方式中MAC地址的学习依赖于对广播分组或未知目的MAC分组的洪泛。洪泛不仅造成了带宽的占用，同时存在安全隐患。一些基于洪泛攻击的蠕虫可能会让所有的站点都受到洪泛流量的冲击。

其次，在传统的二层互连中，如果有N个站点，站点之间的伪线（Pseudo Wire）数目就是N×(N-1)/2。站点数目和伪线数之间N2的关系，造成了扩展性的问题，随着站点的增加，伪线数目将会多得难以维护和管理。而且对于多播或广播流量，头端需复制N×(N-1) /2份，带宽的利用率低。

最后，数据中心的核心交换机使用双机冗余模式，当多个数据中心跨域打通之后，需使用跨域的生成树协议（STP）以避免数据环路。但跨域STP存在如果某个数据中心的生成树发生故障，其它数据中心也会受影响的问题。

2 OTV技术

2.1 OTV技术介绍

OTV是一种专门处理多数据中心跨域二层互连的技术，该技术用在了思科的新一代数据中心核心交换机Nexus 7000中，能够满足云计算数据中心跨域二层打通的需求。

OTV在数据平面将以Mac in IP封装原始以太帧，封装后的报文结构如图1所示。

在控制平面，OTV建立邻接拓扑可以选用单播或者多播的方式。在支持多播的IP核心网中可使用OTV的多播方式建立邻接拓扑。而若用单播方式，则需一台AS（Adjacency Server）用于保存所有的邻接设备信息列表oAL（overlay Adjacency List），亦可增加备份AS来提高可靠性。然后在所有OTV节点中配置该AS的地址，当它们启动时从AS获得邻接信息建立连接。用单播方式建立邻接拓扑的情况如图2所示。针对云计算数据中心跨域互连的特点和要求，OTV有许多针对性的处理机制。例如STP隔离，STP的BPDU报文会被OTV ED（边缘设备）阻塞，从而避免了跨域STP的问题；ED也会阻塞未知的单播报文，防止其跨域扩散，通过配置静态（MAC：远端OTV接口）表项，可应对静默主机的情况；在OTV设备上缓存ARP信息，当收到相同目标IP的ARP请求时，直接应答，降低ARP请求的跨域广播。

图1 OTV以Mac in IP封装原始以太帧的报文格式

图2 OTV单播方式建立邻接拓扑的情况

另外，由于ED隔离了未知单播，部分站点的MAC地址学习不全，此时就需要OTV的协议来同步各个站点之间MAC学习信息（MAC自学习规则和传统以太网一样），由有更新的OTV给其它OTV各发一份更新的表项，该流程如图3所示。

为了提高系统可靠性，可使用ED双机冗余的结构。某站点内的多个ED可同时接入核心网，但是只有由协议选举产生AED（Authoritative Edge Device）才能转发和接收广播/多播报文，避免了环路风暴，也不需要跨域的生产树协议。此外，OTV还能隔离HSRP HELLO报文，使各个HSRP独立地运行，达到上下行流量路径最优的目的。

2.2 OTV的优势

为确定何种技术适合用于中国移动广东公司融合南基节点和中能节点实现公众云，2011年5月对传统互连技术（裸纤/EoMPLS/VPLS）和OTV技术就业务集群，虚拟机漂移，生成树隔离，广播风暴等需求进行了专门的跨域测试，考察其互连效果。

图3 OTV的MAC地址学习控制

表1 传2层互连技术与OTV技术测试结果对比

本次测试中选取了8个考量点，考察能否纯二层互通，是否改造IP传送网，能否生成树隔离、未知单播隔离、ARP隔离，以及是否需要人工干预等方面。经过严格测试，这些考量点的对比结果如表1所示。

从表1的对比中可看出，虽然EoMPLS/VPLS/裸光纤等传统互连技术和OTV都可以实现数据中心的二层跨域互连，但是传统技术的缺陷很明显：不仅需要改造IP传送网络支持MPLS才能实现互连，而且不支持数据中心间的生成树隔离、ARP隔离以及未知单播隔离，不可避免地出现可靠性和稳定性的问题，并导致这些功能需要大量的人工干预才能实现，运维和管理的复杂性高、难度大、成本高。而OTV技术的优势明显，能支持传统技术不支持的功能，网络更安全、可靠、稳定，且所需人工干预少，运维管理开销低。

综合来看，OTV技术是实现本次项目的理想解决方案。

3 南基节点和中能节点跨域融合的OTV实现方案

3.1 网络拓扑

在本次OTV技术实现中国移动广东公司南基节点和中能节点双中心的项目中，在南基机房和中能机房各部署了一对Nexus 7000核心交换机，这对交换机向上分别连到防火墙，再经过防火墙连到移动公网CMNet。向下连到汇聚层交换机上，并通过汇聚层交换机连到服务器，这对交换机还作为服务器的三层网关。为了实现关键的二层VLAN打通，两个节点的Nexus 7000核心交换机之间用两条10GE链路连起来，并利用OTV的MAC in IP的封装和OTV隧道技术。通过该OTV隧道，南基节点和中能节点这两个数据中心就构成了一个公众云平台。两个节点中的设备都属于逻辑上的一个数据中心，于是就能用一个VCENTER来集中管理，同时业务虚机可根据客户需求、宿主机性能等实际情况在两个节点的机房之间自由迁移，并向客户提供一致的服务。

在实际云平台的建设中，所有的服务器上还部署了跨站点的Nexus 1000v虚拟交换机和虚拟安全网关（VSG，Virtual Security Gateway），保证云平台内不同租户之间可靠的安全隔离。

南基节点和中能节点跨域融合OTV实现的网络拓扑，如图4所示。

3.2 OTV实施拓扑

根据之前描述的网络拓扑以及OTV实施最佳实践指导，就得到中国移动广东公司南基、中能公众云双中心OTV实施拓扑，如图5所示。

基于该实施拓扑，在实际建设中分别将南基节点和中能节点机房中的每台Nexus 7k交换机使用VDC虚拟化技术虚拟成两台交换机：一台作为三层核心交换机（图5中N7K-ZN/NJ-CORE-1（或2）），另一台作为OTV交换机（图5中N7K-ZN/NJ-OTV-1（或2））。

从图5中可以看出，南基节点和中能节点之间的核心交换机是三层互连，而OTV交换机和核心交换机既有三层又有二层连接。三层连接的设备之间使用OSPF建立邻接关系，而两站点之间的OTV交换机使用OTV技术建立邻接关系。在此基础上实现两个机房之间的二层打通是很容易的，只需要由OTV交换机通过OTV隧道就能将分组透传到对端。另外，各个站点中的OTV交换机还充当该站点的AED，于是就有两个AED来均衡OTV流量，提高可靠性。最后，为保证高可靠性，去掉生成树环路，OTV交换机到核心交换机以及服务器到核心交换机都是采用VPC跨机箱链路捆绑技术。

图4 南基节点和中能节点跨域融合OTV实现的网络拓扑

3.3 南基、中能双中心OTV实施效果

图5 南基节点和中能节点跨域融合的OTV实施拓扑

上述的设计方案已经实际部署到了南基节点和中能节点，使得这两个数据中心形成了逻辑上的一个数据中心。当前已经把中国移动广东公司公众云的VLAN201和VLAN202等几个生产VLAN跨域透传到了对端。这些业务的虚拟机可以在两个机房之间自由迁移，而向外提供一致的服务。

OTV本身具有的STP隔离、未知单播隔离、AED双机冗余等技术，保证了两站点的生成树各自分开，且故障也被限制在了各自的站点内，系统的可靠性和安全性高。云计算数据中心跨域的OTV实现有效利用了多个站点的资源，同时不扩大故障域，额外的运维管理成本低，实施效果好。

4 结束语

对用户来说，云计算不仅降低了对基础设施的投入，而且降低了网络管理的复杂性，越来越多的客户将会在云平台上构建自己的服务。而随着电信用户的需求从话音业务转移到以流量为主的综合信息服务，电信运营商也逐渐从云计算的客户转变为云计算的提供者。构建云平台需要二层VLAN打通多个数据中心。然而传统的数据中心二层互连技术因为可靠性、稳定性和运维复杂性的不足，无法满足要求。本文以思科Nexus 7000核心交换机中OTV技术实现中国移动广东公司公众云南基节点和中能节点的跨域无缝融合的成功案例为主，介绍了OTV技术及其优势，以及项目实施的细节。融合后的云平台能集中调度两个站点的资源，提高利用率；当宿主机业务负载过重时，业务虚机能够在两个站点中自由漂移，同时向外提供一致的服务。OTV具有的STP隔离、未知单播隔离、AED双机冗余的特点，保证各自站点的生成树不会穿透到对端，同时故障域不会增大，额外的运维开销低。

此次项目是中国移动广东公司公众云建设的重要一步，将加速推动相关云平台的优化建设，同时为业界其它的云平台多数据中心融合的建设提供了很好的借鉴意义。

[1] 刘鹏．云计算[M]．北京：电子工业出版社，2010．

[2] 王鹏，黄华峰，曹珂．中国未来IT战略[M]．北京：人民邮电出版社，2010．

News

最新Emulex适配器获得EMC E-Lab认证

Emulex公司日前宣布，其最新一代的OneConnect OCe14000-E万兆以太网融合网络适配器（10GbE CNA）现已通过EMC E-Lab的测试和认证，并获批与EMC VNX和VMAX存储阵列等业界领先的EMC企业存储解决方案搭配使用。Emulex OCe14000-E 10GbE CNA设计用于采用存储协议卸载（以太网上光纤通道FCoE，iSCSI）的网络连接、存储、大数据、混合云、数据备份和恢复。这款产品使用Emulex Virtual Network Exceleration（VNeX）重叠网络卸载技术，可为用户交付更具扩展性的虚拟化和云优化。

Emulex营销及企业发展高级副总裁Shaun Walsh表示：“获得EMC E-Lab认证的全新Emulex OCe14000-E 10GbE CNA可横跨多种EMC企业存储系统，包括VMAX和VNX阵列，提供灵活的工作负载连接，从而满足EMC客户的存储和网络连接需求。我们的下一代适配器一直是为满足软件定义网络（SDN）的需求而量身定制的，它提供重叠网络支持，可提高CPU效率，并可在实现较高可扩展性的同时释放计算资源。”

Seamless integration of cross-domain data centers in cloud computing

PAN Yi,LIANG Yong
(China Moblie Group Guangdong Co., Ltd., Guangzhou 510623, China)

With the development of business, telecom operators gradually transit to be cloud computing providers. To build a large-scale cloud computing platform, several data centers in different domains should be integrated seamlessly. Based on the successful dual-center integration case of Nanji cite and Zhongneng cite of Guangdong Mobile public cloud, the implementation details and the key technique OTV are presented.

cloud computing; cross-domain seamless integration; public cloud; OTV

TN915

A

1008-5599（2014）08-0006-06

2014-07-20

潘毅：高级工程师，中国移动通信集团广东有限公司规划技术部支撑网络规划室经理。梁勇：中国移动通信集团广东有限公司规划技术部支撑网络规划室项目主管。