云计算数据中心网络设计与关键技术分析

郎海

（深圳中兴网信科技有限公司，广东深圳，518000）

云计算数据中心网络设计与关键技术分析

郎海

（深圳中兴网信科技有限公司，广东深圳，518000）

在设计以“云”为基础的数据中心时，需要设计计算资源池和存储资源池，实现按需分配以及资源动态调度等目标。本文研究了服务器虚拟化构建，探讨了多用户并行处理模式，提出了从交换机到用户并行计算的整体云计算数据中心网络架构。实践结果证明：设计方案达到了预期目标，实现了智能交通、应急指挥、数字化城市管理等诸多功能。

服务器虚拟化；资源动态调度；多用户并行处理；网络结构设计

引言

目前大多数地市都在积极建设智慧城市，承载这些智慧应用的基础设施就是基于云计算的数据中心［1］。依托当今最先进的信息和通讯技术，该数据中心的具体目标是：云计算不仅要承载共享交换平台业务，还要承载智能交通、应急指挥、数字化城市管理等诸多业务，且要具备扩充能力，未来新增业务系统也将部署于数据中心。

本文以某项目数据中心建设为例，阐述了项目设计的整体思考，以及关键技术解决方案。

1 云计算理论基础

在该项目中，数据中心采用云计算技术，其可以提供的功能包括：（1） 将IT基础资源池化，提供统一共享的计算资源池和存储资源池；（2） 实现按需分配以及资源的动态调度；（3） 当未来新增业务时，不需要购买服务器资源，直接通过管理软件从资源池进行分配，并且在软件生命周期结束后，可以将资源释放回资源池；（4） 在业务高峰期，也可以动态分配计算资源，以满足突发访问对计算能力的要求。面对目标需求，采取了云计算的基础结构。

1.1服务器虚拟化

传统模式下，物理服务器通常只部署一个业务，服务器的利用率很低；部署多业务时，则需要配置多台服务器，最终数据中心规模越来越庞大，而且增加了维护工作量。虚拟化技术可以将一台物理服务器虚拟成若干个独立的服务器，充分发挥了服务器的计算能力，大大减少了数据中心服务器的数量［2，3］。

此外，服务器的灵活迁移变得可行。传统模式下，迁移前需要做大量准备工作，包括详细规划、割接计划、备份方案等；迁移过程中，设备要断电、搬迁、重新加电等，业务难免出现中断，而且搬迁的风险很大，容易导致业务无法加载、数据丢失。虚拟化技术可以让迁移工作平滑进行，例如采用渐进式内存复制的方法，可保证在业务不中断的前提下进行，保证了计算资源的弹性分配、容灾备份的顺利进行。

1.2多租户支持

由于改变了传统的购买物理设备的模式，用户只需要租用计算和存储等资源即可。相当于每个租户拥有了自己独立的服务器（如图1所示），且大大降低了租户运行和维护自有数据中心的难度和工作量。其技术上要求实现端到端逻辑隔离，包括计算、存储、网络、信息安全等，从IT架构上，让各个用户拥有独立的虚拟机，以确保不同用户之间的应用系统不会受到相关干扰，并实现数据隔离和保密的要求。

图1　服务器虚拟化

2 数据中心设计目标

以云计算为基础，大规模采用计算及存储虚拟化技术，需要按照业务动态按需分配资源［4］，而传统的数据中心网络设计采用静态的方式，难以实现动态的需求。

2.1数据中心关键技术

基于云计算的架构，已经变革了传统数据中心流量模型。传统数据中心的流量主要是由外部网络访问数据中心服务器产生的，而云计算技术使得数据中心内部计算和存储节点之间的访问变得频繁，业务量和内部流量大增。因此，流量模型从传统的纵向（或南北向）变为以横向（或东西向）为主，如图2所示。传统的数据中心设计采用树形架构，上下行带宽按一定的收敛比设计，在横向流量增多的情况下，会造成网络拥塞，满足不了新的流量模型需求。

图2　两种架构不同的数据处理方向

2.2多用户与虚拟机技术处理

在流量传输速度要求方面，多租户设计也给网络设计带来一定的难度，既要能够提供每个租户业务的快速配置和部署，也要做到租户之间的安全隔离（包括流量隔离），而传统的网络主要是基于VLAN来隔离，且VLAN的数量受到4096个的限制，因此扩展性难以满足。

在硬件交换机方面，由于虚拟化技术采用虚拟交换机，而虚拟交换机是相对封闭的，网络管理软件无法进行管理，导致虚拟服务器之间的流量管理、端口策略等无法实现。且虚拟机在不同物理服务器之间迁移时，网络配置参数无法在物理交换机不同的端口之间转移和配置。

虚拟机在迁移后，一般要求IP地址不发生变化，因此在二层网络中迁移要大大优于三层网络。在传统网络中，为了避免二层网络形成环路而产生网络风暴，采用了STP协议（生成树协议［5］），但STP协议本身有很多缺陷，包括为了避免环路，阻塞了冗余链路，导致链路的利用率不高；等价多路径转发不能实现；其最主要的缺点在于收敛速度，但网络拓扑变化时，新的配置需要一段时间的延时（Forward Delay）才能传播到网络，这个时延默认为15秒，有可能导致临时环路，生成树协议是采用定时器策略来解决这个问题，即在端口从阻塞状态到转发状态中，加一个只学习MAC地址但不参与转发的中间状态，其时延也是Forward Delay，因此收敛时间相当于2倍的Forward Delay。

3 整体设计分析

3.1扁平化网络设计

针对流量模型改变的问题，采取扁平化网络设计（如图3所示），即将原来的核心层、汇聚层及接入层调整为两层架构，将汇聚层和接入层合并。改变原有的上下行带宽收敛比设计，将接入层的上行带宽扩大，也意味着越到根节点，链路带宽越大。提高接入交换机的配置，采用大容量的交换机，提供尽可能多的网络端口，充分利用交换机本身背板带宽。其具体网络拓扑结构为：每台接入交换机均通过上行链路连接到核心层的核心交换机，有几个核心交换机就有几条上行链路，尽可能做到流量均衡，这种结构就是胖树组网。

3.2边缘虚拟桥技术

图3　网络扁平化设计

为了解决虚拟化环境的虚拟机VM（Virtual Machine）与网络之间的连接与管理边界问题，诞生了EVB（Edge Virtual Bridging）技术，即边缘虚拟桥技术，EVB主要由801.1Qbg标准定义，其数据层面实现包含三种模式：即VEB（Virtual Ethernet Bridging）模式、VEPA（Virtual Ethernet Port Aggregator）模式和Multi-Channel模式；802.1Qbh为PE（Port Extender）模式。为了实现上述功能，同时相应定义一个虚拟感知和发现协议，即VDP协议（虚拟机发现协议）。当一个虚拟机上线时，它需要通过VDP协议来和相连接的物理交换机进行通告和配置信息交换。这样相连接的物理交换机就能够感知到虚拟机的上线，并可下发和配置网络策略或参数。因此在设计和设备选型中，需要选取支持EVB功能和VDP协议的网络交换机，这样实现了虚拟迁移自动感知，以及配置自动跟随。

为了让云数据中心能够服务于越来越多的租户，以及突破传统VLAN的4096个的数量限制，提出了租户Overlay网络的概念，其核心思想是映射加封装，在IP层之上提供一层Overlay网络，用特殊的Overlay报头来区别不同的租户，其封装格式有多种，包括VXLAN、NVGRE等。具体实现如下：假如同一个租户有两个不同的虚拟机（分别为VM1和VM2）分别连接在不同的物理交换机（分别为S1和S2）上，当VM1向VM2发送报文时，S1会将报文的目的地址以及VM2的地址，映射为S2的地址。也就是说，S1将原始报文封装，通过隧道传递到S2后，S2将去除封装取出原始报文送给VM2。对于映射和隧道管理方法，分为两类，一类为自发学习，另一类为通过控制信令。其中自发学习适用于小型数据中心。而通过控制信令的方法，采取VM上线时，即要注册它的地址和隧道的映射关系，下线时会删除；在迁移时，则会及时更新注册，适用于大型数据中心。在本项目设计中，考虑到政府使用的数据中心规模不同于运营商的数据中心，因此我们采取自发学习的方式。综上所述，租户Overlay的方法使网络本身对于租户内部的地址管理透明，策略可以根据租户来下发。租户的流量隔离将会在边缘节点基于租户ID来实现，突破了传统的使用二层以太网VLAN来隔离的租户数量限制。

3.3多路径冗余备份技术

为了解决STP协议带来的不利影响，首先要解决的是采用基于多条等价路径的转发，以均衡流量、避免拥塞。于是支持大规模二层网络的协议必然会取代STP协议，常见的有TRILL （Transparent Interconnection of Lots of Links，多链路透明互联）和SPB（Shortest Path Bridging，最短路径桥接）。两者都是在二层的数据转发协议中融入了三层的路由思想，吸取了二、三层的优点，并规避其缺点。这两个协议分别由IETF TRILL工作组和IEEE 802.1制订。在本项目设计中，我们采用了TRILL协议，其特点除了高效转发、避免环路、收敛快速、支持多租户外，还具有部署方便的优势，其协议配置简单，部署自动化程度较高，很多配置参数可以自动生成，并且大部分参数按缺省配置即可。因此，较适合本项目中缺少足够专业人才而带来的后期维护难度这一方面。

4 结束语

本项目中，在传统数据中心网络架构难以满足大流量、多租户应用的情况下，采取了新型的网络设计方案，以大二层组网技术及胖树组结构；综合运用标准化协议，支持EVB功能、802.1Qbp接口虚拟化协议、VDP协议、VXLAN协议；组网中，实施了TRILL二层多路径技术的网络交换机设备，更好满足了云计算业务需求。

本文可为政府及各部门构建网络数据中心提供有效参考。

［1］钱景辉. 数据中心在云计算需求下的技术分析［J］. 现代计算机:专业版， 2012（21）: 32-36.

［2］崔然， 张弘， 林泽东， 等. 虚拟化技术构建新型数据中心［J］. 中国教育网络， 2012（7）: 43-45.

［3］陈玉霞， 程友清， 刘琼， 等. EVB技术中ECP协议的实现及改进［J］. 电子设计工程， 2016， 24（11）: 81-83.

［4］宋子航. 云计算数据中心间网络通讯技术的研究与应用［D］.广西: 桂林理工大学， 2014.

［5］陈宇. 生成树协议改进方法分析［J］. 微计算机信息， 2011， 27（1）: 235-236.

郎海（1974-），1996年毕业于华东理工大学，毕业后从事于计算机网络通信、信息技术领域，现供职于中兴通讯旗下中兴网信公司，专注于智慧城市研究，参与过国内多个智慧城市的规划设计和工程实践。

E-mail: langhai@126.com

Analysis on Cloud Computing Data Center Network Design and Key Techniques

Hai Lang（Shenzhen ZTEICT Technology Co.， Ltd.， Shenzhen， Guangdong， 518000， China）

Designing on the basis of the "cloud" of data center， computing resources and storage resources pool must be needed， achieving on-demand and dynamic resource scheduling are market. This paper studies the server virtualization building， discusses the multi-user parallel processing mode， and puts forward from the switch to the users of the parallel computing cloud computing data center network architecture as a whole. Practice results show that the design achieves the expected goal， and implements the intelligent traffic， emergency command， digital city management， and many other functions.

Server Virtualization； Resource Dynamic Scheduling； Network Architecture Design

TN01

A

2095-8412 （2016） 04-679-04

工业技术创新 URL： http://www.china-iti.com 10.14103/j.issn.2095-8412.2016.04.026