数据中心网络发展简析

郭英鹏，翟丽娜（广东省电信规划设计院有限公司，广东 广州 510630）

0 前言

数据中心作为企业计算服务的提供中心，是数据运算、交换、存储的中心。它结合了先进的网络技术和存储技术，承载了网络中大部分的服务请求和数据存储量，为客户业务体系的健康运转提供服务和运行平台。根据赛迪顾问预测，到2013年中国数据中心市场规模将超过977亿元，2009—2013年的复合增长率将会达到24.5%。

根据功能，数据中心可分为企业数据中心（EDC）、互联网数据中心（IDC）、灾备中心（DRC）等。无论是怎样的数据中心，网络设备、网络结构、链路协议一般都比较一致。

随着技术的进步，数据中心网络不断得到优化和调整，特别是近年云计算的出现，更加有必要去研究数据中心网络的发展方向。因此本文主要针对这方面进行阐述。

1 网络扩展的必要性

传统数据中心的网络常见的设计一般包括4部分，即核心层、汇聚层、接入层和运营管理层（见图1）。核心层一般采用双机冗余的路由设备，对外运行EBGP或静态路由协议，对内运行IGP协议（如OSPF）。核心层连接外部网络一般采用2条或以上的链路连接不同的运营商，以规避一个运营商链路失效时带来的网络中断。汇聚层一般采用双机冗余的三层交换机。接入层一般采用多台二/三层交换机。运营管理层一般采用2台或以上的二/三层交换机，连接服务器设备的对内网络接口和KVM接口。服务器与磁盘阵列之间采用SCSI、NAS、SAN等方式，较常见的使用FC协议通过SAN的方式连接。

图1 传统数据中心网络结构

数据中心未来的发展，主要有以下几个方面的变化。

首先，服务器整合的趋势使得数据中心数量的增长速度低于服务器保有量的增长速度。与过去几年相比，数据中心更倾向于采购高密度的服务器设备（例如刀片服务器），使得目前数据中心的平均服务器安装量几乎达到了5年前平均安装量的2倍。同时，很多大中型企业开始将分布在各地的小型数据中心整合成大型数据中心，也令数据中心的数量没有像服务器保有量一样快速增长。与此同时，云计算服务的推出也使许多中小企业用户关闭自己的小型数据中心或机房，转而向云计算服务提供商订购云计算服务。而这类云服务大多是安装在主机托管服务提供商所拥有的大型数据中心。因此，数据中心的规模将越来越大，并且向更高效和更具备移动性发展，必然要求网络带宽更大，网络设备具备更高端口密度和低延时。

其次，服务器虚拟化需要实现区域内资源的动态调配、迁移，它的实现需要网络的支持配合。数据中心将采用更多的虚拟化技术，将服务器和存储资源更好地调配使用。目前数据中心网络设备模式必然会逐步发生变化。

第三，数据中心网络模型也需要修改。传统的网络模型是为了解决网络内部计算机之间的互访以及对外信息传递而建立的，例如它遵循校园流量模型中的20/80规则［1］，80%的流量将穿越本地网络流向外部网络。云计算的出现使得信息的来源和终点与地理位置的关系越来越少，或者说需要互访的服务器、存储设备之间不再局限于同一个本地网络。不定向的突发流量成为下一代数据中心的典型特征，这样导致原有网络模型需发生修改。

最后，目前的数据中心普遍是使用以太网来实现联网，使用光纤通道（FC）来实现存储，部分数据中心已使用InfiniBand来实现系统集群。不同的网络需要不同的协议、接口、设备以及管理。对于用户来说，对3种网络提供支持会增加系统的复杂性和成本。因此，简化网络、统一协议成为了共识。

综上所述，下一代数据中心网络应该具备以下一些特点。

a）高端口密度、大带宽、低延时。

b）网络设备采用虚拟化技术。

c）网络模型扁平化，提高效率。

d）采用统一的技术手段，使用更多、更大规模的二层以太网区域。

2 链路协议的演进探讨

2.1 二层以太网技术

从统一协议出发，IEEE提出了融合增强型以太网（CEE）标准，这种经过改造的以太网，将发展成为拥有阻塞管理和流量控制功能的低延迟、不丢包的传输技术，从而拥有了以太网的低成本、可扩展和FC的可靠性。也因此，CEE被寄予了新的使命，即把数据中心的局域网、存储局域网和高性能计算互联融合为单一的以太网互联结构。

目前，CEE在 IEEE中的 DCB TG （Data Center Bridging Task Group）协调下顺利推进，多家设备厂商积极跟进。在这项数据中心的技术中，思科称之为数据中心以太网 （DCE），Brocade称之为数据中心桥接（DCB）。此外还有增强型以太网（EEDC），这些名称不同，但核心内容都是大同小异，至少说明以太网技术是未来数据中心技术的核心。CEE标准包括基于优先级的流控 （IEEE 802.1Qbb）、增强传输选择技术（IEEE 802.1Qaz）、拥塞通告（IEEE 802.1Qau）、链路发现协议LLDP（IEEE 802.1AB）的扩展数据中心桥能力交换协议等［2］。

基于CEE技术的支持，FC存储数据可以承载在以太网上（FCoE），新一代以太网技术完全可以融合数据中心的存储网络形成全业务的统一交换。

同时，随着CEE等增强型二层标准的出现，原有多种二层技术手段也得到了应用，如跨数据中心二层互联的VPLS、EoMPLS等技术；为克服生成树协议的单路径和收敛慢特点而出现了L2MP协议；为增强以太网的扩展性和业务的安全性而出现了MAC-in-MAC技术等。

另一方面，为解决STP/MSTP/RSTP等协议的生成树限制在以太网网段内、无法应用于存储设备等的问题，以及提高链路利用率，方便网络的二层透明环境部署，IETF正在对多链路透明互联（TRILL）技术制定标准。它是一个基于最短路径架构路由的多跳标准以太网络，数据平面运行TRILL协议，控制平面运行链路状态路由协议（如IS-IS），实现在路由网络下的大规模二层交换承载。TRILL网络的链路层可以是以太网，也可以是PPP链路，因此这种新的标准具有很大的适应性，可在数据中心内部高速网络实现，也可以用于连接基于PPP链路的广域网络［3］。

2.2 虚拟技术

和服务器一样，网络设备的虚拟技术也分成2种，第一种是将多台设备虚拟化成1台设备，例如路由器、交换机的集群技术。交换机的集群技术业界常用的有几种，一种是华为/华三公司采用的智能弹性架构（IRF）［4］技术，一种是思科公司采用的虚拟端口捆绑（VPC ）和虚拟交换系统（VSS）技术［5］，一种是 Juniper公司的集群交换控制协议（VCCP）。交换机集群技术是为了解决STP/MSTP/RSTP等链路协议造成链路利用率不高的问题出现的。目前的数据中心汇聚层和接入层交换机一般运行MSTP+VRRP协议，MSTP防环路的设计使得交换机的链路只有一半处于工作状态，一半处于阻塞状态。虽然良好的VLAN设计可以尽量使链路负载均衡，但前文所述的不定向突发流量将逐步增大，因此通过VLAN设计来避免还是有很大难度的。引入这种技术后，交换网络每一层的多台物理设备形成一个统一的交换架构，减少了逻辑上的设备数量。由于多台上级交换机虚拟化成1台，原有多条链路采用跨设备的链路捆绑方式成为1条逻辑链路，已经不需要运行生成树协议，因此没有链路阻塞的情况。

第二种是将1台设备虚拟成多台设备，例如虚拟防火墙、VSAN（Virtual SAN）、虚拟交换机等技术。例如思科公司在实现虚拟交换机技术采用VDC（Virtual Device Content）的方式［6］，可以实现每个模拟的虚拟交换机都拥有它自身的软件进程、专用硬件资源（接口）和独立的管理环境，可以实现独立的安全管理界限划分和故障隔离域。虚拟交换机技术有助于将分立网络整合为一个通用基础设施，保留物理上独立的网络的管理界限划分和故障隔离特性，并提供单一基础设施所拥有的多种运营成本优势。虚拟交换机技术在设备数量和容量不是很大的情况下，采用高性能的设备代替原来多台设备，并虚拟成原来多台设备，实现设备灵活配置。

3 网络结构的演进

3.1 内部网络

数据中心内部网络结构多采用星形结构，从数学上来说，就是二叉树结构。在高性能计算和并行计算的研究领域，为了解决二叉树网络出现的根部拥塞，提出了胖树。胖树就是通道宽度从根部到叶节点逐步变窄的二叉树。在具有同等数量开关的前提下，k元n树较之二叉胖树连接能够提供更多的连接端口和使用更少的层，可以减少数据传输时需要经过的设备数目［7］。当前常见的网络结构已经采用胖树形式，并随着专门用于数据中心的交换机的出现，核心-汇聚层的链路带宽已经大大提高。但目前的网络结构（见图2左侧）有以下一些缺点，例如网络层次较多、时延大，核心层或网络层网络设备容量会成为发展的瓶颈。同时随着数据中心规模越来越大，网络结构应如何发展？为解决这些问题，本文提出数据中心可采用扁平化胖树结构。

首先，由于数据中心交换机容量越来越大，性能越来越好，核心层的路由转发和防攻击的功能完全可被汇聚层的交换机实现。因此从减少时延的角度看可采用2层扁平化结构，将核心层和汇聚层合并（见图2中间）。但横向扩展设备的同时会造成出口设备数量多，导致管理复杂。因此为了简化管理和避免前文提到的STP/MSTP/RSTP等协议造成带宽利用率不高的问题，可在原有单纯的提高设备性能来增大端口容量的基础上，采用技术手段将网络设备集群化（见图2右侧）。这样将能解决以上提到的问题，或许会成为下一代大型数据中心的网络方案。这种方式有如下优点。

图2 从传统结构到扁平化胖树模型

a）减少时延。2层的网络结构更加简单，可减少设备转发时间，这对云计算来说非常重要。

b）更加安全。根据网络的可用性分析，网络模型可分为串联和并联模型。串联系统的可靠性不大于任一组件的可靠性。并联系统的可靠性大于任一设备的可靠性［8］。因此从网络的可用性考虑，图3所示的传统模型相当于在图3简化模型中串联了2个核心层设备，因此图3的简化模型可用性更高。而图3扁平化胖树模型采用了4台核心/汇聚层合一的设备，相当于2个图3简化模型并联，因此图3扁平化胖树模型可用度更高。

3.2 对外网络

数据中心对外连接可分为以下3种形式。

a）直连运营商的IP骨干网。提供公众互联网信息源的路由。

b）连接MPLS VPN网络。提供使用MPLS VPN的大客户、国内VIP用户访问数据中心内容源的路由。对高质量的ICP以及运营商内部应用，分流至MPLS VPN骨干网，实现质量的差异化。

c）数据中心间专线互联。存储网络专线直连，实现异地存储和异地灾备。链路上运行FC协议。重要数据的传递，适用于同一企业的数据在不同数据中心间的复制和交互。

随着时代的发展，这3种对外连接方式不会改变，但内涵已经改变。根据目前多个主流云计算厂商的实际产品测试，要实现异地数据中心数据在线迁移，需要满足以下几个条件。

a）两节点物理距离建议小于400 km，以保证虚拟机互访时间在5 ms以内。

b）两节点带宽在622 Mbit/s以上。

c）两节点虚拟机在同一个二层网络下，具备相同的IP子网和广播域。

为实现跨数据中心数据迁移，一般采用以下方式。

方式一：专线直连。

方式二：EoMPLS（点对点）或 VPLS（点对多点）。

方式三：厂家提出的私有协议。如某厂家提出的OTV，但需要增购该厂商的交换机，且协议还没标准化，不建议使用。

因此除直连运营商的IP骨干网的原因还保持不变外，数据中心连接MPLS VPN网络将使用EoMPLS或VPLS服务，以实现数据中心间的二层互联，而且不需要额外的专线直连租用费用。数据中心的专线直连将从承载FC协议转变为FCoE或iSCSI协议，也会承载云计算数据所用的二层协议。由于这2种数据流也可由另外2种连接方式承载，因此专线直连的方式可能会逐步消亡，从简化网络的角度来说，也不建议采用专线直连的方式。

图3 数据中心网络可用性比较

4 结束语

数据中心的网络结构随着应用的变化而不断发展，随着对业界有重大影响的云计算的出现，数据中心网络需求也随之发生较大转变。因此网络的带宽、协议、模型、结构都发生了不少变化。从内部网络来说，网络结构趋向扁平化，使用更多的、演进的二层以太网协议，使用更多的高密度的可虚拟化的设备和技术，存储设备逐步需要通过基于以太网协议进行远距离的高效互访。从数据中心如何更大规模发展的角度出发，可参照本文提出的扁平化胖树网络模型。从外部网络来说，逐步增加到MPLS VPN网络的连接和跨数据中心的二层专线直连。但经过一段时间的发展后，二层专线连接可能会逐步消亡。

［1］北大青鸟管理员.L3路由交换技术应用与发展的探究［EB/OL］.［2011-03-19］.http://www.zzbeidaqingniao.com/switch%20and%20ro ut/20091111/1225.html.

［2］IEEE 802.1 working group.Data Center Bridging Task Group［S/OL］.［2011-03-19］.http://www.ieee802.org/1/pages/dcbridges.html.

［3］TRILL Working Group.RBridges:Base Protocol Specification ［EB/OL］.［2011-03-19］.http://www.ietf.org/id/draft-ietf-trill-rbridgeprotocol-16.txt.

［4］H3C.互联网数据中心交换网络的设计 ［EB/OL］.［2011-03-19］.http://www.h3c.com.cn/download.do?id=867400.

［5］Cisco.Cisco Catalyst 6500 VSS and Cisco Nexus 7000 vPC Interoperability and Best Practices［EB/OL］.［2011-03-19］.http://www.cisco.com/en/US/prod/collateral/switches/ps5718/ps708/white_paper_c11_58 9890.html.

［6］贾平蛙.解析思科数据中心虚拟化技术和部署［EB/OL］.［2011-03-19］.http://storage.it168.com/a2009/1127/816/000000816006.shtml.

［7］王文义，陈荟惠.用胖树拓扑构建InfiniBand集群系统的分析与研究［J］.计算机工程与应用，2007，43（3）：119-121.

［8］郭英鹏.通信网络与机房的可用性计算及规划［J］.广东通信技术，2008，28（11）：53-58.