棱锥复合体结构：一种新型的数据中心网络结构

滕建，陈虹州，周诗莹，周逸清，王如斌，杨慧

（西南交通大学信息科学与技术学院，成都 611756）

棱锥复合体结构：一种新型的数据中心网络结构

滕建，陈虹州，周诗莹，周逸清，王如斌，杨慧

（西南交通大学信息科学与技术学院，成都 611756）

随着信息技术的飞速发展，数据中心网络作为核心基础设施，发挥着越来越重要的作用。针对传统树形网络的缺点，提出一个具有高容错性和强扩展性的数据中心网络——棱锥复合体结构。OPNET仿真表明，与传统树形网络结构相比，棱锥复合体结构能更好地满足数据中心对容错性和负载均衡的要求。

数据中心网络；容错性；负载均衡

0 引言

伴随着云计算、物联网和其他新兴互联网业务的快速发展，目前全球已进入了数据爆炸时代。根据国际数据公司（International Data Corporation,IDC）发布的数字宇宙报告，预计到2020年全球数据总量将达到惊人的40ZB（Zettabytes）。思科在《物联网产品和应用案例介绍及创新产品发布》中也提出，到2020年全球将增加500亿台连接设备，这些连接设备将会产生大量的数据。作为云计算等新型应用服务的核心基础设施，数据中心近年来成为了学术界和工业界的关注焦点。数据容量和业务用户的激增使得数据中心规模急剧增加。可以想象，成千上万台服务器之间频繁的高速交互通信对于数据中心网络的容量和能耗要求绝对是技术上的重大挑战。数据中心网络是数据中心的核心组件，它通过高速链路和交换机支持数万至数十万台服务器间的互联，为上层计算服务提供高效的网络通信和数据传输保障，其互联方式和组网架构对于数据中心的传输性能、能效和成本具有非常重要的作用。

传统的基于树形结构的数据中心网络由于电缆带宽受限、传输能耗大、占用空间大等问题，随着信息流的不断增长，在吞吐量、能效和成本等方面存在严重的发展瓶颈。经典的Fat-Tree网络结构消除了传统树形结构上层链路对吞吐量的限制，但其处理交换机能力不足，对底层交换设备故障敏感，使其在容错性方面仍有限制。目前存在的引入光交换的拓扑方案，如VL2，OSA，Helios等都是依靠光交换网络为上层应用设备提供高宽带及网络资源动态配置而有效降低组网的复杂度，但是不可避免地出现了时延问题并且限制了突发流量，因而降低其容错性。

本文针对当前数据中心网络结构在容错性和负载均衡方面的挑战，提出一种新的数据中心网络结构——棱锥复合体结构。该结构引入软件定义技术，采用概率化机制，灵活调控网络资源分配，提高链路利用率。通过OPNET仿真分析，该结构在负载均衡和容错性方面相比传统的数据中心树形网络结构都有较大的提升。

1 棱锥复合体架构设计

1.1 设计目标

（1）容错性

在数据中心网络中，解决容错性问题的主要手段是通过增加冗余设备和冗余链路来改善网络的可靠性，在故障发生时进行相关的迁移和灾备处理。由于数据中心组成设备多、链路连接复杂、网络规模较大，因此单设备或单条链路故障发生的频次比普通的网络要多，是否具有较好的容错性是评价数据中心很重要的标准。

对于树形结构，任一子树根节点网络设备出现故障，都将导致失效设备的下层结点与其他结点失去连接，尤其当汇聚层结点失效时，更可能导致整个网络的瘫痪。这种结构存在明显的单点失效问题，网络容错性较差。棱锥复合体架构中，冗余设备的引入提高了网络带宽，解决了瓶颈问题，由于设备冗余而产生了冗余路径且数据都是在尽可能短的路径上传输，使得整个架构具有较高的容错性。

（2）负载均衡

负载均衡是由多台服务器以对称的方式组成一个服务器集合，每台服务器都具有等价的地位，都可以单独对外提供服务而无须其他服务器的辅助。通过某种负载分担技术，将外部发送来的请求均匀分配到对称结构中的某一台服务器上，而接收到请求的服务器独立地回应客户的请求。

均衡负载能够平均分配客户请求到服务器，以此提供快速获取重要数据，解决大量并发访问服务问题。在棱锥复合体架构中，每个客户端交换机都与至少四个服务器端交换机直接相连，每个服务器具有等价的地位，可为客户独立地提供各种服务，满足客户的并发访问需求。

（3）可扩展性

数据中心规模不断增大，良好的可扩展性对于网络升级的成本有着至关重要的作用。本结构主要针对物理结构和通信协议可扩展两个层面。其中物理结构可扩展又包括低成本和增量扩展两个评价标准，要求扩展后新增加的链路或节点对原有结构的工作支持没有影响。

虽然树形结构的扩展方式便捷，但自下而上流量对网络设备的处理能力要求不断增强，并且维持1:1的过载率所需的硬件设备升级代价过大，只能提供有限的可扩展性；棱锥复合体架构可基于横向和纵向进行双向扩展，这种结构可以支持更大规模的节点互联，整个网络中的交换机都是等价的，且网络规模越大，与客户端交换机直接相连的服务器端交换机数量就越多，有效解决了带宽瓶颈带来的扩展限制问题。

1.2 棱锥复合体架构具体参数

（1）互连规则

图1为一级棱锥复合体架构，它是由三层结构相互连接构成，其中每一层结构如图2所示。通过图2可以看出，在网络的同一层，四个交换机正好是三棱锥的四个顶点，它们在逻辑连接上是等价的，每个交换机都与其他三个交换机直接相连，且任意两个交换机之间存在5条路径如图3所示。

图1 棱锥复合体架构

图2 一级棱锥层架构

图3 一级棱锥层结构点对之间的有效路径

在层与层之间，对应交换机之间直接相连，可根据具体的需求确定网络中的层数，最终搭建完整的网络架构。当完成层间连接后，交换机不仅与同一层的另外三个交换机直接相连，还与相邻层的一个或两个交换机直接相连，因此在整个网络中某一交换机都可以4个或5个交换机直接相连。

棱锥复合体架构具有良好的扩展性，其中最主要的是横向扩展，如图4为一级结构经过横向扩展后的二级和三级结构的层内的连接方式，层与层之间的连接方式与一级结构一样，各级层扩展结构中服务器的数量如表1所示。

图4 二、三级棱锥层结构

表1 各级棱锥层结构所包含交换机数量

（2）终端结点接入规则

在棱锥复合体架构中每个交换机都与终端节点相连，或者是与客户端相连，或者是与服务器相连，因此整个网络中的交换机可以分为两类，即与客户端相连的客户端交换机和与服务器相连的服务器端交换机。

数据中心网络就是为服务器与客户之间的数据交换提供服务的，在一个数据中心网络结构中采用何种策略接入客户和服务器这两种终端节点关系着网络的服务能力和整体性能，是设计数据中心网络结构的很关键一步。

棱锥复合体架构是在每一层选择三个交换机与服务器相连，另外一个交换机与客户节点相连，并且不同层上的客户端不在同一列。这样，每一个客户端交换机就能与至少4个服务器端交换机直接相连，客户端就可以并发地访问多个服务器的应用，不仅大大提高了网络的服务能力，还减短了网络中数据传输所经过的路径，降低网络负荷，使得网络的性能更加稳定，容错性更好。

2 仿真分析

2.1 参数设置

胖树结构是在数据中心网络架构中占据重要地位的一款功能强大的经典架构。由于本次设计的棱锥复合体架构主要是针对胖树架构在负载均衡和容错性方面存在的一些不足提出来的，所以采取与胖树对比的方式进行参数分析，从而体现出棱锥复合体架构的优势，进而论证本次设计的有效性。在宏观上对胖树和棱锥复合体结构的网络硬件设备进行对比分析，主要对比参数有交换机数量、链路数量、服务器数量、客户端数量、平均路径长度。其中，平均途经长度是指各客户端交换机到各个服务器端交换机的最短路径的平均值。由表2可清晰地看到，胖树的交换机数量和平均路径长度是棱锥复合体架构的两倍左右，链路数量也高于棱锥复合体架构的链路数量，服务器数量比棱锥复合体架构的少一个。但是胖树的客户端数量要比棱锥复合体架构的多一个。总之，棱锥复合体架构对网络资源量相对较少，对每一种网络资源的利用都比较充分。

表2 胖树与棱锥复合体各参数对比

用OPNET网络仿真软件对棱锥复合体架构和胖树架构进行性能仿真，在仿真中用控制变量法，因此要对两种架构配置相同的应用和概要，然后比较分析仿真结果，具体配置内容和仿真结果如下：

（1）架构搭建：分别用OPNET软件自带的模型库中的交换机、链路和工作站搭建胖树架构（图5）和棱锥复合体架构（图6）。

（2）应用配置：由于胖树架构有8个服务器而棱锥复合体架构有9个服务器，为了统一变量，选择棱锥复合体架构中的8个服务器和胖树架构中的8个服务器建立一一对应关系，并且分别为8对服务器配置8种应用。

（3）概要配置：由于胖树架构有4个客户端而棱锥复合体架构有3个客户端，为了统一变量，选择胖树中的3个客户端和棱锥复合体架构中的3个客户端建立一一对应关系，并且分别为3对客户配置3个概要，3个概要是分别独立地在8个应用中选择了4种进行并发访问。

图5 OPNET胖树架构

图6 OPNET棱锥复合体架构

（4）仿真分析：设定仿真时间为10分钟，对两个网络的时延和客户终端吞吐量的结果进行对比。

2.2 结果分析

（1）无故障性能分析

图7 时延对比

①时延对比：由图7可知，棱锥复合体架构的时延要小于胖树的时延，充分体现了棱锥复合体架构平均路径短的优势。

②吞吐量对比：分别对两个架构中的三组客户终端的发送和接收速率进行对比，反映出客户终端的吞吐量，从而体现出两个网络架构提供数据交换的能力。由图8可以看出，第一组客户终端中棱锥复合体架构的吞吐量明显高于胖树架构的吞吐量。第二组客户终端中，棱锥复合体架构的吞吐量略高于胖树架构的吞吐量。第三组客户终端中，两种架构的吞吐量十分接近。整体看来，棱锥复合体架构的吞吐量要高于胖树架构的吞吐量。

图8 吞吐量对比

（2）容错性验证

本次设计的目标之一是提高数据中心网络架构的容错性，如图9所示，在保证整个网络连通的情况下，使棱锥复合体架构的12条路径失效，然后进行仿真并和完整架构进行仿真结果的对比，论证棱锥复合体架构在容错性方面的独特优势。

图9 部分链路失效后的棱锥复合体架构

图10 时延对比

①时延对比：如图10所示，部分链路失效的网络架构的时延要低于完整络架构的时延。

②吞吐量对比：分别对完整网络架构和部分链路失效网络架构的三组客户终端的发送和接收速率进行对比，从而反映客户终端的吞吐量的差异，对比结果如图10所示。三组客户终端的吞吐量的差距很小，甚至没有差距，说明部分链路的失效对于整个网络的性能的影响很小或者没有影响。

图11 吞吐量对比

3 结语

数据中心网络结构的容错性和负载均衡对当今处理庞大数据有着至关重要的意义，本文针对现如今存在架构在这两方面的不足，提出了棱锥复合体架构方案。此方案中引用概率的思想来分配数据中心的网络资源，引入冗余设备提高网络带宽，增加网络的冗余路径，进而提高了网络的容错性。棱锥复合体架构可基于横向和纵向进行双向扩展，明显提高了网络的可扩展性。经过OPNET网络仿真软件对棱锥复合体架构和胖树架构进行性能仿真对比，棱锥复合体新型架构在容错性和负载均衡方面都表现出一定的优势，使得对网络资源的利用更加合理化，网络的性能也更加稳定、可靠、强大。

[1]J.Gantz,D.Reinsel,The Digital Universe IN 2020:Big Data,Bigger Digital Shadows,and Biggest Growth in the Far East.Framingham:IDC Analyze the Future,2012.

[2]程静著.新一代数据中心网络新型架构研究.[学位论文]北京交通大学硕士，2014.3.

[3]Adarshpal S.Sethi,Vasil Y.Hnatyshin著，王芳玲，母景琴译.计算机网络仿真OPNET实用指南.北京：机械工业出版社，2014.8.

[4]陈敏著.OPNET网络仿真．北京：清华大学出版社，2004.

[5]冷飞，徐进华，栾仕喜著.DCNS：一种高可用性的数据中心网络.计算机科学报，2013.12.

[6]费钰江著.浅谈数据中心网络架构的发展.[期刊论文]-网络安全技术与应用，2014.7.

[7]李徐艳著.数据中心网络负载均衡与容错研究.[学位论文]浙江大学硕士，2014.

[8]谢佩傅著.数据中心网络结构的研究.[学位论文]西安电子科技大学硕士，2012.3.

Abstract：With the rapid development of information technology,data center network plays an increasingly important role as the core infrastructure.Aiming at the disadvantages of traditional tree network,presents a data center network,pyramid complex structure with high fault tolerance and strong expansibility.And the OPNET software is used to build the platform.Compared with the traditional tree network structure,the simulation results show that the pyramid complex structure can better meet the requirement of fault tolerance and load balancing in data center.

Keywords：Data Center Network;Fault Tolerance;Load Balancing

Pyramid Complex Structure:a New Type of Data Center Network Structure

TENG Jian，CHEN Hong-zhou，ZHOU Shi-ying，ZHOU Yi-qing，WANG Ru-bin，YANG Hui

（School of Information Science and Technology,Southwest Jiaotong University,Chengdu 611756）

国家自然科学基金（No.61505168）

1007-1423（2017）26-0003-06

10.3969/j.issn.1007-1423.2017.26.001

滕建（1996-），男，四川南充人，在读本科

陈虹州（1993-），男，安微合肥人，硕士研究生，研究方向为弹性光网络和数据中心网络架构设计

周诗莹（1996-），女，江苏扬州人，在读本科

周逸清（1997-），女，江西抚州人，在读本科

王如斌（1994-），男，甘肃定西人，在读本科

杨慧（1986-），女，四川眉山人，教师，博士，研究方向为无源光网络、数据中心网络等

2017-04-14

2017-08-02