现代数字城市大数据中心架构研究

【摘要】    随着大数据时代的到来，传统数据中心网络的层次结构已经不能满足新技术发展的需要。为了解决这个问题，本文介绍了以网络为数据中心的方案，包括Monsoon、基于树的结构、基于CLOS的结构、VL2网络结构、PortLand和Jellyfish模型，有效增强分层数据传输机制，提高了网络结构扩展性，并提出了未来数据中心网络的发展方向。

【关键词】    大数据    数据中心    网络结构    架构

引言：

随着大数据时代的到来，一些大型搜索引擎数据中心网络在承载了越来越多应用的同时，[1]也对传统数据中心提出了众多挑战。传统数据中心网络主要是大量服务器通过数据中心内的高速链路与交换机相连。这种网络架构是通过层次结构实现的，[2]其托管的应用模式为客户端/服务器模式。然而，传统的网络中心结构已经无法满足网络日益发展的需求，主要涉及以下几个方面：1.现在网络规模发展非常迅速，对服务器的需求越来越多;2.MapReduce和虚拟机迁移的应用非常广泛，这些技术都是带宽密集型应用，因此对数据中心的内部流量要求非常高;[3]3.传统的网络结构只能用于辅助高效路由算法的设计，与许多新型数据中心结构传统结构有很大区别;4.现有数据中心应用最广泛的技术是虚拟化技术;5.现有数据中心有很多服务器和交换机，在这种情况下，数据中心网络必须实现即插即用的功能;6.就全球网络资源而言，现有数据中心网络的能耗最高，数据中心80%以上的链路负载很小，而传统数据中心网络结构的能耗较高。

如何让新的数据中心网络满足不断发展的应用需求，已成为当前和未来在架构、兼容性和协议等方面的研究方向。[4]目前对此的研究涉及两个方面：一是中心即网络，二是中心即服务器。本文主要分析了以网络为中心的方案，并给出了存在的缺陷和对未来的研究方向提出了展望。

一、现代数字城市概述

科技的发展和中国城市化进程的发展，也带动了数字城市的建设。数字城市的发展对人们的生活方式和文化习俗产生了巨大的影响，全面推动了创新城市规划方法、城市管理方法现代化和城市可持续发展。此外，协助政府决策，推进城市信息数字化，打造社会经济新体系，提升城市政府决策质量，[5]搭建“一站式”服务，电子政务、信息社区、科技信息网络、远程医疗、远程教育等平台，具有深远的发展前景和意义。

二、以网络为中心的方案

在以网络为中心的解决方案中，本文选择的方案主要涉及6种。

（一）Monsoon

Monsoon[6]架构见图 1。在这种架构中，所有服务器共享一个 2 层网络，系统中所有服务器都可以与任何服务器的网络接口进行快速通信。本系统通过第三层部分实现数据中心与Internet的通信，其中超过 100 000 台服务器链接在一个两层网络中而没有过度收敛。 核心边界路由器和接入路由器使用ECMP进行多路径传输，使用VLB机制进行负载均衡，如VL2。

Monsoon 使用 MAC-in-MAC 技术创建 MAC 层隧道，将传统的地址解析协议 （ARP） 修改为用户态进程，并允许新的 MAC 接口转发加密的以太网帧。 然而，这些机制和解决方案与现有的以太网架构不兼容。

（二）基于树的结构

传统的数据中心网络是典型的多根树状架构，一般由三层交换机（three-tier）组成。在架构中，以根为根的顶层称为核心层，中间层称为汇聚层，底层称为接入层。更高层的设备具有更高的性能和价值。核心层通常由多台冗余路由器组成，一侧接入外部网络，执行外部边界网关协议（EBGP）或静态路由协议，另一侧接入内部网络，执行内部网关协议（IGP） .接入层交换机通常分别提供 1 GB/s 和 10 GB/s 的下行链路和上行链路接口。聚合层交换机通常具有 10 GB/s 接口，并允许在接入层交换机之间聚合和转发数据。

在 DCN 中，来自 Internet 的请求由核心层路由器接收并转发到汇聚层的负载均衡服务器。负载平衡服务器维护一个映射表，其中包括虚拟 IP 地址（VIP，用于请求接受）和直接 IP 地址（DIP，用于请求处理）。负载均衡服务器根据该表将Internet请求转发到访问层的应用池进行处理。传统的树状架构有很多缺点。第一，树根附近带宽大幅增加，需要部署高性能的網络设备，可能会增加成本。第二，网络规模受到交换机端口的严重限制。第三，一旦上层交换失败，下层节点就会失去与其他节点的连接。此外，随着设备处理能力的增加，毫无疑问数据中心的功耗也会增加。因此，研究人员开始为 DCN 设计替代架构。

（三）基于CLOS的架构

CLOS 是一种基于 Tree 的增强架构，目前广泛应用于许多企业级数据中心。 CLOS 的数学理论由贝尔实验室的 Charles Clos 于 1953 年引入，用于创建非阻塞、多级拓扑，该拓扑提供比单个交换机能够提供的带宽更高的带宽。该架构的一个主要特点是多层交换，因为输入和输出流的增加，其中每个交换单元连接到下层的所有单元，以减少交叉节点的数量。在 CLOS中，叶层负责将服务器子网广播到网络结构中。叶层决定了收敛比，从而决定了骨干的大小。骨干层负责互连所有叶子。由于CLOS采用了类似的基于树的分层数据传输机制，这里不再赘述。尽管 CLOS 中的多层交换有效减少了聚合层带宽限制的压力，而不是树状层次结构，但是两种架构之间存在相同的特征和问题。

上述 Tree 和 CLOS 架构最初是为中小型网络设计的。然而，在云计算时代，面向云的数据中心不同于传统的企业级数据中心，随着数据中心网络设备数量的快速增长，对大规模分布式计算提出了新的要求。

（四）VL2网络结构

该系统的结构类似于传统拓扑结构，在该系统中，机架（ToR）交换机连接到两个汇聚交换机。[7]但是，存在一个重要问题：两个汇聚交换机必须连接中继交换机， 所以会有很多可能的路径。VL2 是 Greenberg 等人介绍的另一种基于树的架构，用于 DCN 中的动态资源分配。 与FatTree不同的是，VL2通过一个虚拟的二层以太网连接所有服务器，与服务器位于同一个局域网内。 在这种情况下，所有服务器都可以分配给上层应用程序，因为不会发生资源碎片。 VL2采用CLOS拓扑增加连接，VLB机制分配路由实现负载均衡。 此外，VL2 实现了等价多路径 （ECMP） 路由，通过多个最优路径转发数据，解决 VM 迁移中的地址重新分配问题。 因此，VL2 被视为 VLB 类别。由于VL2在连接上遵循传统的树状架构，因此被广泛用于增强现有的DCN。但是，其网络可靠性并没有提高，在可扩展性和单节点故障方面仍然存在问题。

（五）PortLand 结构

PortLand有关架构如图2所示。该架构是从 FatTree 网络结构演变而来的。两者最大的不同是PortLand结构使用了一个重要参数;[8]这个参数是结构管理器;同时，它负责通过分层虚拟MAC地址进行分组和转发。

PortLand 边缘交换机在每个 Pod 中学习唯一的 Pod 编号和唯一的位置编号。使用位置发现协议来分配这些值。对于所有直接连接的主机，边缘交换机分配一个 48 位 PMAC。 PMAC的格式为pod.position.port.vmid，其中'pod'（16位）表示边缘交换机的pod编号，'position'（8位）反映了交换机在pod中的位置，'port' （8 位）和“vmid”（16 位）分别描述主机连接到的端口数和部署在同一物理机 （PM） 上的 VM 数。

每当源主机希望与另一台主机通信时，它就会通过结构管理器搜索目标 PMAC。一旦数据包到达目的节点，入口交换机将 PMAC 修改为目标的实际 MAC （AMAC）。完成从一个 PM 到另一个 PM 的 VM 迁移后，结构管理器维护新的 PMAC 到 AMAC 的映射，并向 VM 之前所在的先前 PM 广播。PortLand基于树架构部署了全新的基于两层的路由机制，支持更好的容错路由转发、VM迁移和网络可扩展性。

（六）Jellyfish拓扑

Jellyfish架构见图3。传统的网络结构在很大程度上限制了网络的扩展。为了得到更短的平均路由长度，降低网络成本，Jellyfish拓扑被提出，该系统的一个重要特性是可以在 ToR 交换层上构建随机图。[9]

三、数据中心网络未来发展方向

上面介绍了几种常用数据中心网络的架构，通过现有的数据中心网络设计，我们指出了一些可以作为未来研究主题的开放研究问题。

（一）新型 DCN 架构

数据中心网络（DCN）是数据中心的重要组成部分，由大量通过高速通信链路连接的托管服务器和交换机组成。 DCN实现了资源集中部署，用户按需访问数据中心的信息和服務。近年来，随着基于云的服务的广泛使用以及数据中心内部/之间前所未有的数据传输量，DCN 的规模不断扩大，而传统的 DCN 架构缺乏应对的聚合带宽、可扩展性和成本效益。随着租户对云数据中心服务的需求不断增加。因此，需要设计一种具有可扩展性、低成本、鲁棒性和节能性的新型 DCN 架构。

（二）兼容性

在面向云的DCN的实际部署和升级中，为了节约成本，往往会考虑在不同批次时间购买不同容量的设备。因此，如何在保证新DCN与现有网络高效协作的同时，实现大规模异构设备的互联，是一个亟待解决的问题。

（三）DCN协议的研究和改进

DCN架构的管理与现有的互联网架构有很大不同。DCN的管理往往是在一个实例中完成的，从而可以获取其全局拓扑、数据流、故障和各种日志信息，以辅助协议设计和网络架构设计适用于特定 DCN 架构的新型协议，可以提高执行效率。

（四）自动分配IP地址

Port-Land中的位置和网络拓扑信息存储在服务器或交换机上，提高了路由的性能。 因此，动态主机配置协议 （DHCP） 等传统协议无法在这种情况下部署。此外，由于手动配置如此大量的交换机或服务器是一项耗时且烦琐的工作，因此需要自动分配IP地址机制以降低人工成本和配置错误的风险。

因此，无论已知或未知的 DCN 架构，提出低成本、高可靠性和可管理的自动地址配置方法是一个具有挑战性的研究视角。

三、结束语

近年来，随着基于云的服务的广泛使用以及数据中心内/数据中心之间前所未有的数据传输量，DCN的规模不断扩大，而传统的DCN架构由于缺乏聚合带宽而不适用于面向云的DCN和可扩展性，论文描述了传统数据中心网络结构，提出了传统数据中心网络结构存在的问题，展示了 Monsoon、基于树的结构、基于CLOS的结构、VL2、PortLand 和 Jellyfish 等架构，并提出了未来数据中心网络的发展方向。

作者单位：王其凯    北京可为高科信息技术有限责任公司

参  考  文  献

[1] Andrew Putnam， Adrian M.Caulfield， Eric S.Chung，等. 加快大型数据中心服务的可重构结构[J]. 中国集成电路， 2015， 24（Z1）：55-68.

[2] 谢佩博. 数据中心网络结构的研究[D]. 西安电子科技大学.

[3] Xia， Hui. Research on Data Mining Optimization and Security Based on MapReduce[J]. Applied Mechanics & Materials， 2014， 631-632：1053-1056.

[4] 李嵘. 如何构建新型数据中心不断满足新的应用需求[J]. 通讯世界， 2012（05）：48-49.

[5] 龚俊荣. 现代数字城市研究[D]. 北京邮电大学， 2010.

[6] Wang B ，  Tim L I . EAST ASIAN MONSOON-ENSO INTERACTIONS[M]. SP Science Press， 2019.

[7] 潘赟. 数据中心网络的体系结构研究[J]. 无线互联科技， 2016（12期）：34-35.

[8] Pofale A D ，  Wanjari S P . Study of bond strength between various grade of Ordinary Portland Cement（OPC）and Portland Pozzolane Cement（PPC）mixes and different diameter of TMT bars by using pullout test[J]. 结构与土木工程前沿：英文版， 7（1）：7.

[9] Alzaid Z ，  X  Yuan，  Bhowmik S . Multi-Path Routing on the Jellyfish Networks[J].  2020.

[10] 薄杨， 黄存东， 董坤. SDN新型网络架构业务流量监控研究[J]. 贺州学院学报， 2018， v.34;No.114（02）：163-166.