云化IT系统数据中心IP组网设计要点分析

（中国移动通信集团设计院有限公司重庆分公司，重庆 401147）

1 背景

目前运营商IT支撑系统的组网往往采用一种“三明治”式的串行扩展多层烟囱结构，如图1所示。

图1 传统扩展多层式的组网结构

这种组网有以下优点：网络结构简单，防火墙安全策略清晰；大多数策略都是单向的（都是从核心指向接入的），容易排错。

缺点是APP应用服务器与 “集成区”的访问需要走单独的链路，破坏了网络的结构化；网络扩展能力不足，每扩展一个服务器区，必须按3层结构进行部署；接入交换机部署在列头柜，同一业务系统的Web/APP/DB之间的访问可能要跨3排机柜上的接入交换机和防火墙，排错和设备管理复杂度增加；同一业务系统的Web<->AP<->DB间以防火墙做3层隔离，不能灵活应用交换机的ACL。

随着以云计算的日益发展，传统单一“三明治”结构的IT系统烟囱式组网结构无法满足现代大型数据中心多租户多系统的适应型要求，参考思科和H3C公司提出的虚拟多租户数据中心VMDC（Virtualized Multi-tenant Data Center） 结构，本文通过分析云化后数据中心引发的业务新需求特点，给出了IT支撑系统数据中心组网扁平化、接入无差异化的多租户精简多层组网架构设计要点，并通过一则实际案例的运用予以分析说明。

2 需求分析及设计要点

2.1 云化后数据中心的业务变化

云化后的数据中心的特点主要变化如下：

(1) 多租户多系统应用环境：虚拟化技术的运用提升了IaaS的弹性资源利用率，在实际的组网网络环境中需要面向多租户提供应用。

(2) 网络流量流向的变化：业务流量模型不再是传统的南北方向，高收敛比，而是以Hadoop/Hive为代表的分布式存储集群应用，流量模型也呈现东西向为主，低收敛比。

(3) 网络融合化的趋势：传统的数据中心LAN和SAN是分离的，未来数据中心的网络又呈现融合趋势，网络设备能够实现统一的交换矩阵架构。

(4) 资源集约化利用：传统各IT系统独建自身的安全配套设施，多租户多系统环境下需要具备共享安全基础设施与网络资源的服务的能力。

参考业界如H3C、思科等的VMDC模型，我们对传统扩展多层的组网结构进行了扁平化的优化设计，我们称之为“精简多层组网架构”，如图2所示。

2.2 组网需求及设计要点

图2 数据中心精简多层扁平组网结构

通过分析当前的IT系统特点，在精简多层的数据中心组网里，主要的业务需求及对应的设计要点提炼如下。

2.2.1 网络结构扁平化，多专业，多协议无差别化接入的需求

业务需求：多租户多系统的环境迫切需要减少各个专业系统独自建设“小烟囱”架构的独立交换机，减少网络转发的层次，提高数据转发的效率。

设计要点：

（1）VLAN的运用：通过802.1Q等传统VLAN隔离技术的运用，实现无差异化的接入，无差异体现在无论是接入交换机的层面，其端口可满足任何系统、系统内任何类别主机的接入，在满足安全域隔离的同时，有效减少交换机的数量并提高交换机的端口利用率。

（2）统一的交换矩阵运用：从技术的前瞻性而言，要实现业务无差异化接入，还可考虑统一交换矩阵架构的运用，如新一代Cisco Nexus 5500交换机，其端口可根据需要指定为吉比特以太网、10吉比特以太网、FC（Firbel Channel 2/4/8 G）或FCoE（Firbel Channel over Ethernet），这个为数据中心的无差异化接入带来了很大的灵活性。

（3）增加汇聚链路带宽：网络扁平化后，所有纵向访问的数据的流量流向，由原有的“串行”变为了“发卡型”流量，例如Web->APP->DB，核心、Web链路来回两次，核心、APP链路来回两次，核心、DB链路来回一次，因此Web、AP区的上行链路带宽需要翻倍。

2.2.2 利用多路径实现大2层网络的扩展，消除生成树，降低流量收敛，提升带宽利用率的需求

业务需求：随着计算虚拟化技术以及大规模集群技术的广泛应用，数据中心内的2层网络范围不断扩大。云计算弹性、灵活，资源充分利用的特点是需要大规模2层网络支撑的，否则难以实现，这就是增强的2层多径技术成为业界关注的原因所在。这种拓扑结构通常应用在“分布式IO集群计算”环境，以及“并行文件处理计算”环境，典型应用是搜索引擎，图像/动画渲染等。

传统IT支撑系统数据中心采用STP和VRRP，带宽利用率低，投资浪费，维护麻烦，收敛慢。传统2层网络延生成树协议（STP）构造的分发树转发以太网帧，为避免2层环路，STP将部分链路被阻塞，致使链路带宽利用率不足，如图3所示。

2.2.3 STP这种缺陷造成越接近树根的交换机，端口拥塞越严重，同时还限制了网络的“对分带宽（bisection bandwidth）”

图3 STP引起的对分带宽问题

设计要点：

创建扁平的多路径大2层网络环境，消除STP的影响。要消除STP，需要合适的扩展2层技术的支持，如Cisco的Fabric Path(增强版的Trill)，H3C的IRF技术等。通过合理的2层多路径技术选择，达到取消环路保护机制以提高链路、设备之间的带宽利用率，缩短链路故障收敛时间，降低维护工作量的效果。

2层多路径扩展的协议主要有Trill（多链路透明互联）或SPB（IEEE的最短路径桥接）。

Trill是以太网矩阵架构基于当前及新的开放标准，可提供全面活动的多路径、快速链路收敛及融合SAN和LAN流量的功能。

IEEE 802.1aq SPB是多生成树协议的一个扩展，多生成树协议也使用一个链路状态路由协议，允许交换机通过一个以太网结构了解最短路径，并且根据结构的变化进行动态调整。SPB可提供边缘与核心之间的扩展性、多租户服务、弹性和多路径。

2.2.4 内部高带宽服务器互联的需求

业务需求：对于许多IT支撑系统而言，局域网交换机之间以及从交换机到高需求服务的许多网络连接来说，常见的1 Gbit/s的带宽是不够的。在云计算环境中，这样的大数据流量不但存在于主机内部，也扩散到主机之间，网络侧也要有合适的分布式缓存，链路冗余机制以适应它。

服务器后端网络：后端网络（back-end）主要定位给内部交互频繁的高带宽数据库集群主机使用，例如Oracle DB RAC、IBM DB2 FCM等，需要额外提到的是，在后端数据库集群网络中，由于交互的是数据库块数据，通常需要以太网交换机支持巨型帧。

服务器的存储备份：分布式存储、云存储等业务，服务于大量并行的照片、视频上传，剪辑、编排等后期处理。属于云计算中的大数据分组并发处理业务，这类数据单分组长，文件大，类似主机运行大型及时游戏时的流量模型。

设计要点：

（1）设备选型：组网设计考虑采用数据中心级交换机，这些新型交换机在Ingress线卡上采用分布式缓存机制，用于吸附数据中心内部突发性大流量数据，避免汇聚转发的Egress 线卡上造成准拥塞的状态而丢帧，保证业务状态的平滑。IT支撑云计算网络承载主机间协同进程交互流量数据，不同于传统交换机承载城域网用户的访问流量，主机间进程协同对丢分组是十分敏感的，将造成任务中断与数据重传，大大降低效率与服务质量。

（2）考虑链路聚合（link aggregation），链路聚合802.3ad的工作方式是使2～6条，或者更多的物理链路对生成树协议和任何其它的Layer 2或Layer 3协议而言，看似只是一条逻辑链路。链路聚合通过让这些物理链路能够作为彼此的备份，从而使自动的故障转移成为可能。链路聚合的优势包括增大了带宽，实现了带宽的线性增加；增加了可靠性：单一链路失效不会导致业务的中断。

（3）降低流量的耦合关联性：考虑前端业务网络与后端集群网络，后端数据备份网络IO通道的分离，避免后端网络高带宽的占用影响前端业务的访问体验。

2.2.5 安全域隔离及多租户对安全资源共享的需求

业务需求：符合安全等级保护的安全域隔离要求，安全隔离的要求主要包括纵向访问的隔离与横向访问隔离。在实现系统间隔离的同时，又需要实现对基础的公共设施资源（如防火墙、负载均衡器等）进行共享。

设计要点：

（1）根据安全等级保护的要求划分不同的安全区域，将各系统的资源划分到不同的安全区内，通过制定和应用安全策略以满足安全等级保护的要求。

制定策略：完成对数据中心安全策略的制定，安全策略分为纵向和横向。纵向的访问各系统自身较常见，横向的访问主要是部分系统后台接口间的相互调用访问，例如电子渠道调用CRM的中间件服务，BOSS的话单同步给经营分析系统等场景。

纵向安全策略指同类别应用不同层次之间的访问控制，比如Web访问APP，APP访问DB。横向安全策略指不同类别应用之间的访问控制，比如应用A访问应用B。

高级别防护，纵向通过防火墙控制，横向通过防火墙控制。中等级别防护，纵向通过防火墙控制，横向通过交换机ACL控制。基本级别防护，纵向通过交换机ACL控制，横向通过交换机ACL控制。各级别之间的业务尽量不出现互访的情况，如跨级别互访，必须经过防火墙控制。

应用策略：中安全区、高安全区可以访问低安全区；低安全区不能访问中安全区、高安全区；中安全区、高安全区不能互访。

（2）资源的共享：主要是防火墙资源和负载均衡器、IPS等资源，这些资源通常主要部署在访问低安全区，实现整个数据中心多租户的共享。

降低布线成本与运维难度的需求。

业务需求：在考虑了网络结构的因素后，我们在设计中还要考虑实际组网布线建设的经济性与后期维护管理的便捷性。

设计要点：

（1）接入层交换机部署采用EoR（End of Row）或MoR（Middle of Row）布局，部署在列头/列中网络机柜；

（2）服务器(Web/AP/DB)部署在一个POD（机柜组）的服务器机柜中；待一个POD布满后，再部署另一个POD；

（3）汇聚交换机、防火墙、负载均衡器部署在MDA（主配线区或分配线区）。

图4 设备布局及布线机房平面设计示意图

3 案例设计

本文以某运营商的IT支撑系统数据中心组网来分析说明对以上设计要点的考虑。

3.1 案例组网需求

该运营商目前有一个IDC中心机房，其BOSS、CRM、经分等系统采用的是扩展多层式的组网结构（如图5红色虚线右侧所示）。由于业务的发展，需要在西永新建一个数据中心机房，作为IDC中心的扩展机房。

通过分析现有IDC的IP网，发现在实际运维中存在以下问题。

(1) 现有系统布线较乱，施工难度大。现有IDC中心各个IT系统的交换机各自为政，同一系统服务器部署在多楼层的情况很常见，常存在因某楼层缺乏该系统交换机（而其它IT系统交换机端口还富余）而被迫通过楼间光缆跳接到其它楼层接入的情况。

(2) 管理不方便。目前网元数量较多，各自独立不便管理，尤其核心汇聚网络设备呈现孤岛状态，例如数据库层的交换机S8512位于最末一层，远程管理需要通过应用主机，应用主机承担了一个路由器的角色，管理流量增加了应用服务器的开销。

(3) 交换机端口利用率低，安全设备无法共享。由于每个系统均采用独立的扩展多层结构，出于安全隔离考虑，每一级的交换机各系统并未混用，部分系统交换机端口利用率较低。主要IT系统均有自身的安全防火墙、负载均衡器、IPS等设备，投资浪费，资源复用程度低。

(4) 链路带宽利用率不高，部分服务器带宽资源不足。现有数据中心采用的是MSTP+VRRP的模式，S8508和E8080E防火墙间阻塞了一半的链路，实际在用的链路带宽只有一半，链路带宽利用率低。

而部分服务器带宽出现瓶颈。如在经分系统中，数据仓库主机采用DB2集群方式部署，现阶段其集群内部网络连接带宽不足，网卡IO负荷很大。

3.2 案例设计目标

针对这些存在的问题，在规划新建的西永数据中心机房时，对于新数据中心的网络（如图5虚线左部分），设计拟定以下目标。

(1) 实现数据中心级架构的网络结构，结构扁平，全专业无差异化接入。

(2) 实现资源共用，减少网元数量，提高端口资源利用率。

(3) 优化流量结构，降低大带宽服务器对全网耦合影响。

(4) 关注机房网络（EoR、MoR、ToR)布局的合理性，降低运维难度。

(5) 利用多路径实现大2层扩展，提高链路的利用率。

3.3 案例设计要点剖析

具体设计要点如下。

3.3.1 无差异化接入，基础资源共享设计

接入层：构建统一的前端无差异化接入的网络，不再按照原来各个系统自建交换机的模式建设，提升“叶节点”交换机的端口使用率。在网络中使用了NAS，实现了前台业务访问以太网与后台服务器存储网络环境共用，同时叶节点也要求支持统一的交换矩阵架构，后续具备支持FCoE的能力。

图5 案例组网拓扑图

核心层：在“根节点“核心交换机上横向并联扩展负载均衡器、防火墙板卡，通过划分虚拟化的安全服务实例，为数据中心内各个子系统提供相对独立的安全服务环境，满足各个子系统的安全域相互隔离的技术要求。

3.3.2 有效安全隔离，流量扁平化设计

在新网络设计中，安全域规划如下。

VLAN 规划：VLAN XYZ——X代表安全域的级别；YZ代表系统标示，从Z开始编号，Y用于扩展 （可支持到99个子系统）。以BOSS系统VLAN ID为例（1～4安全级别逐步升高，系统编号01）：BOSS的互联网接口域可用VLAN101；BOSS的内部接口域可用VLAN201；BOSS的应用服务器核心域可用VLAN301；BOSS的数据库服务器核心域可用VLAN401。

设计优化后的流量流向均变为了扁平化后的“发卡型”访问，如图6所示（图中粉红色为互联网渠道用户访问流向，Web访问中间件应用->中间件应用访问数据库的纵向流量；蓝色为从DCN上其它系统过来访问的流向，外部系统应用接口访问内部接口域接口机->接口机访问应用服务器的横向流量）。

3.3.3 高带宽服务器组网流量优化改造设计

图6 案例流量流向示意图

本案例中由于经营分析系统的DB2数据仓库集群服务器交互的带宽较大，在组网时不仅考虑了现有主机的链路聚合使用，同时还在叶节点组网时考虑增加了吉比特接入端口，以满足后期仓库主机的高带宽交互需求。

在实际组网时考虑了将数据库集群网络连线和前端业务访问的网分开，避免了集群网络的大数据通过汇聚交换机交互对前端网络的影响。

3.3.4 机房网络布线布局设计

本案例中主要涉及西永3楼BOSS和经分两个数据机房和一个独立的网络机房，网络机房位置居中。实际设计中将叶节点接入层交换机采用EoR布局，部署在两个数据机房列头网络机柜；服务器(Web/APP/DB)部署在两个数据机房各自的POD（机柜组）服务器机柜中；核心根汇聚交换机、防火墙、负载均衡器部署在网络机房的MDA（主配线区或分配线区）。由于是专业间无差异化的接入方式，主要接入线缆均在同一个POD内部，大大减少了传统系统组网跨机房、跨列布线的数量，有利于后期的管理维护。

3.3.5 提高带宽利用率的大2层组网

本案例中针对取消环路保护机制以提高链路带宽利用率，缩短链路故障收敛时间，降低维护工作量的需求，设计中考虑数据中心创建统一扁平的多路径大2层网络环境，考虑了对2层扩展技术的使用。

虽然Trill的优势可构建超大规模的2层网络（应用于大规模集群计算），但当前Trill的技术尚未成熟，而且传统以太网交换机不能通过软件升级支持该特性。因此案例实际组网考虑采用业界得到商用的H3C IRF的技术来实现虚拟化，利用其智能弹性架构（IRF）网络虚拟化和集群技术扩展Trill和SPB的扩展性及可靠性，IRF把多个物理IS-IS节点虚拟化成为一个单个的逻辑节点来扩展数据中心结构，为效率和速度更快的聚合保持了较低的跳跃次数。

至于跨越数据中心间的互联链路，本案例中由于暂时没有虚拟机迁移的应用，故暂未考虑在IDC和西永之间部署基于IP用于透传2层网络的技术应用。如果后期有需要，可以采用Cisco的OTV或H3C EVI等技术，实现两个中心间的大2层互联。

4 总结与展望

本文分析了传统IT系统组网的特点，以IT系统云化后数据中心的业务需求变化为楔子，对云化后数据中心的各类需求予以了详细分析并给出了有针对的设计要点介绍。

同时通过一则实际的云化后IT系统数据中心的组网建设案例，采用现有数据中心网络现存矛盾与新建数据中心对矛盾解决的思路进行前后对比说明，对各个设计要点进行了进一步阐述详解。

由组网案例的实践证明，通过对精简多层组网结构的设计运用，可有效压缩网络设备的资本开支投入，精简网络结构，降低运行维护的难度，同时具备面向未来IT系统云化后业务需求变化的可扩展性。

[1] IRF与Trill——构建无生成树协议的数据中心二层网络[OL/EB]. http://www.h3c.com.cn/About_H3C/Company_Publication/IP_Lh/2011/04/Home/Catalog/201108/723207_30008_0.htm；

[2] Cisco. Cisco Data Center Infrastructure 2.5 Design Guide[Z].

[3] Trill：RFC 5556, Transparent Interconnection of Lots of Links (Trill):Problem and Applicability Statement[S].

[4] RFC 6325, Routing Bridges (RBridges): Base Protocol Specification[S].

[5] RFC 6326, Transparent Interconnection of Lots of Links (Trill) Use of IS-IS[S].

[6] RFC 6327, Routing Bridges (RBridges): Adjacency[S].

[7] SPB：IEEE 802.1aq Shortest Path Bridging[S].