构建下一代数据中心的基础架构

张志宏



构建下一代数据中心的基础架构

张志宏

福建富士通信息软件有限公司

随着信息技术的高速发展，数据量呈几何级数增长，数据中心的规模越来越庞大，也越来越复杂。该文探讨了在下一代数据中心的构建方面可以采用存储网络架构融合、虚拟化及云模式，以避免在基础设施上的重复性投入，使得数据中心简化管理，具有更高的运营灵活性。

数据中心 服务器 SAN iSCSI FCoE 虚拟化 云模式

1 概述

随着信息技术的迅猛发展，数据中心的建设也从简单变得复杂。特别是对于金融、电信、制造、政府这四大行业来说，IT建设的不断投入，以及用户对数据存储、数据挖掘、精确营销、高性能计算的需求不断增长，数据中心的规模已经逐渐变得无法有效的控制和管理。

典型的数据中心通常是一个多层建筑，宽大的空间被各式各样的机架占据，摆放着几十台、上百台、甚至上千台的服务器，以及供服务器存放数据的大量的磁盘阵列，通过基础网络设备如数据网络交换机、路由器、SAN交换机、负载均衡交换机及防火墙等设备联接在一起。数据中心一旦投入运营，就要不断满足新设备、新系统的接入。

近几年来，虚拟化、云计算、云存储及绿色节能的概念不断冲击数据中心管理者的思想，面对各种各样的新需求，管理者的视线开始从只关注机房的空间、供电、空调和散热方面转向对基础架构整合的考虑，希望能从基础架构层面的简化来避免未来失控的局面。

2 数据中心架构现状

2.1 数据中心传统架构

当前数据中心IT设备主要分为IP数据网络、存储网络、服务器集群三个部分，服务器集群通常需要连接两个网络：IP数据网络（IP Network）和存储网络（Storage Area Network）。数据网络基本上是以使用最为广泛的TCP/IP协议组为基础的通信网络，而存储网络则是以FC光纤通道协议为基础。

传统架构模式下，业务与数据基础架构是紧密耦合，以业务为单位，不同项目各自规划和购买硬件资源；每当有新的业务需求，业务部门会列出一揽子清单，要求购买服务器、交换机、磁盘阵列等硬件设备以及相关的软件，日后的运行、维护、扩展、调整等都以这一揽子环境作为基础。传统网络架构试图应对激增的应用、服务器、存储和网络流量，大量的设备占据了空间、电源及散热，提高了数据中心建造和维护成本和以及设备部署的复杂性。当系统规模膨胀到一定的程度时，整个数据中心将不堪重负，并严重地制约业务的进一步发展。

因此，必须有一种能够提供灵活扩充、成本低廉，并具备高性能，能够按需分配的下一代数据中心来满足用户的需求，新型的数据中心建设就是在这种需求中诞生的。

2.2 基础架构的相关技术

基础架构作为最基本的底层结构，以一系列的物理设备和连通介质，再根据之上的各种标准协议组建而成。TCP/IP协议组是众所周知的网络通信协议组，世界上最大的网络INTERNET就是采用了TCP/IP协议，而TCP/IP底层物理网络多数使用以太网协议，因此以太网+TCP/IP成为IT行业中应用最普遍的技术。对于以太网和TCP/IP协议本文就不进行太多的说明，本文主要关注万兆（10Gigabit）以太网在数据中心的普及，目前IEEE802.3ba 40G/100G标准也于2010年正式获批通过，将来或许会成为下一代大型数据中心网络规模部署的新标准。

接下来的重点放在存储网络的相关协议上。存储网络根据采用协议的不同有多种架构，主要有DAS方式、SAN方式和NAS方式三种模式。

SCSI：小型计算机系统接口（Small Computer System Interface；简写SCSI），一种用于计算机和智能设备之间（硬盘、软驱、光驱、打印机、扫描仪等）系统级接口的独立处理器标准。SCSI是一种智能的通用接口标准，它是各种计算机与外部设备之间的接口标准。对应的存储架构为DAS方式。

FC/FCP：光纤通道（Fibre Channel；简写FC)是1994年由ANSI标准化组织制订的一种适合于千兆位数据传输通信的成熟而安全的解决方案。Fibre Channel 是对SCSI技术的发展，除了提供更高的数据传输速度，更远的传输距离，更多的设备连接支持，更稳定的性能。光纤通道协议（FCP，Fibre Channel Protocal）是基于光纤通道的协议，定义了拓扑结构和帧的结构。可以认为光纤信道协议是一种在光纤信道上的 SCSI 接口协议。FC对应的存储架构为SAN方式。

iSCSI：互联网小型计算机系统接口 (Internet SCSI；简写iSCSI)是一种在TCP/IP协议网络上，特别是以太网上进行数据块传输的标准。它是由Cisco 和IBM两家发起的，并且得到了IP存储技术拥护者的大力支持，是一个供硬件设备使用的可以在IP协议上层运行的SCSI指令集。简单地说，iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。iSCSI对应的存储架构也可以纳入SAN方式，一般称之为IP SAN。iSCSI在比较新、比较小的SAN中有一定的市场。

网络附加存储（Network Attached Storage，NAS）是一种文件共享服务，拥有自己的文件系统，通过NFS或CIFS对外提供文件访问服务。DAS、SAN和NAS与各协议的关系可以参见图1。

图1

此外还有一些存储网络协议，如FCIP (Fibre Channel over TCP/IP)、iFCP (Internet Fibre Channel Protocol)、IB（InfiniBand）体系等都是为了改进当前的存储访问方式而诞生的。

当前数据中心的存储架构基本上是以SAN的方式为主，比较DAS的方式，更大程度上实现了存储设备的整合和数据集中管理，大大降低了重复投资率和长期管理维护成本。虽然目前SAN环境中的端口数和存储的容量还能满足扩容的需求，但在竞争激烈的环境下，为应对不断变化的客户需求，应用部门对后端资源的管理者提出了更高的要求，一旦业务需要，资源就要马上到位。前面提过，传统方式下，从提出需求到采购、再到实施，最后提供给应用需要一个漫长的周期，因此变革是必要的，而变革必须从基础架构开始。

3 下一代数据中心的基础架构

3.1 基础架构的新技术发展

随着技术的发展，近几年出现并逐渐走向大规模商用的技术，如虚拟化、云计算、云存储等已在悄悄地改变数据中心的基础架构。虚拟化无可厚非地被认为是数据中心近10年来出现的最重要的技术之一，虚拟化包括服务器的虚拟化、存储的虚拟化、桌面的虚拟化。虚拟化的好处是最大化地利用设备，减少设备的数量，对应用的支持更加灵活。而在网络这一层，作为一个对于基础架构有简化作用的协议FCoE（Fibre Channel over Ethernet）协议也渐渐进入了用户的视野。

在下一代数据中心网络中，一种趋势是存储网络和数据网络最终都将承载在一种聚合增强型的以太网（Convergence Enhanced Ethernet，CEE）上，采取FCoE协议，将光纤通道帧封装在以太网帧上进行通信。通过FCoE，每台服务器不再同时配置以太网卡和HBA卡，只需要一个FCoE网卡就可以与前端的客户进行IP通信、后端的存储通过光纤进行通讯，有效解决了管理人员、空间、能耗、不同的布线系统等问题。FCoE协议所处位置以及和其他协议的关系如图2所示：

图2

FCoE实现的基础有三个部分：万兆以太网；增强型以太网（CEE）；融合网络适配器(CNA)。

基于万兆以太网的增强型以太网通过4个协议来实现一种Lossless（无损失）的以太网：（1）Priority Flow Control（流量优先级控制），IEEE 802.1Qbb (PFC)；（2）Enhanced transmission selection（增强传输选择），IEEE 802.1Qaz (ETS)；（3）Data Center Bridging Exchange（数据中心桥接交换）(DCBX)；（4）Congestion Management（阻塞管理），IEEE 802.1Qau (QCN)。

3.2 数据中心存储与数据网络融合

服务器通过一种融合网络适配器(Converged Network Adapter，CNA)接入CEE交换机，取代现有的需要网卡和HBA卡分别接入数据网络和存储网络的方式。

存储网络目前主流速率为4GB，8Gb也已经在规模使用，下一代16Gb已在各厂商的开发列表中，而以太网10Gb已有规模化的应用，40G/100G标准也于2010年正式获批通过。我们有理由相信，以太网速度提升的速度将会大大超过FC网络，将来存储网络为提升速率而向数据网络聚合是完全有必要的。

当然存储网络和数据网络融合不可能一蹴而就，FCoE最有可能在某个机架上实现，然后扩展到整个数据中心；更有可能是FCoE与现有的SAN网络连通在一起并在相当长的时间内共存。

数据网络和存储网络融合后，形成一个统一架构，从服务器端至存储端的通道、服务器之间的通道就变得简单和清晰，再结合虚拟化技术，一种全新的资源管理和调度方式将展现在我们面前。

目前主流网络适配器厂商都发布了相关的CNA适配器，各服务器厂商、网络交换机厂商和存储厂商均推出了支持FCoE的产品，使得端到端实现FCoE已成为现实。在这一方式下，原先分别独立的网络管理团队和存储管理团队可以进行整合和统一管理，管理的界面也保持一致。

3.3 数据中心基础资源的云服务

数据中心虚拟化是实现云计算的首要步骤，也是关键一步，虚拟化所带来的架构灵活性及对资源的充分利用给云计算带来了实现的基础。虚拟化的部署已或多或少地在数据中心进行，但就目前与数据中心相关的虚拟化项目来看比较单一，大部分是服务器的虚拟化，小部分实现存储的虚拟化，但服务器访问存储还是基于旧有的实现方式，无法实现端到端的虚拟化，总体上还无法实现基础资源的统一管理。

通过在网络架构中采用FCoE，建设全新的统一光纤网络架构，简化网络结构和管理。通过在一个增强型以太网中支持 SAN、NAS及IP SAN，提供端到端的虚拟化解决方案，以帮助客户整合并简化数据中心基础架构，降低资本支出和运营费用、提高管理效率，并提高基础架构的灵活性和性能。

将存储、网络和服务器资源全部虚拟化，通过灵活的资源调配服务于应用的虚拟化。如图3所示，将服务器群、统一网络架构和存储群作成一个基础资源池，用户只要提出计算能力要求和存储容量，资源管理者就可以迅速将设备资源划分出来提供给用户。如果把基础资源池比作一个蛋糕的话，那么管理资源将来就像切蛋糕一般容易，实际上这也就提供了云计算中的基础设施即服务(IaaS)运营方式。

图3

在这种方式下，基础资源池的扩容也十分简单，只需进行横向扩展即可，而传统的数据中心必须竖向考虑。

总之，我们的目的是通过虚拟化技术和统一网络架构使得数据中心的资源能够被合理的利用，提高物理设备的利用效率，同时也增加了各种业务部署的灵活性，最终通过云调度系统来协调各种业务的使用和迁移。在此基础上，规划下一代数据中心时也要注意提高数据中心的效能、降低电力损耗、减少占地空间，建设一个绿色数据中心。

4 结束语

下一代的数据中心将是一种简化的基础架构，数据中心的变革也在进行中。预计在未来的三年内，随着10Gb端口成本的降低，FCoE将会成规模的应用，五年之内，大多数数据中心都应该能提供基础资源的云服务，我们也期待那一天的来临。

[1] [美]Marc Farley.孙功星，蒋文保，范勇，叶梅, 译. SAN存储区域网络[M].北京：机械工业出版社，2002.

[2] G.Somasundaram Alok Shrivastava. 罗英伟等译.信息存储与管理：数字信息的存储、管理和保护[M]. 北京：人民邮电出版社，2010.

[3] 王庆波, 等.虚拟化与云计算[M]. 北京：电子工业出版社，2009.