分布式云数据中心建设探讨

许化栋 山东省邮电规划设计院有限公司规划研究院副院长，高级工程师

分布式云数据中心建设探讨

许化栋 山东省邮电规划设计院有限公司规划研究院副院长，高级工程师

根据传统的数据中心的发展现状、面临的挑战，结合数据中心发展趋势，本文对基于云计算的数据中心建设进行了探讨，给出了分布式云数据中心建设和运营方案。

数据中心；分布式；云计算；建设方案；运营管理

1 引言

传统数据中心建设，一般随着业务、地域需求循序渐进建设，每个数据中心较为独立、仅满足本地域业务应用集中部署和数据共享。传统的、烟囱式数据中心建设和发展存在如下挑战：

（1）资源利用率低

单个数据中心各应用间静态分配、资源隔离，大部分时间数据中心的计算、存储和网络资源利用率较低。据统计，通常数据中心服务器资源利用率常年低于15%，资源一定程度上存在浪费。

（2）管理复杂

由于业务需求多样、且不同业务对软硬件要求和容灾策略各不相同，造成数据中心硬件资源与业务系统管理困难。物理资源和应用的高耦合度、业务部署上线与扩容升级周期长，对数据中心的简化管理提出了较大的挑战。

（3）建设与运营成本高

按应用垂直建设和运营各系统，需在不同数据中心配置软硬件、维护人员，设备空间和能耗资源等占用率高，建设与运营成本大大提高。

（4）安全与可靠性难以保障

随着人类社会活动越来越依赖于网络，部分基于网络的业务连续性成为IT基础设施建设的首要目标。传统的单个数据中心业务保障成本高，难以实现多个分布式数据中心的业务连续性。

本文基于此背景，结合传统的数据中心的现状、挑战和发展趋势，对分布式云数据中心建设进行了探讨。

2 数据中心的发展趋势

结合当前业务需求和技术发展，新一代数据中心发展技术趋势如下：

（1）数据中心分布式建设、集中化管理成为方向

由于需求的地域分布特性，IDC基础设施呈现分布式建设；同时，由于集约化运维和降低成本、提高资源利用率需求，IDC管理管理向集中化方向发展。

（2）向基于云计算的软件定义数据中心发展

云计算和SDN技术的发展，使数据中心服务器内存储资源、直连存储阵列、异构的各类存储系统等资源全面池化，计算、存储、网络和安全等资源可按需分配、快速释放，大大提高了数据中心资源利用率和可靠性。数据中心向基于云计算的软件定义数据中心发展，以实现高效管理、运维和资源协同。

（3）安全与可靠性成为未来数据中心的基础能力

数据中心安全性并不单指防火墙、IPS/IDS、入侵检测以及防病毒等安全防范措施，更重要的数据中心还应构建可靠的容灾方案，或建立异地的灾难备份中心，通过多种技术手段保障业务的连续性和数据的安全性。

为了应对数据中心面对的挑战并顺应业务需求、技术发展趋势，数据中心建设逐步向基于云计算的数据中心发展演进。基于云计算的数据中心（简称“云数据中心”），以融合架构（计算、存储、网络构建融合资源池作为的基础单元）构建SDN业务感知网络，可实现云主机、VPC、云备份、海量存储等IaaS、PaaS和SaaS业务，并可通过自动化管理和虚拟化平台来支撑IT服务精细化运营。所谓分布式，一是指数据中心在机房基础设施、地理空间、计算/存储/网络资源的软硬件部署上是分布而非集中的，多个DC的建设时间也可以循序渐进，各DC彼此保持一定的独立性；二是资源的调度可以跨越多个数据中心，运维管理可以基于全局，多个数据中心间实现有机结合与资源共享，逻辑上可以视为一个全局的大数据中心。

分布式云数据中心是物理分散、逻辑统一、业务驱动、云管协同、业务感知的数据中心，不仅限于解决单个数据中心的效率和用户体验，而是将多个数据中心看成一个有机整体，围绕跨数据中心管理、资源调度和灾备设计，包括实现跨数据中心云资源迁移的云平台、多数据中心统一资源管理和调度的运营运维管理系统、大二层的超宽带网络和软件定义数据中心能力。分布式云数据中心以去地域化、软件定义数据中心、自动化为主要特征，核心理念在于：物理分布、逻辑统一，通过多数据中心融合来提升企业IT效率，提供统一的服务呈现界面、统一的支撑流程。

分布式云数据中心其价值是：

●降低TCO（Total Cost of Ownership，总所有成本），提高ROI（Return On Investment，投资回报率）

分布式云数据中心采用虚拟化技术，消除了软件对运行软件的硬件的依赖性，通过资源池化提升基础设施资源利用率、降低对基础架构的投资，提升数据中心的灾备能力。

●提高业务响应速度，提高用户的满意度

分布式云数据中心在虚拟化技术之上，可按需提供不同的SLA水平的资源服务能力，大大缩短用户业务上线的时间，根据用户配置的灵活的调度策略，保证IT能够快速响应业务变化。

●减少IT管理和维护资源，提高营运能力

分布式云数据中心可为用户提供自助服务能力，降低对IT运营部门的依赖；且通过集中的运营与运维、主动式的管理，利用简化和标准化的工作流将业务要求与IT流程连接起来，使得多个多数据中心的运营与运维效率大大提升。

3 分布式云数据中心目标架构

分布式云数据中心总体逻辑架构由基础设施层、虚拟化层、服务层和管理层组成，各层都分别向上层提供接口供上层调用或对接。

●基础设施层提供构建数据中心所需的资源。

●虚拟化层将分布在不同地域的物理资源转化为统一管理的虚拟资源池。

●服务层由软件实现统一的服务管理及提供各种云业务。

●管理层提供对多个数据中心统一的运营管理、运维管理和容灾管理能力。

分布式云数据中心目标架构如图1所示；具体各层功能说明参见表1。

4 分布式云数据中心网络建设方案

分布式云数据中心网络建设建议采用“扁平化”两级架构（分别为核心层和接入层），按照功能划分，包括外联区、核心区、网络服务区、接入区、存储区。其中，外联区主要功能是对接Internet线路和接入网络，可使用路由器与MPLS承载网络、Internet网络、DCN网络等进行互联；核心区是整个数据中心交换核心，由高性能交换机组成；网络服务区提供流量统计、IDS/IPS、防火墙、负载均衡、VPN等IDC增值服务；接入区主要为数据中心服务器节点设备的接入，服务器可采用刀片服务器或者机架服务器，刀片服务器则通过交换背板连接到汇聚交换机上，机架服务器则通过接入交换机连接到汇聚交换机上；存储区主要为SAN网络、磁盘阵列等，存储可采用FCSAN或者IPSAN，FCSAN则通过光纤交换机连接至服务器的存储平面端口，IPSAN则通过IP接入交换机连接至服务器的存储平面端口。分布式云数据中心网络架构见图2。

分布式云数据中心提供虚拟防火墙、虚拟负载均衡、网络交换机虚拟化能力，可为每个租户提供一个防火墙、负载均衡、交换机功能。所有服务器共享存储资源，形成统一服务器、存储资源池。资源相互隔离，租户可以按照自己的规则配置策略。

（1）虚拟防火墙为每个租户用户提供相互隔离的安全服务，每个租户拥有一个虚拟防火墙。每个虚拟防火墙具备私有的接口、安全区域、安全域间、ACL和NAT地址池，并能为虚拟防火墙用户提供地址绑定、黑名单、NAT、包过滤、统计、攻击防范、ASPF等私有的安全服务。

（2）负载均衡虚拟化可支持多租户、虚拟出多个负载功能器。每租户可以自定义负载均衡策略、算法、权重、关联服务器等功能，独自管理和维护，查看负载均衡运行状态和资源使用情况。

图1 分布式云数据中心目标逻辑架构

表1 分布式云数据中心各层介绍

（3）网络交换机虚拟化主要可通过集群交换机等方式实现，使多台交换机组成一台更大的交换机，以简化运维、提高可靠性、规避单点故障、提高链路利用率。

各云数据中心网络核心层主要采用VRF（Virtual Routing and Forwarding，虚拟路由和转发）等技术实现3层网络隔离，接入层采用VLAN或者VxLAN技术实现二层网络隔离，可采用TRILL（Transparent Interconnection of Lots of Links，多链接透明互联）等协议构建大二层网络。呈分布式的各数据中心之间可通过Internet、MAN（Metropolitan Area Network，城域网）或MPLS（Multi-Protocol Label Switching，多协议标签交换）等网络进行互联。

5 分布式云数据中心运营管理方案

5.1 统一管理

传统数据中心的管理主要面向IT基础架构的管理，分布式云数据中心管理向自服务管理、IT服务自动化、横向扩展的服务器和存储及网络架构管理，以及对不同技术领域的统一管理方向转变。分布式云数据中心统一管理可分为全局管理层、本地管理层。分布式云数据中心统一管理架构参见图3。

图2 分布式云数据中心网络架构图

全局管理层主要分为云服务运营、服务运维、维护中心管理3部分。

●云服务运营管理模块，主要实现用户自助化服务、业务对接管理等功能。

●服务运维管理模块，为云技术平台提供服务保障和管理功能，保障资源的可用性和云服务交付的质量。

●维护中心模块，定位于面向数据中心运维场景的管理，南向接不同的管理系统，并且可以支持跨地域，支持多数据中心场景。

本地管理层主要实现ITOM（IT Operations Management，IT运维管理）和资源管理，其中模块资源池管理模块面向本地数据中心的资源管理，实现硬件设备和虚拟化平台的接入，提供计算、存储、网络自动化能力，对来自全局资源管理子系统的资源请求基于服务等级、资源负载进行资源池调度，还提供本地模板/镜像管理、资源监控、计量管理等。

5.2 安全保障

分布式云数据中心安全可通过物理设施安全、网络安全、主机安全、应用安全、虚拟化安全、数据保护、用户管理、安全管理等8个层面进行对应保障，主要实现方式及功能参见表2。

5.3 容灾实现

分布式云数据中心，可根据不同应用场景和业务需求，支持数据中心级的IaaS的容灾。结合当前技术进展和成熟程度，主要可通过部署云平台VIS双活容灾、云平台存储阵列复制容灾等方案实现（主机级容灾、应用级容灾、分布式多活数据中心方案标准、复杂程度较高）。

VIS双活容灾是指通过在云平台与存储阵列之间，将同一个VIS集群内的多个VIS节点按照Active-Active模式分布在本地和远端，再结合VIS系统本身的镜像技术实现本地和远端VIS节点同时提供存储访问业务，实现容灾倒换后存储业务的无缝切换；同时，云平台同一个集群内的主机按照Active-Active模式分布在本地和远端，利用虚拟机的HA功能实现容灾自动倒换功能。

图3 分布式云数据中心统一架构图

表2 各层次安全管理主要实现方式及功能

阵列复制容灾方案通过存储系统本身具有的远程复制功能实现生产中心和容灾中心之间数据的远程复制；同时，配合UltraVR容灾管理软件实现云平台管理数据在站点间的同步，并提供容灾管理功能。当生产中心发生灾难时，通过UltraVR可在容灾中心实现华为云平台的快速恢复，满足客户对生产中心云平台业务连续性的需求。

云平台VIS双活容灾、云平台存储阵列复制容灾方案实现功能类型不同，具体功能特点和适应场景及建设成本对比参见表3，可根据业务需求进行部署。

表3 云数据中心容灾方案对比

6 结束语

根据传统的数据中心的发展现状、面临的挑战，结合数据中心发展趋势，本文提出分布式云数据中心建设与运营方案以虚拟化为基础，能有效解决传统数据中心遇到的困境，实现管理及业务的集中，对数据中心资源可进行动态调整和分配，重点满足企业关键应用向云迁移对于资源高性能、高可靠、安全性和高可适应性、及时性等方面的要求，提高基础架构的自动化管理水平。

当然，分布式云数据中心的建设，还需具体数据中心建设单位业务规模与需求等进行统筹分析与考虑。本文对网络规划设计人员及运营商网络建设人员具有一定的帮助，对数据中心规划建设具有一定的参考意义。

［1］郑叶来，陈世峻.分布式云数据中心的建设与管理［J］.中国科技信息，2013，21∶58.

［2］陆平.云计算基础架构及关键应用［M］.机械工业出版社，2016.

［3］陈国良，明仲.云计算工程［M］.北京∶人民邮电出版社，2016∶160-189.

［4］陈驰，于晶等.云计算安全体系［M］.北京∶科学出版社，2014∶51-55.

Distributed cloud data center construction

XU Huadong

According to the traditional data center development present situation and challenges， Combined with data center development trend，this paper mainly discusses the data center construction based on cloud computing， distributed cloud data center construction and operation schemes are given.

data center；distributed；cloud computing；construction scheme；operations management

2016-07-20）