中移互联网公司多节点数据中心建设方案

索凤莲

（中国移动通信集团设计院有限公司广东分公司，广州 510623）

1 背景

中移互联网公司的业务平台数量较多，公司大部分业务已经迁移或正在迁移至互联网公司自建南方基地数据中心，已迁移至数据中心的业务平台建立了与原有系统独立互通；但是还有一些业务平台采用传统烟囱式建设方式，硬件资源无法实现共享。互联网公司仍需对项目所需的硬件基础设施的统一规划、建设、运维，改变以往各业务烟囱式建设模式，打破系统壁垒进行资源的有效整合和共享。

随着互联网公司业务的不断发展，现有单节点建设模式无法更好满足业务需求。为了更好地提升用户体验，实现用户就近接入，互联网公司计划在北方建设新数据中心节点，新建北方节点将与南方节点互通，实现对互联网公司各业务平台的资源的统一调配和使用。

2 现有南方节点数据中心现状

目前南方节点计算资源全部采取了x86服务器，基本实现了去“I”，同时在存储资源方面构建了在线存储、近线备份及离线备份三级架构，其中，在线存储包括满足高性能数据读写需求的块存储及海量存储需求的x86分布式存储；网络资源方面采用二层扁平化组网，即从核心到接入全部采用二层组网，采用私有协议技术方案（思科链路捆绑VPC、华三集群/堆叠IRF2)。

3 现有南方节点数据中心技术分析

3.1 计算资源情况分析

现有计算资源规划时主要根据2011年服务器集采模型进行定制的，在实际使用过程中发现，现有服务器配置方式主要是按照服务器的物理形态，以2路4路、刀片机架区分高低档配置，仅对应于应用接口、业务处理、数据库、虚拟化4个应用场景，对于应用场景的区分粒度较粗，不能满足各类业务场景的精细化配置要求。

同时虚拟化服务器的宿主机物理内存配置按照集采模型进行配置，容量较小，随着虚拟机数量增多，内存最先成为瓶颈。目前计算服务器中，启用虚拟化的宿主物理机占比为比较低，虚拟化比例待进一步提高。

3.2 存储资源及组网技术分析

存储资源方面，也存在配置与需求场景不匹配的情况，出现了“豪华配置、低效使用”现象。目前集中块存储全部配置的都是高端磁盘阵列，同时全部配置了SAS盘/以上，对应用场景区分不够细，存在一定高配现象。

在实际使用中，各业务平台未按照不同应用场景存储性能需求差异如IOPS、时延、容量等规划存储资源的使用与运营，高端磁盘阵列存储了各业务系统结构化数据（不限于数据库）、及大量非结构化数据（如虚拟机镜像、业务系统日志、数据备份）。

近线备份资源配置相对高成本、高性能的虚拟带库类设备，定位1-6个月“温”数据备份，但现网使用中等同于离线备份设备使用、全备备份策略不合理存储资源除了在配置方面存在一定的问题，组网方面也需要改进。目前存储组网只有一种方式及基于FCOE的组网方式。FCOE与FC SAN组网对比如图1所示。

在存储资源监控方面，现网未建立起健全的存储闭环监控体系，存储资源监控流程部分缺失、无法有效提升精细化运维：存储监控指标除存储资源可用性、及存储容量划分/使用情况外，还需支持监控已分配存储资源的IOPS、读写比例、读写块大小、吞吐率等指标，系统上线后，支持反向评估资源使用合理度。

3.3 网络技术分析

现有数据中心采用的增强型二层技术进行组网。

传统二层扁平化组网导致故障域范围过大，容易影响全网稳定性。现网通过VDC/MDC虚拟化技术（1虚N）将一对物理核心交换机虚拟成DMZ区、业务区、存储区核心交换机， 各区域核心交换机与共用接入交换机之间存在二层环路，造成二层故障与洪泛波及全网范围，如图2所示。

现网组网结构要求核心交换机与接入交换机之间的二层链路需要透传大量VLAN，随着VLAN数量的快速增加，生成树实例也会不断增加，容易形成二层逻辑端口性能瓶颈。 第N条链路透传VLAN数量示意图如图3所示。

图1 FCOE与FC SAN组网对比

现有核心交换机横向扩展能力有限，目前组网技术核心层仅支持2台交换机，基本能够支撑2 000～3 000台x86规模数据中心建设，不能够满足中远期超大规模数据中心建设。

在集中管理方面，现有组网技术缺乏全网集中控制平面，无法实现全网统一策略部署（如安全、QoS、互访路由等），不利于提升全网维护与配置工作的自动化水平。每台网络设备都具备自己的控制平面与数据平面，但是整个数据中心缺乏集中控制平面。

图2 二层故障泛洪示意图

图3 第N条链路透传VLAN数量示意图

4 北方节点数据中心建设方案

为了更好提高用户体验，实现用户就近接入，互联网公司将在北方新建数据中心节点。

业务平台多节点建设，首先需要对现有业务平台系统架构进行分析，确定南北各部署哪些模块及子系统，同时需要确定个业务对南北节点之间的传输时延要求。

通过对南方节点数据中心现有技术的分析，基于新技术发展及南方节点数据中心运营现状，新数据中心节点计算与存储领域将采取按照分场景、分模型进行资源配置、提升运营效益与投资效率；网络领域引入SDN等新技术，消除二层扁平化组网带来的诸多问题。同时根据对业务平台南北节点的网络需求，南北节点现阶段只需要通过三层互通。

4.1 计算资源建设方案

通过对北方节点业务场景的分析，规划由前期的4个场景、 4类服务器模型，细化扩展至10个应用场景、8类服务器模型,表1列出各类型服务器使用场景描述。

原则上应用服务器全部采用虚拟化服务器模型（机架）进行配置，以提升虚拟化服务器的比例。

4.2 存储资源建设方案

北方节点继续推进基于x86的分布式存储技术，同时对现有业务场景进行分析，得出8类场景、5类模型，如表2所示，存储选型时结合此模型进行选择。

确定了存储技术的选择，接下来需要进一步确定存储组网技术，结合存储分类及业务场景需求，存储组网技术选型方案如表3所示。

4.3 组网技术建设方案

通过对南方节点组网技术的分析，北方节点根据数据中心组网技术的演进，将逐步引入SDN和NFV技术。

4.4 云管理平台建设方案

由于现有互联网公司云管台能力不完善，随着北方节点的新建，需要按照OpenStack架构改造现有资源池管理平台，解耦形成云管理平台、形成管理平台二级架

构，如图4所示，实现对南北方节点的统一管理，并预留与总部云管理平台统一视图接口。

表1 各类型服务器使用场景描述

表2 存储分级分场景配置模型

表3 存储组网技术选型方案

图4 云管理平台架构图

5 结论

互联网公司现有南方节点数据中心经过多期建设，已逐步实现从烟囱式建设方式变更为统一数据中心建设方式。随着互联网公司业务不断发展，现有南方节点数据中心单节点建设方式无法全面保障对业务的支撑，为了更好地提升用户体验，实现用户就近接入，需要逐步引入多个数据中心节点的建设。