关于数据中心内部网络的研究

内蒙古电力（集团）有限责任公司信息通信分公司 汪 啸 王 利 张田佳 李 欣

关于数据中心内部网络的研究

内蒙古电力（集团）有限责任公司信息通信分公司 汪 啸 王 利 张田佳 李 欣

网络介质是数据中心的重要组成部分。随着信息化工作的不断深入，计算机网络建设进程也随之加快，数据中心内部网络存在的安全、性能不足、成本过高等问题日益突出。为应对上述问题，在充分调查研究的基础上，依据实际情况进行研究、规划、建设和运维工作可有效降低网络系统资源分配压力，提高网络系统的工作效率，在有效降低综合成本的基础上实现业务的高可用性。通过对数据中心内部网络常用介质的种类、使用方式进行介绍、分析，提出了适用于数据中心内部的网络建设的意见，继而对数据中心内部网络介质的发展模式进行了较为深入的分析和探讨。

数据中心；计算机网络；传输介质；物理隔离

1.引言

社会经济的快速发展、信息的爆炸式增长推动IT技术飞速发展。云计算、大数据、物联网、移动互联网、智慧城市等技术和思维模式的兴起将IT支撑架构置于如同自来水、天然气、电网等公用设施同等重要的位置。作为IT支撑架构的核心，数据中心机房的基础设施建设水平以及扩展能力决定了其运行效率、运营成本、可靠性等指标。作为数据中心机房信息设备互联互通的基础，如何加强数据中心机房内部网络建设已经成为一个热点问题。

2.现状分析

数据中心网络从单一业务数据共享功能发展到现在的业务数据传输、设备管理、架构支撑等多种功能，网络虚拟化技术、承载技术的发展又推动了网络融合和单一通道复用模式的推广。复用模式可以有效降低了网络部署成本，同时也带来了一些问题，主要有：1.无法实现物理隔离，存在安全隐患。2.无法实现故障隔离，网络故障可能导致连锁反应，存在产生系统性故障的风险。3.无法有效进行流量分析，存在由网络拥堵导致的数据传输瓶颈的风险。4.无法对设备承载的业务进行分类建设、管理和维护，同时存在投入不足和欠缺的问题。

为应对网络安全日益严峻的形势、数据大量增长的实际情况，有必要对数据中心内部网络的功能、定位进行分析、研判，根据应用场景建立物理隔离、分级投入的网络建设、管理和运维机制。同时，有必要积极学习、适应技术发展，不断完善相关体系和机制。

3.网络功能研究

现有网络划分一般基于区域、协议等方式，在软件、硬件融合和虚拟化的背景下，网络边界日渐模糊，不利于隔离、分级工作的开展。作为数据中心内部各设备的通信基础，应以应用为导向，以服务各设备为目标进行划分。

结合数据中心的实际情况，其内部网络可划分为三类。

3.1 业务支撑网络，即以高速网络为基础，实现各服务器的连通和数据交互，同时通过网络安全设备与数据中心外部用户或其他数据中心进行数据交互、提供信息服务。目前，处于主流地位的为遵循IEEE802.3标准的1G/10G/100G速率局域网，其特点为成熟度高、兼容性强。

3.2 架构支撑网络，即以通用标准网络为基础，实现计算处理设备、数据存储设备间的数据共享，同时提供软件、数据库以及相关硬件和数据资源的分布式共享集成服务。目前，处理主导地位的为采用TCP/IP协议、FC协议、Infiniband标准的类内部总线网络，其特点为成熟度较高、效率高。

3.3 管理支撑网络，即以设备的管理模块作为数据源，利用诊断技术、KVM技术进行设备的运行状态监测、故障管理、操作维护等工作，具有技术成熟、架构简单等特点。同时，该网络对技术审计、管理合规性以及安全环境有较高的要求。

4.关于网络架构建设方向的探讨

4.1 基于光纤介质的网络

目前，数据中心内部网络的介质主要有多模光纤和双绞线。双绞线可适用于1G以太网布线，因其有效传输距离随速率增加而降低，故在10G网络中罕有使用。多模光纤的有效传输距离在300m以上，可适用于1/10G以太网、FC协议网建设。常见多模光纤为OM3级别，接口为LC-LC组成的双芯TX-RX收发对。在IEEE802.3ba规定的40/100G速率以太网络中，以每芯20/25Gbps的单向速率按照TX-RX规则组成多通道的传输组，最后组合成光纤MPO接口进行连接。

短期内，光纤介质网络的速率仍以1/10G为主，在此情况下，可利用光纤网络建立以太网和FC协议存储网。其中光纤介质以太网可作为业务支撑网络的架构基础使用，FC网络可作为架构支撑网络基础使用。实现物理隔离的光纤以太网可作为汇聚层和核心层的高速网络架构基础通过具有光电转换功能的交换机与接入层的相关设备、线缆组成管理支撑网络的物理基础。

从长期来看，光纤介质网络速率向40/100G阶段发展，结合数据中心向规模化、模块化、集成化、大型化发展的趋势，可以确定在数据中心内部进行中等强度的数据交互的业务支撑网络可以此架构为研究、设计、建设和运维重点。同时，依托以太网进行的协议虚拟化网络可作为分布式数据中心、数据灾备的发展方向进行重点研究。

4.2 基于背板的刀片式服务器机箱内部网络

在通常情况下，背板线缆组成的网络常作为服务器的部件进行运维。随着刀片式设备以快速增多，由背板网络由支持单一协议的端到端连接逐渐转变为支持多个协议的多节点网络。由于此类服务器多用于虚拟化环境部署，所以内部各刀片间网络流量较大，可认为其具有架构支撑网络的全部特征和功能。

短期内，背板网络在刀箱设备内独立存在、运行，与外部进行数据交互依托业务支撑网络。随着云计算技术的逐步成熟，刀箱设备间、刀箱设备与共享存储、刀箱设备与同云计算资源池等外部交互现象会逐渐增多，架构支撑网络的范围随着设备互联性的增强也同时向外延伸。

在分布式技术快速发展的今天，大流量的节点间数据传输造成网络资源的大量消耗，在部署刀片式服务器的情况下，将节点间数据传输依托机箱内部交换网络实现，将处理过的数据传输至机箱之外，有利于降低IDC网络的负载，对IDC网络的可用性和效率都是有一定积极作用的。

4.3 基于电缆介质的网络

常见的电缆介质网络是双绞线组成的以太网，而基于电缆的Infiniband网络设备和介质也在逐渐增多。

双绞线和电口交换机组成的以太网具有造价低、部署快的特点，常用作数据中心管理支撑网络建设，在低速率数据传输要求的环境中，也可作为业务和架构支撑网络的物理基础。考虑到双绞线网络具有技术成熟、成本低、兼容性好、稳定性高的特点，以及目前服务器诊断管理模块（一般为标识为MGT）采用RJ-45接口，适配双绞线电缆组成的以太网，可以在今后的数据中心建设工作中继续预留基于双绞线的综合布线系统作为监控管理网络的物理基础。但其总体体积较大，在多信息点需求的先进数据中心中会产生较为严重的空间占用情况，不利于线缆通道的管理和维护。所以，在未来可考虑在机柜列头部署电-光转换设备，以光电转换等技术予以改进，现实服务器监控、管理、运行（生产）网络的物理隔离。

采用Infiniband标准的设备多见于一体化数据处理存储设备，由于其具有高带宽、低延迟的特性，又用于数据库存储孔家你的构建，故可视为FC-SAN网络的升级。在距离较近的设备间，一般部署电缆介质Infiniband线缆，在距离较远的情况下采用光缆介质，在进行同城或异地容灾的情况下，可随容灾链路的实际情况进行协议虚拟化改造。

4.结束语

在数据中心网络介质全生命周期管理的过程中，需要在考虑当前配置的情况下进行有针对性的技术改造和升级工作，充分利用现有资源以降低成本；同时也需要具有一定的技术前瞻性以确保资金得到合理运用。

[1]张晋文．突发式无线数据传输的分布式瞬态压力测试系统[D]．中北大学,2015．

[2]张天晶．汪齐贤．千兆位以太网技术[J]．现代通信,1999年02期．

[3]田辉．石友康．以太网技术及标准化新进展[J]．通信世界,2006年38期．

[4]李冬艳．陈建峡．田立勤．网络可用性提高的机制、分析与量化评估[J]．华北科技学院学报,2011年11期．

[5]董小社．乔楠．钱德沛．赵聪．新型的IBA刀片式集群服务器及其内部互联[J]． 计算机应用．2003年02期．

汪啸（1986-），硕士，工程师，研究方向为信息系统架构分析。