国家超算广州中心机房网络与布线设计

任 嘉 競

(广东省电信规划设计院有限公司, 广东 广州 510630)

0 引 言

超算中心含大量的服务器设备、网络设备以及按照普通用户使用需求和政务需求分离的逻辑区域。为了保证超算中心在今后的高可扩展及实用性,超算中心的网络及布线系统设计需考虑今后扩展需求,预留相应的物理空间及扩展条件。

国家超算广州中心项目建设完成后,将使广州初步具备集先进计算与信息处理、开放科研开发基础平台、开放培训和教育平台、面向综合信息化管理的综合办公平台于一体的基础设施。高可靠的超算中心需要高等级、高可靠的网络布线系统,在保证电力及空调系统的前提下,为数据中心内部的数据交换提供双重保障,满足日益增长的带宽需求,从而实现超算中心内IT及网络设备的不间断运转。

1 超算中心网络设计

1.1 网络设计目标

超算中心网络作为中心基础设施的重要组成部分,为核心业务系统服务器和存储设备提供安全、可靠的接入平台。网络设计应以实现下列目标为原则。

(1) 实用性、先进性、成熟性。方案不仅需要适应新技术发展方向,保证计算机网络的先进性,同时也兼顾成熟的网络技术和经济实用性。

(2) 融合超算与云计算。超算技术和云计算技术都有各自特点,网络设计应将两者的长处结合起来,实现取长补短,协同发展。

(3) 安全性、可靠性和容错性。由于超算中心向用户提供数据类服务的性质,决定其网络设计的首要原则是保证用户的设备或内容在安全、可靠的网络环境下进行安全、可靠的信息传输和处理。从安全、可靠的角度,网络设计将核心网络设备互为冗余备份,网络连接采用双链路连接,网络设备的选型要考虑模块的冗余等,使整个网络尽可能减少单点故障而引起的系统无法运行情况。

(4) 大容量。超算中心不但要提供高带宽和多业务,且能随时升级网络,以满足将来的业务需要,包括提供多种接入端口,满足不同带宽的专线接入、VPN业务等。

(5) 开放式、标准化。超算中心是集中各类至关重要的设备、软件和应用系统,集成最先进的计算机类产品。超算中心网络平台的目的在于互连不同制造厂商的设备,实现计算机软、硬件资源的数据交换。一个不标准、不开放的网络平台将极大地阻碍超算中心业务运作和发展。

1.2 网络设计方法

广州超算中心分层设计如图1所示。按照二层扁平化设计的原则,结合超算中心的业务特点,将网络层次模型大致划分为核心层、汇聚层、接入层。

图1 广州超算中心分层设计

核心层构成整个超算中心生产局域网的高速交换核心,为各个功能分区提供高可靠、高稳定和支持快速愈合的第三层接入服务。核心层设计以高可靠、高速交换为主要原则。

汇聚层由各个功能分区的交换核心组成,提供各个分区内部接入层的汇聚,作为各个分区的对外接入,集中实现接入控制和安全控制。各种增值业务部署在汇聚层。

接入层是用于各个分区主机和服务器的接入,具有万兆上行、高密度千兆接入的能力,支持双向访问控制,并针对接入的数据流进行标记工作,便于传输过程中逐级实现针对流量的QoS控制策略。

超算中心网络系统框架如图2所示。

需要注意的是,对于涉密网络,网络结构简单,且不需要提供负载的安全业务,所以可以将汇聚层、接入层和核心层合一。

图2 超算中心网络系统框架

2 综合布线系统设计

超算中心的网络系统是整个中心业务的最终承载者,需要长期可靠运行,而综合布线系统则是网络系统的运输大使,为整个网络系统提供可扩展的通道。

国家超算广州中心项目属于高可靠性工程,按照布线等级R3要求,链路采用冗余方式,保证机房布线安全性达到容错级别,单点故障均不会影响业务。同时,根据客户属性不同,为提高客户机房布线系统安全性,部署独立的布线系统,系统主要汇聚、核心及出口线路均选用抗干扰能力更强、可靠性更高的阻燃光缆,且大楼业务布线系统的关键布线设备和链路均按全容量设有冗余,部署在不同物理位置机房和按不同路由进行敷设,避免单点故障的出现。

根据GB 50174—2017《电子信息系统 机房设计规范》[1]和ANSI/TIA-942-A—2012标准[2],数据机房分为接入间、主配线区、中间配线区、水平配线区等。

(1) 接入间。在机楼东西两侧共设置2个接入间,用于安装传输设备、光纤配线架(ODF)、出口路由器、网路安全等设备。2个接入间不应共用防火分区、空调设备等。在接入间完成室内通信线缆和出局通信线缆的转接,出局通信线缆应设置不同出局路由。

(2) 主配线区。在机楼I/O机房设置2个网络核心区域。2个核心区域不应共用防火分区、电力配电设备、空调设备等,用于安装数据中心核心交换机、汇聚交换机、网络安全、网络优化、ODF等设备。

(3) 中间配线区。在某机房列内设置中间配线区,该区域相当于一个汇聚的配线区域,可用于安装汇聚/接入交换机、SAN交换机、KVM交换机、ODF、网络配线设施等。

(4) 水平配线区。在机楼各IT机房内可按列设置水平配线区,该区域相当于一个列内汇聚的配线区域,可用于安装接入交换机、SAN交换机、KVM交换机、ODF、网络配线设施等。每个水平配线区至中间配线区(即机房汇聚机柜)宜分别设置不同的通信线缆路由,分别接入2台汇聚交换机设备。两列相邻机柜的列头柜间应通过一定数量的光纤和双绞线互连,使得部署在相邻两列机柜中的设备可以灵活组网。

(5) 设备配线区。该区域完成每个机柜接入至其所在区域的水平区域配线设备的布线。

光缆布线系统采用先进、便捷和安全的预端接光纤系统,预端接方案把安装中诸如剥除光缆外护套、光缆分支、连接器安装和硬件组装等耗时的步骤都在工厂内完成,再将整个产品运送到工地现场进行快捷的安装[3-4]。

预端接的光缆和硬件是超算中心应用的理想选择。在这些实际的应用中,预端接解决方案节省系统安装时间,缩短故障宕机时间,远优于传统的安装方式。

布线系统采用MPO/MTP预端接光纤系统,可以为今后超算中心平滑升级到40/100 Gb/s系统提供保障,只换转接模块即可,主干链路无需更换,可满足未来10年内的使用需求。

3 结 语

超算中心网络布线系统复杂而又精密,应根据超算中心机房的规模、等级,在遵照执行国家和行业相关技术规范、标准的基础上,合理设计可靠、可扩展的超算中心网络及布线系统,确保超算中心电子信息系统设备的安全、可靠运行。

[1]电子信息系统机房设计规范:GB50174—2017[S].

[2]Telecommunicationsinfrastructurestandardfordatacenters:ANSI/TIA-942-A—2012[S].

[3]沈亚,戴卓莹.同城灾备中心综合布线设计[J].现代建筑电气,2017,8(8):14-18.

[4]党岗.超级计算中心核心应用的浅析[J].计算机科学,2013,40(3):133-135.