城市商业银行数据中心高密度布线的最佳实践

蔡振华

（厦门银行股份有限公司，福建 厦门 361000）

数据中心作为城市商业银行的数据存储和处理的核心，其网络系统在数据中心中如同身体的血管、神经中枢，其链路质量可靠性、性能稳定性以及可扩展性就变得至关重要。

1 传统数据中心综布存在问题

1.1 建设周期长

数据中心综合布线光纤配线工程量占据了整体综布工程量的60%-70%。传统光纤熔纤接续工作是光纤传输系统建设中工作量最大、技术要求最复杂的重要工序。光纤熔纤接续工作主要包括排束、剥缆、穿热缩管、制作光纤端面、裸纤清洁、裸纤切割、熔接、盘纤等工作。一般熔接一根尾纤熟练技工实施需要1到2分钟时间。试想一下，千上万条尾纤的布放和成端工作，需要耗费多少的人力和时间。

1.2 链路变化灵活性差

在综合布线标准中定义了各类的接口规格，比如双绞线连接器的RJ11和RJ45接口。光纤跳线连接器常见的接口规格有SC、LC、ST、FC 等。如何在众多纷繁的接口类型中选择适宜应用场景的接口，并能够灵活根据网络带宽要求、链路衰耗要求的不同更换接口类型，是摆在综合布线系统设计、实施、运维过程中工程师较为困扰的问题。不断的增加布线，使得原有机房走线槽越来越拥堵，布线理线工作越来越不好开展，更不用说综合布线升级改造工作。

1.3 技术扩展性较差

网络的迭代更新，带给了数据中心更高的带宽，更快的速度，但对于处于物理层的综合布线系统也带来了更大的压力。早期的超五类线、OM1/OM2光缆已经无法满足现在的网络需求，技术扩展性较差。而网络的优化提升，就意味着需要对原有整个数据中心的综合布线系统进行大改造、大换血。这一方面增加了网络改造的成本，另一方面也对原有数据中心的综合布线改造实施提出了相当高的要求。

2 数据中心光纤高密布线技术

随着网速的不断提高，光纤网络本身对于传输介质的要求越来越高，其中最主要的指标是光纤链路的损耗。而光纤链路中损耗占比最大的是连接器部分的插损。光纤链路的损耗由光纤线缆的衰减和光纤连接器的插入损耗两部分组成。一般情况下数据中心机房内部的光缆长度不超过100米，其衰减为0.35dB 左右，而一条光纤链路中会包含多个连接器耦合对，一个典型的光纤连接器耦合对的插入损耗在0.2-0.4dB 范围内，所以一个光纤链路连接部分的优劣将直接影响光纤链路整体的损耗和所能支持的网络和传输能力。要求光纤链路中存在多次的跳接，链路总衰减也将相应的增加。这就将对光纤信道的衰减提出更高的要求。

2.1 适用标准

表1是IEEE 802.3关于10G 以上多模光纤以太网应用的光纤链路损耗和距离要求。

表1 多模光纤以太网应用的光纤链路损耗和距离要求

目前主流的以太网应用主要为10GBASE-SR、40GBASE-SR4、100GBASE-SR4 以及400GBASE-SR16。从上图可以看出，IEEE 发布的光纤以太网对损耗的要求中，10G 以太网需采用OM3 光纤传输，最远距离达到300米，光纤链路的损耗最高不能超过2.6dB。40G 以太网和100G 以太网，采用OM3光纤可以传输100米的距离，损耗最高不能超过1.9dB。采用OM4光纤可以传输到150米的距离，损耗不能超过1.5dB。

除了以太网，数据中心还会经常用到存储网络的光纤通道，也就是FiberChannel 这种网络。具体如表2所示。

表2 光纤通道应用的综合布线要求

2.2 光纤高密布线技术优势

2.2.1 开放性

光纤高密布线技术的开放性主要表现在它的基础物理性能需要完全独立于应用系统，并且符合国际现行标准，支持所有通信协议。

2.2.2 灵活性

光纤高密布线技术采用预端接的传输线缆和连接硬件，采用模块化设计理念，预端接模块做到按需更换，快速部署，即插即用。通过实践证明，其部署速度比传统的现场熔纤的端接方式快90%，且无需独立的现场端接连接器、端接套件、耗材，无现场废料或垃圾，而且操作人员也不需要具备成本高昂的光纤端接专业技能。

2.2.3 可靠性

光纤高密布线技术采用的相关连接件均通过ISO 认证。每条通道都要采用专用仪器测试链路衰减，保证光学传输性能。根据数据中心的15年到20年的生命周期，采用的产品应当保证其链路的稳定性和长期耐用性。布线系统全部采用点到点连接，任何一条链路故障均不影响其他链路的运行。

2.2.4 先进性

从网络的架构演变趋势来看，扁平化、融合会是未来网络主流发展方向。网络的扁平化也对核心路由交换设备提出了更高的端口密度和更高速率的上行端口要求。除了目前大量应用的40G、100G 的接口需求外，光纤高密布线技术还适用于以太网400G 链路类型，这是未来多年数据中心的发展趋势。

2.2.5 经济性

数据中心容量标准其中一个重要指标就是机柜数量。光纤高密布线技术可以在压缩配线端机柜空间的情况下，将更多的空间提供给IT 设备。另外，40G100G以太网采用的是SR4，并行传输也在一定程度上节省了设备端的光模块成本，并且无源设备的高密度并不会带来其他电源和制冷的增加。

2.3 光纤高密度布线极性问题

光纤高密布线技术在需要考虑布线系统的极性问题。一般来说，为了达到全双工传输，光纤链路至少需要2芯，本端的发对应对端的收。当一个链路需要多芯光纤进行高速传输的时候，要保证光纤链路的极性就变得更加复杂。TIA568定义了3种接口类型。A 极性为直连型，如图1所示。

图1 A极性光纤通道示意图

B 极性为完全反转型，如图2所示。

图2 B极性光纤通道示意图

C 极性为交叉型，如图3所示。

图3 C极性光纤通道示意图

根据不同极性中预端接光缆和耦合器的设计不同。如图4所示，在40GBASE-SR4、100GBASE-SR4以太网应用场景中，A 极性MTP 预端接光缆的方案和C 极性MTP 预端接光缆需要采用不同极性的跳线，这给使用方就带来较大的困扰，需要网络工程师熟悉光纤布线系统和光纤跳线极性类型，对施工、库存、管理等方面都带来了不便。B 极性MTP 预端接光缆最优，从跳线、MTP耦合器、MTP 预端接光缆所有配件都是相同规格型号，方便管理和实施。

图4 40G/100G不同极性链路连接对比

所以，在40GBASE-SR4、100GBASE-SR4以太网应用场景中，业界主流采用B 极性MTP 预端接光缆方案。

如图5所示，在10G-SR/40G/100G-BiDi 以太网应用场景中，A 极性的预端接光缆方案中，两端的跳线类型不同。B 极性的预端接光缆方案中，不同厂家采用不同的模块或者相同模块不同安装方式。这两种情况对于使用者来说都会产生困扰，不便设计、安装及管理。

图5 10G-SR/40G/100G-BiDi不同极性链路连接对比

C 极性的预端接光缆方案中，预端接两边模块和跳线都是相同的，易于用户使用。当然有些主流厂家针对B 极性预端接光缆在10G-SR/40G/100G-BiDi 以太网应用场景中通过技术专利研发出了通用极性的LC/MTP 光配线模块。通用极性可以让建设方在进行光配线模块的移动、新增和变更操作时不用考虑极性问题。

所以，在10G-SR/40G/100G-BiDi 以太网应用场景中，目前业界主流采用B 极性和C 极性的预端接光缆方案。

2.4 抗弯曲性能

光纤的弯曲弧度变大会产生更多的损耗。当在狭小的空间中盘光缆或者需要在管道中增加新的连接时，会变得更加拥挤，可能会挤压光纤或者将光纤过度捆绑缠绕在一起。所以光纤高密布线技术中需要解决的是减小狭小空间中的宏弯损耗。如果普通光纤被过紧地弯曲，光传导模遇到过弯曲拐点会使光泄露到包层中，导致信号衰落。抗弯曲性能的光纤在光纤外围有一层光沟道。光沟道如同一层“防护屏障”，由于弯曲而外泄的能量在纤芯和覆层之间又被反射回到了纤芯中，确保光传导模在光纤中经过拐点或弯曲时的情况下依然在纤芯中传播，将能量的外泄控制到了很小的程度，进而大幅度的降低了光纤的损耗。

在工程实施过程中，物理挤压、由于施工规范的问题光缆使用普通扎带进行捆扎、过多的光缆长度、多圈缠绕都会增加光纤的损耗，导致链路的误码率陡升。

如图6所示，这是一个典型的SAN 设备配线到服务器设备配线的连接。从SAN 交换设备到服务器设备的过程中，会有超过30个弯曲。而一般工程验收只会对SAN设备的配线架到主配线机柜配线架、服务器机柜配线架到主配线机柜配线架进行测试，对于整体链路的测试可能会忽略。

图6 布线示意图

归纳一下，抗弯曲多模光纤的优点如表3所示。

表3 抗弯曲多模光纤的优点

3 城商行数据中心综布实践

3.1 城商行数据中心整体布线架构

如图7所示，GB50174-2017定义了数据中心整体布线架构，数据中心的布线逻辑区域主要分为主配线区、中间配线区、水平配线区和设备配线区。基于城商行数据中心规模，根据网络系统的核心、汇聚、接入三层设计，网络设备区域主配线区到中间配线区按照交叉互联模式，中间配线区到水平配线区采用双链路上联模式。水平配线区到设备配线区采用双列头模式。设备配线区每列设置多个服务器机柜。考虑到链路的长度以及双上行的不同物理路由，每列服务器机柜的列头和列尾各设置1个网络接入机柜。每个服务器机柜通过双链路连接到网络接入机柜。

图7 数据中心整体布线架构

考虑到SAN 存储部分的布线设计，由于光纤交换机、存储设备的成本较高，不适宜采用列头列尾方式设计。城市商业银行数据中心一般核心布线区域不会超过100米距离，这也是IEEE 16G FC 光纤通道所要求的距离限制，所以可以采用集中配线的模式。在数据中心单独设置一个区域作为SAN 水平配线区，每个服务器机柜双链路上联到SAN 设备水平配线区，再通过SAN 设备水平配线区接入光纤交换机。SAN 设备水平配线区中每个配线柜与存储设备区机柜进行交叉互联。

3.2 产品选型与演化升级

3.2.1 光纤配线产品选型

数据中心采用多模光纤布线。光纤配线采用高密度布线1U 144芯高密预端接产品，光缆采用12芯预端接光缆。首先，光纤配线产品采用模块化设计，支持从10G向40/100G 应用的无缝升级。10G LC 到MTP 光配线模块可轻松更换为40/100G MTP 适配器。其次，为减少可严重降低系统性能的污染物和表面缺陷，10G LC 到MTP 光配线模块每个LC 接口具备自动防尘盖。再次，高密光纤配线产品需要能够缓解通道堵塞、改善气流，且易于跳线插拔。最后，为减少高密光纤配线的跳线拥挤情况，采用易插拔的单管双芯光纤跳线。

3.2.2 铜缆配线产品选型

根据GB 50174-2017标准中对于数据中心铜缆产品选型的定义，城商行数据中心建议采用CAT 6A 铜缆。基于高密度布线可以节约机柜空间的考虑，采用1U 48口铜缆配线架，同时为了方便操作跳线的插拔，配置相应的28AWG 的6A 铜缆超细跳线。

3.2.3 网络10G 到40G/100G 演化

多模光缆部署将满足城市商业银行数据中心网络接入层主流10G 的需求，并需要能够快速升级到40G/100G网络链路。40G 端口的相关技术和产业链相对成熟，在芯片成本、光模块成本和端口部署等方面都有着其现实意义。从IEEE802.3-2010到IEEE802.3-2015的标准制定来看，SR4的规模商业化将带来整体建设成本的下降。

40GBASE-SR4和100GBASE-SR4使用8芯多模光纤介质来传输。所以，我们需要考虑从12芯多模预端接光缆到8芯预端接光缆的转变，或者考虑如何将12芯光缆最大程度的利用。

如图8所示，当需要升级交换机时，只需将10G LC/MTP 光配线模块更换为一个 MTP 适配器面板。另外，使用MTP 跳线连接 40/100G 交换机即可完成升级。

图8 1/10G 向40/100G演化的结构化布线

对于40/100G 以太网，总连接器损耗是必须被考虑的。MTP 连接器耦合的最大连接器损耗规格为0.5dB 和0.35dB。考虑到网络基础设施的发展，总连接损耗、物理连接距离应作为最终产品性能选择的标准。由于OM3在100GBASE-SR4应用中最大距离限制为70米，而部分链路在数据中心是可能超过的，所以在网络升级100G设备前建议将预端接光缆升级成0M4光缆。

如图9所示，表示2台10G 交换设备连接的物理拓扑。10G 链路总连接损耗计算如下，10G 网络的OM3链路总连接最大损耗应低于 2.6 dB。

图9 10G链路物理拓扑

10G 链路总连接损耗=4*LC/MTP 模块插损+2*MTP光缆损耗（1）

如图10所示，表示2台40G/100G 交换设备连接的物理拓扑。40G/100G 链路总连接损耗计算如下，40G/100G网络的OM3链路总连接最大损耗应低于1.8 dB。

图10 40G/100G链路物理拓扑

40G/100G 链路总连接损耗=4*MTP 连接器插损+2*MTP 光缆损耗（2）网络主干网技术先后经历了155M、1G、10G、40G、100G 等不同发展阶段。当下，光纤技术已成为构建主干网的优质选项。随着技术的发展，当100G 技术不能满足网络传输需求，400G 将是超高速、大容量、融合、智能化光传输网的演进方向。伴随多个400G 标准颁布，MTP 多芯光纤并行传输正给400G 网络创造绝佳的条件。此外，伴随数据中心对高带宽、高速度应用的需求增长，OM5光纤跳线将会成为用于高速数据中心应用的新型多模光纤跳线。OM5光纤跳线借鉴了单模光纤的波分复用（WDM）技术，延展了网络传输时的可用波长范围，降低了网络的布线成本。此外，OM5可扩展性强，可向下兼容OM3和OM4类型的光纤。OM5光纤将会给光通信领域带来巨大的变化。

4 数据中心光纤技术展望