25千兆与50千兆以太网是云级网络更快更具经济效益的互联路线图
随着大数据的不断发展,虚拟机数量的持续增长,人们对云负载的需求也随之上升。因此,在光纤成本允许的情况下,各大型云运营商将选择采用100千兆以太网架构来替代原有的网络脊层。
当叶脊光链路迁移到100千兆以太网且CPU/存储端点的需求高于10Gb/s网络连接时,面向服务器和存储的以太网下行链路将会发生何种变化?对于以布线成本为主要考虑因素的巨型数据中心(MSDC)来说,这些链路意味着需要最大数量的电缆部署。
目前,IEEE 802.3标准将40千兆以太网定义为继10千兆以太网之后新一代更高速的网络连接,这项标准指定了4条以10Gb/s运行的物理通道,用于实现链接伙伴之间的通信。作为这项规范的基础,服务器网络接口控制器(NIC)的物理通道数量增加了4倍,架顶式(TOR)交换机的铜芯线缆数量增加了4倍,交换机配备的串行器/解串器(SerDes)通道数量也增加了4倍。
40千兆以太网的性能是10千兆以太网的4倍,这就导致40千兆以太网所需的物理连接元件数量也增加了4倍。考虑到相应的成本支出,对于各端点工作负载刚刚超过10Gb/s阀值的数据中心运营商来说,40Gb/s可能是大材小用了。
在芯片技术已经能够支持100千兆以太网链接的今天,机架内以太网连接也需要比40千兆以太网更好的解决方案,解决之道很可能就是25千兆以太网技术。与40千兆以太网相同,100千兆以太网标准(CAUI-4,100GBASE-CR4,100GBASE-SR4)也使用了4条物理通道来支持链接伙伴之间的通信。由于4条通道的运行速率都高于25Gb/s,只要在100千兆的条件下运用按通道拆分的原则,即可在服务器/存储端点与TOR交换机之间支持多个25千兆以太网端口。
最近,包括Arista Networks、博通、谷歌、微软与Mellanox Technologies在内的公司宣布成立一个联盟,全力推进全新的25千兆以太网标准的实施,提升大型数据中心内以太网的性能和电缆线路的效率。
具体来说,这个25千兆以太网联盟提出了一个全新的25Gb/s和50Gb/s以太网规范,充分利用25Gb/s芯片技术和现有的10/40/100Gb/s IEEE标准,来定义TOR与NIC之间全新的高速下行链路端口。该规范目的是在10Gb/s后,仍能以最具成本效益的方式提高服务器/存储带宽,并将数据中心网络的其他部分保持在最佳的100G上行链路之上。
该联盟已将其25千兆与50千兆以太网规开放给了所有数据中心生态系统供应商和消费者,后者将帮助其创建和部署标准化且可互操作的规范,并被免除了版税。该联盟由极具影响力的云技术公司组建而成。联盟并非要重新定义以太网,而是希望从现有的以太网标准中推断出机架级互联的主要性能和成本优化点,为网络速度与数据中心输入提供更好的路线图。
在数量方面,相对于目前的10千兆或40千兆以太网连接,由“25千兆以太网联盟”规范定义的25千兆和50千兆以太网链路能够将各串行器/解串器(SerDes)通道及双轴铜缆线缆的性能提升2.5倍,这样的性能可将每单位带宽的机架级互联成本节约50%以上,显著改善MSDC运营商的盈亏水平。此外,该规范的实施还能够拓宽网络规模(通常被称为基数),并且,相比40千兆以太网服务器到TOR连接,它能在机架内支持更高的服务器密度。
该规范规定:通过使用单一交换机/N I C SerDes通道,25千兆以太网链路所提供的带宽相当于目前使用2对双轴铜缆SFP+直连式铜缆(DAC)的10Gb/s链路所提供带宽的2.5倍。通过使用2条以25Gb/s运行的交换机/NIC SerDes通道,50千兆以太网链路能够提供比40千兆以太网链路多25%的带宽。此外,和目前的QSFP+DAC布线相比,规范中仅使用了一半数量(4条)的双轴铜缆。当各通道速率为25Gb/s时,交换机与NIC芯片运行速度将变得更快,而功耗只会有略微的上升。然而,在带宽实现标准化后,成本与功耗方面的优势将会更加明显。
在机架端点,基于25Gb/s芯片技术的新一代NIC能够从TOR交换机为服务器/存储节点提供1个或2个25/50千兆以太网端口。在TOR的前面板上,简洁的SFP28型连接器和3米DAC铜缆能够用于25G下行链路,QSFP28端口能够用于上行链路。另外,QSFP28 4x25G接口可以横置于整个交换机前面板之上。通过这种方式,用户完全可以对服务器下行链路与100G网络上行链路的分配进行配置,并使用DAC分接布线灵活地为端点提供25G(1条通道)或50G(2条通道)以太网端口。布线拓扑与目前配有SFP+与QSFP+的高密度交换机拓扑基本上是相同的。由于25Gb/s与50Gb/s以太网的机架级互联可以通过采用低成本的2对或4对双轴铜缆来实现,运营商得以获得最具优势的布线成本。
将QSFP28 4x25G接口分接到符合业内标准的25G与50千兆以太网端口还能带来另一个优势,即能够在有限的1U前面板尺寸限制下,将TOR交换机的端口密度最大化。目前业界所部署的1U TOR交换机带有各种可插的QSFP+机箱,最多可支持32个40千兆以太网端口。通过将这些接口迁移至具有通道拆分能力的QSFP28,1U TOR交换机面板上将能够支持更高的25千兆与50千兆以太网端口密度,并且能够与目前所部属的具有最高服务器密度的机架实现连接。
MSDC运营商通常需要处理超大规模的网络数据流量,他们根据精心规划的技术路线图来建设网络,以达到性能与资本支出和运营支出控制上的优化扩展。“25千兆以太网联盟”的成员认为,只有打破以前构建的10/40/100千兆以太网互联路线图,才能保证数据中心接入层的传输。该联盟目前致力于在云架构上把广泛部署的25千兆与50千兆以太网端口与100千兆以太网结合起来,这将有望成为以太网性能-成本曲线上的新一个转折点。
(文/Broadcom网络交换机产品营销总监Rochan Sankar)