高可靠性舰艇网络组网方案研究

胡士毅，袁国材，范 颖

(中国船舶集团有限公司 第七二二研究所，湖北 武汉 430205)

0 引 言

舰艇网络是舰艇信息系统的重要基础设施，面向作战/平台/通信/航保等多种应用需求，业务种类多、服务质量要求差异大。随着舰艇装备的不断升级换代，基于信息系统的体系作战对舰艇网络的集成度和可靠性提出了更高的要求。提高集成度意味着统一的网络拓扑，更少的网络层级，更少的部署空间，更高的端口密度和交换容量，部署面向全舰的网络基础服务设施。统一的网络拓扑有利于打破“烟囱”式垂直系统和分散部署的各种专用网络。通过VLAN 和VPN 等虚拟网络技术，各应用系统的业务和流量可按需互联互通和安全隔离，部署差异化的QOS 和安全性策略。传统的舰艇网络分为接入/汇聚/核心三级架构，集成度提高以后，可简化为接入/核心两级架构，可以显著减少电缆数量、设备数量和设备占用空间，提升网络资源利用率。

与此同时，网络的高可靠性一直是体系作战的核心诉求之一。在复杂恶劣的作战环境中，舰艇网络各节点和链路发生故障时，如何增强抗毁能力，减少网络故障恢复时间，成为舰艇网络设计的重要目标。传统的舰艇网络各业务系统单独组网，可靠性保护机制互不兼容，比如对于二层业务来说，有的网络采用以太网环网保护机制，有的网络采用MSTP 生成树保护机制。构建统一的网络拓扑以后，各种二三层单播/组播/广播业务流量均在接入/核心两级架构中混合传输，如何提供统一的高可靠性，是一个比较大的技术挑战。这主要表现在2 个方面：

1）在三级架构中，核心层部署三层路由协议及三层保护协议，汇聚层部署二层交换协议及二层保护协议，因此发生故障时，二层保护协议和三层保护协议一般同时触发，不存在协议同步的问题。而在两级网络架构中，汇聚层被简化，二层流量汇聚点上移到核心层，核心层既要承担三层路由功能又要承担二层交换功能，因此核心层发生故障时，会同时触发二层保护协议和三层保护协议，存在协议同步的问题，显著增加了故障保护的难度。

2）由于电子设备和武器系统的升级，信息节点之间传输速率越来越快，对网络故障恢复时间的要求也越来越高，不少故障场景的恢复时间需要达到50 ms以下，达到甚至超过了电信核心网络的可靠性要求。

传统以太网组网一般采用MSTP 作为二层保护协议，采用OSPF 和VRRP 作为三层保护协议，但存在链路阻塞和收敛速度较慢的问题。本文针对两级扁平化的组网需求，讨论了2 种目前常用的高可靠性组网方案：一种是基于设备堆叠技术，另一种是基于MPLS EVPN 技术。本文分别讨论这2 种方案，并对2 种方案的优缺点进行分析和评估。

1 设备堆叠

1.1 方案概述

2 台核心交换机虚拟成一个堆叠组，堆叠组内采用2 条以上的堆叠线缆互联，堆叠组之间通过链路聚合的方式互联。舰艇平台的业务通过接入交换机接入网络，接入交换机通过链路聚合的方式双归接入核心层堆叠组。典型组网方案如图1 所示。

图1 设备堆叠组网Fig.1 Device stacking network

2 台相同容量的核心交换机堆叠以后可看作1 台2 倍容量的核心交换机。堆叠支持跨设备链路聚合（Eth-Trunk）技术，可以将不同成员交换机上的物理以太端口配置成一个聚合端口。这样即使某台成员交换机故障或聚合链路其中一条链路出现故障，也不会导致聚合链路完全失效，从而保证了数据流量的可靠传输，不但解决了堆叠设备单点失效的问题，还极大提高了全网的可靠性。通过堆叠和跨设备链路聚合技术，图1 中复杂的网状拓扑可等效为图2 的链状拓扑，因此二三层业务的冗余保护不再需要部署MSTP和VRRP 协议。

图2 设备堆叠组网等效图Fig.2 Equivalent diagram of device stacking network

1.2 业务转发及故障处理

对于二层单播/广播业务，可在接入交换机与核心交换机之间、核心交换机之间开启VLAN 透传功能。对于三层单播业务，可在核心交换机上配置IP 网关，开启OSPF 路由协议，并配置相应的BFD 双向快速检测机制。对于组播业务，可在核心交换机上配置PIM组播路由协议和IGMP 组播管理协议，并在接入交换机上配置IGMP Snooping 防止组播报文在VLAN 内广播。

网络故障处理由设备堆叠协议完成，设备堆叠协议主要功能包括主备选举、转发表同步和协议状态同步，分4 种情况讨论：

1）接入交换机与核心交换机互联链路故障

接入交换机与核心交换机互联链路采用了链路聚合机制，由设备堆叠协议将跨设备的物理端口虚拟到一个链路聚合组中，通过默认的哈希算法将流量均匀地分担到聚合组链路上，任一链路故障可自动切换到其他冗余链路上传输。

2）核心交换机堆叠链路故障

核心交换机堆叠链路负责传输设备堆叠协议的控制报文和数据报文，控制报文主要包括主备心跳报文检测、二三层转发表的同步和协议状态的同步信令，因此堆叠链路发生故障可能产生双主故障（即同时存在2 个主交换机），导致整个网络状态异常。所以核心交换机上需部署多条冗余堆叠链路，并配置双主检测功能。

3）核心交换机互联链路故障

核心交换机互联链路采用了链路聚合机制，由设备堆叠协议将跨设备的物理端口虚拟到一个链路聚合组中，通过默认的哈希算法将流量均匀地分担到聚合组链路上，任一链路故障可自动切换到其他冗余链路上传输。

4）核心交换机宕机故障

设备堆叠协议中的核心交换机分为主备2 种角色，主用交换机负责运行控制协议，计算二三层转发表，并将转发表项同步给备用交换机，备用交换机负责检测和备份主用交换机的控制协议状态，执行二三层转发表。因此，如果备用交换机宕机，堆叠组的控制协议不受影响，仅仅通过链路聚合机制，可将流量切换到主用交换机的链路；如果主用交换机宕机，备用交换机通过主备选举升为主用交换机，激活备份的控制协议，重新计算二三层转发表的出口，将流量切换到备用交换机。

2 MPLS EVPN

2.1 方案概述

该方案采用数据中心网络中常用的MPLS EVPN 网络架构。MPLS EVPN 通过以下特性支持高可靠性组网：

1）采用扩展的BGP 作为服务信令协议，使不同站点间的MAC 地址/IP 地址学习和发布过程从数据平面转移到控制平面，由此带来的好处是，本地接口发生故障，只需回撤BGP 路由，大大加快了MAC 地址的刷新速度，缩短了业务故障恢复时间。

2）EVPN 采用MPLS 标签分发作为数据平面，因此具备50ms 电信级故障恢复能力。

3）EVPN 自带接入交换机多归接入核心交换机的解决方案，支持高可靠性冗余连接。

核心交换机两两互联构成全连接拓扑的核心层，接入交换机作为用户设备，双归接入核心层。典型组网方案如图3 所示。

图3 MPLS EVPN 组网Fig.3 MPLS EVPN network

2.2 业务转发及故障处理

EVPN 采用集成路由和桥接（IRB）接口将二层网络和三层网络紧密结合，IRB 接口可以分布式部署在与核心交换机的下行汇聚端口上，因此在双归接入的应用场景中，不再需要部署复杂的VRRP 冗余网关。EVPN 的三层网关对内负责各二层广播域之间的三层路由，对外负责与非EVPN 的网络三层互通。EVPN的三层网关之间使用扩展BGP 协议控制路由信息的引入和发布，控制粒度可以细化到某一条特定的IP 前缀，因此具备较好的灵活性和安全性。

对于二层单播/广播业务，接入交换机只需配置VLAN 二层转发功能，核心交换机配置与VLAN 绑定的EVPN 实例。对于三层单播业务，可在核心交换机的EVPN 实例上配置IP 网关，并配置相应的BFD 双向快速检测机制。对于组播业务，可在核心交换机的EVPN实例上配置IGMP Snooping 和IGMP Proxy 功能，并在接入交换机上配置IGMP Snooping，控制组播源的报文仅发送给需要这些报文的设备。

在网络故障处理方面，主要依靠BFD 双向快速检测进行故障快速检测，然后采用扩展的BGP 协议快速发布MAC/IP 路由的更新消息，分4 种情况讨论：

1）接入交换机与核心交换机互联链路故障

接入交换机与核心交换机互联链路采用了EVPN多归技术，任一链路发生故障即时发布BGP 撤销类型的以太自动发现路由，向对端通告不可达状态。当对端收到以太自动发现路由后，自动切换到其他冗余链路上传输，这样可以避免逐条发送MAC/IP 路由撤销信息，大大减少了收敛时间。

2）核心交换机互联链路故障

核心交换机之间配置BGP 路由协议和标签分发协议LDP，并配置BFD for BGP 和BFD for LDP，BFD 心跳检测间隔时间最快可达3.3 ms。发生链路故障时，BFD 快速检测到链路故障，并上报给BGP 协议和LDP协议，然后BGP 和LDP 协议联动，实现MPLS 快速重路由功能，将流量快速切换到冗余链路上。

3）核心交换机宕机故障

EVPN 多归接入组的核心交换机分为主备2 种角色。如果备用交换机宕机通过跨设备链路聚合机制，可将流量切换到主用交换机的链路。如果主用交换机宕机，备用交换机通过主备选举机制升为主用交换机，将流量切换到备用交换机的链路，同时，BFD 快速检测到宕机故障后通知对端核心交换机，实现MPLS快速重路由功能，将对端发送的流量快速切换到备用交换机。

3 故障恢复时间试验

为了比较2 种方案的故障恢复时间，按照图1 和图2 搭建试验环境，使用网络测试仪模拟二三层单播/组播/广播混合流量，分别产生1.2 节和2.2 节所述故障场景各5 次，通过统计发生故障时丢包数计算平均故障恢复时间。试验结果如表1 所示。

从表1 可以看出，MPLS EVPN 方案的平均故障恢复时间为10.2ms，所有故障场景的恢复时间均小于50ms，设备堆叠方案的平均故障恢复时间为66.2ms，部分组播业务的故障恢复时间大于50ms，因此MPLS EVPN 方案明显优于设备堆叠方案。这主要是因为设备堆叠本质上还是一种设备级的冗余保护机制，而MPLS EVPN 采用的是网络级的冗余保护机制。在故障检测方面，MPLS EVPN 采用了BFD 快速检测，可以显著缩短故障检测时间；在故障恢复方面，MPLSEVPN 采用了快速重路由技术，将预先计算的备份路径写入路由表，省去了传统IP 路由协议重新学习路由的时间，使流量能够更快地切换到备份路径。

表1 故障恢复时间试验Tab.1 Failure recovery time test

4 方案比较分析

MPLS EVPN 方案的优点如下：

1）故障恢复时间更短，可以达到50 ms 以内；

2）设备之间采用标准协议，不同厂家的设备可以混合组网；

3）设备之间支持任意拓扑结构，扩展性好。

MPLS EVPN 方案的缺点主要是IP/MPLS 控制信令的配置比较复杂，组网成本较高。

相比之下，设备堆叠方案的优点在于配置简单，组网成本不高，但存在如下缺点：

1）设备之间采用私有协议，不同厂家的设备不能混合组网；

2）设备之间的堆叠链路不能中断，否则会产生双主故障引起网络状态混乱；

3）堆叠数量有限制，并且堆叠拓扑只支持环状和链状拓扑，不支持网状拓扑；

4）故障恢复时间较长，部分场景不能达到50 ms以内。

5 结 语

舰艇网络技术近十年间的演进，是在传统以太网向以数据中心为主的SDN 网络转型的大背景下展开的。本文讨论了2 种常见的组网方案：设备堆叠和MPLS EVPN，前者是主要是从设备层面对可靠性进行增强，后者则是随着SDN 网络兴起的一种新型网络架构，因为转发层使用了MPLS 技术，所以具备端到端的高可靠性。实际上，随着SDN 网络的进一步发展，一些控制信令更简单的端到端转发技术正逐渐兴起，比如IPv6 版本的SR 分段路由技术（SRv6），由于使用了源路由技术，SRv6 核心交换机上不需要维护复杂的路径状态，使用和维护更加简单。因此，如何在舰艇网络中部署包括SRv6 在内的下一代SDN 网络技术，进一步提高舰艇网络的可靠性和可用性，是未来值得研究的方向之一。