一种高可靠网络的设计与实现

（中国舰船研究设计中心，湖北 武汉 430064）

0 引言

当前，多应用系统实现网络集成时，有环型、双冗树型、双冗星型、简单双冗余环形与双归属混合组网等多种结构。环形结构适用于语音视频等传输网络，可预计的横向流量承载，当用于接入面向数据中心网络的纵向流量汇聚网络中时，大量从终端到云端的流量需要共用环网路径，承载低效、拥塞和冲突明显增多。简单的树形拓扑和树形、环形混合拓扑，可以适应纵向汇聚的流量模型，但对于大规模横向的分布式流量传输、端到端传输需要共用多个分支节点和共用链路。针对以上问题，本文提出一种高可靠网络结构的设计，即以数据中心网络作为基础结构进行裁剪和扩展，小型网络系统形成简单的冗余星型结构，大型网络系统形成交换多冗余核心的无阻塞分层架构。该高可靠网络的架构可以满足多应用系统集成需求，匹配流量的纵向汇聚与横向MESH 特征；满足系统使用维护中对于网络系统设备的简化、智能化和通用化需求；以通用的系统、简化的协议、智能化的运维为目标，提高网络集成应用和使用维护效率。

1 网络集成方式的分析与设计

1.1 网络技术体制分析

网络的技术体制选择，根据多业务系统集成时的网络业务特征和网络规模、物理布局的特点，以协议简化、设备通用化、技术标准化和维护智能化为目标。

（1）基于传输网络技术的多业务承载技术体制。在运营上网络中，由业务和技术发展的延续性特征，从3G、4G 和5G 等网络承载的多业务城域网建设中MSTPPTNOTNIP RAN 等传输网络技术一直作为运营商承载多媒体网络的主流技术。中国移动主推的以PTN 和以太网为基础的SPN 技术，中国移动的4G 传输网是基于PTN 的，由于SPN 基于以太网传输架构，是PTN 传输方案的成果特性，SPN 基于以太网生态链，在光层敦促回收以太网化的光接口，在电层与通用电信级以太网应用共享芯片，达到较高的性价比。

（2）基于数据中心以太网的多业务承载技术体制。数据中心以太网是为了适应以云计算为代表的数据中心发展，在以太网和IP 基础上得到的部分特征，如虚拟化、VxLAN、二层路由等技术。以简化网络层次、支持大规模扩展和网络智能化、虚拟化为目标。在端口速率、技术成熟度方面发展较快。

（3）基于工业控制以太网的多业务承载技术体制。工业以太网是基于IEEE 802.3（Ethernet）具有强大功能的区域和单元网络。基于国际电工委员会IEC 61784-2 国际标准的11 种工业以太网分别为：Ethernet/IP、PROFINET、P-NET/IP、INTERBUS TCP/IP、VNET/IP、TCnet、EtherCAT、Ethernet Powerlink、EPA、MODBUS-RTPS 和SERCOS-Ⅲ。企业内部互联网、外部互联网以及国际互联网提供的广泛应用，不但已经进入今天的办公室领域，而且还可以应用于生产和过程自动化。

鉴于网络信息的需求、物理特征和商用技术发展趋势以及国产化基础等因素，基于以上承载多业务系统网络技术体制的分析，在网络集成时得到以下的设计思想：应尽量采用统一的技术体制；应尽量采用统一的核心层、接入层两层网络结构；应尽量采用统一的网络标准。

来实现数据中心网络、多媒体网络和工业控制网络多种应用系统的网络集成，从而使得网络集成时网络协议的简化、设备通用化和标准化。

1.2 网络集成方式分析

网络设计需要考虑三个目标：一是网络基础设施必须可扩展到大量服务器，并允许增量扩展；二是网络必须对各种类型的服务器故障、链接中断或服务器机架故障具有容错能力；三是网络必须能够提供较高网络容量，以更好地支持带宽需求服务。为此，我们在多应用系统网络集成时设计了以下两种网络的实现方式：

（1）方式一采用核心层、接入层两层网络结构，实现数据中心网络、多媒体网络和工业控制网络之间系统集成和互联互通的环型拓扑结构。其中，核心层为环型结构网络（图1），接入层存在多个子网，且子网间仍有互通结构。使用多种网络标准和技术体制，各网络进行独立的信息处理和冗余管理。

（2）方式二采用核心层、接入层两层网络结构，实现数据中心网络、多媒体网络和工业控制网络之间系统集成和互联互通的“立体”冗余的网状型结构。其中，核心层采用“立体”冗余的网状型结构网络（图2），具有较高冗余和故障条件下自愈能力。接入层中通信网络取消子网，部分网络取消部分子网，各子网间无互联结构。

图1 环型拓扑结构

图2 “立体”冗余的网状型结构网络

方式一在网络结构上，核心层都采用环网结构，接入层都存在多个子网，在网络技术体制上，未实现完全统一；方式二在网络结构上，核心层采用“立体”冗余的网状型结构，相接入层中取消部分子网，网络技术体制统一，网络标准化程度较高。方式二相比方式一具有更高的容错能力和自愈能力，因此，本文选用方式二来完成网络集成的实现。

2 网络集成方式设计

本文针对多应用系统网络集成结构设计，以传输网络技术和数据中心以太网为两个典型应用进行集成设计，以数据中心网络架构作为基础架构，两部分应用通过隔离设备在核心层实现一体化的互连的双层结构，实现通信、视频会议、远程医疗和远程教育等各类业务的信息共享和实时传输。由于多业务系统网络需要具有高生命力、高可靠性、高带宽、多业务的“三高一多”特性，因此，从使用需求和集成能力角度设计了图3所示网络集成的具体方式。

图3 高可靠网络布局图

3 网络集成方式验证

为验证多应用系统双层结构网络的合理可行性，我们搭建多业务系统网络实验环境，开展透明集成方式实验、路由集成方式实验进行了网络单播、组播、吞吐率、时延及抖动、故障切换等网络核心层集成能力的验证。并对透明集成实验、路由集成实验分别进行OSPF 方式和IRF+OSPF 方式两种方式的实验，试验具体集成配置方式如下：

（1）透明集成方式。在透明集成方式下，四台多媒体应用核心网元和数据中心应用核心层交换机通过网络隔离设备互联的四个端口分属不同网段，而位于网络隔离设备两端的分属多媒体应用核心网元和数据中心应用核心层交换机的两个端口属于同一网段。在互连的每个接口上都运行OSPF 协议，具体实现方式如下：

①透明集成下全OSPF 方式。网络隔离设备不参与数据中心应用和多媒体应用之间的路由或二层协议计算，但具备链路的故障检测和故障传递功能（当接入一侧的网络链路发生故障时，能自动关闭对应侧网络链路，即故障传递到另一侧网络）。在数据中心应用内部、传输应用内部、数据中心应用和传输应用之间均采用OSPF 协议交换单播路由信息，实现三层互通和故障切换，通过PIM-SM 协议交换组播路由信息。

②透明集成下IRF+OSPF 方式。网络隔离设备不参与数据中心应用和多媒体应用之间的路由或二层协议计算，但具备链路的故障检测和故障传递功能。在数据中心应用内部用IRF（Intelligent Resilient Framework，智能弹性框架）技术，多媒体应用内部、数据中心应用和多媒体应用之间采用OSPF 协议交换单播路由信息，实现三层互通和故障切换，通过PIM-SM 协议交换组播路由信息。

（2）路由集成方式。在路由器集成方式下，多媒体应用核心网元、数据中心应用核心层交换机、网络隔离设备的每个互连接口都工作在三层接口模式下，每一条物理链路对应划分为1个IP 子网。在互连的每个接口上都运行OSPF 协议。

①路由集成下全OSPF 方式。网络隔离设备作为数据中心应用与多媒体应用之间双向多媒体的出口路由，参与数据中心系统核心层交换机和多媒体应用核心网元的路由计算。在数据中心应用内部、多媒体应用内部、数据中心应用和多媒体应用之间均采用OSPF 协议交换单播路由信息，实现三层互通和故障切换，通过PIMSM 协议交换组播路由信息。

②路由集成下IRF+OSPF 方式。网络隔离设备作为数据中心应用与多媒体应用之间双向传输的出口路由，参与数据中心系统核心层交换机和多媒体应用核心网元的路由计算。在数据中心应用内部用IRF 技术，多媒体应用内部、数据中心应用和多媒体应用之间采用OSPF协议交换单播路由信息，实现三层互通和故障切换，通过PIM-SM 协议交换组播路由信息。在数据中心应用内部采用IRF 技术，将数据中心应用核心层交换机H1、H2虚拟化成一台逻辑设备，H3、H4虚拟化成一台逻辑设备，实现设备协同工作和统一管理。数据中心应用与多媒体应用之间的数据信息主要经过数据中心应用核心层交换机H1、H2，视频信息主要经过数据中心应用核心层交换机H3、H4。

4 网络集成验证结果分析

4.1 网络实验重点问题

由于网络结构上，核心层采用“立体”冗余的网状型结构，相接入层中取消部分子网，为验证多应用系统双层结构网络的合理可行性和自愈能力，选取网络核心层生存性、重组能力为实验重点。当任意一台核心层网络设备（数据中心应用核心层交换机或多媒体应用核心网元或网络隔离设备）发生故障时，网络传输业务的通信中断恢复时间≤1 s；当任意一根网络核心层互联链路（数据中心应用核心层交换机和网络隔离设备互联链路、多媒体应用核心网元和网络隔离设备互联链路）发生故障时，网络多媒体业务的通信中断恢复时间≤1 s。

4.2 网络实验的结果分析

数据中心应用核心层集成验证试验，在不同集成模式下相同试验项目测试结果对比分析如下：

（1）网络单播组播测试。透明集成方式、路由集成方式下网络的单播组播功能均正常，可以开展后续实验测试。

（2）吞吐率测试。在透明集成方式、路由集成方式下，数据中心应用和多媒体应用间连接速率均为10 Gb/s 时，传输报文帧长为1 518字节的条件下，透明集成方式和路由集成方式吞吐率都为98.75%，传输报文帧长为521字节、128字节的条件下，路由集成方式比透明集成方式的吞吐率略优。

（3）网络时延测试。由于多媒体应用接入网元接入板为100 Mb/s，所以此项测试在100 Mb/s 背景环境下测试。从数据中心应用和多媒体应用之间端到端时延和时延抖动的最大值、最小值和平均值来看，路由集成方式比透明集成方式的时间略优。

（4）网络单节点故障恢复实验。单播、组播多媒体传输时，在全OSPF 和IRF+OSPF 实验环境中，透明集成方式和路由集成方式下的数据中心应用核心交换机和多媒体应用核心网元之间单节点故障恢复时间最小值均为0 ms，透明集成方式下的最大值比路由集成方式下的最大值单节点故障恢复时间较少，平均值也较少。其中，当W1故障时，单播、组播正常切换，但在5 min 后，会出现700 ms～1 s 左右不等的组播丢包现象。综合分析实验结果得出，透明集成方式下全OSPF 配置时单节点故障恢复时间略优。

（5）网络单链路故障恢复实验。单播、组播多媒体传输时，在全OSPF 和IRF+OSPF 实验环境中，透明集成方式和路由集成方式下的数据中心应用核心交换机和多媒体应用核心网元之间单链路故障恢复时间最小值均为0 ms。单播多媒体传输时，在全OSPF 和IRF+OSPF实验环境中，透明集成方式下的最大值比路由集成方式下的最大值单链路故障恢复时间较少，平均值也较少。组播多媒体传输时，在全OSPF和IRF+OSPF实验环境中，透明集成方式下的最大值比路由集成方式下的最大值单链路故障恢复时间较大，而平均值却较少。综合分析实验结果得出，透明集成方式下全OSPF 配置时单节点故障恢复时间略优。

从试验数据上看，采用透明方式实现核心层集成时，指标较优，同时考虑到路由方式需要网络隔离设备具备三层路由交换功能，增大网络隔离设备实现难度和开销，优选透明集成方式。

4.3 网络实验的结论

4.3.1 高可靠网络核心层集成方式

通过开展透明集成方式实验、路由集成方式实验，对网络单播、组播、吞吐率、时延及抖动、故障切换等网络核心层集成能力的验证。通过试验优选了透明集成方式，验证了多应用系统双层结构网络合理可行性，网络核心层集成能力能够满足“三高一多”特性。

4.3.2 多业务一体化网络核心层集成功能和性能

根据实验结果确定适合网络核心层集成的功能性能指标如下：

（1）数据中心应用和传输应用之间具备单播和组播报文传输功能。

（2）核心层交换机和核心网元之间互联链路速率为10 Gb/s。

（3）核心层交换机和核心网元之间的网络吞吐率≥9 Gb/s。

（4）网络实时性保证能力。高可靠网络全网端到端最大网络延时≤2ms（链路负载≤70%，网络设备级数≤6级）；高可靠网络全网端到端延时抖动≤1ms（链路负载≤70%，网络设备级数≤6级）。网络设备包含核心层交换机、核心网元、网络隔离设备、数据中心应用接入层交换机、传输应用接入网元等。

（5）网络核心层生存性、重组能力当任意一台核心层网络设备发生故障时，网络传输业务的传输中断恢复时间≤1 s；当任意一根网络核心层互联链路发生故障时，网络传输业务的传输中断恢复时间≤1 s。

5 未来发展方向

未来的网络结构仍采用核心层、接入层两层网络结构，实现多个关键应用系统集成。其中，核心层为“立体”网格状结构（图4），能保证网络基础设施在最高冗余和故障条件下最强的自愈能力。接入层取消子网，提供更小，更标准化的透明接口。全网技术体制统一，网络标准化程度更高，能实现网络无所不在的透明传输能力。

6 结束语

本文对集成结构的网络分析，针对以数据中心网络，多媒体网络和工业控制网络的多应用系统信息传输的需求，提出一种以数据中心的高可靠网络结构，核心层采用“立体”冗余的网状型结构网络，具有较高冗余和故障条件下自愈能力，为高可靠网络优化设计提供了技术支撑。