电力系统数据网MCE双归属问题及其解决方法研究

陈捷 陈志刚 郭泽豪

收稿日期：2023-08-11

DOI：10.19850/j.cnki.2096-4706.2024.06.009

摘  要：文章系统地分析了MCE双归属网络结构中存在的OSPF路由域分割、次优路径和路由环路等问题。结合典型案例，在MPLS VPN网络作为OSPF超级骨干域的基础上，采用Sham-Link解决次优路径问题，通过DN置位或Route-tag标识的方法避免路由环路的产生。文章通过协议路由和OSPF LSA的分析方法定位网络的潜在风险，结合具体案例暴露问题，针对不同的问题提出了具体可行的技术方案，并对相关技术的实施要点和注意事项进行了说明，为MPLS VPN网络的优化提供技术支持。

关键词：MPLS VPN；MCE；Sham-Link

中图分类号：TP393    文献标识码：A  文章编号：2096-4706（2024）06-0039-05

Research on the MCE Dual Attribution Problem and Solution of Power System Data Network

CHEN Jie， CHEN Zhigang， GUO Zehao

（Foshan Power Supply Bureau of Guangdong Power Grid Co.， Ltd.， Foshan  528000， China）

Abstract： The paper systematically analyzes the problems existing in the MCE dual attribution network structure， such as OSPF routing domain separation， suboptimal path and routing loop. Combined with typical cases， based on the MPLS VPN network as OSPF super backbone domain， it uses the Sham-Link to solve the suboptimal path problem， and avoids the generation of routing loops by means of DN bit or Route-tag. This paper analyzes protocol routing and OSPF LSA to locate the potential risk of network， and exposes the problems with specific cases. It proposes specific and feasible technical solutions for the different problems， and explains the implementation key points and the matters needing attention of the relevant technologies. It also provides technical support for the optimization of MPLS VPN network.

Keywords： MPLS VPN; MCE; Sham-Link

0  引  言

多協议标签交换（Multi Protocol Label Switch， MPLS）通过一个定长的标签来封装网络层分组，根据标签进行数据转发，具有较高效的转发性能，对虚拟专用网络（Virtual Private Network， VPN）隧道的支持具有天然的优势[1]。电力系统数据网一般采用MPLS VPN承载业务数据，并实现不同VPN通道的逻辑隔离，其典型组网结构如图1所示。骨干网核心路由器（Provider Router，P设备）主要完成路由和MPLS标签快速转发功能；骨干网边缘路由器（Provider Edge Router，PE设备）主要负责VPN业务接入MPLS网络；用户边缘设备（Custom Edge，CE设备）与PE设备相连接，提供数据网业务终端的接入。MPLS网络使用标签分发协议（Label Distribution Protocol， LDP）进行公网标签的分配管理，并通过MP-BGP实现业务路由的传递和控制，以及私网标签的分配[1]。

图1  MPLS VPN网络典型结构

为实现不同VPN业务在同一站点的接入，一般将CE设备配置成多VPN实例用户边缘设备（Multi-VPN-Instance-CE， MCE）模式，采用多虚拟路由转发（Virtual Routing Forwarding， VRF）技术，将一台路由器虚拟出多个相互隔离的转发列表，绑定不同的VPN，运行不同进程的开放式最短路径优先（Open Shortest Path First， OSPF）协议进行业务路由信息的传递，并与PE设备多协议扩展边界网关协议（Multi Protocol Border Gateway Protocol， MP-BGP）下对应的VPN实例中进行双向重分布，实现MP-BGP和OSPF之间业务路由的相互导通。为了提升MCE站点的网络可靠性[2]，一般MCE站点通过双上联的方式接入MPLS网络，保证上联节点或链路故障时业务路由的无缝切换，这种网络结构称为MCE双归属。在MCE双归属网络结构中，由于OSPF业务路由需要通过MPLS VPN骨干网络的MP-BGP进行传递，传统OSPF路由的部分设计可能导致次优路由[3]和路由环路的问题产生[4，5]。

1  MCE双归属问题

电力系统MPLS VPN数据网MCE双归属的典型结构，一般在典型电力MPLS VPN网络的基础上，由相近的MCE站点相互连接并通过两个不同的PE节点上联MPLS VPN骨干网络，形成双归属的结构。如图2所示站点1和站点2的MCE设备互联链路，互为对方的备用链路。站点1 MCE和站点2 MCE之间的通信主用路由为：MCE1—PE1—P—PE2—MCE2，备用路由为MCE1—MCE2。注意站点1和站点2的MCE之间的备用路由虽然跳数少，但是一般带宽较小，仅在应急情况下使用，日常站点间的主用数据流均通过MPLS VPN骨干网络进行互访。

图2  双归属MCE网络典型结构

这种网络结构存在两个问题：

1）MCE同一VPN业务的OSPF区域在不同站点之间被MPLS VPN网络分割。站点1的MCE和PE之间运行一个OSPF路由区域，站点2的MCE和PE之间运行一个OSPF路由区域，相互之间的路由通过MPLS VPN的MP-BGP进行传递，存在OSPF路由区域被分割的风险，若OSPF区域设计不合理，可能造成OSPF路由传递失败和路由环路等后果。

2）由于站点1和站点2之间通过OSPF传递的内部路由优先级高于MCE从BGP引入到OSPF的外部路由，导致MCE的备用链路路由优先级更高，日常业务数据流向备用链路，而非MPLS VPN骨干网络，存在次优路径和路由环路的风险。

2  OSPF路由区域分割及其解决方法：超级骨干域

在传统的OSPF路由协议技术中，区域不连续可能造成OSPF路由传递失败、路由环路等问题。为了解决OSPF路由域被MPLS VPN骨干网络分割的问题，在MPLS VPN骨干网中使用MP-BGP的扩展团体属性来传递OSPF相关路由属性，MPLS VPN骨干网作为OSPF的超级骨干域存在，相当于OSPF的区域0。在MPLS网络的超级骨干域中，MCE相关OSPF路由属性在MPLS VPN网络边界PE处以MP-BGP扩展团体属性的方式传递给对端的PE，再由该端PE重建出对应的OSPF路由。在PE上进行路由重分布时，从MP-BGP引入的OSPF路由信息以3类链路状态通告（Link State Advertisement， LSA），即区域间路由的形式进入OSPF的链路数据库，而不是以5类LSA，即外部路由的形式写入。MCE在MPLS VPN骨干网之间的路由传递，相当于跨越OSPF骨干区域（Area 0）的路由传递，路由信息和相关OSPF属性得到传递，并且以区域间路由的方式写入链路状态数据库，进行路由计算和选择，保证了OSPF路由域的连续性。如图3所示，在PE的BGP VPNv4路由表中可以看到通过MP-BGP扩展团体属性传递的OSPF路由属性：包括OSPF路由域标识、路由器标识、区域号、路由类型等，保证OSPF路由能够在MPLS VPN网络的对端进行重建。

图3  MP-BGP扩展团体属性中的OSPF参数

在这个解决方案中，要注意保证整个MPLS VPN网络OSPF骨干区域的连续性，如图4所示的网络结构出现了骨干区域的分割，将造成MCE下用户站点区域0无法通过MPLS VPN网络学习到其他站点的路由。这是由于OSPF区域间的防环机制导致的。OSPF区域间防环机制规定：从骨干区域（区域0）學习到的路由不会通过非骨干区域再发到骨干区域（区域0）[6]。MCE区域0的路由通过区域10传递到PE之后不会在超级骨干域中传递给对端的PE。因此，在整体网络规划中，应尽量将MCE划分到非骨干区域，以减少骨干区域不连续的风险。确有需要将MCE划分到骨干区域，要确保其骨干区域和MPLS VPN超级骨干域的连续性。

如图4案例中出现的区域不连续，可采用三种方法解决：方法1：将MCE和对应的PE都设置成区域0，此时整个OSPF区域都处于骨干区域，不存在骨干区域不连续的情况，但采用该方法应注意控制骨干区域路由器的数量。方法2：在MCE与对应PE之间建立虚连接，保持骨干区域的连续性。该方法在一定程度上增加了网络的复杂度。方法3：将两端的PE和MCE都划分到非骨干区域，即保持网络中只有MPLS VPN骨干网络一个骨干区域，采用该方法时要注意单一侧的MCE和PE要注意相同的非骨干区域，否则MCE的VPN路由无法通过PE传递到MPLS VPN网络，这是由于OSPF区域防环的另一个规定：非骨干区域的路由无法通过另一非骨干区域传递到骨干区域[7]。例如，图4中的两端的MCE若都设置在区域20，PE和MCE互联设置为区域10，此时MCE的OSPF路由也无法正常传递。

图4  MPLS VPN网络中OSPF骨干区域分离

3  次优路径及其解决方法：Sham-link

超级骨干域解决了OSPF区域分割的问题，MCE站点之间的路由通过MPLS VPN骨干网，以3类LSA进行传递，但是按照OSPF路由优先算法，区域内路由优于区域间路由。在MCE双归属网络中，MCE站点之间通过备用链路建立OSPF邻居。当两端MCE站点处于相同的OSPF区域时，MCE之间通过备用链路传递的OSPF区域内路由（1类和2类LSA），优先级高于PE通过MPLS VPN骨干网引入的区域间路由（3类LSA）。备用链路的路由优先级高于MPLS VPN主干链路，存在次优路径和路由环路的潜在风险。

如图5所示，站点1的MCE设备同时接收到来自MPLS VPN网络PE的区域间路由（3类LSA），和来自内部OSPF网络的站点2的MCE的区域内路由（1类和2类LSA），按照OSPF路由优先级，选择了区域内路由。日常站点1和站点2之间的业务数据流量直接走了备用链路，与我们设计的优先路径不一致。针对这个问题，可以通过Sham-link（伪连接）技术解决。通过在两台PE之间建立一个OSPF伪连接，用以同步OSPF链路状态数据库（Link State Database， LSDB）。通过Sham-link在MPLS VPN网络中传递的LSA信息，LSA类型不会被转换成3类或5类LSA。站点2的VPN业务数据路由通过两端PE之间建立的Sham-link连接传递给站点1的MCE，仍保留1类和2类LSA的属性，即仍以区域内路由的方式传递给站点1的MCE。站点1的MCE对接收到的来自本端PE和对端MCE的两个OSPF VPN路由，按照OSPF区域内路由的开销进行路由选择。

图5  双归属MCE网络OSPF路由传递路径

区域内OSPF开销与链路带宽和跳数相关，由于站点1和站点2之间备用链路带宽较小，一般链路开销较大，MCE会优选链路带宽更大的MPLS VPN网络。在路由设计中，为保证路由选择的稳定性，通常会对备用链路设置一个较大的OSPF，及在站点1和站点2之间的备用链路设置一个较大的OSPF链路开销，保证业务的正常流向。注意OSPF的路由优先算法中，首先是区域内路由优于区域间路由，然后才对同一类型的路由的比较其开销值，也就是说，单纯通过在备用链路设置高开销值是无法让MCE的主用路由走在MPLS VPN骨干网络上的，而必须先通过Sham-link将MPLS VPN过来的OSPF区域间路由转换为区域内路由之后，备用互联接口上的开销设置才能影响区域内路由的正确选路。MCE网络通过Sham-link进行路由优化图如图6所示。

图6  双归属MCE网络通过Sham-link进行路由优化

Sham-link一般通过两端PE在VRF中建立的一个32位的环回地址作为端点来建立连接，同时需要在MP-BGP中通告相应的IP地址。采用Sham-link技术时要注意PE间的伪连接仅用于传递OSPF协议报文、同步LSDB信息，不能用于传输业务数据报文，实际的业务数据报文是通过MPLS VPN网络的VPN通道进行传输。

4  路由环路及其解决方法

由于在MPLS VPN网络的网络边界PE上进行MP-BGP和OSPF VPN路由的双向重分布，导致了潜在路由环路的存在。如图7所示，MCE1访问MCE3同一VPN业务数据，从路由传播的路径上看，MCE3的VPN路由通过OSPF传递给PE3，PE3将OSPF VPN路由重分布进MP-BGP，通过MP-BGP传递给PE1，PE1将BGP的VPN路由重分布进相应的OSPF进程中，然后通过OSPF传递给MCE1，MCE1通过OSPF将VPN路由传递给MCE2，MCE2通过OSPF传递给PE2，PE2又将接收到的OSPF VPN路由重分布到BGP中，传递给PE1。因此，PE1收到了两条目的地址是MCE3 VPN业务网段的BGP路由，分别来自MP-iBGP邻居PE3和PE2。当PE2的BGP路由属性优于PE3的BGP路由属性时，PE1优选了PE2的路由。此时，MCE3到MCE1的路由传递出现路由环路：MCE3—PE3—PE1—MCE1—MCE2—PE2—PE1，对应MCE1访问MCE3的转发路径出现了环路：MCE1—PE1—PE2—MCE2—MCE1。路由环路将导致数据转发不可达，VPN业务数据在MCE双归属网络中反复传递，浪费链路带宽资源，数据无法正确传递到目标节点MCE3。

图7  双归属MCE网络的路由环路案例

针对MPLS VPN网络边界双向重分布造成潜在路由环路问题，可通过在路由域边界进行路由标识和过滤的方法解决，结合路由策略[8，9]的部署，具体包括Down-Bit与Route-tag两种技术方案。

4.1  Down-Bit

Down-Bit（简称DN）存在于OSPF的3类LSA、5类LSA和7类LSA的Option字段中，用于表明该LSA来源于MPLS VPN骨干网的边界PE引入，属于OSPF属性的可选字段。如图8所示，DN置位在站点1的PE设备生成的OSPF LSA中产生，并伴随LSA在OSPF区域内传播，当对端的PE通过OSPF接收到DN置位的LSA时，不对该LSA进行路由计算。查看PE的OSPF 3类链路数据库，可以看到在PE从BGP引入到OSPF产生的3类LSA的Option字段中出现了DN标识，所图9所示。此时，站点2的PE不会将该条3类LSA参与到本机的OSPF路由计算，不会产生对应的OSPF VPN路由，自然也不会把该OSPF VPN路由引入到MP-BGP中重新传递给站点1的PE，而从避免了路由的环路的产生。

图8  双归属MCE网络DN置位防环机制

图9  PE设备OSPF的3类LSA链路数据库信息

根据RFC 2547中的定义，DN置位只出现在3类LSA中，但在RFC4577中，DN置位可存在于OSPF的3类LSA、5类LSA和7类LSA的Option字段中，使用该技术的时候要注意相应数据网设备执行的技术标准，部分设备可通过设置指定执行标准。

采用该技术方案时要考虑不同LSA的传播特性，由于3类LSA在跨区域传递时会修改LSA内容，DN置位信息可能在跨区域传播时丢失，导致该防环机制失效。在图8网络中，如果站点1 MCE和站点2 MCE运行在不同的OSPF区域，则DN置位防环技术失效。而5类LSA和7类LSA由于在跨区域传递时不修改LSA内容，不存在该问题。

4.2  Route-tag

如图10所示，在PE设备上对BGP引入到OSPF的路由信息通过Route-tag进行标记，当对端的PE设备通过OSPF接收到VPN的路由信息中的Route-tag与本端设置一致时，则将相应VPN路由过濾。OSPF route-tag只能在5类和7类LSA中携带，因此，该方法只能应用于OSPF外部路由对应的5类和7类LSA。路由器的Route-tag一般可通过AS号自动计算，也可手工配置[10]。

图10  双归属MCE网络Route-tag防环机制

上述防环技术均应用于MPLS VPN网络边界执行双向重分布的PE设备上，在MCE设备上开启防环技术时可能导致MCE设备学习不到正常的OSPF VPN路由。因此，对于默认开启DN置位防环保护的MCE设备上，需要手动关闭该功能，否则可能影响MCE设备对VPN路由的正常学习。

5  结  论

为保证业务的可靠性，电力系统MPLS VPN数据网络中常采用MCE双归属技术，但是该网络结构在不同的应用场景中出现了OSPF路由域分割、次优路径和路由环路的问题。针对这些潜在风险，本文在MPLS VPN作为OSPF骨干域的基础上，采用Sham-Link解决次优路径问题，通过DN置位或Route-tag标识的方法避免路由环路的产生，对MPLS VPN数据网络MCE业务的稳定性提供了系统的技术方案，同时结合不同技术的应用背景，提出各个技术使用过程中的注意事项和适用范围，具有较强的操作性。本文针对MPLS VPN数据网络MCE双归属问题的分析方法和解决思路，对电力系统通信网络的优化和新技术的应用具有参考价值。

参考文献：

[1] 圣文顺，周诚，孙艳文.MPLS VPN在企业网络中的应用 [J].计算机技术与发展，2020，30（11）：117-122.

[2] 李泽科，徐志光，余斯航，等.电力调度数据网可靠度评估方法 [J].数据与计算发展前沿，2022，4（5）：87-97

[3] 张红星.多点双向路由重分发次优路径问题研究 [J].宁波工程学院学报，2022，34（2）：26-31.

[4] 吉家昊，王一成，戴俊勉，等.数据网OSPF与BGP联动引起路由环路问题分析 [J].铁道通信信号，2022，58（12）：64-67.

[5] 周学兵，费振豪，韩熠，等.路由环路案例及场景分析 [J].铁道通信信号，2022，58（3）：49-55.

[6] Doyle J.OSPF和IS-IS详解 [M].孙余强，译.北京：人民邮电出版社，2014：401-403.

[7] Doyle J.TCP/IP路由技术 第2卷：第2版 [M].夏俊杰，译.北京：人民邮电出版社，2017：430-432.

[8] 吴宇彤，周金和.SR架构下的软件定义信息中心网络概率路由策略 [J].电讯技术，2021，61（2）：137-142.

[9] 熊小萍，刘瑞，蔡义明.计及节点重要度协同知识模型的电力通信QoS路由策略 [J].电力系统保护与控制，2023，51（6）：45-53.

[10] 王德兵，孫道远.路由标签在规避路由环路与次优路径中的应用研究 [J].吉林工程技术师范学院学报，2021，37（4）：96-98.

作者简介：陈捷（1987—），男，汉族，广东潮州人，高级工程师，本科，研究方向：电力通信技术和物联网技术。