基于E通VPN跨域CN2备份组网设计

华 静

（中国电信股份有限公司上海分公司 上海 200210）

1 引言

中国电信股份有限公司（简称中国电信）上海分公司（简称上海电信）新业务网络平台是为适应上海电信转型新业务网络承载要求而建设运营。目前承载了“全球眼”、ITMS、E通VPN、VIP网管、动态DNS和安全杀毒中心等业务。全网以扁平化设计原则部署，满足转型新业务高性能、高可靠性和高冗余性需求[1]。上海电信E通VPN平台依托于新业务网络平台，提供用户快速便捷的SSL和IPSec远程VPN部署接入技术，通过合理分布来控制客户节点间互访网络流量，以满足客户多业务承载运营要求。

中国电信长途路由型MPLS VPN业务采用CN2（China Telecom next carrying network，中国电信下一代承载网）+城域两级架构。用户终端可直接通过CN2网络或城域接入。用户接入支持以太、数字电路等多种接入方式。CN2和城域MPLS VPN跨域对接优先采用Option A方式，采用两对PE-ASBR背对背互为CE进行对接。

单看CN2和E通VPN平台所采用的每一个IP技术元素，都没有太大的问题，但是如何把这些技术集成，以跨域Option A方式通过E通VPN平台和CN2对接，为客户提供主备网秒级故障自动切换恢复的整体解决方案，目前CN2业务部署应用未有先例。

因此，本文重点论证了一种适合CN2环境下长途MPLS VPN路由自动备份切换的业务模式的互联实现方式和路由实施策略，通过现网的测试案例证实了它的工程实施的可行性，并提供了一个业务推广的典型案例。

2 业务模式分析

2.1 CN2长途MPLS VPN业务现状

CN2是同时支持语音、数据、视频等业务的中国电信下一代多业务核心承载平台，通过采用全网集中管理和集中操作的维护模式进行日常的CN2网络的运行维护工作，保障CN2网络协调高效、稳定可靠运行。狭义上，CN2网络是指如图1所示的4809自治域内的所有路由器、业务延伸设备及其中继电路[2]。

目前上海城域网具备与CN2跨域互联的能力，城域MPLS网具备两台独立 PE-ASBR（可兼作PE／SR），与上海2台CN2 PE-ASBR设备分别互联，互联端口采用GE电路。上海城域MPLS网要求具备较好的冗余组网结构，PE设备具备较强的路由能力（具有超过15万VPN路由转发能力），可保证城域MPLS VPN业务可靠运行。

对于用户路由总条数达到1 500条以上，站点分布在多个城市的VPN用户，建议直接接入CN2 SR或者通过二层VLL方式跨域接入CN2。针对跨域二层接入采用VLL方式，为保证二层VLL接入电路的质量，要求承载VLL的城域MPLS网络具备QoS能力。如图2所示的业务模型中VLL终结在城域网侧PE，VLL两侧尽量采用一致的接口，避免使用桥接协议转换；连接的MTU要求大于1 500 byte。CN2和城域MPLSVPN跨域对接优先采用OptionA方式，采用两对PE-ASBR背对背进行对接。中国电信设置3个出口局（北京、上海、广州），各部署2台ISR与合作运营商MPLS VPN对接，对接方式优先采用Option A。此外通过海外POP节点，也可以提供跨运营商MPLS VPN对接。

2.2 E通VPN现状

相对于MPLS VPN、VPDN等运营商局端部署实施的PP-VPN技术，通过在用户端设置、管理并维护VPN网关设备，不需要调整或改变运营商网络的结构与性能的CPE-VPN技术也随Internet而蓬勃发展。部分海外运营商也在尝试通过SSL和IPSec等基于Internet的虚拟专网技术给用户提供安全便捷的VPN接入，作为其在中国境内“最后一公里”固网接入的补充方式。

虽然SSL或IPSec作为CPE-VPN用户可以自行部署，但是对企业来讲，部署一套完备的安全专网将要付出很大的人力、财力。然而，作为运营商，上海电信在这方面有着得天独厚的优势，“E通VPN”业务的组网方式让运营商能为用户提供安全的整体解决方案。通过局端PE部署MPLS VPN，用户端CE部署IPSec技术的E通VPN，同时上海电信E通VPN平台又拥有从传统专线到MPLS VPN业务各类专线接口，使两个不同技术架构的虚拟专网技术可以有效地集成在一起，满足用户自动切换需求，提供端到端的整体解决方案，实现了用户自行部署或采用第三方运营商独自建设都难以解决的网络间的无缝融合。

图1 CN2 MPLS VPN业务参考模型

图2 CN2跨域VLL接入MPLS VPN业务模型

上海电信通过在转型新业务网络平台下部署Netscreen 500、ISG1000和SA3000，满足用户端多种认证计费方式的IPSec或SSL接入E通VPN平台。图3所示的E通VPN业务模型中用户数据通过加密隧道方式联入E通VPN平台后，由平台内3层交换机经城域网以EDSL、以太专线和MPLS VPN等方式转发至用户总头。

2.3 功能分析

2.3.1 自动倒换

用户分点MPLS VPN链路故障时，用户节点路由自动切换到备份线路访问用户总头数据中心内数据，用户请求到达数据中心后，若用户端故障，用户总头能感知，回复的数据能从备份路由发送到用户端。全部切换时间必须在40 s内完成，故障时所有路由切换功能自动实现，无需人工干预。

目前CN2 VPN用户接入主要以eBGP或静态方式，通过eBGP方式接入的用户端路由故障，用户总头可以通过BGP表项自动更新感知，针对静态路由方式接入的CE用户端，用户总头无法有效感知，会导致路由黑洞的存在。

兼顾eBGP和静态路由2种接入方式，在E通VPN网络平台接入CN2时采取较高管理距离的汇聚路由方式进行路由备份倒换。E通VPN平台作为上海电信城域网局端设备中的一个比较特殊的节点，在某种意义上，E通VPN对用户端来说就是一个PE，E通VPN和CN2对接方式采用Option A模式，针对目前集团大客户路由总量会超过1 500条的情况，采取VLL方式跨域接入CN2，以避免对城域网SR性能压力。

图3 E通VPN业务模型

2.3.2 安全性

用户路由不暴露于公网，用户网络内部数据不可被公网访问,E通VPN平台上各不同用户组之间路由互相隔离。

针对用户内部的数据安全，在CN2 PE上用户数据通过MPLS标记交换方式转发，用户间路由互相隔离，保证安全性。跨域时通过VLL方式保证用户数据二层隔离，用户数据到打E通VPN平台后，通过在E通VPN平台上开启VR方式，根据不同用户组的不同VLL VLAN进入各自的VR，保证用户数据和路由的隔离，从E通VPN平台到用户端，采用SSL或IPSec技术通过ESP方式加密封装后以密文方式传送到用户端。

2.3.3 可靠性

用户备份网络和主用的CN2 MPLS VPN网络必须采用异构网架构，避免因局端设备故障导致主备网同时失效的隐患。

由于大部分用户主用网络是通过DDN或FR方式接入CN2 MPLS VPN，因此组建备份网络时，MPLS VPN和DDN不在考虑之列。E通VPN平台到用户终端采用的是Internet承载ESP报文方式，与CN2 PE物理隔离。VLL跨域透传时数据基于上海城域网优化平面传输，与负责本地Internet主要接入的IPMAN和上海热线属于不同网络，也能实现物理设备的隔离。考虑到冗余性，E通VPN平台会通过2条不同局向的光纤以VLL方式接入到CN2不同PE，因此PE端也排除了单点故障。

2.3.4 可管理性

备份网络需作为可管理型网络，网络终端需要支持标准的SNMP协议进行管理和流量监控。同时网络终端需要同时上联MPLS VPN和承载IPSec的Internet，可以提供2条WAN线路，具有“双网双待”功能，保障线路安全。

定制终端作为集团商务领航的品牌旗下信息化产品，恰好可以满足用户的上述需求。通过在用户端部署实现中国电信专门为品牌客户定制的可远程实时监控、远程配置、远程诊断、远程升级，具有路由器和基本安全功能的定制终端B2-1，利用中国电信专业维护体系及自动化管理平台（BBMS），提供零配置快速安装、专家监控值守、快速故障处理、主动维护保障、定期运行分析报告等服务，可以满足客户互联网宽带接入、WLAN无线组网、基本安全防护、降低维护成本、提高维护质量等方面需求。

通过部署中国电信商务领航B2-1定制终端，在网络运行监控方面，提供7×24 h专家值守、5×8 h主动发现上网线路故障，快速响应、故障主动发现，并能每月提供网络运行月报，保障网络运行状况。

考虑备份网组网成本所限，用户各分点可以迅速且安全地扩展网络。同时，备份网络接口最好能以支持以太网接口为主，避免用户另行购置昂贵的G703、V35等传统数据模块。

E通VPN通过承载用户原有的Internet线路作为MPLS VPN备份线路，用户线路投入成本可控制，通过在定制终端B2-1配置QoS功能，可以保证故障发生时，用户Internet线路优先保证转发IPSec应用报文。定制终端B2-1丰富的以太网接口，避免了用户采用DDN传统数据服务时需另行购置模块板卡的投入。

3 网络设计部署

3.1 概述拓扑

某国际跨国集团用户，通过CN2长途MPLS VPN互联其在中国的106个CE节点，用户总路由条目超过1 500条，用户部分CE节点采用BGP方式接入，部分采用静态路由接入。用户尝试采取另建一个备份网络，但因为主要MPLS VPN部分节点静态路由接入导致备份网络的路由黑洞问题而不能自动切换，或者采用模拟线路DDR拨号几分钟的切换时间长问题，效果都不能令其满意。成本和组网的部署便捷性也是其组网考虑的一个主要因素。

针对用户提出的40 s内自动切换，充分利用其现有的网络线路 （各分点一条MPLS VPN线路和一条Internet上网线路）不再追加任何线路工程投入的要求，提出以下方案：通过在用户端部署定制终端B2-1，建立到E通VPN的IPSec隧道，当用户端MPLS VPN线路发生故障时，用户路由自动切换到IPSec备份路由上，同时局端CN2 PE配置静态备份路由（加大AD值，汇总用户路由后较短掩码的出路由）以Option A方式VLL跨域打通MPLS VPN到E通VPN的平台通路。测试拓扑如图4所示。

3.2 CN2路由实施策略

用户CE直接上联CN2 PE组网，经用户授权后，在用户测试点Branch1上联的CN2 PE上 （资源库中查出是SH-SH-MS-S-1.CN2设备），通过上海本地城域网优化平面与CN2的互联接口，以二层Martini技术的VLL方式互联至上海电信E通VPN平台，互联地址遵循局端规划，用户测试点路由地址为10.152.141.0/24，通过局端CN2 PE上观察用户VPN内路由表，经汇总归并成10.152.0.0/16，加大管理距离为220，作为用户备份路由指向E通VPN平台。

3.3 城域网以太透传实施策略

E通VPN平台通过Option A方式VLL跨域接入CN2，上海电信本地城域网只承载用户二层数据报文，用户路由在城域段内透明，只需要在优化平面内以Martini技术建立点对点的LDP邻居连接，互联E通VPN平台和CN2接口，两端用户报文封装以VLAN方式一致，避免dot1q和Bridge1483的桥接协议转换。

3.4 E通VPN平台部署

E通VPN平台通过不同的密钥和各用户终端建立IPSec隧道，用户对端可以通过IP或者用户名方式识别。通常如果用户端直接获得公网IP上网，可以直接采用IP方式，如果是通过防火墙NAT上网，则需用户名方式建立连接，同时考虑穿透防火墙问题，E通VPN为IPSec隧道建立提供了NAT穿透功能，针对SSL隧道加密，因为运行于HTTPS应用层，不存在NAT穿透问题。

35岁以上的女性，孕育胎儿时的心理负担要比适龄孕妇增大，加之社会和家庭的各种压力，容易使精神处于紧张状态，不利于自身的健康和胎儿的生长发育。

针对用户间路由隔离安全性要求，E通VPN平台支持VR（虚拟路由器）功能，各用户组独享一个VR，通过VLL透传外层VLAN来区分各用户所属VR。E通VPN通过Option A方式互联CN2，默认情况类似本次测试以静态接入为主。如将来有用户BGP接入需求，E通VPN平台所采用的Juniper ISG1000和Netscreen 500都可以支持BGP路由需求。

图4 E通VPN平台热备CN2 MPLS VPN业务模型

此外，E通VPN平台还可以根据用户的需求基于Juniper Netscreen OS环境进行访问策略设置，大大增强了用户访问的安全性。

3.5 用户CE路由实施策略

用户端部署集团定制终端B2-1，通过用户原Internet出口建立和E通VPN的IPSec通道。定制终端开启SNMP功能供远程采集流量，同时通过TR069协议，支持BBMS远程管理功能。通过双网口策略，通往CN2内部路由，建立高管理值的备份路由指向IPSec接口，当主用失效后，可自动切换。用户Internet出口配置QoS带宽保留策略，以供故障时IPSec优先转发，如果用户日常Internet访问，流量不高，轻载条件下，QoS部署可以简化。

3.6 用户端测试

配置部署完毕后，用户正常情况下，通过DDN主用线路接入CN2长途 MPLS VPN访问用户总头10.152.114.2：

Tracing the route to 10.152.114.2

1 10.152.128.53 8 msec 8 msec 12 msec

2 10.152.62.210[AS 4809]12 msec 12 msec 11 msec

模拟用户DDN线路故障，当用户DDN线路发生中断时，经30 s左右的中断时间，路由自动切换IPSec备份网络。通过E通VPN访问用户总头的traceroute路径如下：

Tracing the route to 10.152.114.2

1 173.73.73.2 0 msec 0 msec 0 msec

2 61.152.231.114 4 msec 0 msec 0 msec

3 172.210.210.3 4 msec 4 msec 4 msec

4 202.96.218.1 4 msec 4 msec 4 msec

5 222.66.240.57 4 msec 4 msec 4 msec

6 10.152.64.210 8 msec×12 msec

测试结论：经用户现场演示测试，通过E通VPN线路备份MPLS VPN的技术方案可以满足用户路由自动切换的需求。DDN链路故障时，E通VPN切换时间在30 s左右。DDN链路恢复后，路由自动倒回，基本不中断。实用EVPN备份方式，用户内网应用正常。

4 结束语

CN2是中国电信集团奠定未来10～20年里中国电信顶级运营商基础的战略级网络平台，E通VPN通过立足于CN2长途MPLS VPN业务，结合部署转型业务的创新模式，有效贯穿了中国电信集团“把握整体和方向，充分发挥资源优势”的转型策略。

CN2、IPMAN、E通VPN和定制终端等一系列业务，通过组网方案的高度整合，为高端客户提供端到端的整体解决方案，大大提升了数据产品的竞争能力，也反映了IP技术驱动力下运营商业务发展的趋势。

1 James D McCabe（美）.秦亚红等译.网络分析、体系结构与设计（第二版）.北京：电子工业出版社，2005

2 中国电信集团运维[2006]30号.中国电信下一代承载网（CN2）网络运行维护管理办法（试行）