基于VXLAN技术的广域网承载应用

曾楚轩，龙柯

（中国联通广东省分公司，广东广州，510600）

1 背景概述

广东联通china169网使用传统的城域网架构，21个地市、科学城IDC、松山湖IDC以及深圳IDC专网按照地域和功能被划分成24个AS域，各城域网与集团骨干网形成了hub-spoke结构，主要的跨域流量都需途经集团骨干网。由于china169网主要定位为互联网访问，传统互联网流量占据了绝大多数流量；此外也有少量的L2/L3 VPN流量，主要包括为承载网构建的L2 VPN的逃生通道流量、精品网访问的L3 VPN流量以及RMS系统的L3 VPN流量，因为需要与传统的IP流量隔离，VPN流量需要通过MPLS标签转发。现阶段联通集团骨干跨域方式存在MPLS不连续的问题，省内早期建设了一个覆盖全省的大珠三角城域网，其主要承载跨域的L2/L3 VPN流量，大珠三角城域网城域网整体设备流量利用率极低，设备存在老旧问题。

2 现状调研

随着标签技术的不断发展，VXLAN技术使用IP头取代传统的MPLS头作为标签转发，可解决集团骨干跨域MPLS不连续的问题，使得跨域流量也能承载在集团骨干上，提高了设备已经链路的利用率，降低了扩容和维护成本，降低了网络的复杂性。目前，已经在全省21个地市部署VXLAN交换机并以此构建了VXLAN网络，使地市大珠三角SR下线成为可能，也为城域网向下一代SDN网络演进提供了实践基础。由于该方案仅在VXLAN头尾节点对设备性能有要求，对中间设备无要求，组网架构清晰已便于维护。c

3 实现方案

3.1 组网方案

现网如下图所示，由于互联网访问的源和目的通常不在一个城域网内，互联网访问会产生大量的跨域流量。从A城域网访问B城域网的跨域流量可以通过两种路径，分别是A城域网-集团骨干-B城域网和A城域网-大珠三角城域网-B城域网。其中通过集团骨干跨域是跨域流量承载的主要方式。而部分特殊的L3/L2 VPN跨域流量，因为需要与IP流量隔离，必须采取标签转发的方式，现行条件下的主流标签转发方式是MPLS，要求从源到目的途经的每一台设备都开启MPLS，而集团跨域方式因为在集团骨干设备上未开启MPLS导致L3/L2 VPN跨域量无法在此路径上承载，只能通过大珠三角城域网承载。

图1 广东联通城域网跨域流量现状拓扑

改造后的广东联通VXLAN组网示意图如下图所示，以广州VXLAN交换机为核心，其他20个地市VXLAN交换机与广州VXLAN交换机之间构建VXLAN隧道逻辑连接，形成hub-spoke型组网，VXLAN交换机之间的流量交互仍然承载在集团跨域的路径上。VXLAN隧道间使用VNI来区分不同业务，传统vlan最大支持4096个虚拟网络划分，这在承载巨大且繁复的169网中显然已经不够用，VNI可以支持16M虚拟网络的划分，极大丰富的网络的扩展性，且VNI可以和原vlan无缝对接，使网络演进平滑过渡。

VXLAN交换机在城域网中的部署如上图所示，每个地市城域网部署两台VXLAN交换机，每台VXLAN交换机双上联至城域网核心，两条上联链路间流量实现负载均衡，在充分保证链路利用率的前提下可以实现冗余备份。同时，两台VXLAN交换机之间互为设备备份，避免出现单点故障，充分保障业务的安全。

图2 广东联通VXLAN组网改造示意图

完成VXLAN隧道的部署后，VXLAN通道可以承载之前承载在大珠三角的L3/L2 VPN业务（承载网逃生通道、精品网业务、RMS业务），也可以承载云公司跨DC的DCI业务及其他跨域接入业务。

3.2 业务承载方案

3.2.1 承载网逃生通道

使用静态VXLAN通道代替承载网原MPLS L2VPN方案。其同时解决了利用大珠三城域网做逃生通道的资源稀缺问题和利用集团跨域做逃生通道的MPLS不连续问题。逃生通道流量承载在集团跨域的路径上，而VXLAN技术通过使用IP头取代MPLS头做标签，从而可以有效解决MPLS标签无法跨域的问题，同时，城域网出口拥有丰富的传输资源，有效保障逃生通道的有效性。

由于该方案使用二层VXLAN技术，构建的是二层承载网逃生通道，承载网侧无需修改配置，降低了配置的复杂性。同时，该方案复用了城域网链路，无需额外开通传输链路做逃生通道，提供了链路利用率，降低了扩容成本。

此外，由于在发生重大传输故障时有可能会导致城域网出口链路拥塞，承载网流量虽然可以通过城域网出口导出，但其中有部分重要流量，如语音的信令流量，如果发生中断会导致掉话而严重影响业务，此类业务需要提供最高的保障等级。在部署次VXLAN方案时，会在VXLAN隧道头端封装VXLAN数据包时将承载网用于区分业务等级的QOS标记复制到三层头部，而使得承载网的QOS策略能够在城域网出口生效从而为承载网的高优先级流量提供最高等级的保障。

3.2.2 精品网业务通道

基于VXLAN的精品网跨域组网方案，其同时解决了使用大珠三城域网跨域的网络复杂和成本过高的问题以及使用集体跨域MPLS不连续的问题。精品网的跨域流量承载在通过集团跨域的路径上，利用VXLAN技术，标签使用IP头取代传统的MPLS头有效解决集团跨域MPLS不连续的问题，使精品网接入交换机通过VXLAN隧道直接连到大珠I设备，VXLAN隧道为精品网接入交换机和大珠I设备构建L2层通道，两者通过IGP协议建立loopback可达性，通过建立iBGP邻居收发业务路由，控制精品网访问流量从大珠I设备进入精品网AS9929，该方案由于均采用专用设备，不再采用VPN隔离，大大简化了途经设备的配置，降低了维护难度。此外，在精品网接入交换机和城域网CR之间新建物理线路，精品网接入交换机与城域网CR之间建立OSPF邻居，精品网接入交换机通过OSPF发布业务路由，城域网CR向接入交换机下发默认路由，从而构建了公网的逃生通道，在精品网AS9929出口发生故障时可以切换至城域网CR出口，实现冗余备份。

3.3 主要技术原理及思路

VXLAN技术作为主流的Overlay技术，相较于其他Overlay技术（如NVGRE、STT）等，有着较明显的优势，其使用L2 over UDP的模式，不需要改变L2-L4报文的前提，使用现网设备即可实现多路径负载均衡，得到了Cisco、华为、VMware等主流厂家的支持，在广东联通城域网中部署难度小。

VXLAN技术虽然已提出多年，以前主要应用于DC内解决VLAN不足问题，在运营商广域网上大规模商用还是属于首例。VXLAN技术属于最新的标签转发技术，传统的标签转发技术多是基于MPLS的，要求从源到目的途经的每一跳路由器都开启MPLS，且不同厂家对MPLS的规范不完全相同，不同厂家的MPLS对接可能出现未知的问题，导致MPLS标签技术部署时出现一定的局限性，广东联通互联网集团跨域中因为集团设备未开启MPLS导致标签不连续的问题就是很好的例子。而VXLAN技术使用L2 over L4（MAC in UDP）的报文封装方式，使用IP头作为标签转发，仅对VXLAN隧道的头尾节点有要求，VXLAN隧道中间段设备只需要支持IP转发即可转发VXLAN流量，极大降低了VXLAN技术的部署难度。使用VXLAN组网模式极大简化了广东联通城域网的组网架构，降低了扩容和维护成本，也使后续不同业务的跨域接入成为可能，同时支持多达16M的虚拟网络划分，为今后业务的发展提供了无限可能。

4 建设方案的效果

该项目创造性地使用了VXLAN技术解决了传统标签技术在跨域时MPLS不连续导致无法转发的问题，是全国电信运营商商用VXLAN架构网络的首次尝试，极大的简化了网络架构，为后续跨域组网提供了新的解决方案。

参考文献

[1]SDN/NFV重构未来网络电信运营商愿景与实践[Z].

[2]VXLAN的技术发展和应用[Z].

[3]使用EVPN/VXLAN解决广域网数据中心互联[Z].