城域网云化实践及展望

摘要：结合运营商某地市分公司的城域网（MAN）云化试点情况，对试验网的架构、部署、业务实现、运维模式等进行了分析。阐述了试点的价值和挑战，并基于实践案例提出了城域网架构fabric化演进、网络即服务的运维能力和以应用为中心的网络发展建议，为运营商助力行业数字化转型提供参考。

关键词：城域网云化；fabric化演进；网络即服务；应用为中心；运营商

Abstract： The framework， deployment， service implementation， operation and maintenance mode of the practice case of cloud-based metro？ politan area network （MAN） in a branch of the operator are analyzed. The value and challenges of the experimental network are described. Based on the case， the insights of MAN fabric evolution， operation capability of the network as a service， and application-centered network development are proposed， which provides reference for operators and helps the digital transformation of the industry.

Keywords： cloud-based MAN； fabric evolution； network as a service； application-centered； operator

1城域網现状概述

网际互联网协议（IP）城域网是运营商覆盖中国各城市范围的全业务接入网络，网络架构分为接入层、汇聚层、业务控制层和核心层。如图1的红色箭头所示，在传统城域网架构中，用户业务流量通过光纤到X（FTTX）/局域网（LAN）方式从接入层进入城域网，并逐层汇聚至业务控制层。随后，报文经核心层的路由器快速转发至运营商的骨干网。与城域网平级的是无线承载网。无线承载网是基于无线接入网网际互联协议化（IP-RAN）的技术实现，提供基站的接入及高值政企业务的接入。

随着云计算及5G业务的发展，互联网应用对IP城域网的灵活性、拓展性、功能性等提出了新的要求[1-3]。然而，基于传统运营商城域网的结构难以实现业务的快速创新，也难以满足互联网的发展。为了加快转型，运营商积极推动用户定义网络、海量计算、高保障行业专网接入等的研究。

2中国电信城域网云化实践

运营商在不改变现有网络架构的条件下，前瞻性地引入叠加网络（Overlay）、软件定义网络（SDN）、网络功能虚拟化（NFV）等技术推进网络云化的演进[4-5]，提升网络的灵活性和扩展性。本章节将以中国电信某地市公司城域网云化实践为案例，阐述相关的实现架构、部署方式、业务承载方式及运维模式，并总结试验网中的实践经验。

2.1云化网元定义

云化网元是指城域网通信网元以云化方式进行部署，即业务系统与硬件解耦，并以纯软件的形式实现传统通信网元的功能。云化网元的引入让网络具备了一定的可编程性，提升了网络的灵活性。主流的云化网元以云化路由网关设备、虚拟宽带接入服务器（vBRAS）、虚拟客户前置设备（vCPE）为主。本文基于云化路由网关设备的实践展开讨论。

2.2实践方案架构

本方案中的云化路由网关设备分为两种，如图2所示。一种部署在城域网边缘资源池中，用来承载用户接入隧道，实现业务分流、网络地址转换（NAT）等功能，以下简称网侧云化网元节点；另一种部署在公有云侧的专用资源池中，用来承载入云业务，以下简称云侧云化网元节点。

本方案的架构分为3个层次，分别为编排层、控制层和业务层。编排层全国统一部署，负责云网资源的综合调度和开通指令的下发；控制层以省级为单位进行部署，包含城域网中不同类型的网络控制系统，如终端管理系统、接入网网管系统、云化网元控制器等；业务层是实现用户业务需求的实体网络，受控制层控制。

2.3试验网的部署方式

云化网元节点部署分为网元节点和控制节点两个部分。图3为云化网元的部署。其中，网元节点基于OpenStack架构，采用双机集群系统（HA）方式部署。内部物理网络的建设参照数据中心的叶脊网络（Spine-Leaf）架构，分别部署一对业务叶（Leaf）交换机和一对管理Leaf交换机，以实现管理流量及控制流量的分离。网络数据平面基于开放虚拟交换机（OVS）和数据平面开发套件（DPDK）的架构实现。动态主机配置协议（DHCP）、虚拟路由器（vRouter）等功能通过Network Namespace机制实现。云化网元节点之间通过建立的虚拟可扩展局域网（VxLAN）隧道进行通信。

控制节点的部署以简约实用为原则。在实现云化网元节点集中管理能力的同时，运营商会控制系统的复杂性。因此，本方案在实际部署时仅涉及服务中心和维护中心两个部分。服务中心负责云化网元的资源管理、计量、弹性调度。管理员通过云服务中心可自行部署虚拟网元。维护中心负责对软硬件和虚拟网元的监控，并管理Overlay网络的配置。管理人员可依据维护中心的历史运维数据对平台的潜在风险进行分析和预判。

本试验网中，云化网元节点部署在城域网核心路由器侧和互联网数据中心（IDC）侧，如图4所示，即在城域网多业务边缘路由器（MSE）/核心路由器（CR）旁部署云化网元节点，该节点负责宽带业务的接入；在IDC云侧入网点（POP）交换机处部署云化网络节点以实现入云业务的接入。控制节点部署在省级的业务云中，通过管理网络对云化网元节进行集中管理并维护节点之间链路状态。

2.4试验网的业务实现

（1）宽带业务的实现

宽带业务的实现过程如图5所示。光网络单元（ONU）通过DHCP SERVER为用户的终端分配私网IP，并通过以太网的点对点通信协议（PPPoE）拨号方式，从MSE和宽带接入服务器（BRAS）获取广域网（WAN）的IP地址。用户网关ONU和网侧云化网元节点随后会建立VXLAN隧道。当用户报文进入云化网元节点时，报文会先进行VxLAN解封装再进行NAT转换，最后经缺省路由转发至互联网。

宽带业务承載在VxLAN隧道具有3点优势：一是在不改变原有路由配置并保证传统宽带业务平稳运行的同时，实现流量快速向云化网元节点的导流作用；二是当故障发生时，业务可在主用节点和备份节点之间进行快速切换，提高业务的可靠性；三是支持SDN自动化配置VXLAN隧道的能力，缩短开通时长。

（2）入云业务的实现

入云业务的实现如图6所示。首先，用户网关从MSE/BRAS上获取WAN的IP地址；其次，用户网关与网侧云化网元建立VxLAN隧道A，同时网侧与云侧的云化网元建立VxLAN隧道B；接着，公有云内的POP节点通过二层网络与云侧云化网元进行互通，并打通用户虚拟私有云（VPC）与云侧云化网元的三层路由；最后，公有云内部的Vrouter与VPC建立VxLAN隧道C。面对同时需要宽带和入云需求的客户，运营商在网侧的云化网元节点部署分流机制。分流机制根据目的地址进行分流。上网流量通过NAT映射到公网地址后进行上行传输，入云流量则被封装在相应的隧道中进行转发。入云业务的实现为家宽业务提供了更多云网协同的增值服务，同时降低了用户端的部署门槛。

（3）企业组网的业务实现

企业组网的业务实现方式基于软件定义广域网（SDWAN）的架构。运营商在云化网元节点处建设企业用户专属POP业务区域，并通过专线将地区内的POP节点进行互联，形成覆盖在城域网上的Overlay full mesh网络。当用户智能网关设备接入互联网后，网关设备与最近的POP节点建立Overlay隧道连接并发起认证请求。POP节点将请求转发至控制器进行验证。当认证通过后，网络参数从云端自动下发至网关。此时，用户即可通过网关访问云资源及企业分支内网。用户在使用过程中，只需要在Portal页面上进行点击操作即可完成业务配置的变更，包括参数修改、组网变更、安全配置等。

面向高保障的企业级用户，用户可以选择支持蜂窝和有线双接入方式的SD-WAN智能网关进行部署。此时，用户业务可以依托运营商基础设施和网络规模，在现有多协议标签交换（MPLS）网络、宽带网络、5G等网络上建立Overlay网络。这种实现方式不仅提高了运营商线路资源利用率，还实现了客户端混合链路接入，提升业务的可靠性。基于云化网元方案的SD-WAN企业组网业务既为运营商全网统一的运维模式发展提供了经验参考，也进一步促进了运营商内部多专业的技术融合。

2.5试验网的运维模式

试验网的运营模式以集约化维护为原则，按照总部、省、市三级的方式落实维护责任主体。其中，总部负责业务顶层的创新及维护云化网元节点基础设施即服务（IaaS）层、云平台等的运行，省分部负责维护云化网元虚拟设备的路由配置和硬件服务器上连接的相关网络设备，地市分部则负责设备的现场维护。当业务出现故障时，地市公司仅需要参照传统网络的维护方式，保证BRAS及其下联业务的可用；上层的业务则由省分部与总部共同维护。这种运维模式有利于传统维护管理体系向云网协同的管理模式平滑过渡。

2.6试验网运营经验总结

本节将结合根据云化网元节点的试验网实践情况，从业务价值和挑战两个维度进行阐述。

2.6.1云化网元的应用价值

云化网元在实战运营中的价值体现在隧道标识、业务负载均衡、开通效率和业务创新4个方面。

第一，部署中的Overlay隧道采用VxLAN技术，并且基于16M的虚拟网络基础设施（VNI）的标识避免了因传统业务标签不足而影响开通的问题。第二，VxLAN以用户数据报协议（UDP）的方式进行封装，在全IP的网络中可通过多路径的部署方式实现业务的负载均衡，提高可靠性。第三，SDN控制器的全局自动化能力实现网络业务敏捷开通。根据试验网的测试统计，传统专线业务的开通需要7个工作日，而基于云化网元模式的专线业务的开通时长可以控制在24 h之内。这极大提高了用户体验。第四，基于云的部署方式使网元节点具备一定的互联网技术（IT）开放性。运营商可引入多厂家的应用，如深度检测技术（DPI）、应用识别、防火墙应用、内容审计等能力，为用户提供灵活的增值服务，实现业务的快速创新。

2.6.2云化网元面临的挑战

云化網元的引入对属地化的运维能力提出了新要求，主要聚焦在流量模型、维护能力和维护体系3个方面。

第一，随着运营商云网融合的发展，城域网将出现多种类别数据中心旁挂现象，并已演进成为多云互联的状态，如公有云、基于云化网元的电信云、部署增值应用的业务云、面向海量计算的边缘云等。根据思科的研究分析[6]，全球数据中心的IP流量将在2021年增长至20.6 ZB，其中99%的网络流量将与数据中心密切相关。互联网应用对数据中心的依赖将进一步加强。基于传统垂直流量模型设计的网络架构如何适应未来的发展是城域网演进急需研究的问题。

第二，目前的网管系统主要针对设备的硬件状态、数据配置进行监测，暂未细化至云化网元的IT服务组件。因此，当遇到IT组件故障时，管理员需要登录至设备底层进行判障。这种方式的效率较低。以OpenStack Neutron体系部署的VxLAN流量场景为例，各计算节点之间的互通涉及多个服务进程，包括安全组、集成网桥（br-int）、隧道网桥（brtun）、物理层网桥（br-phy）等。首先，VxLAN报文进入服务器并经过r-phy及br-tun组件，被转换为普通二层报文；其次，该报文经br-int并根据流表的匹配信息被转发至安全组；最后，安全组依照实际配置的情况对报文进行相应放行。在上述流量模型中，任一环节的组件问题都会引起业务的中断，特别是控制层面的错误指令批量下发，更易导致群障现象的发生。

第三，运营商的现有运维体系是以网络为中心的。随着业务的发展，云和5G应用对网络质量提出了更高要求，比如时延、可靠性、鲁棒性等。同时运营商将面临实际运营成果和用户满意度脱节的问题。这个问题的根源在于运营商的维护能力聚焦在传输控制协议（TCP）/IP体系中的传输层及以下，对应用层的维护经验积累较少。这一问题同时也导致了网络质量指标与用户应用层体验不匹配的现状。

3城域网云化演进展望

基于第2章节的阐述，本章节将面向城域网未来的发展，结合试验网实践情况及面临的挑战，从网络架构演进、服务能力和应用服务能力3个角度对城域网云化演进进行展望。

3.1城域网架构fabric化演进

在城域网多云互联的发展趋势下，云节点之间的横向流量将急速增长。这种变化将进一步推动城域网以Spine-Leaf结构发展。基于Spine-Leaf架构的网络有助于城域网东西向流量的调度。随着IP技术的普及，该架构的多链路特性将大大提升网络的并发能力，并为多云互联提供高速稳定的转发条件。在Spine-Leaf网络架构下，城域网引入以SRv6[7-8]为代表的新型转发面技术将使业务端到端的管理成为可能。SRv6借助互联网协议第6版（IPv6）报文头中的源路由头（SRH）存储端到端显性路由信息，并借助控制器的统一调度特性实现端到端转发路径的灵活定制。同时，SRv6结合灵活以太网（FlexE）等切片技术将促进面向垂直行业定制化专网服务的发展。

因此，为了实现城域网架构fabric化的统一管理，运营商将城域网的各子管理区域引入各级网络控制器中，如图7所示。其中，省级集中的总控制器将控制被级联的各区控制器，并为全区提供整体的云网能力调度。综上所述，城域网架构fabric化演进是运营商连接各种资源和服务的枢纽，成为避免重复建设的网络资源集约化管理中枢、主导未来信息通信技术（ICT）和政企业务走向的核心竞争力。

3.2网络即服务的运维

能力

随着城域网云化的发展，云网运营中面临的故障问题不仅会出现在路由配置、硬件等物理设备层面，还会发生在虚拟化底层的服务进程中。由于运营商的运维系统是以硬件设备和通信线路为核心的，运营商面对虚拟化底层资源和IT组件的运营状态诊断存在盲区。因此提升运维系统的IT能力是打造网络即服务运维能力的基础。对此，本文从3方面展开分析。第一，运营商须深入研究云网底层架构，比如在虚拟网络方面应该聚焦软件进程的性能、虚拟网络的业务表现、IT组件之间的运行逻辑等关系；在硬件方面从重要汇聚设备及常发生故障的设备着手，梳理和分析设备告警规则与业务的关系。第二，形成城域网资源系统和云化网元资源的映射关系，实现通过查询云化网元故障即可查询到该客户的Overlay层和Underlay层网络资源信息的能力。同时，运维系统引入云IaaS层、虚拟网元、虚拟网络Overlay层、虚拟网络组件之间的网络状态监控手段，以此实现云网初步统一管理的目标。第三，建立基于用户视角的云网物理资源可视化视图，展示业务流量流经的物理网络设备及服务器的路径，并通过植入ping、tracert等基础的运维工具，实现初步的网络即服务的运维能力。

3.3以应用为中心的网络发展

探索应用层与网络层的关系是运营商助力行业数字化转型的重要挑战。面向以行业应用为中心的专网服务可借鉴传统应用加速的思路。典型的应用加速方案是在城域网部署加速节点。加速节点对流量的特征进行甄别，并将满足加速需求的流量转发至高保障的通信链路上，使流量直达服务方的数据中心，以实现用户指定应用的服务体验提升。

应用加速的实践是以应用为中心调度网络资源的新思路。在城域网云化发展的趋势下，运营商可以联合服务方探索网络层和应用层的关系，建立标准化的接口模型[9]。一旦城域网实现fabric化并具备云网资源统一调动的能力，运营商就可根据应用层对网络层的需求，使能切片分组网（SPN）等技术驱动行业专属服务方案落地，保障行业应用高可靠运行。这种方式也是提高运营商投资收益率的新实践。

综上所述，面对云计算和5G时代行业专属应用对网络的不同要求，应用定义网络[10]是城域网云网一体化形成之后助力行业数字化转型的关键所在。

4結束语

未来人们对城域网云化演进的研究将进一步集中在以下4个方面：一是进一步探索新型Overlay网络技术，结合行业的需求建立网络即服务的运维体系；二是聚焦业务应用层的感知，建立以应用为中心的网络质量检测手段、预警能力和自动判障能力；三是推进边缘计算等新业务的落地，研究边缘云与核心云之间的联动能力，推动云网融合的发展；四是聚焦云网一体化安全防护体系，研究新的理念和新技术的应用，保证生产安全。

参考文献

[1]史凡.云网络：云网融合的新型网络发展趋势[J].中兴通讯技术， 2022， 28（1）： 8-10. DOI：10.12142/ZTETJ.202201004

[2]陈丹阳，陆璐，孙滔.数字孪生网络接口设计及其协议分析[J].中兴通讯技术， 2022， 28（1）： 29-33. DOI：10.12142/ZTETJ.202201008

[3]王卫斌，周建锋，黄兵. ODICT融合的网络2030 [J].中兴通讯技术， 2022， 28（1）： 47-56. DOI：10.12142/ZTETJ.202201011

[4]中国电信集团公司. CTNet-2025网络架构白皮书[R]. 2016

[5]中国联合网络通信有限公司研究院.中国联通CUBE-Net 3.0网络创新体系白皮书[R]. 2021

[6] Cisco. Cisco global cloud index： forecast and methodology， 2016-2021 [EB/ OL]. [2021-02-16].https：//www. cisco. com/c/en/us/solutions/collateral/ service-provider/global-cloud-index-gci/white-paper-c11-738085.html

[7]推进IPv6规模部署专家委员会. SRv6技术与产业白皮书（2019版）[R]. 2019

[8]中国移动研究院.中国移动G-SRv6技术白皮书[R]. 2020

[9]李昕. SDWAN还有前途吗？[EB/OL].[2021-02-08]. https：//mp.weixin.qq. com/s/6QLicgqvAwWFMPQGCVVsPA

[10] PAUL S，JAIN R. OpenADN： Mobile apps on global clouds using OpenFlow and Software Defined Networking [C]//2012 IEEE Globecom Workshops. IEEE， 2012： 719-723. DOI： 10.1109/GLOCOMW.2012.6477663

作者简介

陈淏，中国电信福建公司云网运营主管，云计算专业C级人才；主要负责福建省MEC、公有云、业务平台上云、IT上云、云安全管理、智能专线等业务；曾获福建电信转型创新一等奖；发表论文1篇。