EBoD：打造开放SD-WAN网络服务平台

周文辉　刘永伟

摘要：软件定义广域网（SD-WAN）提供广域网云连接网络服务，成为云网融合和协同的重要手段，全球信息通信技术（ICT）产业链各环节都在积极推动其研发、试验和部署。中国移动提出了企业宽带随选网络（EBoD）计划，研发、试验了基于开放网络自动化平台（ONAP）的、多厂家的SD-WAN统一集中管控原型系统，并将部分研究成果贡献到ONAP社区跨运营商连接项目（CCVPN）业务场景。

关键词：云网协同;云网融合;云计算;广域网

Abstract： Software-defined wide-area network （SD-WAN） provides WAN network services  for cloud connectivity and becomes an important means of cloud network convergence and synergy. The global information communication technology （ICT） industry chain is actively promoting the R&D， test and deployment of SD-WAN. China Mobile has put forward the enterprise broadband on-demand network （EBoD） plan， developed and tested the centralized， unified control prototype system across multi-manufacture based on the open network automation platform （ONAP）. And some research achievements have been contributed to the cross-domain， cross-layer virtual private network （CCVPN） business scenario of ONAP community.

Key words： cloud network synergy; cloud network convergence; cloud computing; WAN

经过十多年的发展，云计算技术经历了大数据处理、虚拟化、容器化、无服务器计算[1]等各个技术阶段的发展，正在改变社会信息通信技术（ICT）基础设施建设和使用模式。公有云、私有云、混合云使得企业或者组织能够敏捷地构建区域化、全球化规模的新型信息化基础设施，即基于企业分支、互联网和云计算数据中心构建企业下一代信息化基础设施，并且让用户在使用这种信息化基础设施时，在各个层面包括应用、服务、网络、基础设施等的管控具有与当前企业局域网相同的获得感。

在云计算时代，运营商面临网络和业务转型。一方面，电信运营商积极向移动互联网信息服务商转型，为行业、政府、企业客户提供物联网（IoT）、视频、计算、存储等各类云服务，构筑新的竞争力和业务增长点。另一方面，全球电信运营商正在进行基于软件定义网络（SDN）、网络功能虚拟化（NFV）和云计算的下一代电信网络平台重构和技术演进[2]，旨在构建一个网络服务部署敏捷、网络动态按需扩展、业务快速创新的“云网协同”電信网络服务平台，实现电信运营商网络的开放化、服务化、敏捷化、智能化。云网协同不仅是下一代电信网络演进目标和发展趋势，也成为移动互联网信息服务差异化竞争的核心能力之一。

云网协同顾名思义要同时打造云计算和云网络基础设施，二者相辅相成[3]。“云”是指云计算数据中心、云服务;“网”是指云网络基础设施，不仅包括云数据中心局域网络，还包括企业或企业数据中心与云数据中心之间，以及云数据中心之间的网络，特别是后两者，我们称之为“云连接”，它还面临巨大挑战。从电信运营商的角度看，云网协同主要包括3种场景。

（1）场景1：云承载网、网络基础设施云化、云网融合。电信网络云化成为云计算的一个垂直应用领域，即“电信云数据中心”。电信机房数据中心化（CORD）[4]将传统通信机房重构成基于开源软件系统、通用硬件系统的云化、SDN化、自动化的云数据中心。全球宽带论坛（BBF）制定的云电信机房（Cloud CO）架构[5]、NFV开放平台（OPNFV）发起的虚拟化电信机房（vCO）[6]开源平台，都是与CORD类似的基于云计算、SDN、NFV的下一代电信云网平台。

（2）场景2：网服务云，基于广域网提供安全、可靠、用户体验良好的云连接网络。网服务云为云计算提供了安全、可靠、良好体验的接入和互联互通网络，成为以“云优先”为导向的互联网服务提供商技术和产品的重要发展战略。全球顶级云服务提供商Google、Amazon、阿里巴巴、微软等在该场景下具有丰富的实践经验，基于SDN技术、流量规划、分段路由（SR）等技术实现了云数据中心间东西向流量的低成本、高性能、灵活调度[7]，部署并提供企业云骨干网[8]、广域网（WAN）网关[9]等技术、产品和服务，实现企业客户网络与云的无缝对接，为用户提供高安全、高可靠、高性能云连接管道。

（3）场景3：5G应用场景下移动边缘计算新架构的研究和探索，实现高可靠、高性能、大连接移动云计算服务。5G时代，移动互联网信息服务如智能驾驶、远程医疗、增强现实等大计算、低延时应用对网络和计算架构带来了新且更严格的要求，须要考虑在供电、移动网络覆盖和传送网络带宽等条件下终端、边缘以及云之间的运算能力的动态分配[10]，实现更加动态敏捷的云网协同架构。Linux基金会的Akraino Edge Stack[11]提出了边缘云基础设施架构和自动化部署平台。

1 SD-WAN技术发展状况

基于WAN提供一个良好体验的云连接网络服务面临着如下的一些挑战：

（1）高复杂异构网络下的大规模租户支持能力。云连接网络横跨用户设备、接入网络、云数据中心，以及不同网络服务商（ISP）网络，同时用户访问的云服务和应用分布广且动态变化，云连接的高性能、可靠性、服务质量保证等技术实现复杂度高。与此同时，广域网云连接网络平台支持的租户虚拟专用网络（VPN）规模将数以十亿、百亿计，比云数据中心的规模更加巨大。

（2）缺乏高效的网络运维方式。由于复杂度高，传统的基于电子工单任务分发、基于命令行工具的部署和配置、人工排错的运维方式已经远远不能满足云连接网络服务的需求，需要新的技术手段实现智能运维。

（3）企业安全基础架构须要“与时俱进”。现有企业安全管控架构已经不能适用基于云计算模式的分布式企业信息化基础设施，企业安全管控模式须要向安全策略集中控制，安全管控模块软件化、分布化、虚拟化方式发展。

软件定义广域网（SD-WAN）基于SDN和叠加网技术，实现了跨互联网连接位于不同地理位置的企业分支、企业数据中心、云数据中心等的虚拟化网络。基于SD-WAN技术构建云连接网络服务平台已经成为共识，相关产品和服务在全球方兴未艾。互联网云服务提供商通过自建或联合研发部署的方式为企业用户提供“上云”工具和服务;网络设备、云平台厂商通过自研、产业合作、跨界并购的方式具备或完善SD-WAN平台和服务能力，实现端到端云计算网络管控能力;电信运营商包括AT&T、中国移动等都在积极试验和试点SD-WAN平台和技术。

就像虚拟可扩展局域网（VXLAN）一样，SD-WAN为云计算而生，具有众多先进技术特性：SDN化、自动化、动态适应，并逐渐向意图驱动网络[12]管控架构演进;具有灵活、简便的部署方式，同时支持虚拟化网络功能（VNF）、硬件盒子等“零接触”部署方式;引入微分段式动态虚拟化安全架构[13]，实现更细粒度的安全管控;面向“应用为中心”，支持服务流可视化技术[14]，识别并保障不同用户、不同应用的服务质量;使用深度缩减、端到端流量精确控制、往返时间（RTT）实时传输控制协议（TCP）隧道[15]等多种WAN加速和优化技术，提高广域网数据传送效率，降低网络拥塞。

SD-WAN已经在全球成为一个热点，并有小规模的部署和应用，但总体来说还处于试验和发展的初级阶段，要达到企业级、平台级网络服务还有很多關键的技术问题需要解决。

（1）如何基于人工智能和机器学习技术实现SD-WAN复杂环境下用户设备、网元、应用数据的采集、跟踪、分析、关联，进而实现智能化运维[16]是其取得成功的关键，是正在攻克的难题，目前还处于起步和试验阶段。

（2）简单、高效、“无差别”感知的云连接网络管控集成。对于企业客户IT系统管理者来说，对SD-WAN云连接网络的管控要像企业内部网络一样“无感知”;对于云服务提供商来说，需要云连接与云数据中心网络的集成，并根据全局云网络特征实现更加高效的云计算资源部署和调度。

（3）当前SD-WAN解决方案和平台比较封闭，都有各自的编排和控制平台及管控协议，如何构建一个统一、集中、开放的SD-WAN管控平台则是电信运营商亟待解决的问题。

中国移动提出了企业宽带随选网络（EBoD）计划，积极、深入推动SD-WAN技术和产品的成熟和开放，由于采用多厂家设备，如何实现开放、统一、集中、高效的SD-WAN管控系统并实现和厂家SD-WAN平台的解耦面临着巨大挑战，包括统一抽象的业务模型、服务自动化编排工作流、抽象模型到不同厂家SD-WAN系统管控逻辑的映射、网络服务数据模型（包括网元、拓扑、流量和应用分布等）、网络服务全生命周期管控等。我们设计、开发和实现了一个基于开放网络自动化平台（ONAP）和第三方SD-WAN系统对接的原型系统，针对上述关键技术要求验证了统一、集中SD-WAN管控能力，并实现了如下的目标和成果：

（1）实现了分钟级的企业VPN和云连接管道的自动化敏捷部署、配置和动态扩展。

（2）设计和实现了统一SD-WAN服务和资源模型、编排工作流参数定制和工作流新增和扩展、厂家SD-WAN平台适配驱动、动态资产库（AAI）数据模型等，验证了与不同厂家SD-WAN平台解耦的技术可行性。

（3）设计和验证了SD-WAN全生命周期动态管控架构，验证了网元动态扩展能力。

1.1 系统设计

图1是基于ONAP的统一、集中SD-WAN管控系统的架构，其中包括SD-WAN业务层、ONAP平台、厂家SD-WAN平台。

（1）SD-WAN业务层。SD-WAN业务层有着本系统研发和试验的主要功能，如设计和实现网络服务和资源模型、工作流定制、底层网络网元管控逻辑适配、AAI数据模型、全生命周期管控模块等。

（2）ONAP平台。ONAP提供了一个通用的网络服务自动化编排、管控框架和平台，为上层业务编排和管控提供设计环境和运行环境。

（3）厂家SD-WAN平台。厂家SD-WAN平台通过北向接口接收上层ONAP平台的管理和控制流，实现SD-WAN网络服务抽象逻辑到实际承载网元的映射，完成网络服务的部署、配置和管控。

整个系统实现了基于模型和策略驱动的SD-WAN网络服务的自动化部署、配置、全生命周期管控，关键流程如图2所示。

（1）设计和实现网络服务和资源抽象模型，抽象模型描述SD-WAN相关的服务、资源、策略以及参数;

（2）用户通过Portal订购服务，输入定制信息包括企业分支地点、VPN信息、企业分支互联网协议地址（IP）地址信息、云数据中心信息、策略信息等，作为SD-WAN网络服务模型实例化参数用于网络服务部署、配置;

（3）SD-WAN网络服务模型适配成底层网络平台开放能力应用程序编程接口（API）调用，如SDN-WAN控制器提供的客户终端设备（CPE）API;

（4）SD-WAN平台接收ONAP平台API调用，配置、管理、控制相关的网元设备，如SDN控制器通过南向接口给CPE分配一个IP地址;

（5）基于策略的全生命周期自动化管理和控制，实现网络服务的动态弹性扩展、安全控制、流量工程、可靠性保障等。

1.2 网络模型设计和实现

SD-WAN服务和资源模型设计遵循云应用拓扑和业务流程规范TOSCA[17]，但目前还没有统一的基于TOSCA标准的SD-WAN网络模型。我们的网络服务模型参考国际互联网工程任务组（IETF）发布的SD-WAN YANG模型草案[18]、中国移动相关技术规范，主要包括：服务模型，如VPNInfra、Site、Policy、Device服务类型;资源模型，如Device、Site、VPN Attachment、Connectivity、Policy、局域网（LAN）等资源类型。

在该模型下，一个租户的VPN由VPNInfra、Site等服务组成，客户Site通过VPN attachment关联到VPNInfra服务，Site实例可以是多种类型，包括企业分支、运营商接入点（PoP）、云数据中心等。VPNInfra服务实现用户VPN部署、配置和扩展，如部署上云服务;用户可以通过Policy服务动态下发策略，Site服务实现VNF动态容量扩展，总体网络模型设计如图3所示。由于当前ONAP的应用设计中心（SDC）平台还不完善，可扩展能力有限，本原型系统设计的虚拟连接（VL）资源类型需要扩展原有Python代码才能将它们添加到SDC设计平台中去。

1.3 自动化编排设计和实现

我们在现有ONAP提供的自动化编排框架基础上，增加了模型实例化模板，定制了工作流参数和脚本代码，并针对VPN网关实例缩扩容场景新增DeviceScaleOut工作流。新增DynamicPolicy工作流实现动态策略下发，新增SiteScale工作流实现VPN扩展。可以使用Openstack heat编排方式实现VNF部署和扩展，图4给出了SD-WAN网络服务自动化编排的框架和关键流程。

1.4 底层网络适配设计和实现

ONAP SDN-C平台提供了一个编程语言、流程和框架，将上层网络服务和资源抽象模型映射到底层网元、云计算基础设施上的部署或配置服务调用，图5给出了底层网络适配的架构和关键流程。底层适配器的设计和实现工作包括网络资源API、网络资源处理逻辑和底层SD-WAN平台服务调用，本原型系统主要新增分配资源（AR）、虚拟连接（VL）资源类型的API接口，新增和扩展对应所有SD-WAN网络资源类型的处理有向图（DG）和JAVA代码，并基于北向AsoPI接口新增和扩展了底层SD-WAN平台服务调用节点和JAVA代码。

1.5 网络服务全生命周期管理

设计和实现

本原型系统基于ONAP提供的数据采集、分析和事件（DCAE）框架，设计和实现了VPN网关实例动态扩展的功能，图6给出了其架构和关键流程。

（1）“底层网络事件侦听模块”作为一个消息网关设备通过北向接口订购底层网络测量消息和事件，并将接收的性能报警事件转换成上层消息格式发布到ONAP平台数据传送服务（DMaaP）组件;

（2）“底层网络平台事件转换”模块订阅底层网络消息和事件;

（3）将接收到的底层网络事件转换成DCAE网元事件流（VES）事件，该事件包括事件类型、设备信息等并发布到DMaaP组件;

（4）在ONAP平台的Holmes组件中创建事件分析和处理规则，订阅和接收到网络设备VES事件消息后，根据相应的规则触发相应的策略执行消息;

（5）ONAP平台策略执行模块根据策略执行消息中的相关信息如网络服务实例通用唯一识别码（UUID）、资源UUID等信息从AAI获取相关服务、资源模型参数;

（6）策略执行模块根据策略定义调用服务编排器（SO）执行DeviceScale工作流，该工作流实现VPN网关实例弹性缩扩容。

1.6 原型系统验证

原型系统试验环境如图7所示，主要包括以下平台：

（1）系统软件平台。包括ONAP北京版本、SD-WAN SDN控制器、Openstack Queen版本等。

（2）硬件环境。由7台X86服务器、1台交换机构成。每台服务器有2路12核中央處理器（CPU），384 G内存，10 TB存储，4*Gb电口+4*10 Gb光口网卡，安装Linux Ubuntu 16.04LTS版本;交换机配置为48 Gb+4*10 Gb端口。

（3）网络配置。Openstack租户网络采用虚拟局域网（VLAN）方式，为了接近真实性模拟以及实现不同系统间的隔离，为核心电信云数据中心（TIC）、边缘TIC、云数据中心、企业分支创建了不同的租户以及内部网络，所有的内部网络通过网络地址转换（NAT）与中国移动互联网（CMNET）络互通。

（4）部署方案。统基于Openstack虚拟机方式部署，采用转控分离的部署架构，Core TIC用于部署管控平面，包括ONAP平台和SDN控制器等;边缘TIC用于部署用户数据平面，包括虚拟专用网络-网关（VPN-GW）等;企业分支部署vCPE和用户PC;云计算数据中心用于部署视频云服务。

本原型系统已经在实验室环境下完成了企业分支VPN互联、企业上云等应用场景下的关键功能：自动化快速部署和配置企业分支间VPN，大约10 min内完成;对已创建的VPN动态扩展上云服务，大约10 min内完成;动态应用服务质量（QoS）策略下发，保障视频云访问流QoS;VPN-GW网元根据业务流量动态扩展，实现负载分担。

2 SD-WAN技术工作展望

本原型系统验证了基于ONAP平台的统一、集中自动化管控SD-WAN的关键技术的可行性，下一步我们将围绕如下的一些研发、集成、试验工作，推动该系统快速成熟并具备商用能力。

（1）网络服务管控能力扩展。SD-WAN网络服务管控能力随着业务需求和场景不断扩展，除了自动化部署、系统弹性扩展等管控能力，下一步须要增加故障管理、企业信息化增值服务等服务能力。

（2）跨域、多厂家、多控制器对接实现。目前只是研发和实现了单控制器平台下的部署场景，下一步将扩展到跨域、多厂家、多控制器场景。该场景比较复杂，须要进一步扩展AAI数据库模型、SDN-C网络编排驱动、SD-WAN北向接口，实现多厂家SD-WAN产品互通组网。

（3）底层承载网络管控能力互通。研发和试验SD-WAN和底层承载网络管控互通需求、架构和实现，不仅是满足SD-WAN网络服务部署的自动化程度、速度、QoS保障的技术要求，同时也是电信网络运营商提供SD-WAN云连接网络的差异化竞争优势，能够提供更敏捷、更高质量、更智能的云服务管道。

（4）网络人工智能集成能力。需要基于网络人工智能构建一个完整的网络和服务数据采集、跟踪、分析、关联系统并和ONAP管控框架集成，提供高效、智能的网络服务全生命周期管理。

（5）SD-WAN与企业客户信息通信技术（ICT）基础设施管控平台的集成。为企业客户提供SD-WAN管控的“自服务”能力和接口，实现与企业客户ICT基础设施管控的无缝集成。

3 结束语

在基于云计算、SDN、NFV技术的网络演进技术驱动和云优先需求的驱动下，基于SD-WAN的技术提供了广域网云连接，成为云网融合和协同能力的重要手段，全球云服务产业链各环节都在积极推动其研发、试验和部署。通过原型系统的研发和试验，我们在实现开放、集中、统一管控能力的SD-WAN云網络服务关键技术问题上进行了深度探索和试验。实践证明，在复杂、异构广域网环境下提供企业级用户体验的SD-WAN“云连接”是一个复杂繁重的工程，在集中管控模型和架构标准化、虚拟化集成架构以及基于网络人工智能的智能运维等方面还面临着巨大的挑战，需要产业各方共同努力，共同推动SD-WAN云连接逐步成熟和商用。

参考文献

[1] AWS team.从IaaS到FaaS—ServerLess架构的前世今生[EB/OL].（2017-01-18）[2019-02-25].https：//aws.amazon.com/cn/blogs/china/iaas-faas-serverless/

[2] AT&T. AT&T Domain 2.0 Vision White Paper[R]. 2013

[3] 陈天，樊勇兵，陈楠，等.电信运营商云网协同业务及应用[J].电信科学， 34（2）： 161-172. DOI： 10.11959/j.issn.1000-0801.2018008

[4] PRETE L.CORD-Wiki Home[EB/OL].（2018-10-18）[2019-02-25].https：//wiki.opencord.org/

[5] BBF. TR-384Cloud Central Office Reference Architectural Framework [EB/OL]. [2019-02-25].http：//wiki.broadband-forum.org/

[6] OPNFV. Virtual Central Office-Building a Virtual Central Office （VCO） with open source communities and components [EB/OL]. [2019-02-25]. https：//www.opnfv.org/resources/virtual-central-office

[7] KUMAR A ， POUTIEVSKI L ， SINGH A， et al. B4： Experience with a Globally-Deployed Software Defined WAN[C]//SIGCOMM 2013. USA： ACM， 2013. DOI： 10.1145/2534169.2486019

[8] 阿里云发布云骨干网企业一分钟内便可构建全球网络[EB/OL].（2017-12-14）[2019-02-25].

http：//baijiahao.baidu.com/s？id=1586722342247059708&wfr=spider&for=pc

[9] Making the Connection from the SD-WAN to the Cloud [EB/OL].（2018-10-04）[2019-02-25]. https：//www.sdxcentral.com/articles/analysis/making-the-connection-from-the-sd-wan-to-the-cloud/2018/10/

[10] ANDREEVS， GALININA O， PYATTAEV A. Exploring Synergy between Communications， Caching， and Computing in5G-Grade Deployments [J]. IEEE Wireless Communications， 2016， 54（8）：60-69.DOI： 10.1109/MCOM.2016.7537178

[11] Akraino Edge Stack[EB/OL].[2019-02-25].https：//wiki.akraino.org/

[12] Cisco Extends Intent-Based Networking from the LAN to the WAN [EB/OL]. [2019-02-25].https：//www.sdxcentral.com/

[13] How Does Micro-Segmentation Help Security？ Explanation [EB/OL]. [2019-02-25].https：//www.sdxcentral.com/networking/virtualization/definitions/how-does-micro-segmentation-help-security-explanation/

[14] Riverbeds Visibility-as-a-Service Now Available Globally Through BT， Enabling Customers to Manage the Digital Experience [EB/OL]. （2018-12-06）[2019-02-25]. https：//www.riverbed.com/blogs/riverbed-visibility-as-a-service-available-globally-through-bt.html

[15] AppEx LotWAN廣域网加速系统[EB/OL]. [2019-02-25].http：//www.appexnetworks.com.cn/

[16] Nyansa CTO Says AI and Big Data Analytics Will Tackle New Network Challenges [EB/OL]. （2018-11-26）[2019-02-25].https：//www.sdxcentral.com/sponsored/interviews/nyansa-cto-says-ai-and-big-data-analytics-will-tackle-new-network-challenges/2018/11/

[17] TOSCA Simple Profile in YAML Version 1.0[EB/OL]. [2019-02-25]. http：//docs.oasis-open.org

[18] A YANG Data Model for SD-WAN VPN Service Delivery [EB/OL]. [2019-02-25].https：//datatracker.ietf.org/doc/draft-sun-opsawg-sdwan-service-model/？include_text=1