NFVO标准和实践

王海宁，赵慧玲

（中国电信股份有限公司北京研究院，北京 102209）

NFVO标准和实践

王海宁，赵慧玲

（中国电信股份有限公司北京研究院，北京 102209）

网络功能虚拟化（NFV）是未来网络发展的重要趋势，也是目前全球各大标准组织和开源社区的工作重点。网络功能虚拟化编排器（NFVO）是编排和管理NFV网络的核心功能，也是运营商和设备厂商关注的焦点。全面梳理了NFVO相关的国际国内标准组织及开源项目的最新研究进展，阐述了中国电信股份有限公司北京研究院联合江苏分公司研发的NFVO系统架构和关键组件，并基于现网实践指出NFVO在未来研发和部署中的挑战。

网络功能虚拟化；NFVO；编排

1 NFVO标准和开源研究进展

网络功能虚拟化（network function virtualization，NFV）是网络演进的重要趋势之一，全球各大标准和开源组织纷纷围绕NFV展开了相关工作。

虚拟网络 MANO（management and orchestration，管理和编排）系统，由网络功能虚拟化编排器（network functions virtualization orchestrator，NFVO）、虚拟网络功能管理器（virtualized network functions manager，VNFM）以及虚拟化基础设施管理器（virtualized infrastructure manager，VIM）共同组成，以实现虚拟网络层、虚拟网元层、虚拟化基础设施分层管理功能。其中 NFVO是整个虚拟网络的“大脑”，负责管理和编排网络服务（network service，NS），指挥 VNFM 和VIM 共同完成网络服务的生命周期管理工作。下面逐一介绍 NFVO相关的标准和开源组织的最新工作进展。

1.1 ETSI

欧洲电信标准化协会（European Telecommunications Standards Institute，ETSI）是由欧共体委员会于1988年批准建立的非营利性电信标准化组织，标准化领域主要面向于电信业，并涉及与其他组织合作的信息及广播技术领域。ETSI是最早制定NFV技术相关行业规范的标准组织，ETSI NFV ISG发布的成果有着举足轻重的影响力。

2012年10月，ETSI于在德国举办的软件定义网络（software defined networking，SDN）和OpenFlow世界大会上正式发布了NFV白皮书。2012年11月，7家运营商选择在 ETSI制定NFV行业规范，并于2013年2月正式成立了NFV行业标准工作组（NFV ISG）。2013年10月，NFV ISG发布了NFV基础架构框架以及相关标准，被业内广泛用于相应虚拟化产品设计和开发，并公布了NFV的OPNFV（Open Platform）等新的开放源代码组织。与此同时，NFV ISG提出了用概念验证（proof of concept，PoC）的方式验证NFV可促进开放性生态系统的发展。目前，25项PoC正在顺利展开或完成，其论证成果也为NFV ISG所普遍认可。

2014年11月ETSI结束了NFV行业标准的第一阶段工作，发布了 3版 NFV白皮书和包括MANO在内的17份工作组规范。至此，NFV ISG已发展至包括235家企业、34家服务供应商组织。在这部分工作中，NFV ISG定义了MANO的需求、通用架构、功能模块、描述模板、参考点、接口基本描述以及部分操作流程和信息模型。但是第一阶段的接口消息、语义、信元缺乏协议级的定义，无法满足多厂商设备互操作的要求。

2015年末，NFV ISG结束了第二阶段工作，并于2016年2月发布了第二阶段的工作进展报告及相关文件，其成果基于第一阶段的工作做了更加细化的定义，其中，NFV ISG细化了NFV架构体系里NFV-MANO中VIM、VNFM以及NFVO功能模块的具体功能要求，并定义了相应功能需求参考点以及详细的接口协议规范，包括接口需求、功能、消息、语义、输入输出参数、信元等。提供了MANO在实际部署时的各种架构选项，例如 NFVO分裂为网络服务编排（network service orchestrator，NSO）和资源编排（resource orchestrator，RO）；可由一个通用VNFM管理多个VNF，或者由特定VNFM管理特定VNF；EM可作为VNF或者VNFC或者软件包里单独的一类来部署；NFVO对VNFM生命周期操作进行批量授权等。

此外，对各部分功能的需求、接口以及信息模型都进行了相应细化，包括虚拟化资源管理和变更通知、虚拟化资源的故障和性能管理、VNF封装和软件图像化管理、VNF生命周期管理和变更通知、网络业务生命周期、VNF描述信息模型等。

第三阶段工作的成果将于2017年年中发布，其中将包括相关用例的指定以及整体需求、架构和接口的进一步完善。目前，第三版工作成果已确定包括18项关键特征，其中15项为新设特征点，3项为在第二版工作基础上的补充和扩展，总体内容进一步展开，涵盖了计费标准、会计细则、许可证管理、安全感知组件、政策分配框架等新的领域以及加速、信息模型等已有领域的功能整合。

1.2 3GPP SA5

3GPP（3rd Generation Partnership Project）是移动通信标准领域的权威组织，定义了 GSM、WCDMA、LTE/EPC及5G等多代移动通信系统的标准规范。

3GPP SA5（Service and System Aspects Working Group 5：Telecom Management）于2014年中在R13首次针对如何在3GPP网络背景下进行网络虚拟化进行具体调查研究，启动关于虚拟网元相关接口的研究工作，并于2015年底完成。目前即将完成的R14标准包括对原有北向接口的增强和与MANO新接口的定义，包括虚拟化移动网络管理相关的概念、用例、需求，性能管理，故障管理，配置管理和生命周期管理等内容。

1.3 ITU-T

国际电信联盟电信标准分局（ITU-T for ITU Telecommunication Standardization Sector）是国际电信联盟管理下的专门制定电信标准的分支机构。其中第 13研究组（SG13）主要进行关于云计算、下一代网络（next-generaty network，NGN）、IMT-2020网络（ITU定义的5G网络）等未来网络架构相关技术标准的研究和制定工作，第11研究组（SG11）主要进行相应的协议和信令相关技术标准的研究和制定工作。

目前ITU-T已在其定义的NGN和IMT-2020架构中引入了对 NFV技术的支持。2016年底，ITU-T SG13已完成了 NGN控制网元虚拟化（virtualization of control network entity，VCN）的功能架构标准。在2017—2020年研究期，正在开展 NGN 的 VCNMO（virtualized control network-entity management and orchestrator）的功能细分定义、NGN全局编排需求和能力框架以及IMT-2020网络切片编排和管理相关的网络架构和协议标准制定工作。

1.4 OpenMANO

OpenMANO是西班牙电信 Telefonica在2015年公开的开源MANO项目，并于2016 年纳入ETSI的开源工作组。它基于ETSI第一阶段的MANO架构，提供了ETSI标准的NFV参考架构的接口，包括3部分基本组件。

其中，OpenVIM参考NFV-VIM模块，连接了基础资源中的计算节点与OpenFlow控制器，以提供计算和网络功能并部署虚拟机。它提供了类似 OpenStack的面向高级云服务的北向接口，这些服务包括创建、删除和管理镜像、计算节点和网络，接口参照NFV-PER001标准。

OpenMANO作为核心组件参考了NFV-O模块，实现了NFVO的基本功能，通过API与NFV VIM交互，并提供基于REST（OpenMANO API）的北向操作接口，北向提供包括创建和删除VNF模板与实例、网络服务模板与实例等NFV服务，可以创建删除虚拟网络场景或虚拟网元。

OpenMANO-GUI组件提供了实现与OpenMANO服务器的北向API友好交互的Web界面。

1.5 OSM

2016年4月ETSI成立了开源工作组（Open Source Group，OSG），OSM（Open Source MANO）是其首个开源项目，OSM由运营商主导，专注于以 ETSI的 NFV信息模型为标准，提供开源MANO以满足NFV网络的生产需求。

OSM 第一版本已完成设计、测试和文档编写，作为一套可扩展、可互操作的开源MANO环境，在全球范围内的运营商实验室里，OSM可实现快速安装，大大提高了与其他组件（VNF、VIM、SDN控制器等）的互操作性，且提供了一个插件框架，使平台更加易于扩展和维护。此外，第一版本在可用性和安装程序上提升了管理员与开发者体验，并改进了VNF和NS模型。作为此开源项目的目的之一，这些模型也将对ETSI的NFV进行完善和补充。第一版本还提供了极其灵活的虚拟化网络功能配置以及先进的网管系统，同时提升了故障排除能力。

OSM提供了NFVO和通用VNFM的集成模块，支持外部的专用 VNFM，同时还支持与OpenStack VIM的集成。支持对NS和VNF的各种生命周期管理操作。OSM整合了之前已有的一些开源组件，使用OpenMANO作为RO模块，使用juju作为VNF配置和管理模块，使用Riftware作为NSO模块。

1.6 OpenStack Tacker项目

OpenStack是开源的云计算管理平台，提供部署云的操作平台和工具集。OpenStack的 Tacker项目提供了一个集成在一起的NFVO和VNFM模块，未暴露二者之间的Or-Vnfm接口，但可以支持连接外部VNFM。目前支持的能力包括VNF模板管理、VNF实例化和终止、VNF配置管理、VNF监控和自愈等。

Tacker由四大组件组成：VNFD目录、VNF设置、VNF配置管理以及VNF监控与自动修复。

TOSCA（Topology and Orchestration Specification for Cloud Applications，针对云应用的拓扑与编排规范）作为OASIS协会下的一个技术委员会，主要致力于为全球信息社会推动开放标准的开发、整合与应用，其中也包括如何呈现VNF的标准化。目前，TOSCA的NFV概要文件草案已经完成。该规范描述了VNF的属性以及Tacker对VNFD目录的维护。一旦VNF被规定使用TOSCA NFV模板，那么它们就能够进入Tacker VNF目录中。之后，Tacker就可以通过编译TOSCA模板和翻译器翻译部分OpenStack Heat，实现VNF的实例化。Tacker还侧重于VNF的配置和持续性监控，如果需要，自动修复可贯穿ETSI MANO所描述的整个生命周期。

通过上述的 Heat模板，Tacker可以使用OpenStack Nova设置计算基础设施。OpenStack Nova的许多功能可以在计算设置程序过程中被使用。通过利用 SR-IOV透传、NUMA、CPU pinning和大页面分配等特定属性创建的一些功能，计算资源可以针对VNF进行优化。

Tacker将通过配置驱动推动VNF所需的特殊配置。配置管理被设计为可插入式框架，不同的VNF厂商可以为他们的VNF编写自己的配置驱动。另一个方法是使用SDN控制器。目前已经就如何将SDN和NFV整合在一起展开了许多讨论，例如对于使用SDN控制器插件的Tacker，如何推动配置使用SDN控制器南向接口的特殊VNF。

Tacker的一个关键职责是监视VNF的正常运转。通过出台一系列旨在指导 OpenStack其他项目设计的规范，Tacker可以随时使用如ICMP-ping和HTTP-ping等可加载的监控驱动。它们还被规划与Ceilometer进行整合，如今VNF厂商已经能够编写自身带有特殊监控属性的监控驱动。

1.7 ONAP（Open-O + 开源ECOMP)

Open-O是由中国移动、中国电信、华为、中兴通讯等中国公司推动的业界首个 NFV/SDN融合协同器开源项目，于2016年6月成立，由Linux基金会管理。ECOMP是AT&T下一代运营平台，2016年与Linux基金会合作准备推动开源。2017年2月23日，Open-O和开源ECOMP宣布合并为ONAP。

Open-O基础架构参照了ETSI的NFV框架以及 MANO模块，并在此基础上引入了更多的模块。Open-O的架构主要由 3个编排模块组成：GS-O（global service-orchestrator）、NFV-O 和SDN-O。其中，GS-O为服务层面功能模块，实现端到端的服务组合和交付；NFV-O负责通过VNFM和 VIM实现各项虚拟网络功能的编排；SDN-O在SDN或传统基础设施的基础上确保网络连通性和网络虚拟化实现。通过对 GS-O、NFV-O和SDN-O的协同使用，Open-O可提供一系列通用服务，包括政策管理、安全性管理、系统分析、日志记录以及其他管理功能。

ECOMP主要包括8个软件子系统，涵盖两个主要框架结构。其中 MSO（master service orchestrator）和控制器组件大致分别对应ETSI定义的NFVO和VNFM。此外，ECOMP拓展了ETSI的MANO的范围，增加了控制器和政策组件，而政策在控制和管理不同VNF运作以及框架管理中影响重大。ECOMP显著扩展了ETSI MANO的资源描述部分，提供了虚拟环境的生命周期管理的完整元数据。ECOMP的设计框架也用于定义资源、服务、产品以及各种规则。由元数据驱动的通用VNF管理器使用户能够快速部署新的VNF类型，避免了漫长的开发过程和集成周期，实现对不同VNF的高效管理。

1.8 CCSA

中国通信标准化协会（China Communications Standards Association，CCSA）于2013年开始启动关于 NFV 网络的研究，目前分布于TC1/TC3/TC5/TC6/TC7/TC8等技术工作委员会，范围包括城域网虚拟化、核心网虚拟化、移动网络虚拟化、接入和传输网虚拟化、网管、安全等。

2017年初，为尽快启动国内NFVO标准化工作、确定国内NFVO领域的标准体系、更好地支持NFV国际标准化进程，协会技术管理委员会下设“NFV特设标准项目组”对该领域项目进行研究。目前，正在围绕NFVO的架构、业务流程、接口、模板等方面开展行业标准工作。

2 中国电信NFVO研发和部署实践

中国电信基于ETSI一阶段定义的NFV框架，在 vBRAS、vIMS等网络场景下，开展了分层解耦的NFV网络部署实践活动，从运维管理编排层、虚拟化网络功能层、网络云基础设施层3个层面，对ETSI参考体系架构中的NFVO、VNFM和VNF以及VIM和NFVI的功能进行了实验室测试和现网试验。

其中，中国电信股份有限公司北京研究院（以下简称中国电信北京研究院）与中国电信股份有限公司江苏分公司（以下简称江苏电信）联合研发的NFVO系统，支持对全局网络云资源池的可视化监控和管理，VNFM的注册和管理，网络和网元模板的编排和管理，网络服务和虚拟网元的实例化、终止、查看等生命周期操作以及虚拟网络运行监控等基本功能，并且实现了与基于OpenStack的VIM互通、与异厂商VNFM的互通。该系统的架构如图1所示。

图1 NFVO系统架构

本系统包括如下几个主要的组成部分。

（1）业务编排和执行模块

一个NS由一个或多个VNF、VL以及VNFFG（VNF forwarding graph，VNF转发图）组成，业务编排主要通过编排 NS的模板结构，定义提供特定服务的虚拟网络拓扑，包括组成NS的VNF、VNF与VNF之间的VL、VNF之间的VNFFG以及 NS所需的客户化参数等元素；业务编排和执行模块还提供针对 NS的生命周期管理功能，同时包括完成相关的策略定义。使用者通过图形化界面进行网络服务的可视化操作，如网络服务的定义、编辑和保存等，最后生成网络服务的TOSCA/YAML文件。业务执行包括解析NS模板文件，并且调用VNFM和云资源池的能力执行模板所描述的功能，实现虚拟网络/网元实例的创建和管理。定义和存储全局NFV实例数据，且可存储 NS模板目录数据、业务策略等资源数据，策略管理支持NS实例和VNF实例相关的策略管理（如NS/VNF的扩缩容操作策略、存取控制策略、资源管理策略、告警关联策略等）。

（2）资源编排和管理模块

资源编排模块主要负责网络云资源池里资源管理以及相关的策略管理，资源管理支持跨VIM的资源编排，为业务编排提供资源管理接口，实现NFVO对于VNF资源的预留和分配机制，并且提供统一的配置管理数据库。

（3）运行监控和保障模块

为了保障VNF实例的运行，系统要支持全网集中运行监控，包括告警、性能、状态和系统监控，支持NS业务层面监控、VNF运行实例监控以及底层资源层的监控保障等。实现分层关联的NS监控和NFVI性能监控，在将来可集成第三方监控或者中国电信的BSS/OSS。负责运行日志的维护，支持主动告警功能。负责对关键虚拟网元在应用层面的配置。

另外，NFVO还包括如下对外的接口模块。

· 与VNFM的接口：提供与VNFM的通信接口。

· 与VIM的接口：提供与VIM的通信接口。

· UI界面：提供NFVO系统的人机交互界面。

· OSS/BSS的通信接口模块：提供与OSS/BSS的通信接口。

上述系统已于2016年10月在江苏无锡电信正式上线，实现了vBRAS等虚拟化网元的自动编排和快速部署，提供网络资源的灵活调度、业务按需开通以及维护保障等能力，是国内第一个由运营商研发并在现网部署应用的NFVO系统。实际运行情况表明，使用NFVO创建虚拟网元，可以使相关业务部署从月级缩短至分钟级，实现了对市场需求的快速响应。

3 面临的挑战

在以NFVO为中心的虚拟网络编排部署和管理实践活动中，也遇到了一些问题，需要在NFV网络大范围商用部署前解决。

分层解耦的虚拟网络相比传统网络引入了更多的网络功能模块和参与方，网络运行监控和故障定位复杂。传统网络的运行信息采集渠道集中，一般通过设备网管EMS，并且故障直接定位到物理设备，责任清晰；而虚拟网络面临着物理资源层面、虚拟资源层面、虚拟网络功能层面等不同层次的故障定位问题，相应地，运行信息采集渠道除传统网管EMS之外，增加了VIM、VNFM、NFVO的渠道，需要选择一个信息汇聚的节点对多个渠道的信息做关联分析，确定出现问题的具体层次和原因，责任可能涉及多厂商，因此故障定位比传统网络更复杂、周期更长。

对虚拟资源的分配和调度，存在直接模式和间接模式两种方式，直接模式是由VNFM直接对VIM提出资源操作请求，间接模式由VNFM通过NFVO向VIM提出资源操作请求。目前无论在国际标准方面还是虚拟化产品方面，直接模式的支持力度都相对较好，可以实现快速部署和运维，但是很难实现三层解耦。从运营商角度考虑，在统一的网络云资源池上构建多种业务场景的虚拟网络是NFV的典型场景之一，需要统一管理资源池，为不同的虚拟网络分配资源，间接模式能够更好地保证资源的统一分配。

接口和模板标准化程度不足，目前国际标准对于相关接口和信息模型的定义尚未完成，各NS和VNF模板厂商也存在差异，导致NFVO每对接一个厂商的VNFM或者VNF，都需要进行开发适配工作。

4 结束语

本文介绍了ETSI、3GPP、ITU-T、CCSA的国际国内标准组织在NFVO方面的标准工作内容及最新进展以及 OpenMANO、OSM、OpenStack Tacker、ONAP各开源项目提供的网络管理与编排系统的功能及差异。本文还详细阐述了中国电信北京研究院和江苏电信联合研发的NFVO系统的功能、架构、关键组件、主要接口以及该系统部署上线运行的实践活动。最后，基于中国电信在NFVO研发和试点部署的实践经验，指出在NFV网络大范围商用部署前需要解决分层解耦网络的运行监控与故障定位、虚拟资源的统一分配和调度、接口和模板标准化的问题。

[1] ETSI. SDN & OpenFlow world congress[EB/OL]. (2015−10−12) [2017−02−01]. https://www.opendaylight.org/events/2015−10−12−000000−2015−10−16−000000/sdn-openflow-world-congress.

[2] 3GPP. Overview of 3GPP release 14 v0.0.1[EB/OL]. (2014−09−02) [2017−02−01]. http://max.book118.com/html/2015/0619/19393239. shtm.

[3] NFV Labs. OpenMANO[EB/OL]. [2017−02−01]. https://github. com/nfvlabs/openmano/wiki.

[4] ETSI. OSM community white paper: OSM release one, a technical overview[R]. 2016.

[5] 赵慧玲, 史凡. SDN/NFV的发展与挑战[J]. 电信科学, 2014, 30(8): 13-18. ZHAO H L, SHI F. Development and challenge of SDN/NFV[J]. Telecommunications Science, 2014, 30(8): 13-18.

[6] 李晨, 段晓东, 陈炜, 等. SDN和NFV的思考与实践[J]. 电信科学, 2014, 30(8): 23-27. LI C, DUAN X D, CHEN W, et al. Thoughts and practices about SDN and NFV[J]. Telecommunications Science, 2014, 30(8): 23-27.

[7] 马书惠, 毋涛. NFV标准与开源技术现状[J]. 电信科学, 2016, 32(3): 43-47. MA S H, WU T. Standards and open source technology of NFV[J]. Telecommunications Science, 2016, 32(3): 43-47.

王海宁（1982−），女，中国电信股份有限公司北京研究院高级工程师，ITU-T、ETSI、3GPP、CCSA、ONAP等标准和开源组织参会代表，ITU-T SG11 Q6报告人，主要研究方向为 5G网络架构和关键技术、SDN与NFV架构和接口等。

赵慧玲，女，长期从事电信网络领域技术和标准工作。现任中国通信学会常务理事；中国通信学会信息通信网络技术专业委员会主任委员；中国通信学会北京通信学会副理事长；中国通信标准协会网络与业务能力技术工作委员会主席；工业和信息化部科学技术委员会委员；中国电信科学技术委员会常务委员兼核心网组负责人；国际标准组织MEF顾问董事；SDN、NFV产业联盟技术委员会副主任。发表技术文章百余篇、技术专著12部，曾获得多个国家及省部级科学技术进步奖项。

NFVO standards and practice

WANG Haining, ZHAO Huiling
Beijing Research Institute of China Telecom Co., Ltd., Beijing 102209, China

Network function virtualization (NFV) is an important trend in the development of future network, and is currently the work focus of the world’s major standards organizations and open source communities. Network functions virtualization orchestrator (NFVO) is the core function of arranging and managing the NFV network and is the focus for operators and equipment manufacturers. The latest research progress of NFVO related international and domestic standards organizations and open source projects was expatiated, the NFVO system architecture and key components developed by Beijing Research Institute of China Telecom Co., Ltd. and Jiangsu Branch of China Telecom Co., Ltd. was expounded and NFVO’s challenges in future R&D and deployment was pointed out based on the existing practice of network.

network function virtualization, network functions virtualization orchestrator, orchestration

TN915

A

10.11959/j.issn.1000−0801.2017096

2017−02−01；

2017−03−29