5G 电信云全局流量调度新方法

张学良 王 颖

（1、南京中兴软件有限责任公司，江苏 南京210000 2、南京理工大学紫金学院，江苏 南京210000）

随着NFV 技术不断发展，建网成本快速下降，国内外运营商逐渐使用NFV 架构来替换传统设备部署在电信云数据中心上。国内三大运营商在国家新基建的号召下，加快将5G 和4G相关的核心网部署在电信云上。电信云上承载的是电信基础设施的网元。随着5G、数字化和智能化的深入，工业物联网的蓬勃发展，在电信云中会产生海量数据。不仅对通信基础设施网元的可靠性和稳定性要求更高；同时在网元中会突发产生超大的流量，巨大流量产生具有随机性。为了面对这些挑战，大型电信云数据中心不仅要有稳定的网络结构，还要能基于端到端链路的拥塞情况来调度主机，从而提升电信云中网络设备效率和可靠性。本文提出一种电信云全局流量自动调度新方法，尝试解决电信云数据中心基于传统VLAN 组网下突发的流量拥塞问题。

1 系统架构设计

NFV 虚拟化后，电信云中硬件、云平台和VNF 完全解耦，VNF 充分利用云平台的快速迁移和重生等云化重要功能。在电信云中部署处理媒体流、信令和网管的NFV 网元流量具有随机性。同时数据中心的南北向和东西向流量中，链路上的中间节点多，在链路上的某个节点当吞吐量超过带宽时就会引起报文传输的较大时延，甚至是丢弃。如果能够从全局角度出发感知到端到端链路的流量过大，自动迁移虚机到其它计算节点上，从而解决VNF 网元链路拥塞问题。

参考ETSI 的NFV 架构[1]，云平台和MANO 中增加组件来感知网络链路以及执行VNF 虚机调度组件（图1）。

网络设备：电信云数据中心的交换机与路由器设备，具有典型的三层网络架构，TOR、EOR 和Core 三层架构。TOR 交换机与服务器相连，负责实现将服务器上的流量进行二层交换以及链路绑定功能；EOR 负责汇聚TOR 转发过来的流量，将流量发送到Core 角色上。Core 角色采用路由器，与VNF 网元建立三层连接，还与数据中心外部的CE 建立通信，保证运营商的核心网网元互相连通，为用户提供网络服务。

服务器：高性能的硬件服务器，具有高速和稳定的网卡。作为计算型服务器，具有3 对网卡，分别接入到管理、存储和业务交换机。作为存储型服务器，通常配置2 对网卡，分别接入到管理和存储交换机中。服务器与网络设备之间采用Co-Ne 接口通信。

云平台：在硬件服务器上安装云平台系统，为VNF 网元提供虚拟的计算，存储和网络资源。VNF 网元部署在云平台上。在电信云中，国内常用的有中兴、华为和爱立信云计算平台。这些云平台都采用开源的OpenStack 为架构开发而来，系统稳定和可靠，满足电信级的高可靠性和高稳定性。

网络感知控制器：作为新引入的组件，它与云平台集成在一起，主要作用是构建电信云中端到端全局的网络拓扑以及链路的关系，同时感知每条链路上的拥塞，对超出阀值的链路上报给决策器。

决策器：MANO 中新增一个组件，决策感知器上报的链路拥塞阀值是否执行VNF 虚机调度。决策器根据VNF 续集当前业务状态以及云平台资源以及全局流量状态来作为决策的依据。当决策器决定迁移主机时可以将主机前往链路空闲的计算节点。决策器借用Nf-Vi 接口与云平台进行通信。

VNF：虚拟化网元，在5G 核心网中可以为AMF、SMF、UDM以及PCF 等网元。在4G 网元中，包含PGW 和SGW 等网元。VNF 通过Vn-Fm 接口与MANO 的决策器通信，让决策器能够感知到VNF 当前业务状态。业务运行状态以及指标能够及时传送到MANO 的决策器中。

2 网络感知器设计

网络感知器是整个全局流量调度的核心组件之一，通过采用不同的技术与方法，构建出全局所有网元虚机中每个网卡的端到端链路流量。监测每个网卡的东西向流量或者南北向流量，通过对每条链路的流量进行特征分析，及时发现有较大增加的链路。接下来详细描述感知器的重要业务软件流程。

2.1 构造网络拓扑

自动构造网元虚机到汇聚层交换机EOR 之间端到端全局链路拓扑集，该拓扑接口包含三个层次，如图2 所示。

虚机到计算节点层：每个VNF 网元通过MANO 的编排和部署功能，在计算节点上创建不同类型的虚机，在虚机里面运行不同的软件包，实现VNF 的业务功能。在计算节点上有虚拟的端口与每个VNF 虚机的虚拟网卡相连接。通常在计算节点上有OVS、OVS+DPDK 以及SRIOV 类型的虚拟端口与虚机的网卡互相通信。不管采用哪种方式，计算节点都有对应的方法来查看每个虚机的网卡与计算节点连接关系。通过Openstack 云平台提供的命令以及OVS 组件的CLI 就能确认虚机与OVS 的拓扑信息。感知器及时收集各个计算节点上的虚拟端口状态和流量，清晰构造出VNF 网元所有虚拟网卡流量以及连接信息。

计算节点到接入层：计算节点上安装Linux 操作系统，在Linux 操作系统上安装LLDP 软件包，从而实现通过LLDP 协议构造计算节点与接入层交换机的拓扑，确定计算节点与TOR 端口之间的连接信息。到此能够够构建出VNF 虚机网卡、OVS 以及TOR 的链路结构信息。

接入层到汇聚层：接口层与汇聚层都属于交换机，LLDP 作为交换机的基础功能，默认都是打开的。通过命令确认打开LLDP 功能后，TOR 和EOR 的端口连接关系通过查看LLDP 拓扑信息提取出连接关系。

最后将三个层次的端口拓扑信息连接起来就能构造出整个电信云DC 的全局链路拓扑集合。

2.2 拓扑节点流量测量

虚机网卡测量：VNF 网元虚拟化后，虚机内部采用linux 系统，通过Linux 查看网卡的流量统计，就能收集到网卡的流量数值。网卡的带宽由业务能力的特性来估算一个数值。

计算节点测量：在计算节点上通过OVS 命令可以查询到每个虚机网卡与计算节点上的OVS 的流量。在计算节点上直接采用开源的OVS 组件，性能很差，不能够满足电信级别高可靠和高稳定性要求。业界主流的虚拟化加速技术在OVS 上增加DPDK 组件来加快报文的转发，从而使得虚拟机的流量集合能够达到物理网卡的性能。另外，有的运营商会采用SRIOV 技术来加速报文的转发。这些虚拟化加速技术也都有命令可以采集中流量信息。

TOR 和EOR 测量：TOR 和EOR 属于传统的交换机，有命令可以查询到每个端口的流量。既可以采用SSH 登入、SNMP 协议或者NETCONF 协议来实现端口的流量统计。本文建议采用SNMPv3 和SSH 相结合方式来获取交换机端口流量。两者能够更加安全进行报文交互以及能够获取设备的运行状态以及流量统计。

测量标定：通过设置红色、黄色和绿色阀值与当前节点端口流量比较，标记链路状态为红色，黄色和绿色。超过带宽80%定位红色阀值，超过带宽60%标记为黄色阀值，小于带宽60%的流量标记为绿色阀值。

图2 电信云全局链路拓扑集

2.3 筛选算法

当VNF 虚机流通链路上各个节点绿色时，保持链路拓扑不变。

当某个节点出现黄色或红色，选择上游节点绿色端口以及相关的绿色下联节点链路。

当前某个节点上级节点没有绿色端口，保留与上级节点的链路，再次筛选同节点的是否存在绿色端口。存在的话，选择绿色端口。如果不存在绿色端口，此时整个DC 处于过负荷运转，强行调度为可能引起网络崩溃，不做处理。

最后，如果筛选算法计算出调度目标的计算节点以及当前链路拥塞的VNF 虚机名称，将这些信息上报到MANO 中。MANO 收到这些信息后，及时将信息传递到决策器。决策器通过Vn-Fm 接口向流量拥塞的VNF 虚机发起业务感知，收集VNF虚机当前的业务性能统计。决策器优先将VNF 网元扩容到新的空闲计算节点上，并将流量及时分担到新的计算节点上。如果业务不支持动态扩容业务虚机数量，还能通过业务虚机热迁移将流量主机迁移到新的空闲计算节点上，从而能够充分利用NFV 虚拟化特性来自主调度虚机里面的流量。

3 结论

本文创新提出5G 虚拟核心网电信云中链路拥塞自动快速调度主机的解决方案。在关键技术中能自动构造NFV 电信云中VNF 虚机与EOR 之间的全局拓扑链路，自动测量链路流量，当出现拥塞，MANO 能够快速对VNF 做出调度，有效避免电信云中核心网业务的过载与中断。