SDN规模部署关键问题分析

李晨+程伟强+王金柱

摘要：SDN是中国移动未来网络项目NovoNet的核心技术之一。指出中国移动的SDN实践，重点包括数据中心、软件定义的分组传送网（SPTN）、广域网、集客网、移动核心网五大应用场景。通过对SDN发展的关键技术问题的介绍和分析，认为SDN把软件和网络结合在一起，给网络带来灵活性和开放性，同时也对网络固有的稳定性有所冲击。对于SDN引入来说，应该全局考虑业务系统对稳定性和灵活性的需求和平衡。

关键词： SDN；NovoNet；数据中心；SPTN

1 未来网络发展目标

通信网络经历了1.0模拟通信、2.0数字通信、3.0 IP化通信，正式进入通信4.0 时代。通信4.0 需要信息技术（IT）和计算机技术（CT）融合。其核心特征包括敏捷化、开放化、软件化、虚拟化。为实现快速响应市场发展，满足客户对通信网络深层次需求的目标，亟须开展网络转型工作。中国移动于2015年初提出了发展下一代创新网络NovoNet的理念，深度融合IT新技术，构建“资源可全局调度，能力可全面开放，容量可弹性伸缩，架构可灵活调整”的新一代运营商网络。

1.1 新型数据中心和新型网络

通信4.0时代的网络在物理设计上应具备两大基础特征：

（1）网络功能软件化形成电信云，构成新型数据中心。

（2）软件定义网络（SDN），实现灵活调度，构成新型网络。

传统电信网络采用专用设备，这些设备的电源、功耗、尺寸要求各不相同，导致大量专用电信机房出现。未来的新型数据中心目标是统一规划，采用通用服务器，形成统一的资源池，电信设备将采用网络功能虚拟化（NFV）技术实现软硬件分离，电信网元功能以软件形式承载在统一资源池上形成电信云，实现网络快速部署，网元快速升级以及容量的弹性调度。新型数据中心的核心技术是NFV和SDN。

传统IP网络自组织转发方式无法准确调度路由和开放路由；轻载建设的传统模式在大带宽时代无法长久持续。新型网络采用SDN技术，通过将路由设备控制和转发功能分离，实现网络路由的集中计算，向转发设备下达路由，从而实现网络的灵活、智能调度，以及网络能力的开放和可编程[1]。

1.2 中国移动NovoNet计划

中国移动推出NovoNet新一代网络计划，旨在融合IT、CT技术，构建一张“资源可全局调度，能力可全面开放，容量可弹性伸缩，架构可灵活调整”的新一代网络。NovoNet中Novo是拉丁语创新的词根，Net包括了移动和固定网络、IP网络、传输网络以及数据中心网络。NovoNet的核心技术是SDN和NFV，核心思想是“新架构、新运营、新服务”。NovoNet将以新型数据中心为单元形成电信云，通过新型网络实现高效承载，最终实现网络功能软件化、资源共享化、网络可编程。

2 中国移动SDN部署实践

2.1 SDN部署应用场景

中国移动SDN网络主要包括5个应用场景：

（1）NovoDC，是NovoNet在数据中心的实现方案，旨在为公有云、私有云提供多租户/多业务的虚拟网络，满足用户自助开通虚拟私有云网络的需求。

（2）软件定义的分组传送网（SPTN），是NovoNet在传送网的主要场景之一，旨在为集团客户、长期演进（LTE）回传网络提供快速开通和质量保证。

（3）NovoWAN，是NovoNet在广域网的实现方案，通过实时感知网络流量，全局集中调度流量，提升IP网络带宽利用率，并且能够保证关键业务质量。

（4）NovoVPN，是NovoNet在集客多协议标签交换（MPLS）虚拟专用网络（VPN）的实现方案，该方案基于Overlay VPN技术，实现集客VPN用户的快速接入，自动上线。

（5）移动核心网、固网应用SDN，实现灵活业务链的编排。

2.2 数据中心SDN商用部署

2015年中国移动公众服务云商用部署SDN网络，主要提供私有网络（VPC）、虚拟防火墙、虚拟负载均衡、VPN等网络服务。该方案基于中国移动自研的OpenStack大云平台，采用Plug-in方式和SDN对接。

该方案中SDN转发节点数百个，控制器采用集群方式实现可靠保护和负载分担，如图1所示。

2.3 SPTN部署

2.3.1 SPTN架构、北向接口和南向接口

SPTN是业界率先提出面向超大规模网络的层次化控制架构，并付诸实现。SPTN作为下一代城域传送网解决方案，要能够覆盖全国所有县市，实现多厂家，百万节点组网。为了在大规模网络上，同时实现区域内灵活管控和跨区域端到端调度，SPTN引入了分层分域管理的层次化控制器模型，如图2所示[2]。

直接管理转发设备的控制器成为域控制器，一个管理域对应一个域控制器来管控；在域控制器之上，可以继续构建超级控制器，用于管理下层的多个域控制器；若需要跨域管理多个超级控制器的域，还可以继续在此基础上构建更高层次的超级控制器。通过构建金字塔式的层次化控制器架构，顶层控制器能对全网的集中控制中心，实现大规模、多域、多厂家组网。同时，各层控制器独立管控自己域内的资源，能够实现本地运维和管理。

各层控制器采用统一的拓扑、资源、业务抽象模型，上层控制器可通过下层控制器的北向接口的调用来完成自底向顶的集成。如果提升控制器的管理能力，控制器支持管理更多的转发设备的情况下，可以避免控制器的层次过多，这样更加有助于网络的集成和管理。

中国移动率先制订了SPTN标准信息模型及接口协议，实现现网多厂家互联及智能化升级。北向接口指控制器之间以及控制器与应用程序（APP）之间的接口，主要接口功能需包括拓扑管理、业务控制、告警、性能监测控制以及安全管理等功能。APP与控制器之间的接口以及控制器之间接口的大部分功能相同，为了减少接口标准的复杂度，两个接口采用相同的标准协议。在SPTN系统中，采用了业界主流的RESTCONF接口，针对SPTN功能设计了统一的YANG数据模型，描述接口的交互信息，主要的模型如表1所示。

制订SPTN 南向接口（OpenFlow 表转发模型（TTP））， 通过标准转发设备和南向接口实现跨厂家设备的直接管控。原生的OpenFlow无法满足SPTN电信级网络的要求。SPTN针对OpenFlow做了如下方面的扩展：

（1）转发pipeline扩展。该扩展支持网络侧接口（NNI）到用户网络接口（UNI）侧的处理，以及UNI 到NNI 的处理。这个处理过程能够使得SPTN 系统能够插入或者提取合适的操作管理维护（OAM）报文或者保护报文。

（2）对OAM 的扩展。该扩展需满足层次化的OAM 要求，支持段层、伪线（PW）层、分层服务提供商（LSP）层以及业务层的各种OAM 处理，以及不同厂家设备之间的互联互通。对OAM 的扩展模块应置于传送设备，以硬件实现，以保证实时性。

（3）对线性保护倒换的扩展 。线性保护需要运行较复杂的状态机，如果都运行在控制平面，50 ms以内的快速保护倒换很难实现。在SPTN中建议将倒换状态机的运行作为黑盒放置于传送设备，该处理模块与OAM模块及OpenFlow pipeline对接，同时，控制器运行协同机制，保证保护倒换状态的一致性。

2.3.2 SPTN测试和试点

SPTN构建了包括软件系统（APP、超级控制器、域控制器）、硬件设备（SPTN设备及芯片），测试仪表等的端到端生态系统，如图3所示。

目前，中国移动已经完成现网7厂家的实验室互通测试，在广东、浙江、福建、北京等省份或地区进行了在现网商用试点。试点结果表明，SPTN网络让PTN专线开通时间从“周”级别缩短到“分钟”级，实现了跨厂家端到端业务开通。

2.4 自研SDN控制器

自2014年起，中国移动基于开源OpenDaylight平台，自主研发了面向数据中心的SDN控制器，为公有云、私有云提供虚拟网络解决方案。自研SDN控制器一方面借助OpenDaylight平台实现多种南向协议（包括OpenFlow、NETCONF等）以及网络基本功能（拓扑、状态管理，主机追踪等）；另一方面自主研发新功能，满足中国移动数据中心的定制需求。自研新功能主要包括以下几部分，如图4所示。

（1）虚拟网络转发、策略控制。基于开放虚拟交换机（OVS），通过OpenFlow流表的方式实现功能包括L2转发、L3分布式路由、安全组、虚拟端口限速、动态主机配置协议（DHCP） 服务、元数据服务。

（2）与第三方网元开放接口互通。利用多厂家商业VXLAN网关、防火墙、负载均衡器为虚拟网络提供服务。自研SDN控制器按照《中国移动SDN控制器接口规范》进行开发，控制商用设备。

（3）多层、可视化运维。提供Underlay物理层、Overlay虚拟网络层以及用户视图层3个层面的可视化运维功能。

（4）OpenStack集成。能够与主流OpenStac发布版I、K等集成。

中国移动自研SDN控制器不仅能够满足数据中心的定制化功能需求，在性能方面也可以满足中型数据中心上千台虚拟机（VM）并发上线的能力。

3 SDN规模部署关键问题

通过以上一定规模的商用部署和运营，以及真实环境下的压力测试，我们发现SDN网络在实际使用中还存在着一些问题亟待解决：

（1）软件定义网络，除了把软件的优势带给了网络，也把软件的问题扩展到网络，影响到了网络的稳定性。数据库、消息队列以及异常处理是大型软件运行中影响稳定性的主要因素。传统网络设备采用专用转发芯片实现，操作系统运行的软件以及协议相对简单，稳定性较高。SDN网络中通过控制器集中处理消息，引入了消息队列、数据库等软件组件，在大压力下这些软件组件本身的问题将直接影响网络系统的稳定性。在使用中，我们发现了几个实际应用中的案例：

·数据库不同步。OpenStack Neutron和控制器都维护各自数据库。当一个虚拟交换机（VSM）故障，马上新建VM时，Neutron数据库来不及更新而控制器已经感知，后续对这个VM的处理将出现异常。

·消息队列满。控制器消息队列满了，将造成后续VM端口启动消息丢失，进而导致后续VM无法执行DHCP流程并获取IP地址。

·异常处理不完善。为了避免并发写数据时候的冲突问题，软件系统的操作方式有两种，一种是单数据库操作且写数据加锁，但这种方式效率有限；另一种方式是采用分布式数据库采用负载分担方式，不过容易出现并发写的时候锁不住，造成两边数据冲突，所以在锁不住的情况下往往采用回滚方式处理。由于控制器异常情况下回滚处理不完善，回滚失败，导致重新申请失败。

在大数据量并发配置的情况下，上述问题很容易发生，且直接影响网络的稳定性。关于软件给网络稳定性带来风险的问题，需要重点研究和优化。

（2）目前的SDN产品不是开放，而是更封闭。传统网络中，基础网络基于以太网、IP路由协议搭建，主要采用多厂家数据中心交换机产品混合组网。对于安全、负载均衡等增值网络服务方面，可以通过IP技术兼容第三方厂家产品实现。从目前SDN产品看，包括控制器、虚拟交换机、SDN TOR交换机、SDN网关、防火墙、负载均衡、VPN设备等，都必须采用单厂家一揽子方案，最多强绑定指定第三方产品。这种格局并不利于SDN的长远发展。

该问题表现为2个层面的绑定：第1个层面是SDN和功能网元的绑定；第2个层面是SDN控制面和转发面的绑定。对于第1个层面，其本质在于目前缺少标准的业务链实现机制，所以厂家在SDN转发设备和防火墙、负载均衡等网络功能设备之间导流时，采用了SDN厂家私有技术和接口。另外，功能网元的配置定义不完善（如单臂双臂、子接口虚拟局域网配置等），需要相应的扩展。对于第2个层面，一方面从商业上讲，控制器和转发设备之间想打开是一种新的商业模式，还需要产业链自己去演进，也许未来会形成控制器厂家和转发设备厂家，而现阶段，每个厂家都同时有控制器和转发设备，想互相管理对方的设备难度很大；另一方面，单从技术上讲，即使不同SDN方案提供商宣称控制器和转发设备之间都支持OpenFlow1.3，但是在这些flow mod消息中到底相同功能的一条流表映射成为几级设备上的转发表，每级转发表匹配的内容和动作是什么，都是千差万别的，特别是控制器去配置硬件交换机时，还和芯片有关，难度更大。

中国移动自主开发SDN控制器的最主要需求就是为了解决上述两个问题。一方面通过定义标准的控制器与多厂家转发设备之间的接口和模型，实现SDN和NFV的解耦；另一方面通过制订标准的OpenFlow流TTP，实现控制器与转发设备之间标准的南向接口，解耦SDN控制面和转发面。

（3）多域协同的架构选择问题。广域网部署SDN面临很多实际的挑战。电信级的网络中，网元数量众多，以PTN设备为例，每个省有几万端设备，全国近100万端设备，单一甚至集群控制器无法管理这么大规模的网络。另外，广域网的转发设备分布很广，覆盖全国31个省份，且网络拓扑复杂，省内分为接入、汇聚、核心3层，跨省还有单独的承载平面，如果控制器全国集中部署，光控制器和转发设备之间的传输时延就有几十毫秒，对控制面的可靠性和稳定性影响大。最后，由于长期网络的运维分工，广域网的运维、管控团队部门很多，较难实现理想的SDN集中控制和管理。

分域控制器是广域网引入SDN新技术，解决上述运营和维护问题的有效手段。分域控制器本身的方案选择也分为单层控制器+东西向接口、多层控制器+南北向接口两种方式。如图5所示，通过优劣势对比，多层控制器平衡了复杂性，是有效的多域协同网络架构。

（4）缺少大规模复杂网络中控制器功能及性能测试方案。控制器的功能和性能测试是SDN方案的重中之重。在SDN产品快速发展的过程中，测试仪表和方案一直相对落后，没有专门的、通用的测试产品。为此，中国移动牵头梳理了SPTN场景下的测试需求，并联合仪表厂家、分组传送网（PTN）厂家联合开发SPTN测试仪表，填补了产业链在SPTN测试领域的空白。当前控制器测试的主要问题包括3点：

·控制器是面向十万节点量级网络设计的，如何衡量控制器的性能指标并进行定量测试。

·测试环境包括多层次化控制器及转发设备，如何进行全系统端到端精细测试。

·各种接口是适配实际网络设计的，如何采用通用测试仪表进行相关测试。

测试仪表主要实现以下套件，完成接口、功能和性能测试。

·接口一致性测试套件。分别模拟APP、各层控制器、转发设备，验证被测设备接口对象树构型、属性间关系和取值正确性。

·控制器功能和性能测试套件。模拟控制器或大量网元，对业务功能管理、拓扑管理、通知告警和性能管理等功能性能进行测试，并给出问题原因。

4 展望

SDN被视为下一代网络的核心技术已经广泛达成共识，不管是AT&T的Domain2.0，中国移动的NovoNet，还是中国联通的CUBE-NET2.0和中国电信的CTNet2025，不同运营商应用SDN主要的场景也基本一致。

中国移动一直以来作为新技术的引领者，积极探索和实践SDN架构和技术给网络带来的价值，同时也在实际应用中发现了一些问题，归结为一个词就是“跨界”。SDN把软件和网络结合在一起，给网络带来灵活性和开放性的同时，也对网络固有的稳定性有所冲击，需要持续完善和优化。对于SDN引入来说，应该全局考虑业务系统对稳定性和灵活性的需求和平衡，具体问题具体分析。

跨界的SDN对网络行业的影响是深远的，从厂家、设备、产品，到网络设计人员、维护人员，再到公司的体制都面临着挑战。随着更多的SDN商用案例推出，这些挑战将更加显现，从业人员和公司除SDN技术本身之外，还应更多地考虑知识跨界和转型。

参考文献

[1] 李正茂. 通信4.0：重新发明通信网[M]. 北京： 中信出版集团， 2016

[2] 李晨，段晓东，陈炜，等. SDN和NFV的思考与实践[J]. 电信科学， 2014， （8）： 23-27. DOI： 10.3969/j.issn.1000-0801.2014.08.004