中国联通网络重构与新技术应用实践

唐雄燕+曹畅

摘要：提出了中国联通面向云端双中心的解耦与集约型网络架构——CUBE-Net 2.0。CUBE-Net 2.0实现了在总体建设与运营成本最低的优化目标下，用户与数据双中心的网络格局。针对CUBE-Net 2.0和企业云服务的具体要求，介绍了E-CUBE网络发展概况和主要应用场景，以及通过E-CUBE实现网络跨层跨域协同的关键技术。认为结合E-CUBE网络演进与发展方向，电信运营商需要构建新的运营生态来适应网络的变革。

关键词：网络架构；产业互联网；软件定义网络（SDN）；网络功能虚拟化（NFV）；云计算

1 运营商面临的挑战

近些年，随着网络承载业务的丰富，通信技术（CT）与信息技术（IT）的深度融合，运营商在当前网络运营中面临网络连接数和流量增长推动网络规模快速膨胀，业务云化和终端虚拟化颠覆网络全局流量模型，专有网络和专有设备极大增加网络经营压力，互联网业务创新加快驱动网络智能化转型等一系列挑战。

（1）网络连接数和流量增长推动网络规模快速膨胀。

未来10年，将有海量的设备连入网络，连接将变得无处不在。宽带从连接50亿人增加到连接500亿物，同时宽带流量将有10倍的增长。家庭千兆以及个人百兆接入成为普遍服务，而一些新业务（如4 K/8 K视频、虚拟现实游戏、汽车无人驾驶等）对网络丢包率、时延等的服务质量（QoS）要求更苛刻。

（2）业务云化和终端虚拟化颠覆网络全局流量模型。

随着云计算的发展和大规模移动网络的建设，用户对宽带的需求已从基于覆盖的连接，转向基于内容和社交体验的连接。传统电信业务流量主要服务于网络终端节点之间的通信，符合泊松分布模型；而互联网流量和流向则由热点内容牵引，难于准确预测。数据中心成为主要流量生产和分发中心，呈现无尺度分布的特征，且与现有电信网络部署架构不匹配。

（3）专有网络和专有设备极大增加网络经营压力。

随着固定和移动网络覆盖范围的扩大，网络规模日趋庞大。网络服务需要由具有不同功能属性的多个专业网络组合提供，各专业网络彼此之间条块化分割，能力层次不齐，业务的端到端部署和优化困难。同时，传统设备研发和部署体系封闭，网元功能单一和受限，功能扩展和性能提升困难，导致新业务的创新乏力以及响应滞后，无法满足互联网应用对服务的动态请求。

（4）互联网业务创新加快驱动网络智能化转型。

互联网业务创新需要更加智能弹性的网络服务，网络需要及时洞察用户需求，实时响应用户需求。今天运营商的网络难以满足互联网业务创新对网络的灵活性、扩展性、智能化、低成本等要求。

面对这些挑战，中国联通对于网络服务的定义也从狭义的连接和转发服务向广义的信息转发、存储和计算一体化服务，并在2015年对外正式发布了新一代的网络架构CUBE-Net 2.0[1]，作为中国联通面向未来网络转型和技术演进的总体指导框架。

2 中国联通CUBE-Net 2.0网络架构

2.1 架构理念

CUBE-Net 2.0以泛在超宽带网络为基础，并引入云计算、软件定义网络（SDN）和网络功能虚拟化（NFV）技术进行网络的重构和改造，使得基础网络具备开放、弹性、敏捷等新的技术特征，形成网络即服务（NaaS）的架构理念（顶层架构如图1所示）。其主要的技术理念体现为3个方面：以泛在的宽带为基础，通过云网协同的手段实现弹性的网络。

2.2 关键特征

为实现上述技术理念，CUBE-Net 2.0的顶层架构特征可概括为：面向云端双中心的解耦与集约型网络架构。

在秉持总体建设与运营成本最低的一个原则下，CUBE-Net 2.0将逐步形成“用户”与“数据”双中心格局，网络将更多服务于用户与数据间的沟通以及数据本身的分发处理。对于云服务，网络的灵活性、动态性、开放性和资源的快速提供尤为重要，网络建设理念也需要实现由“云随网动”到“网随云动”的转型。随着移动宽带的发展和智能终端的普及，“用户中心”将更多地体现为移动智能终端和物联网终端；而“数据中心”则成为信息通信服务的基础依托，网络将由纯粹的连接型哑管道转型为具备更强智能和一定计算/存储能力的“云网络”宽带基础设施。

其次，通过服务功能、逻辑功能和部署功能的三维解耦，实现弹性灵活的网络服务。针对传统网络紧耦合不灵活的束缚，功能“解耦”将是实现网络弹性化的基本手段，CUBE-Net 2.0将网络按服务功能的不同划分为用户域、互通域和数据域3个服务功能域。其中，用户域负责实现用户与用户间的通信服务，涉及用户接入网内流量以及用户接入网间的流量；互通域负责用户与云服务之间的通信服务，涉及用户上传到云服务的流量和云服务下发到用户的流量；数据域负责云数据中心间的通信（DCI）以及云数据的分发服务（利用内容分发网络（CDN）将内容数据由基地云分发到边缘云），涉及数据中心间流量以及云数据的分发流量。

除此之外，CUBE-Net 2.0还将打造高效经济的网络基础。通过由厂家提供的设备模型与控制器网络模型的两层建模，實现网络设备控制面与转发面解耦、控制器集中化部署，对全网形成统一的调度策略。同时，在软硬件解耦的基础上，将计算/存储/网络资源池组化，通过引入NFV的管理和编排（MANO）实现对虚拟网络功能、网络服务的生命周期管理，并通过与SDN、服务链的协同交互实现网络远程、自动、智能的快速部署，形成控制平面的集约。通过构建网络大数据平台、挖掘数据价值，实现数据管理的集约。

3 面向产业互联网应用的E-CUBE网络

3.1 服务定位

中国联通在CUBE-Net 2.0整体架构下，针对向企业提供“云专线”的新型服务，提出了涵盖企业-企业，企业-互联网，企业-数据中心（DC），DC-DC之间的专线场景的产业互联网络解决方案[2-4]。产业互联网络解决方案具备了分钟级开通业务的敏捷属性、按需提供差异化的专线服务能力的服务等级协议（SLA）属性、支持资源和网络控制多层次开放的开放属性和诸如虚拟用户终端设备（vCPE）、虚拟防火墙（vFW）等虚拟增值服务的增值属性。

3.2 技术架构

产业互联网络解决方案的核心使能技术是SDN/NFV[5]，为支持企业端到端的“云专线”业务体验，需要包含4个领域：云接入、云互联、云DC网和跨域管理控制协同，具体如图2所示。

云接入用于企业分支接入到DC或Internet场景，根据不同企业的需求提供差异化专线接入方式，根据接入方式不同，可以为企业提供差异化功能和质量要求的用户终端设备（CPE）设备。

在CUBE-Net架构下，用户终端和云数据中心成为网络服务的双中心，这就实现DCI，即从用户中心节点到数据中心节点骨干平面之间的互联。云互联骨干网引入SDN技术，实现专线业务自动发放和动态优化、调整。云互联转发面将采取多协议标签交换（MPLS）L3虚拟专用网络（VPN）over MPLS-TE方式承载企业租户L2/L3互联业务。

云DC网是支撑DC运转的网络设备和组网技术的总称。云DC网将以SDN构建业务感知网络，不仅支撑传统DC的机架资源出租，还可以对企业提供虚拟DC（vDC）服务。云DC网也是支持电信NFV和网络功能云化（NFC）的基础，是构成未来产业互联网基础设施的重要支撑。

跨域管控协同基于CUBE-Net 2.0定义的“云化的网络服务平面”实现，在云化的服务平面内，主要新技术是SDN控制、协同和NFV管理（NFVM）。VNFM负责对云化的虚拟网络功能进行生命周期的管理，SDN控制器负责对物理转发和虚拟转发网络功能进行集中控制和自动化。这包含两个层面的协同：管理和控制。以VPN业务自动发放为例，对象存储（OSS）/网元管理系统（EMS）完成物理设备VPN初始化配置、虚拟设备生命周期管理；控制器完成业务的动态发放和闭环控制。跨域控制协同是指一个端到端的服务提供，需要SDN、NFV构筑一个统一的协同编排层来实现，并通过统一的协同层将服务需求按照业务逻辑分解、分配给SDN、NFV，进而实现业务的敏捷和自动化。

3.3 组网结构

为实现端到端连接，产业互联网络解决方案的基础网络包括DC内网络、DCI、DC接入网络和传送网络，其基础网络架构如图3所示。其中，DC物理网络采用树-脊柱（LEAF-SPINE）二层架构，LEAF用于连接服务器或机架，SPINE用于下行连接LEAF，上行LEAF和SPINE之间通过10 GE/40 GE互联，每个DC都有直连链路连接到城域路由器（CR）、综合承载传送网（UTN）汇聚CR和DCI PE CR。对于DCI，每个DC部署两台路由器（DCI PE），用于实现彼此之间全连接（MESH）的双归属互联。对于DC接入网络，企业CPE通过城域网或UTN接入，采取虚拟可扩展局域网（VxLAN）Overlay专线或者MPLS专线技术。UTN与DC互联网络之间有直连链路。企业集团总部一般光纤直连到DCI骨干平面，企业分支一般通过UTN网络汇聚后接入DCI骨干平面。传送网络是支撑DC接入和DC互联的底层基础网络，采取标准化的GE/STM-1与企业对接，保障跨厂家跨域的端到端质量。

3.4 应用实践

3.4.1 SD-UTN场景

在CUBE-Net 2.0的框架下，中国联通对本地UTN进行了SDN化升级，并结合虚拟化技术以及IP/MPLS转发机制，打造了软件定义（SD）-UTN网络[6]。SD-UTN主要用于承载城和传送包括移动互联网、企业专线在内的各类电信级业务。SD-UTN的引入，可以简化移动回传网的运维，实现集客专线业务的协同。

SD-UTN的网络架构由数据平面、控制平面、管理平面和应用平面4个部分组成（如图4所示[6]）。其中，控制平面功能将不再完全分布于每台设备上，而是集中到SDN 控制器实现。在控制平面（SDN控制器）的上层应增加应用平面。管理平面除对数据平面网元进行管理外，还需管理控制平面，并且与控制平面和应用平面互通，联合提供网络的管控能力。

3.4.2 DCI場景

在产业互联网技术架构下，DCI是支撑企业端到端“云专线”业务所必需的4个领域中的重要一支。由于SDN技术可以分离网络的控制平面与转发平面，对DCI的SDN化升级也是实现云互联的必由之路。

基于SDN的DCI业务可以帮助企业实现云到云、企业到云的连接，进而实现业务的快速灵活提供功能。基于SDN的DCI系统[7]，由应用层、协同层、控制层、转发层构成，整体网络架构如图5所示[7]。

网络转发层主要由路由器设备组成，和控制层通过Netconf/分组集中器（PCE）/边界网关协议-链路状态（BGP-LS）/命令行界面（CLI）等协议或方式交互。转发层利用VxLAN等技术，可以实现不同云之间的连接。控制层主要由控制器构成，控制器向下对转发层的DC对接能力、TE能力等配置进行下发，向上通过Restful等协议和协同层协同器交互。协同层主要由协同器构成，兼具协同和业务编排功能，协同层提供基于Restconf等协议的北向接口给应用层调用。应用层由各种应用软件构成，这些软件由Portal、后台数据库等组成。SDN控制器的北向接口支持第三方APP调用网络资源，云控制平台可以通过插件调用基于SDN的DCI服务，实现连接的快速调整。

4 E-CUBE网络演进与发展

E-CUBE网络的落地也随着概念的提出在积极展开，中国联通产业互联网络解决方案发展规划如图6所示。2016年，已实现基于IP A网完成云互联网的SDN化改造，网络覆盖到省会一级和海外POP点，支持运营商和跨国企业区域总部以及企业DC的敏捷接入需求。未来3年的发展将依托于IP A网和UTN网络逐步落地。2017年，将基于分布全国的UTN网络完成云接入网的SDN化改造，并在转发面和控制面实现与A网的端到端互通。支持企业分支的敏捷专线需求。2018年，在云承载网络（云互联和云接入）敏捷的基础上，进一步通过协同层实现云业务与网络专线的一体化服务能力。

5 与网络重构相适应的新运营生态

基于CUBE-Net 2.0架构的网络重构之后，网络的运营生态将出现一系列新特点。首先，DevOps迭代开发使得新业务开发和运营更加敏捷化。由于SDN和NFV、云技术对硬件差异化的屏蔽[8-9]，使得新业务的开发周期大大缩短，厂家传统“投入大，周期长”的瀑布流开发模式将向敏捷迭代的小版本的开发模式转变。同时，为保持整体架构的可扩展性和弹性，开发和运营的环境越来越融为一体。基于DevOps合作模式，运营商与厂家共同进行快速迭代式技术和业务创新，从而进一步实现新业务开发和运营的敏捷化。在这种模式下，传统标准规范和设备采购流程也都可以得到简化。

其次，为满足服务的规模化普适化和实现服务的创新性开放性，标准和开源将成为商用化的重要途径。随着开源逐渐进入CT领域，并和原来CT标准互相影响，代码事实标准越来越重要。互联网促使开源软件大发展，开发模式社区化，大型应用系统框架均使用开源搭建。在CUBE-Net 2.0中部分领域，基于开源代码进行技术预研，同时与开源组织加强合作，提升自身技术能力及开源掌控力。

此外，软件、硬件采购模式正在以设备为主向以软件为主转移。CUBE-Net 2.0的架构实现资源、控制以及开放体系的解耦，网络硬件资源通用化，软件功能定制化。尤其是软件功能从硬件中剥离以后，采购模式从传统的纵向标准化的网元和软件功能一体化采购转变为横向的通用基础硬件采购、通用基础软件采购、定制化功能软件等独立采购的模式。除了传统设备服务提供商，将涌现一批新兴的关于硬件提供商和软件提供商，产业链条更加丰富。

同时，互联网化集约运营成为运营商转型趋势。围绕资源、控制以及开放三大体系形成独立的运营平面，实现集约化信息通信技术（ICT）资源管理，集中的控制调度以及统一的能力开放，构建立体化服务网络。既有效解决“解耦+集约”之间的平衡问题，又可以实现“用户”和“数据”中心之间的服务联动，实现端、管、云的协同。

6 结束语

中国联通将在CUBE-Net 2.0的网络架构的指导下，通过SDN、NFV以及云的技术手段，提升网络的管控能力以及服务能力，更好满足用户差异化的服务需求，更好地支撑物联网、云计算以及互联网+等信息产业战略落地，支撑中国联通网络运营的成功转型。

参考文献

[1] 中国联通. CUBE-Net2.0白皮书[EB/OL]. （2016-07-13）[2017-01-25]. http：//wenku.baidu.com

[2] 邬贺铨. 迎接产业互联网时代[J]. 中国经济信息， 2014（23）：5-11

[3] 唐雄燕. 新一代网络Cube-Net的技术思路与体系架构[J].中国电信建设， 2016（1）： 25-27

[4] SDN： Transforming Networking to Accelerate Business Agility [EB/OL].（2016-07-13）[2017-01-25]. http：//www.opennetsummit.org/archives/mar14/site/why-sdn.html

[5] ETSI. Network Function Virtualization， NFV White Paper [EB/OL]. （2016-07-13）[2017-01-25]. http：//www.docin.com/p-645006081.html

[6] 曹暢， 胡锦航， 庞冉， 等. 中国联通SD-UTN网络技术与应用研究[J]. 邮电设计技术， 2016（11）：54-60. DOI： 10.12045/j.issn.1007-3043.2016.11.012

[7] 华一强， 路康. 基于SDN的DCI的应用场景和业务流程探讨[J]. 邮电设计技术， 2016（11）：66-71.DOI： 10.12045/j.issn.1007-3043.2016.11.014

[8] 房秉毅， 张云勇， 程莹， 等， 云计算国内外发展现状分析[J].电信科学， 2010（S1）： 1-6

[9] 曹畅， 简伟， 王海军， 等， SDN与光网络控制平面融合技术研究[J]. 邮电设计技术， 2014（3）：11-15