电信运营商网络全面云化策略分析

吕振通，张 奎，康 凯，胡 祎，张世华（.中讯邮电咨询设计院有限公司，北京 00048；.中讯邮电咨询设计院有限公司郑州分公司，河南郑州 450007；.中国联合网络通信集团有限公司，北京 000）

1 技术升级和业务驱动加速运营商网络升级

2012 年10 月，ETSI 在德国SDN 和OpenFlow 世界大会上发布的白皮书中引入NFV。2014 年9 月，由Linux 基金会发起的OPNFV（Open Platform for NFV）项目启动。ETSI ISG 和OPNFV 密切合作，共同推动NFV概念和技术的发展。

随着NFV 日益成熟，越来越多的设备厂家提供基于NFV 的商品和服务，而越来越多的运营商在通信网络中逐步引入NFV设备进行网络云化改造。

ETSI NFV 标准组织对NFV的定义是：NFV作为一个解决方案，能够解决由传统专有的基于硬件的网络组件不断增加而导致的问题，能够满足云计算、大数据、物联网等需求。NFV 通过发展标准的IT 虚拟化技术，将网络设备整合到行业标准的高容量服务器、交换机和存储上来解决这些问题。帮助运营商和数据中心更加敏捷地为客户创建和部署网络，降低设备投资和运营费用。

网络功能虚拟化（NFV）的优点主要如下。

a）通过软硬件解耦，基于虚拟化资源和通用IT硬件设备部署，包括但不限于服务器、存储和交换机等，部署上层业务应用软件。借助通用IT 设备的规模效益，降低建设和维护成本。

b）基于虚拟化的应用软件，可利用统一业务编排，缩短网络运营的业务创新周期，提升创新业务的开发和部署速度，使运营商缩短网络建设和业务培育周期。

c）通过网络功能虚拟化，将网络功能软件化，使得多业务、多版本、多租户的网络应用软件VNF，具备了统一平台集约共同部署的可能性。通过一套通用平台，可满足各类业务各类场景部署的资源需求，实现资源共享。

d）基于虚拟化技术的统一编排，可实现网络快速扩、缩容，应对业务波动，提高资源利用效率。

e）基于通用IT技术部署的NFV，具有优于传统设备的扩展性，可根据用户不断变化的需求进行调整，提供新的或者更大容量的业务。

而运营商传统网络采用专用硬件，面临着建网成本高、灵活性差、不够开放等问题。网络设备竖井结构导致资源无法共享，网络建设和维护成本高，网络能力调度差，网络利用率低。同时封闭的网络，无法进行灵活业务编排，导致业务开通慢，无法及时响应市场需求。

随着业务驱动，不断涌现的新型IT 技术正逐渐渗入到电信行业，加之电信业务升级换代，场景延伸至物联网、人工智能等领域，电信网络亟需转型升级构建云化网络。同时为满足5GC 落地部署，各大运营商对于网络的扩展性、敏捷性、降成本的需求更加迫切。而5GC自带的云原生、SBA架构和微服务的理念，以及切片技术的引入，也决定了运营商在5GC 建设时，只有基于虚拟化和云化部署，才能在通信行业日益激烈的竞争中，获得领先优势。

2 国内运营商网络云化发展

2015 年，中国联通发布了《新一代网络架构白皮书（CUBE-Net 2.0）》，明确了网络即服务（NaaS）引入云计算、SDN 和NFV 技术进行网络的重构和改造，使得基础网络具备开放、弹性、敏捷等新的技术特征。

同年中国移动发布《NovoNet 2020 愿景》白皮书，提出以新型数据中心（TIC）和新型网络、新型大脑为核心的面向三层解耦的NovoNet未来网络目标架构。

2016 年，中国电信发布了《CTNet-2025 网络架构白皮书》，明确提出以简洁、敏捷、开放、集约为特征，构建软件化、集约化、云化、开放的CTNet2025 目标网络架构；以SDN/NFV 为技术抓手，以网元云化部署、软件定义网络智能控制、部署新一代运营系统、网络DC化改造等为网络切入点，推进网络的纵向解耦、横向打通。

基于虚拟化和网络云化，各运营商掀起了网络重构的浪潮。

2017—2018 年，中国联通建设了基于软硬件解耦的NB-IoT 物联网和移动vIMS 网络，在运营商中首次大规模应用虚拟化技术部署商用网络。

2014 年中国移动成立苏州研发中心，职责定位于云计算、大数据、IT 支撑系统前沿技术的研发和运营支撑，支撑中国移动网络云化技术演进。经过4 年NFV 研发和试点，2018 年部署基于虚拟化架构的NBIoT 网络，2019年进行NFV 一期工程建设，按照八大区集中部署云化分组域设备，提高网络云化比例。

2020 年随着5GC 建设，无论中国移动、中国电信的大区部署，还是中国电信按省部署的5GC，均采用了云化部署方式，基于电信云部署NFV 架构5GC 网元。至此，传统ATCA设备生命周期进入倒计时。

2020 年、2021 年期间，三大运营商又陆续发布了《云网融合2030 技术白皮书》、《算力网络架构与技术体系白皮书》、《中国移动网络技术白皮书》、《CUBENet 3.0 网络创新系列技术白皮书》等文件，将网络云化改造提到新的高度。在网络重构，实现敏捷、开放、集约的网络转型基础上，推动云网融合和算力网络，实现网络数字化转型。

3 网络云化改造面临的问题与思考

从核心网NFV 入手，运营商网络云化改造已在稳步推进。但是随着vEPC、vIMS、5GC 的部署，网络云化改造也暴露了一些问题。

目前运营商网络云化建设积极吸纳IT 优点，但由于通信网络、网元的复杂性，以及CT、IT行业的侧重点不同，网络云化部署还面临很多问题和挑战。适用于互联网的技术不能完全照搬到通信领域，IT和CT对网络性能和云平台的衡量标准也不尽相同。

a）电信网络云化的行业标准有待完善和加强。由于openstack开源的天然属性，除基本NFV 架构的定义外，各运营商、设备制造商基于基本架构均制定了自有标准和接口，对云化平台进行增强和定制化改造。企业标准有利于网络云化试点的快速部署和测试，但是底层设备容易被厂商锁定，造成三层解耦困难，形成新的软烟囱，阻碍新进云化厂家网络部署，不利于行业生态发展。而行业标准有助于平台系统构建良好的移植性和兼容性。

b）由于NFV 中SDN 非必选项，在云化部署时，电信云化解决方案的整体架构和NFV/SDN 相关模块接口的标准不完善，产品间存在部分不兼容的接口，这使得在网络部署时面临管理和自动化编排的挑战。

c）随着分布式存储的成熟和应用，分布式存储和云平台的接口标准化也有待加强。现网云化改造和部署时，异厂家分布式存储和云平台之间缺乏有效对接标准，部署困难，不利于分布式存储引入资源池。

d）由于运营商网络复杂性和网元设备多样化，各专业网元云化步伐不一致，在DC 资源池规划时，很难做到DC 布局一步到位。同时受限于局房条件，导致部分区域资源池分散部署，无法体现集约化优势。

e）网络云化部署带来了运维新挑战。软硬分离的架构和IT 技术的引入，对网络维护人员提出了更高的要求，传统的网络指标体系和管理标准无法适应软硬分离的架构，亟需更新。复杂网络维护环境也需要新的、适应虚拟化架构的自动化维护工具来提升维护效率。

f）云化改造和云化部署，也带来了新的安全问题。由于底层技术的通用性和开源特性，以及通信业务和IT 业务在安全上的差异性，除传统业务的安全问题之外，如何做好云资源的安全防护，也是云化改造中需要着重考虑的问题。

4 网络云化改造建议

4.1 云化网元

技术标准演进，新功能的引入，原有架构的完善，微服务、容器等云计算技术的广泛采用，使得通信网元从虚拟化向云化发展。基于目前运营商的部署测试情况，5GC、vIMS、VoLTE 短信网关等业务网元已通过虚拟化测试验证，满足初期商用条件。网元虚拟化路径及步骤遵循“从控制到转发、从核心到边缘、从增量到存量”的总体原则。

根据网元云化成熟度，现阶段适宜云化部署的业务主要有管理平台、创新业务平台以及控制类网元或业务系统，具体如下。

a）核心网：5GC、vIMS、vEPC、MEC等。

b）业务平台：视频彩铃、VoLTE 短信网关、5G 消息等。

c）创新产品：承载网控制编排器、业务开通网关、切片编排器、端到端分析系统等。

d）管理平台：OSS 系统、网管系统、运维支撑系统等。

4.2 云化网络架构

网络云化总体应遵循“集约、共享、弹性、敏捷”的原则，结合通信网络分层架构特点，未来云化网络适宜按照“核心+省级+本地/边缘“的三级云DC架构进行布局，并统一资源管理和业务调度，以实现集约化/智能化的运营管理（见图1）。

图1 网络云化架构

a）核心节点：按大区部署，集中部署网元（控制面、平台等）、创新平台、集中OSS、集中网管等。

b）省级：省会城市+省内中心（计划单列市），多业务融合部署，统一资源池，承载不出省业务和属地平台/网元；省内OSS、创新平台等。

c）本地/边缘：布局+客户驱动，按需建设，包括MEC、边缘网元等。

4.3 云资源池分类及云平台部署建议

云化网元类型、业务特点、安全诉求、解耦难度各不相同，为便于规划资源池、有效支撑业务部署，根据承载业务类型不同，可将资源池划分为2类。

a）网络能力域资源池：侧重于网络功能的虚拟化，意在建设云化的新型电信网络服务环境，为打造高效、弹性、按需服务的业务网络夯实基础。业务类型以路由型网元为主，云平台基于开源社区+ETSI，厂家自定义增强功能多，现阶段以软硬解耦部署为主，后续要推动三层解耦试点验证，统一部署云平台软件，实现资源统一共享调度。

b）创新业务域资源池：针对运营商内部的应用系统的云化，如部分创新平台、管理平台等系统的云化，支撑内部应用的快速部署及灵活扩展。业务类型以主机型网元为主。在统一技术框架下，统一部署虚拟化软件平台。主要以虚机的形式提供云资源，满足云化系统部署要求。

为确保基础通信网络可靠性和安全性，保障网络及业务质量，网络能力域与创新业务域建议初期独立发展、独立建设。

4.4 云资源池标准化组网建议

按照层次化架构设计，核心资源池采用Spine-Leaf Fabric 方式的组网架构，自下而上分为接入层、核心层、出口层3层，各层部署的设备如下。

a）接入层：部署Leaf 交换机和各类服务器、存储设备，并完成服务器/存储设备与接入交换机的互联。

b）核心层：部署Spine 交换机，向下汇聚所有接入层交换机，进行汇聚，完成DC 内流量快速、无阻塞转发，向上与出口设备互联。

c）出口层：部署DCGW，可根据实际需求选用核心交换机或路由器设备，按需配置防火墙、接入VPN、入侵防御系统、防病毒网关等安全设备，DCGW 向下连接Spine 交换机，向上与外部网络AR/ER 等设备互联，完成与外网设备路由信息的同步和报文转发。DCGW与外部AR/ER 等设备互联时应采用多路由，并避免单点连接。

根据资源池定位、业务需求的不同等，资源池组网架构可以分为网络能力域资源池组网架构（见图2）和创新业务域资源池组网架构（见图3）。

图2 网络能力域资源池组网架构示意图（无公网连接）

图3 创新业务域资源池组网架构（有公网访问需求）

对于省级及本地/边缘资源池，考虑资源池规模有限，建议采用Spine/Leaf 2 层网络架构，Spine 兼做DCGW，Spine 可根据业务需求部署为路由器或核心交换机。

4.5 DC局房布局建议

DC选址时应注意遵循以下原则。

a）核心DC 建议以超大型、大型数据中心为主，可在省级（集团级）数据中心基地、省级通信枢纽机房中选择；核心DC可以兼做省级DC。

b）省级DC 原则上多需求专业共址建设，主用省级DC 数量应不多于3 个。热点区域根据业务实际需求可适当增加节点。省级DC 可在省级（集团级）数据中心基地、省级通信枢纽机房中选择。

c）本地/边缘DC 按需建设，可在核心机房、核心节点机房、IDC、汇聚机房中选择。

d）DC 局房资源需求要考虑现有机房老旧设备的整合腾退，充分利用现有资源。

结合云资源需求情况，DC局房机架资源预留需求建议如下。

a）核心DC：对于单一网络云化场景，单DC 机架规模建议不小于300～500。

b）省级DC：单DC应具备100机架以上扩展能力，预留发展空间。

c）结合各DC 改造条件，DC 内单机架功耗按照4～6 kW考虑。

d）同时考虑传输和承载要求，DC 机房选址时应尽量与骨干传输网和承载网（IP 承载网、城域网等）同局址。

5 网络云化安全防护要求

网络云化大规模的商用部署能够提高计算效率，降低建设成本，但是采用云计算搭建的系统与传统的信息系统相比，其虚拟化、资源共享和分布式架构也存在安全问题，如果防护措施不当会严重威胁个人、公司甚至国家的网络安全。为适应新形势的需要，2019 年国家标准化管理委员会发布了新修订的《信息安全技术网络安全等级保护基本要求》，这标志着等级保护2.0时代的来临。

新标准以“安全通用要求+新型应用的安全扩展要求”的组合要求，形成了安全通信网络、安全区域边界和安全计算环境支持下的三重防护体系架构，与安全管理中心一起形成“一个中心，三重防护”的安全保护体系。本文根据等级保护2.0 对云计算的安全防护要求并结合实际业务需求，充分考虑网络云化的风险和部署成本，设计了通信云的安全防护体系架构，具备防火墙、SSL VPN等10项安全能力，如图4所示。

图4 通信云等级保护建设主要安全产品需求

基于通信云安全防护架构，建立分区分域、边界零信任、集约部署、合规运营的纵深防御体系，实现边界、网络、计算资源的全面防护。

a）分区分域：根据资源应用场景，将业务域、存储域、管理域划分为可信区和DMZ区。

b）边界零信任：跨安全区、跨大区、跨DC 交互采用零信任机制，通过流量级、应用级和虚机级安全策略，保证物理和虚拟边界的隔离与管控。

c）集约部署：集约化建设安全管理中心，实现安全能力按需调度、安全事件集中管理和安全策略统一编排等智能化运维能力，还将逐步推动所有安全能力的软件化和池组化。

d）合规运营：通过部署漏洞扫描、基线核查等能力防止计算资源带病上线和运行，并通过4A机制实现对计算资源的账号、认证、授权和审计管理。

6 网络云化后续演进

3GPP R15在5GC网络规范中引入了SBA架构，定义了网络功能服务。从新的架构和网络功能服务定义来看，通信网络在向云原生、微服务演进，借鉴IT 思想实现网络功能重构。在新的架构下，基于容器的微服务架构成为5G 核心网的未来演进方向。通过容器的应用，将紧耦合的网元功能拆分为松耦合的微服务，有利于网络功能的独立部署、升级和扩展，有利于实现业务快速迭代和创新，实现5G核心网按需调用以及灵活可编排的业务能力。基于容器的底层基础架构，主要分为2 种方式：一种是基于裸机形式部署容器，提供基础设施资源；另一种是基于现有虚拟化平台提供的虚拟机部署容器，提供基础设施资源。由于前期NFV 基于虚拟机部署VNF，已有较为成熟稳定的规模化虚拟资源，同时基于虚拟机部署容器，更有利于资源管理和弹性资源分配，因此5G云化部署近期仍采用虚机容器方式。对于资源需求和效率要求较高的网络功能，后续可逐步考虑基于裸机容器进行业务部署，简化资源架构，减少故障节点，提升资源性能。

另一方面，网络向云化演进时，云网融合也是不可忽略的一部分。只有实现云网融合，才能真正实现端到端的业务和资源统一编排，形成敏捷、弹性、统一的智能化网络，提供面向客户一点接入的网络服务。为智慧城市、能源、公共事业、制造、供应链、AR/VR、车联网等提供无处不在的云网业务。

在云网融合初期，仍将采用集中式算力网络方案，基于NFV/SDN 实现算力资源集中管控和编排，算力集中在大区中心，满足业务发放和网络控制等功能。随着边缘低时延、大带宽、低传输成本业务的逐步发展，基于集中式方案的算力网络部署将不能满足业务快速发展的需求，算力能力将由区域中心逐步下沉到边缘，形成“云+边+端”的多级算力网络，构建一体化算力服务体系。

网络云化、云网融合、算网一体，作为运营商网络长期发展目标，是一个长期的，不断变化的过程。随着AI、新型路由协议、大数据等技术的发展与成熟，在智慧城市、智能制造、智慧能源、远程医疗、家庭娱乐等业务场景驱动下，运营商网络将步入全新的领域。