面向汇聚边缘云的固移综合承载云网架构研究和实践

杨振东（中国联通广东分公司，广东 广州 510627）

1 概述

IDC 预测2021 年，40%的业务数据需要在网络边缘侧分析、处理和存储，到2025 年，该比例将超过50%。边缘云作为云网架构中的关键一环，如何赋能5G、固网行业应用，是整个行业急需思考和解决的问题。

边缘云平台在整个云网架构中的位置非常灵活，可以按需部署，通常部署在汇聚、综合接入等边缘机房，可以实现业务本地化处理，不仅降低了业务响应时延，提升了用户感知，同时还能减少大带宽业务对传输资源的占用，降低成本。由于边缘云在全国范围内分布广泛，因此可以根据每个地（市）的特性，面向垂直行业市场，快速推出新业务。边缘云已经成为支撑运营商进行网络转型的关键技术，其满足了超高清视频、VR/AR、云游戏、云终端、垂直行业应用等多种业务发展的需求。

本文基于现有网络架构演进，研究部署基于汇聚边缘云的固移综合承载的云网系统架构，打造开放的汇聚边缘云IaaS＋PaaS 平台，为边缘云应用开发者提供丰富的平台服务能力，从而加速基于边缘云的创新业务孵化和商用推进。

2 需求分析

2.1 业务痛点

以重点业务视频点播业务为例，视频点播业务传输速率不稳定，导致高清片源播放易卡顿，带来高投诉率；同时随着用户数增长，传统的部署于中心机房的CDN 服务器带宽压力愈来愈大，CDN 流量压力过大会触发高负载限流，部分用户观影码率会被强制降低。为了解决以上痛点，迫切需要做出如下改进。

a）现网提供端到端的传输速率和时延支撑能力，重点关注RAN 侧网络指标保障，蓝光/至臻片源速率不低于4 Mbit/s，4K 片源速率不低于24 Mbit/s，传输时延需要大幅压缩，上述传输速率和时延将直接影响视频点播卡顿率指标。

b）支撑能力验证完成后，建设能落地推广。整个云网架构能实现5G时代规模应用。

除视频点播之类的静态业务外，部分动态业务也适合部署在边缘云，比如云游戏、视频直播等。其中，云游戏的下行数据以视频流为主，通常对传输速率和时延要求较高，上行数据则以用户的游戏操控信息为主，对时延要求较高。现网需要提供端到端的高速率和低时延支撑能力，以游戏“王者荣耀”为例，建议带宽为10～15 Mbit/s，加载业务后RTT小于40 ms，考虑偶尔发生大延时（抖动）后RTT 小于80 ms。而对于实时视频（QQ/微信），其特征为多链路实时上传，实时下载，对网络性能要求较苛刻。受限于网络环境，其编解码指标通常设置较低（比如15FPS），以减轻对网络的依赖。

2.2 业务预期规模

以腾讯视频为例，付费用户已超过1亿，2020年视频点播流量带宽消耗较2019年有数倍增长，然而无论是固定网络还是移动网络，超过90%的用户仍使用高清（720P）、标清（480P）等分辨率，蓝光（包括HDR至臻和4K）播放量通常不超过10%，有很大增长潜力。

对于云游戏，2020 年国内外多家公司已发布其云游戏平台，2021 年业界迎来云游戏的一个高速推广期。Market Watch 预测，2025 年云游戏市场规模将达到近1 000 亿元。边缘云的高速率、低时延、边缘计算等特性将进一步加速云游戏的推广。

2.3 调度模式

以腾讯视频为例，其业务调度逻辑如下：全局服务调度系统GSLB、认证鉴权服务器和大容量文件缓存服务器都部署在运营商核心机房，业务交互流程如图1所示。

图1 业务应用调度逻辑

a）终端用户访问业务应用域名，向智能调度系统GSLB请求下载视频业务服务器的地址。

b）调度服务器和认证服务器通信，验证用户合法性。验证通过后，根据终端用户发送的调度请求算出最近的CDN 缓存节点，并向用户反馈最优的业务应用服务器IP地址。

c）用户向CDN 缓存节点视频业务应用服务器发起下载请求。

d）缓存节点视频业务应用服务器响应用户并建立下载链接。

e）缓存节点业务应用服务器向调度系统确认，完成下载链接建立。

由于视频点播业务请求经过的网络设备多，下载速率和时延不稳定。边缘云方案将CDN 缓存服务器下沉到汇聚机房，并采用云化方式部署，实现了计算存储能力的弹性伸缩，改善了速率时延，提升了用户体验。

3 面向汇聚边缘云的固移综合承载云网架构

本次汇聚边缘云试点项目在10 万4G 移网用户和近3 万固网宽带用户中进行了上量测试，测试结果对2C2H边缘云业务部署有很大指导意义。

3.1 云网架构部署技术方案

CDN 内容源下沉之前，按照传统技术方案，CDN服务器位于省市核心机房，移网和固网用户访问内容源传输跳数较多，如图2所示。传统核心云集中部署，往往跨省、跨地（市）调用计算和存储资源，访问距离长、跳数多，移网数据业务承载横跨3 张网（本地UTN网、本地承载网和骨干承载网），转接层级达到7～9级，对省内和骨干传输和数据网络带宽资源是一个极大的开销，而且极易造成网络拥堵。网络扩容调整涉及总部、省分、地（市）等多个环节，业务响应速度慢。上层业务受传送网络质量和拥塞影响，存在丢包、抖动不可控等问题，访问速率受限，影响用户体验。

图2 原有CDN部署拓扑图

CDN 内容源下沉之后，CDN 服务器位于地（市）本地网传输汇聚机房，大幅压缩传输层级（见图3）。

图3 面向固移综合承载的汇聚边缘云部署拓扑图

运营商在本地网的传输汇聚节点部署轻量级的边缘云，将边缘云的IaaS 和PaaS 能力向第三方开放，由第三方在边缘云部署各类应用，移网和固网流量在边缘云进行卸载，就近访问第三方应用内容，提升用户体验，打造新的业务合作模式。汇聚层边缘云服务范围通常在10～30 km 以内，在人口密集城区，边缘云服务范围较小，在郊区服务范围较大，由于其部署位置贴近移网和固网用户，速率、时延、抖动、卡顿等影响用户感知的指标可大幅优化。汇聚边缘云和接入网实现云网协同，发挥云网一体的优势，满足低时延业务的需求，为用户带来更丰富、更优质体验的产品和服务。汇聚边缘云与核心云协作，汇聚边缘云作为传统核心云的延伸，贴近用户提供本地场景感知的处理，而核心云具有更强的计算和存储能力，可提供全局的集中控制和存储能力。

在汇聚边缘云部署固移综合承载网络，很好地满足了边缘云接入、安全、计费、QoS保障等方面的需求。UP（移网核心网用户面）和MSG-U（多业务汇聚网关用户面）在边缘云同步部署，移网及固网所有业务在汇聚节点由MSG-U 统一接入。移网业务网关采用分布式部署，将UP下沉至汇聚节点，通过MSG-U接入边缘云的内容源或互联网。CP（移网核心网控制面）集中部署，负责全省移动业务控制。固网转控分离，由MSG-U 统一转发，控制层由全省或地（市）集中部署的MSG-C（多业务汇聚网关控制面）统一负责。

中国联通首个基于固移综合承载的汇聚边缘云试点节点部署在广州珠江广场汇聚机房，该机房附近基站覆盖高校、工厂、市场、居民区，腾讯视频的受众用户面广。主要部署设备说明如下。

a）边缘云服务器：虚拟化平台采用VMware6.5 版本，云主机部署CDN缓存应用，操作系统为centos6.5。

b）多业务汇聚网关用户面MSG-U 由现网BRAS软件升级。

（a）MSG-U 与UP 直连，利用NAT 功能，将移网用户私网地址转换为公网地址指定标识段，MSG-C 部署于核心机房。

（b）MSG-U与采集机直连，获取用户溯源信息。

（c）MSG-U 与汇聚边缘云服务器直连，将腾讯视频业务流量进行本地卸载。

（d）MSG-U 与CR 连接，承载固移用户访问公网的流量。

c）核心网控制面CP：GW-C 位于核心机房，GWC 包括SGW-C 和PGW-C，分别与现网MME、CG、DRA、OCS、GW-U和取号平台等网元对接。

d）核心网用户面UP：UP（xGW-U）位于汇聚机房，xGW-U 包括SGW-U 和PGW-U，分别与GW-C、MSG-U、UTN等对接。

e）腾讯全局业务调度系统GSLB：将珠江广场汇聚边缘云节点IP 加入白名单；修改调度系统配置，将移网用户源IP 为指定标识段的访问请求分配到珠江广场边缘云CDN进行处理。

f）腾讯调度系统将该MSG-U 服务的固网宽带用户源IP 为指定标识段的访问请求，分配到珠江广场汇聚边缘云节点进行处理，固网宽带用户直接从汇聚边缘云节点获取业务内容。

3.2 割接测试方案

本次移网部分，测试范围包含49 个站点，其中宏站29 个，室分20 个。根据TAC 和LAC 边界一致性要求，需新建2个TAC，本次割接分为3个批次，均顺利完成，路测各项指标均正常，如图4所示。本次固网部分的测试仅涉及机房内施工和数据配置修改。

图4 汇聚边缘云移网测试站点图

4 固移综合承载云网架构业务测试分析

4.1 移网测试结果

本次汇聚边缘云移网测试分批割接49个基站，本地加漫游4G用户逾10万户，测试时长1个月。期间运营商客服部门和腾讯视频业务团队均未收到割接站点范围内用户批量投诉，充分验证了汇聚边缘云技术方案的可行性和稳定性。如图5所示，CDN下沉到汇聚机房边缘云后，端到端RTT时延由65 ms降低到24 ms，RTT时延降低50%以上。

图5 移网测试主要结果对比

腾讯视频业务最关键2项指标为loading时长和无缓冲率，本次测试边缘云CDN节点与核心机房CDN节点中位参数相比，loading 时长减少了10.8%，无缓冲率由96.49%提升至97.27%。

根据运营商后台分析发布的小区卡顿率的数据，测试区域腾讯视频卡顿率由6.7%下降至5.0%，改善效果明显。

4.2 固网测试结果

本次汇聚边缘云固网测试涉及8 个C 类IP 地址段，约2.7 万个宽带用户账号，腾讯视频每日峰值播放量约10万次，测试时长为2.5个月。

如图6所示，本次腾讯视频业务测试，边缘云CDN节点与中心云CDN 节点的业务感知统计数据相比，卡顿率降低了35%，每小时缓冲时长降低了68%，每小时缓冲次数降低了65%。从结果可以看出，汇聚边缘云节点能显著提升用户体验。

图6 固网测试主要结果对比

横向与4G移网测试结果对比，固网和移网测试指标均有改善，其中固网改善效果更好。需说明的是，由于5G的速率更高，其改善效果会比固网宽带的效果更好。同时，固移融合的边缘云还可以提升边缘节点的缓存和计算效率，减少多个节点（对比固移分离的边缘云节点）之间重复的缓存内容刷新，提升了整体运营效率。

4.3 测试结果延伸

视频点播类业务由于热点效应，对边缘云视频应用的基础播放数有一定需求，当每日播放次数大于10万次，逆推基站站点数为100～150 个时，指标改善效果更好，因此，建议将边缘云部署于汇聚机房。同时，由于固移用户均可访问汇聚边缘云视频应用，随着用户数的增加，进一步提升了热点视频内容的命中率，提升了汇聚边缘云的运营效益。

对于如腾讯视频之类的大体量存量业务，汇聚边缘云还可以减轻汇聚节点以上网络和骨干CDN 的峰值流量压力。

对于如云游戏、实时直播、云终端之类的新兴业务或动态业务，从汇聚边缘云获得的性能提升效果更为直接，比如时延显著降低等。

4.4 运营商部署建议

运营商可以根据业务发展需要，在现有智能城域网架构基础上进一步演进，部署“面向汇聚边缘云的固移综合承载云网架构”，支撑业务高质量发展。

4.4.1 部署条件成熟

现有网络已启动面向5G 业务为主的融合承载的新型智能城域网络部署。5G SA 核心网已实现商用部署。

运营商核心网采用集中采购商务模型，为灵活部署边缘云提供了条件。5G UPF集采统一按流量收费，不按硬件收费。

4.4.2 部署策略

建议运营商在城域网汇聚层以上实现固、移融合，由智能城域网综合承载。4G/5G 核心网UP 下沉到汇聚边缘云，与MSG-U 共机房部署。在高流量区域，汇聚边缘云连片部署，实现边缘云广域覆盖，支持4G/5G/政企/宽带多业务访问汇聚层边缘云。相较于传统的核心CDN 节点方案，汇聚边缘云节点数量较多，考虑到运营商的利润和互联网应用的成本的敏感性，建议汇聚边缘云节点优先连片覆盖热点城区，再逐步向郊区延伸。

5 业务展望

运营商接下来可联合大型OTT 进行业务孵化和产品打磨，大幅提升个人业务和垂直行业的业务体验，有望打造业务增长新蓝海，带来千万元甚至亿元以上收入。目前静态视频（视频点播）、动态视频、云游戏、VR/AR、云终端和垂直行业应用等需求较大。这些业务均需低时延、大带宽、高稳定等网络共性能力，该能力提升可通过本方案实现。

汇聚边缘云与基站侧边缘云在应用场景上可实现互补，汇聚边缘云特别适用于业务遍及全国的大型OTT（比如各种视频、游戏、VR/AR）客户。汇聚边缘云同时支持固移用户，契合大型OTT 业务发展需求（腾讯视频50%流量来自家庭宽带）。

运营商初期可与大型OTT 合作，后续可逐步引入更多OTT 入驻汇聚边缘云，提升汇聚边缘云资源利用率，进而提升收入和运营效益。运营商通过云、网、边、端、业紧密协同，提升议价能力、附加值、利润率和客户黏性。

6 结束语

本文分别从业务需求分析、系统架构研究、现网部署、规模用户测试对比、后续应用演进等角度入手，对5G 时代面向汇聚边缘云的固移综合承载云网架构的部署和商用进行了分析和展望，得出了相关结论，为规划建设和规模商用提供了较为科学的决策依据。