5G网络的端到端客户感知评估方法

黄昭文

【摘 要】在5G网络中，通信业务类型、网络连接数、网络质量需求都将大幅增加，研究如何有效保障5G网络的质量和接入能力已成为重要课题。通过对5G网络客户感知的评估方法进行深入研究，指出现有客户感知分析方法需要改进的方面，提出把业务需求、客户真实体验与5G网络流量分析相结合的思路，建立了一个基于网络连接的客户感知量化评估方法，并验证了该方法的有效性。

【关键词】5G 客户感知 CBMOQ 端到端

An Evaluation Method of End-to-End Customer QoE in 5G Network

[Abstract] In the 5G network， the communication service type， the network connection number， the network quality demand will increase greatly. The research on the effective guarantee of the 5G network quality and the access capability is an important issue. The evaluation method of customer perception for 5G network is thoroughly analyzed and the aspects to be improved for the existing customer perception analysis methods were pointed out. Then， the idea that combines service demand， customers real experience and the 5G network traffic analysis was put forward. A quantitative customer perception evaluation method named CBMOQ was built whose effectiveness was verified.

[Key words]5G network customer perception CBMOQ end to end

1 引言

国际电信联盟已经启动5G标准研究工作，并明确了IMT-2020的工作计划：2015年中完成IMT-2020国际标准前期研究，2016年开展5G技术性能需求和评估方法研究，2017年底启动5G候选方案征集，2020年底完成标准制定[1]。5G将大幅提高网络部署和运营的效率，带来相比4G超百倍的能效提升，它将以可持续发展的方式满足未来超千倍的业务流量增长，以及超高速率、超低时延和海量连接等多样化业务需求。与4G网络相比，5G网络不仅传输速率更高，而且在传输中呈现出低时延、高可靠、低功耗的特点，未来将在物联网应用中发挥重要作用。应用于5G网络的业务类型在3G/4G的上网浏览、程序下载、社交应用的基础上还增加了高清视频应用、实时信息交互、游戏应用等类型，物联网的机器到机器（M2M，Machine to Machine）通信将占据大部分通信连接。与此同时，由于现网中的2G/3G/4G网络用户还需要一定的时间才能过渡到5G，预期在将来会出现多种网络制式共存的情况。这种复杂的应用场景使得客户感知难以得到有效评估。从网络资源利用率的角度出发，运营商也需要规划如何通过有限的资源投入确保大多数客户的感知[2-3]。如何评估这些业务水平及客户的客户感知，已成为移动通信网络运营的重要课题。

2 通信网络客户感知的研究进展

通信领域对客户感知的评估方法的研究已经开展了较长时间，从事这方面工作的有企业、个人和标准化组织[4-5]。目前经常使用的客户感知评估方法可分为指标建模法和客户调研法[6-7]。这些评估方案更多的是基于对业务或服务的先验知识，从网管系统选取若干关键网络指标进行量化来反映客户感知情况。这种方法虽然简单，但是随着业务种类及外部影响因素的不断增加，在实际操作过程中如何选择适用场景的指标集将成为一个难题。此外，现有评估方案主要还是面向传统的以真实的人类为主体的体验，并不能直接应用于5G中涌现的海量的以机器为主体的物联网应用。

3 基于连接的客户感知评估方法

本文根据5G网络的特点，把现有客户感知的量化方法进行推广，建立了一个新的面向连接的客户感知评估方法，简称为CBMOQ（Connection-Based Measure of Quality）。

5G码流进入CBMOQ后，分别按信令面及控制面进行感知评估。图中列举了接入信令、浏览、下载、实时应用、物联网、高清视频等主要应用类型及其处理模块（C、U1、U2、U3、U4、U5），根据需要，可以依据本文所介绍的方法进一步扩展需评估的业务类型。

現把业务使用过程定义为S，S所包括的具体业务操作是一个业务操作的集合：S={s1， s2， …， sn}。其中每一个si分别代表业务的一类操作。例如对话音业务，S={呼叫， 寻呼， 接续， 通话}；对短信类业务，S={发送， 寻呼， 接收}。针对每一个si，需判断其归属统计特性X={x1， x2， …， xm}。从客户感知角度考虑，包括{Delay， Speed， Suc， …}，即分别对应时延、速度、成功率等子属性，根据需要还可以进一步对统计属性进行拓展。根据业务种类的不同，可以选择不同的映射函数。S与X之间的映射关系可以用映射函数g（s）表示：

3.1 控制平面感知评估

对于控制平面码流，将通过信令解码模块＼接入信令模块，分析其5G网络接入信令的成功率及时延。分析评估本次连接接入网络的成功率，例如附着、PDP激活、路由区更新成功率[8-9]，“1”表示成功，“0”表示失败。 以下采用示性评分法计算：

3.2 用户平面感知评估

（1）浏览类业务感知评估

客户感知体现为终端用户对运营商提供业务、网络或应用的整体表现的主观感受。从客户角度分析，客户在使用通信网络的业务时，除了对业务内容的感受外，主要的感受来自于业务交易的时长。根据研究[10-11]，用户在使用业务过程中有一个“258原则”，即如果用户需要超过8 s才能打开一个网页，那么该用户将很有可能由于等待时间过长而离开该网站而去访问其他网站。这个规律的本质是对客户感知进行了初步量化，也就是认为客户感知的下限为8 s。评估相应单次业务时延，Dbig、Dsmall为对应时延感知指标的上、下门限的定义值。时延感知的上门限是指如果时延大于该指标，则感知是差的；下门限是指如果时延小于该指标，则感知是好的。基于网页浏览感知的“258原则”，可以分别取8和2进行测试，以下采用线性评分法计算：

（2）下载类业务感知评估

分析评估相应单次业务速度，Equick、Eslow为对应速度感知指标的上、下门限的定义值。速度感知的上门限是指如果速度大于该指标，则感知是好的；下门限是指如果速度小于该指标，则感知是差的。结合用户具体采用的网络制式，可以分别取对应网络情况下载速度的快、慢门限值进行计算：

（3）实时应用类业务感知评估

以实时交互数据传输为主的应用如网游等的用户感知则更多地体现为对实时交互应用加速的需求。在需要实时交互加速的互联网应用中，网游、驾驶控制、即时通信应用的使用率较高。评估相应单次响应时延，Dbig、Dsmall为对应时延感知指标的上、下门限定义值。时延感知的上门限是指如果时延大于该指标，则感知是差的；下门限是指如果时延小于该指标，则感知是好的。基于业务需求，可以分别设置不同的门限值。

（4）物联网业务感知评估

物联网是各种感知技术的广泛应用。物联网上部署了海量的传感器，其获得的数据具有实时性，是按一定的频率进行周期性地采集并不断更新的[12]，因此其对网络传输兼具时延短和数据可靠的需求。分析相应单次业务时延，Dbig、Dsmall为对应时延感知指标的上、下门限的定义值。时延感知的上门限是指如果时延大于该指标，则感知是差的；下门限是指如果时延小于该指标，则感知是好的；R表示为对应本次数据传输的可靠性，“1”表示数据成功送达物联网控制中心（如中国移动OneNet平台），“0”表示数据传输失败。

（5）视频类业务感知评估

体验视频类业务的常用指标，如视频会话建立、视频业务建立、视频播放、视频流畅度等[13]，与传输网络质量包括带宽及误码率密切相关。通过对视频流传输速度及误码率的统计，可以计算出视频业务的客户感知。令为相应单次视频业务的速度，Equick、Eslow为对应速度指标的上、下门限的定义值。根据视频流的不同，Equick、Eslow应取不同的值，例如对于720P的碼流，Equick、Eslow对应值分别可取3 Mbps及1.8 Mbps。令y为相应单次视频业务的误码率，Lmax、Lmin为对应误码率的上、下门限。

3.3 综合感知评估

总体客户感知的评估方法可按公式（8）计算，式中n为参与客户感知评估的业务使用次数：

3.4 与传统方法的对比

对比传统的指标建模方法，CBMOQ方法在以下几个方面具有优势：

（1）由于CBMOQ方法统计的是网络中全量的用户行为，并对用户的全量操作进行感知评估，所评估的感知依据与客户的实际体验（例如“258原则”）紧密结合，因此可以准确掌握所有用户及业务的真实感知。这种做法避免了统计网络指标时出现的因为平均操作而把部分弱感知信息屏蔽的缺点。

（2）CBMOQ方法的统计及归类的原子操作是业务行为而不是设备上的运行指标，因此可避免对网络指标及设备能力的依赖，这对于网络运营而言是非常重要的。

（3）CBMOQ的统计过程是全量统计，可以根据需要分别选择不同的子集，例如对重要客户、重要业务分布进行统计和监测，从而提高网络资源的利用率。

（4）在时间粒度上，CBMOQ的统计过程可以根据应用场景进行调整，从而提供实时的感知监测能力。

4 CBMOQ的准确性验证

为了验证CBMOQ模型的准确性，分别用传统评估方法以及CBMOQ方法对移动通信区域在一段时间内的流量进行客户感知评估，并对评估的连接数、数据量、业务数、用户覆盖率、信令面感知、客户感知进行对比。

通过对比发现，基于CBMOQ的客户感知评估方法，在相同数据源的条件下，量化评估连接数增长了59.84倍，评估数据量增长了68.15%，业务数增长了4.58倍，用户覆盖数增长了9.8倍，相应客户感知的总体评估值也比原统计方法更加全面。造成这种改变的主要原因是由于传统的评估方法主要聚焦于数据量较大的下载类及浏览类业务，而CBMOQ基于对网络流量的精确分类，对小流量、实时、游戏、视频等新业务进行了识别并评估，从而更能满足对客户体验的保障需求。

5 问题与挑战

通过准确评估客户感知，有助于5G网络向海量的连接提供端到端的QoS服务，并根据业务类型及需求合理分配网络资源，提升网络总体效率。CBMOQ虽可实现对全量连接的感知分析，但是对流量采集及感知计算成本提出的要求很高。5G网络是一个多网络、多层次、多域的巨量网络，采集并处理5G网络流量将面临分光、传输、设备、机房等重大挑战，这就需要5G网络在规划设计过程中考虑相关需求，及早布局以解决相关问题。

6 结束语

随着流量和连接数量的增长，为了确保网络服务能力，5G网络更需要一个可实际应用的端到端客户感知分析体系，以便对所接入的业务提供“四可”服务，即可视、可管、可分析、可溯源。CBMOQ分析体系基于传统的客户感知评估方法进行了多方面的演进，结合业务特性及感知规律，较好地满足了需求，具有可扩展性、灵活性、易用性的特点。经对比测试发现，本方法更适用于5G网络的端到端客户感知评估。在此基础上，下一步的研究重点将是提升感知评估的实时性及网络问题的定位能力。

参考文献：

[1] IMT-2020（5G）推进组. 5G概念白皮书[Z]. 2015.

[2] VAN MOORSEL， Aad. Metrics for the internetage： Quality of experience and quality of business[A]. In： Fifth International Workshop on Performability Modeling of Computer and Communication Systems[C]. Arbeitsberichte des Instituts für Informatik， Universit?t Erlangen-Nürnberg， Germany， 2001： 26-31.

[3] ITU-T： Definition of quality of experience （QoE）. International Telecommunication Union， Liaison Statement[S]. 2007.

[4] 郝益勇. 提升移动网络用户体验质量的理论与方法研究[D]. 北京： 北京邮电大学， 2011.

[5] 杨燕. 浅析移动通信网络中的QoE[J]. 电信科学， 2007（8）： 34-38.

[6] 熊玉辉，呂正林，蒙琳. 客户感知理论及其体系的构建初探[J]. 电脑与电信， 2012（7）： 35-38.

[7] 周行兵，陈前斌，隆克平. 3GPP中分组交换流媒体服务的体验质量研究[J]. 重庆邮电大学学报： 自然科学版， 2007，19（4）： 485-488.

[8] 3GPP TS 48.018. General Packet Radio Service （GPRS）； Base Station System （BSS）-Serving GPRS Support Node （SGSN）； BSS GPRS Protocol （BSSGP）[S]. 2010.

[9] 3GPP TS 25.413. UTRAN Iu interface Radio Access Network Application Part （RANAP） signalling[S]. 2011.

[10] Zona Research. The need for speed[R]. 1999.

[11] Zona Research. The need for speed II， Zona Market Bulletin[R]. 2001.

[12] 胡永利，孙艳丰，尹宝才. 物联网信息感知与交互技术[J]. 计算机学报， 2012（6）： 1147-1160.

[13] 王冼，廖振松，胡玉祥. 4G视频业务用户感知评估体系研究[J]. 信息通信， 2015（3）： 230-231.