面向通信感知计算一体化网络业务的用户体验质量估计*

邓胜超，高晖，粟欣，刘蓓

（1.重庆邮电大学通信与信息工程学院，重庆 400065；2.北京邮电大学信息与通信工程学院，北京 100876；3.清华大学北京信息科学与技术国家研究中心，北京 100084）

0 引言

随着5G 网络的部署及商用，越来越多的无线设备接入移动网络，新的业务和应用层出不穷，不断涌现的全新业务及应用给人们带来了前所未有的体验。但是，全球移动宽带用户数量大量增长，数据流量的激增对无线网络性能提出了更高的要求。6G 作为下一代通信系统，有望在5G 的基础上进一步融合信息技术、通信技术和人工智能技术朝着智能化的方向不断发展，形成集感知、通信和计算为一体的通感算一体化网络，以应对未来新型业务的极致化网络性能需求。目前，随着通信技术的发展和智能设备以及各类多媒体业务的普及，无线通信网络中的用户体验已经成为人们关注的首要因素。因此，对于运营商而言，监控网络状态以保证用户体验变得至关重要。在传统人工主导的方法中，运营商主要通过两种途径了解当前的网络状况，第一种是通过用户的投诉信息[1]，第二种是对各种网络性能指标进行监控，最常见的就是KPI（Key Performance Indicators，关键性能指标）[2]。当发现异常KPI 之后，操作员以相应的异常KPI作为参考来优化相关的网络配置。

虽然反映无线网络状况的KPI 对于监控网络状态起着非常重要的作用，但是在不断发展的5G 网络乃至以后的6G 网络中，面对更加异构复杂的网络，单纯依赖各种KPI监控网络性能不一定足以保证最终的用户体验。基于用户体验来衡量网络状态时，QoE（Quality of Experience，体验质量）的估计自然成为网络管理的焦点[3-6]。QoE 指标通常指的是平均意见得分，由主观和客观两个部分组成。主观部分往往因人而异，没有准确的判断标准。客观部分是可以反映用户感知质量，用于评估服务性能的指标，被称为KQI（Key Quality Indicators，关键质量指标）[7]。用户的体验质量不仅与QoE 相关，还与KPI 紧密相关，因此，使用KPI 和QoE 来评估和提高用户体验质量非常重要。但是，国际电信联盟在定义KPI 和QoE 的时候并没有明确定义它们之间的潜在关联性。早期的QoE 估计模型大多是针对特定网络业务构建数学模型[8-14]。其中，典型的数学模型是基于AHP（Analytic Hierarchy Process，层次分析法）分析不同指标的权重，以加权和的形式实现QoE 估计[13-14]。但是，基于特定业务的QoE 模型不能扩展到其他网络业务。随着机器学习技术在通信领域的成功应用，相关的机器学习算法也被用于QoE 估计[15-18]。文献[15]提出一种基于DT（Decision Tree，决策树）的QoE 估计模型，以适应不同网络业务。文献[16]基于无偏决策树构建QoE 模型，取得了比普通决策树更好的性能。文献[17]使用SVM（Support Vector Machine，支持向量机）实现对视频流服务的QoE 估计。但是，传统的机器学习算法主要包括特征提取和监督特征学习，其性能往往取决于特征提取。

为了提升网络运维能力以满足用户体验质量的需求，迫切需要一种更加智能的用户体验质量估计方法。因此，本文提出一种智能的QoE 估计方法。具体地，首先基于RF（Random Forest，随机森林）算法构建KPI 与QoE的关联性分析模型，探索它们之间的的潜在关联关系。之后，在此基础上引入DNN（Deep Neural Network，深度神经网络）学习它们之间的复杂映射关系，实现从KPI到QoE 的估计。

1 用户体验质量估计整体框架

KPI 作为衡量网络状态的性能指标，可以真正用于网络服务的改进，然而KPI 仅反映网络性能，并不能直接反映用户对业务的体验质量。QoE 作为评判用户体验的指标，用来表示用户的主观评价，最常见的是以平均意见得分的形式进行表示，其结果往往是一个0 至5 的任意数值，用户体验质量与QoE 紧密相关。但是，由于业务类型的不同，最终的QoE 评判标准也不同，为了准确地估计用户对不同业务的QoE 评价，本文提出了图1 所示的估计模型。其中包含两个阶段：关联性分析阶段和QoE 估计阶段。

图1 用户体验质量估计整体框架

在关联性分析阶段，原始KPI 作为输入，通过KPI 与QoE 关联性分析模型可以得到与QoE 关联的KPI。具体地，KQI 作为QoE 的客观部分能够准确地反映用户对业务的体验感知。因此，以KQI 作为中间值，通过分析KPI和KQI 之间关联性可以间接地确定在具体业务中KPI 与QoE 的关联性。QoE 的估计问题本质上是个回归问题，在QoE 估计阶段，根据关联关系，将与QoE 关联的KPI 作为QoE 估计模型的的输入，QoE 作为输出，实现QoE 估计。

2 用户体验质量智能评估模型

2.1 KPI、QoE的关联性分析模型

在进行QoE 估计时，最后的QoE 估计结果仅与少数KPI 相关，因此，在进行QoE 估计之前分析KPI 与QoE之间的潜在关联性是非常有必要的。传统的关联性分析大多是根据专家经验基于层次分析法获得[19]，但是人工分析得到的结果往往受主观因素影响。RF 作为一种以决策树为基准分类器的集成模型，能够通过每个特征在决策树中的贡献来确定每个特征的重要性。相比于基于专家经验分析，采用RF 模型确定每个特征的重要性不需要过多的简化假设，并且得到的结果更加客观可靠。

图2 显示了一个RF 的示例。通过对原始数据集随机抽样生成n个样本数据集。每个数据集生成一棵决策树，n棵决策树生成一个森林。在回归问题中，每棵决策树对输入的特征进行划分将得到一个输出值，最后的RF 的输出结果是对所有决策树的结果求平均值得到。为了得到每个KPI 的重要性，使用RF 中的袋外数据错误率计算每个KPI 的重要性。对于每棵决策树，首先，需要选择相应的袋外数据计算袋外数据误差。之后对袋外数据所有样本的任一特征加上噪声干扰，并再次计算袋外数据误差。根据加入噪声前后两次的误差可以得到一个差值，如果这个差值较小，说明当前特征对于样本的预测结果影响较小，其重要性相对较小。反之，如果这个差值较大，袋外数据准确率将大幅度下降，说明这个特征对于样本的预测结果有很大影响，进而说明重要性更高。对于任一特征，每棵决策树都能计算出一个相应的差值，对这些差值取平均值得到的结果即可用于衡量特征的重要性。

图2 RF示意图

在本文中，KPI 将被视为特征作为输入，KQI 为相应的输出。在建立决策树的过程中，设置三分之一的数据不会被用于建树。这部分数据将用于计算袋外数据误差，根据计算得到的误差确定每个KPI 的重要性。最后使用计算得到的特征重要性来确定KPI 和QoE 之间的关联关系。

2.2 基于DNN的QoE估计模型

传统的QoE 预测方法总是采用预定义或经验函数来表示KPI 与QoE 主观评估之间的关系。其性能往往取决于经验函数和特性提取。DNN 用统一的神经网络架构取代了这两个步骤，并通过大量连接的神经元学习更多潜在特征以获得更好的性能。

结合关联性分析模型，提出了如图3 所示的RFDNN 级联网络架构。在保证QoE 估计准确性的同时，由于降低了DNN 输入数据类型的维度，还能够降低DNN网络的复杂性。DNN 的单元是一个个的神经元，许多神经元连接在一起构成了整个神经网络。考虑到数据的体量以及防止过拟合现象发生，本文的神经网络主要包括6 层。其中第一层是原始数据，即未进行关联性分析之前的所有KPI，第二层是降维层，本文将通过KPI 重要性从大到小确定该层的KPI，第三层、第四层和第五层是隐藏层，最后一层为输出层，表示最后估计的QoE。每一层神经元接收来自前一个神经元的输入，一个神经元的输出是两个过程。第一个过程是计算输入的加权线性组合，第二个过程是通过激活函数计算第一个过程的结果的非线性变换。网络分为正向传播和反向传播。前向过程用于计算从第一层到最后一层的输出。反向传播用于将参数从最后一层更新到第二层。

图3 所使用的RF-DNN网络架构

在确定神经网络的结构之后，可以开始训练神经网络。在前向传播中，每一层的输出可以表示为：

其中，yi=φ(vj) 表示第l层的第i个节点，φ(‧) 是一个非线性的激活函数。wij是节点i到节点j的权值，bi是l层第i个节点的偏置。

损失函数设置为：

其中表示真实值，表示预测值。

在反向传播中使用梯度下降法最小化损失函数。使用下式完成梯度更新：

其中β是学习率，是第l层的局部梯度。为了便于计算，节点j处的局部梯度可以写成：

3 算法结果分析

本文将以超高清视频业务为例，使用的数据集来自于参考文献[20]中提出的5G/B5G 智能网络的真实数据测试台。整个数据集由KPI、KQI 和用户体验得分组成，总样本量为80 000 个。经过数据预处理后，共有21 个KPI、3 个KQI，如表1 所示。其中KQI 分别为初始缓冲时长、卡顿时长和卡顿时长占比。为了方便表示，21 个KPI 分别用Fi表示，其中i=1,2,3,…,21。

表1 本文使用的数据集概览

表2 是通过RF 模型得到的不同KQI 对应的KPI 重要性。从表中可以看出，在同一业务中，同一KPI 对不同KQI 的影响程度是不一样的。例如F2对卡顿时长占比的影响最大，但是对卡顿时长的影响相对较小，反而是F3对卡顿时长的影响更大，F2和F3对初始缓冲时长的影响程度则相同。另外从关联性结果中还可以观察到，对于所有KQI，重要性较大的几个KPI 基本是相同的，也就是说同一业务场景下影响用户业务体验的KPI 是所有KPI 中的一部分。因此，在进行QoE 估计之前，通过关联性分析能够有效剔除对QoE 影响较小的KPI。根据表2 的分析结果，将KPI 选择阈值设置为0.05，选取用于QoE 估计的KPI。

表2 KPI重要性分析结果

对于QoE 估计模型，根据所提的网络架构，在开源机器学习框架TensorFlow 中实现本文的DNN 网络。该模型使用Adam 优化器进行训练，学习率设置为0.001，迭代次数设置为1 000，min_batch 设置为128。通过参数调优，最终将隐藏层的节点数分别设置为12、48 和48以获得最好的性能。为了防止模型产生过拟合问题，在训练过程中使用的是K折交叉验证算法，其中k设置为4，验证误差选用MAE（Mean Absolute Error，平均绝对误差）。图4 为模型训练结果，模型在迭代至600 次之后训练损失值和MAE 逐渐趋于稳定，同时通过验证集对模型的性能进行验证，从验证集的损失曲线和MAE 曲线可以看出训练的DNN 模型没有产生过拟合现象，且在验证集上表现出很好的性能。

图4 DNN模型训练效率曲线

之后，在测试集上验证DNN 模型的性能。选择文献[13]的AHP 作为典型传统方法，文献[15]的DT 和文献[17]的SVM 作为典型机器学习方法进行比较。从测试集上的MAE和RMSE（Root Mean Square Error，均方根误差）进行对比。同时，为了衡量回归方程的拟合程度，还分别对三种方法的决定系数R2进行比较。使用筛选出来的9 个KPI 运用不同方法进行QoE 估计，经过参数调优得到比较结果，如表3 所示。从结果中可以看出，无论是MAE 还是RMSE，所提出的方法都优于其他方法，并且具有最高的决定系数，表明得到的模型具有很高的稳定性。这也表明DNN 在拟合KPI 与QoE 之间的复杂映射关系方面具有很高的适用性。

表3 不同方法的比较结果

4 结束语

本文面向通信感知计算一体化网络业务，首先提出了一种新的QoE 估计方法，随后通过RF 算法构建了KPI与QoE 的关联性分析模型，最后根据关联性分析结果搭建DNN 训练QoE 估计模型，运用此估计模型可以实现准确度较高的QoE 估计，最终的QoE 受KPI 与QoE 的关联性分析结果和DNN 模型两方面影响。然而，基于统计的关联性分析方法在很大程度上受限于数据集。作为接下来的研究重点，将使用基于因果推断的方法来进一步探究KPI 与QoE 之间的深层次关系，并对现有的模型进行进一步改进。