移动互联网应用用户体验质量评价*

李稳

（中国移动通信集团公司研究院，北京 100032）

1 引言

伴随着移动通信网与互联网的融合发展，运营商向信息服务、流量经营方向转型，移动应用（APP）产业取得了巨大发展。运营商的关注方向已开始从传统的网络KPI转向用户体验质量[1]。当前，移动应用用户体验质量影响因素极其复杂，包括客观因素（如网络性能、服务质量等）和主观因素（用户期望、使用经验等）。传统研究主要侧重于监测网络性能或服务质量（QoS, Quality of Service）等客观因素，已无法满足多样性、个性化的产品用户体验要求[4]。

用户体验质量（QoE, Quality of Experience）从狭义上来说是和业务质量密切相关的、用户可感知到的产品质量，从广义上来讲，用户体验质量还包括品牌、资费、服务等各个方面[2-3]。狭义的用户体验质量源于服务质量，其主要指标包括网络时延、丢包率、吞吐率、抖动、误码率等指标[5]，完全忽略了用户主观感知指标。产品体验质量评价的研究也仍停留在QoS（网络技术性能）对QoE的映射上，一般是采用平均评估分值（MOS, Mean Opinion Score）来反映其质量水平，映射模型比较简单[6-7]。

如何科学地基于用户体验角度来评价移动互联网应用产品质量，是用户体验研究者和移动应用开发者迫切需要解决的问题。文章通过构建能够反映某类应用的客观产品质量与主观感知质量的指标体系，运用因子分析法建立数学模型，计算能够客观反映其体验质量竞争力的综合指数，即移动应用体验指数（UEI,User Experience Index)，以期该指数宏观上可以为APP体验质量监测与管理提供参考，微观上可以为定位与改进APP体验问题提供依据。

2 APP体验指数模型

2.1 APP体验指数模型

文章构建的APP体验质量指标体系是基于产品体验的2类核心品质（包括主观感知质量和客观产品质量）、3个层面（有用、易用和爱用）、5大维度（功能、内容、界面、性能和情感）、17个质量特性和若干可测量属性，具体结构如图1所示。

2.2 APP体验指数统计分析方法

图1 移动互联网应用体验指数模型

APP体验质量评价涉及到产品客观质量和用户主观感知质量属性，属于多指标综合评价问题。多指标综合评价方法通常有：专家赋值法、层次分析法、因子分析法、模糊综合评价法等[8]。下面以主流视频类APP的8款产品为研究对象，采用因子分析法，统计分析其体验质量指数。文中对于测量属性分别用zi来表示，各指标数据参见表1和表2的移动互联网应用客观产品质量与主观感知质量数据表。

（1）数据标准化

通过对各指标样本观测数据进行无量纲化处理，以消除各质量指标量纲差异对最终评价的影响。其中，无量纲化方法包含中心化法、极差法、极大法、极小法和均值法等[9]，文章采用的是“中心化”法。无量纲化后各测量属性用xi表示。具体方法为：

表1 移动互联网视频类应用客观产品质量数据表

表2 移动互联网视频类应用主观感知质量数据表

（2）对无量纲化指标变量进行因子分析

经过因子分析，无量纲化指标变量xi可以表示为：

式(2)中：m为原质量指标个数（产品客观质量类：m=20；用户主观感知类：m=21），k为公共因子个数，x=(x1, x2, ……, xm)为经过无量纲化后的质量指标，y=(y1, y2, ……, yk)为相互独立的公共因子，ε=(ε1,ε2, ……,εm)为相互独立的特殊因子。

（3）提取公因子

把产品客观质量、用户主观感知类原始质量数据输入SPSS（Statistical Product and Service Solutions，统计产品与服务解决方案），进行因子分析，提取出特征根大于1的因子（产品客观质量数五个、用户主观感知质量数四个），主客观质量指标中公共因子特征根、方差贡献率及累积方差贡献率如表3、表4所示：

表3 产品客观质量指标中公共因子特征根、方差贡献率及累积方差贡献率

表4 用户主观感知指标中公共因子特征根、方差贡献率及累积方差贡献率

产品客观质量公共因子：k=5。

用户主观感知公共因子：k=4。

（4）计算因子得分

因子分析的核心思想是将各变量表示为公共因子与特殊因子的线性组合，为了研究所评价的视频APP的特征，也可以将公共因子表示为各变量的线性组合。

由此，可以计算出各个公共因子的得分。

（5）综合因子得分

其中，yj表示第j个公共因子得分，pj表示第j个因子的方差贡献率。

（6）百分化综合因子得分

由于因子得分有正负之分，不符合人们的常规评价思维，所以需要将综合因子得分进行百分化。为了在评分过程中不出现一百分和零分，所以先需要计算综合因子最大得分Fmax与最小得分Fmin：

然后，按照公式(6)对综合因子得分进行百分化：

（7）APP体验指数计算

为了使APP体验指数分布在60分以上、100分以下，以60分作为基本分，40分按综合因子得分计算，即：移动视频应用客观质量类和主观感知类的综合因子得分及排序表如表5、表6所示。

（8）APP体验指数排名结果分析

通过原始数据表（表1、表2移动互联网视频类应用客观产品质量与主观感知质量数据表）及APP体验指数排序表（表7视频应用APP体验指数评分及排名表），对视频类8款APP体验质量进行分析。

产品C的感知质量在界面感知与情感体验上排名第一；客观质量上产品C在内容与界面上都排名第一。总之，从整体上来看，产品C这款应用的质量排名比较靠前，故APP体验指数得分也高，紧随其后排名中上的产品还有产品A与产品B。产品E用户体验各个维度都是排名末位，且产品客观质量也不出众，因此，产品E的体验指数得分最低。而产品H、产品D等因主观感知质量较差，导致体验指数得分较低，排名比较靠后。整个APP体验指数得分结果与实际情况比较一致。

表5 移动视频应用综合因子得分及排序表（客观质量类）

表6 移动视频应用综合因子得分及排序表（主观感知类）

表7 视频应用APP体验指数评分及排名表

此外，计算UEI得分与产品净推荐值（NPS, Net Promoter Score）、周均活跃用户数之间的斯皮尔曼等级相关系数发现：UEI与NPS（r=0.905，p=0.002）、UEI与周均活跃用户数（r=0.857，p=0.007）均呈现显著的正相关，这些都说明通过因子分析法建立的APP体验指数模型能够较客观地反映移动视频应用产品体验质量水平。

3 结论

本研究以视频类APP为研究对象，运用因子分析法建立了基于用户体验的APP体验指数模型（UEI），经实证分析证明APP体验指数模型能够比较客观地反映不同款移动视频应用的产品体验水平。

随着移动互联网、OTT企业和社交网络的发展，结合当前各大运营商数字化转型战略，管理客户体验被公认为是运营商构建差异化优势的关键。在向“以用户为中心”的运营转型过程中，如何从端到端、全流程闭环管理用户体验问题，全渠道提升用户体验、保障运营商客户体验、管理用户接触点等，日益成为行业研究热点。未来，针对运营商服务或产品的体验质量评价，不能仅仅停留在简单的KPI-KQI-QoE的映射模型上，应该更多从用户感知出发，采用复杂系统综合评价方法来构建产品或服务质量评价模型[10]。