基于LTE流媒体业务的用户体验质量评估方法

贺肖荣，杨从俊，申海龙

（1.江苏省邮电规划设计院有限责任公司，江苏 南京 210019；2.重庆邮电大学通信新技术应用研究所，重庆 400065）

基于LTE流媒体业务的用户体验质量评估方法

贺肖荣1，杨从俊1，申海龙2

（1.江苏省邮电规划设计院有限责任公司，江苏 南京 210019；2.重庆邮电大学通信新技术应用研究所，重庆 400065）

针对LTE流媒体业务用户体验质量的评估，基于层次分析法的区间估计理论，筛选出了影响用户感知相对重要的关键性能指标KPI，然后综合考虑技术因素和非技术因素对用户体验质量的影响，并建立改进的用户质量体验评估模型。最后采用模糊层次分析法对关键质量指标权重KQI的计算方法进行改进，从而建立了一套完善的评估方法。仿真结果表明，该评估方法兼顾网络客观因素与用户主观感知，能够更好地反映实际的网络质量。

LTE；用户体验质量；层次分析法；评估模型

近两年，长期演进（Long Term Evolution，LTE）网络业已逐渐投入商用，相对于2G/3G网络，LTE网络体现出了速率高、采用分组传送方式、延迟低、向下兼容性强等优势，从而带动移动网络用户使用的业务也随之发生改变，由传统的语音业务逐渐过渡到以数据业务为主流。随着业务种类的丰富，用户越来越重视实际体验的效果，因此移动通信运营商面临着服务的转型，要从过去面向设备的服务转变为面向用户的全面服务。一般用户体验包括3个部分，即终端用户的主观感受（Quality of Experience，QoE）、端到端业务的关键质量指标（Key Quality Indicator，KQI）和网络的关键性能指标（Key Performance Indicator，KPI），为了实现对用户使用业务时实际感知情况的量化，通信领域现已致力于用户体验质量评估模型的建立和评估方法的研究[1]。

为了能够准确反映终端用户在使用业务过程中的真实感受，需要对移动通信的用户体验质量（即用户感知）进行建模分析，正确、合理的用户体验质量评估模型能够大大提高分析的准确性。采用有效的用户体验质量评估模型，不仅可以体现性能指标间的关联关系，还可运用相关算法对性能指标和用户体验质量之间的关系进行量化[2]。通过分析关键指标的变化情况，能够找出影响用户体验质量的主要性能指标，从而有针对性地指导网络优化人员进行相应指标的优化，使其保持在一个良好的性能范围之内，真正改善用户体验质量，满足用户对业务质量的确实需求。

本文针对LTE流媒体业务建立了用户体验质量评估模型，首先基于层次分析法的区间估计理论，筛选出相对合适的关键性能指标KPI进行用户体验质量评估，并通过将影响用户主观质量体验的技术因素和非技术因素进行综合分析，建立了改进型用户体验质量评估模型，然后根据评估模型对关键指标权重的计算方法进行改进，得到KQI指标新的权重值，最后通过仿真得到了一个周期内的实时评估结果。

1 用户体验质量评估模型的建立

1.1 KPI指标筛选方法

影响用户体验质量的相关指标非常多，但有些指标对业务的关联程度很低，从而对整体用户体验质量的影响程度较低，即并非每一个指标都对用户体验质量都有绝对的影响[3]。为了避免重要程度较低的指标过多而使得评估复杂度增大、误差增大，因此需要建立科学、客观的指标体系。

本文结合LTE的组网情况、流媒体业务信令流程以及流媒体业务性能等特征，应用层次分析法的区间估计理论，获取网络侧相关因素。由于KPI指标直接与上层KQI指标相关联，因此该方法主要运用在KPI指标映射至KQI指标的过程中。在此采用的KPI指标筛选方法，不仅可有效剔除弱权重指标，保留能够全面表征用户体验质量的KPI指标，同时也很好地解决了KPI指标映射至KQI指标的问题，使建立的用户体验质量评估模型更加完善有效。具体的筛选流程[3-4]如图1所示。

图1 KPI指标筛选流程

1.2 评估模型建立

1.2.1 传统用户体验质量评估模型分析

现有的针对网络的用户体验质量评估方式中传统的用户体验质量评估模型主要由用户体验层QoE，业务层指标KQI，网络层指标KPI以及底层性能指标PI构成[4]，如图2所示。

图2 传统用户体验质量评测模型

虽然该评估模型显示出了各层指标间的映射层次关系，但还是存在一些不足，主要包括：

1）在整个评估过程中，主要是对网络侧进行评估，而用户的实际感受是不断变化的，通过传统评估模型不能进行实时动态的变化，只能进行静态的评估，进而也不能体现出用户体验质量的变化[5]。

2）该评估模型未考虑用户的实际主观感受，最终得到的用户体验质量满意度结果只是基于网络因素，不能从用户的角度全面评估网络情况。

3）该评估模型的数据来源主要是底层的路测或者信令等网络数据，不能对业务层面进行全面监控，从而也不能对用户体验进行具体准确的评估。

1.2.2 改进的用户体验质量评估模型

针对传统用户体验质量评估模型在LTE流媒体业务评估中的不足，给出一种改进的用户体验质量评估模型。通过对技术侧和非技术侧两个方面对影响用户体验质量的相关关键评估指标进行分析，建立评估模型。首先确定哪些网络指标能够反映用户的实际感受，主要从关键性能指标KPI及关键质量指标KQI入手，同时将用户主观感受与KQI指标建立相应的映射关系，从而建立一套完整的反映用户体验质量的评估模型，实现对用户体验质量精确的评估[5]。该模型的建立过程需要从技术因素和非技术因素两个方面来考虑：

一方面，在技术因素侧，与传统的用户体验质量评估模型相同，从下至上的逐级映射，通过它们之间的映射关系层次图进行体现。底层性能指标PI，通过挖掘该底层性能指标，可以获得网络性能数据。KPI指标就是通过网络设备上计数器直接获取的数据或者是通过某种约定计算出来的数值，需针对具体业务，分析其业务组网图及运行时的信令流程。在获取关键质量指标KQI时需根据业务特征，分析业务参考模型以及相关业务元素之间的关系和功能，将具体的用户行为转化为技术行为，以技术参数来表征用户的实际行为，提取出相应的KQI指标。在提取出具体的KQI指标后，需要根据1.1节的KPI指标筛选方法，筛选出最合适的KPI指标，聚合映射到相应的关键质量指标KQI；提取出关键质量指标KQI后，再聚合映射为技术因素，该技术因素用于表示影响用户体验质量的网络因素。

另一方面，在非技术因素侧，用户体验质量的最终目的就体现在使用某业务时用户的实际体验感受，因此，在本模型中，非技术因素即为用户主观感受。在进行模型建立时，首先需要针对具体的业务，根据用户不同的业务需求与感受，将用户主观感受进行分类整理，并将分类后的用户主观感受相应地映射至技术因素侧关键质量指标KQI，建立映射关系，而且每类用户主观感受至少映射至一种KQI指标。

由于技术因素及非技术因素体现的只是针对某种业务的独立感知，在获取技术因素和非技术因素的感知后，再将技术因素及非技术因素综合映射到用户体验质量QoE，如图3所示。

图3 改进型用户体验质量评估模型

图3即为改进型用户体验质量评估模型，与传统评测模型相比，该评估模型主要具有以下优点：

1）该评估模型在非技术因素侧增加了主观感受因子，这些感受因子主要通过用户投诉的数据来体现，从而通过这些数据对初始的权重进行动态改变，并使静态的评估过程动态化、实时化。

2）该评估模型从技术因素和非技术因素两个方面考虑用户的感受，实现了网络侧因素与用户主观感受的综合量化，可以更加精确地评估用户体验质量。

3）底层的原始数据来源变得比较丰富，既有主观用户体验侧的数据也有客观网络侧的数据。

2 LTE流媒体业务用户体验质量评估

LTE网络的快速发展带动了网络速度的提高，使在线使用流媒体业务的需求得到了一定程度的刺激增长，同时，服务提供商为用户提供了各式各样的业务来满足用户的各种需求，从而促使流媒体业务得到了发展[6]。因此，本文以流媒体业务作为LTE高速率业务的代表，对该业务实施过程中用户体验质量的评估进行分析研究。

2.1 LTE流媒体业务组网

流媒体业务的实施主要通过网络向终端用户提供流媒体内容，其特点是传送的信息量比普通文本多、语音更加高级的视频图像，并且伴有音频信息[6]。本文建立的关于LTE流媒体业务用户体验质量评估模型时，根据LTE相关协议标准和流媒体业务的主要特征以及1.1节内容，提取了以下典型的KPI指标：RRC建立成功次数、RRC建立总次数、E-RAB指派建立尝试次数、E-RAB指派建立成功响应次数、RRC发起建立请求时间等。

2.2 KQI指标权重改进计算方法

关键质量指标KQI是通过相互关联的KPI指标聚合映射得来，并且还受到用户主观感受的影响。因此，在进行KQI指标的权重计算时，不仅要通过专家的经验判断，而且还要综合考虑用户主观感受，尤其是用户投诉。

根据1.2.2节建立的LTE用户体验质量评估模型，本文提出了基于模糊层次分析法的KQI指标权重改进计算方法[7-8]，计算流程如图4所示。

图4 KQI指标权重计算流程

第一步，建立关于流媒体业务用户体验质量的评估模型。

如图4所示，通过分析流媒体业务的基本特征，确定该被评估业务的关键质量指标KQI的个数为M（M为正整数）。

获取流媒体业务在一个评估范围内的用户实际体验数据，根据用户主观感受的内容和现象，将所获取的用户体验数据共分为J类（J为正整数），由此建立非技术因素侧用户主观感受层次图。

分析技术因素侧关键质量指标KQI与非技术因素侧的各类用户主观感受之间的关联性，建立用户主观感受与KQI指标的映射关系，进而构建流媒体业务用户体验质量评估模型。

第二步，用户体验质量的关键质量指标KQI权重计算。

1）以24 h为一个评估周期，获取L个评估周期的用户投诉数据，同时将每一个评估周期分为K个评估的时间单元。将每个评估时间单元内的技术和非技术因素侧的初始化权重值均设为0.5。其中，L，K均为正整数。

2）在技术因素侧，对每个关键质量指标KQI相对于技术因素的重要程度采用专家评估的方法。在计算过程中，将每个关键指标KQI的初始权重值所对应的每个初次评估周期中的评估时间单元进行统计，通过三角模糊数的模糊层次分析原理来进行模糊判断矩阵的建立，从而确定出在初次评估周期中时间单元内的关键质量指标的权重值。其中，第1个评估周期中的某个关键质量指标的权重值用wt,i（1）来表示，t的取值范围为[1，24]，[1，M]表示任意第i个参与评价的关键质量指标KQI的取值范围。其中，t，i均为正整数。

3）另一方面，即在非技术因素侧，用户投诉可以比较直观地体现出用户的主观感受，通过对用户投诉数据进行统计，并计算在第l个评估周期的各评估时间单元内各类用户投诉量与总用户投诉量之间的比值，该比值可以表示为用户的投诉率。第j类用户在第t个评估时间单元内投诉率用λt,j(l)来表示，并且该时间段属于第l个评估周期内。

式中：bt,j(l)表示在第l个评估周期的第t个评估时间单元内第j类用户投诉量；Bt,j(l)表示在第l个评估周期的第t个评估时间单元内总的用户投诉量；当前评估周期l用（l）来表示，并将其取值范围定为[1，L]；当前用户投诉用j来表示，并将其取值范围定为[1，J]；用户主观感受的种类，即评估周期和用户投诉分别用L和J表示其个数和种类。

4）接下来对各类用户投诉的投诉率在各评估周期的评估时间单元内的λt,j(l)进行判断，通过该值是否为零来确定是否有用户投诉，进而对指标进行评估。

（1）倘若该值为零，即说明没有用户投诉，此时在某个评估周期和某个评估时间单元内的关键质量指标的新权重值和初始权重值相等，有

（2）倘若该值不为零，即说明存在用户投诉，即此时与用户投诉相关联的技术侧的KQI权重值前后出现差异，关键质量指标KQI的新权重值w't,i(l)为

5）对步骤3）、4）进行多次循环处理，进而得到在评估周期l的后一个周期内的各项关键质量评估权重值。

6）对l≥L是否成立进行判断：如果成立，则获得该评估范围内用户主观感受侧的用户投诉值，从而得到在各评估周期相应评估时间单元内的各关键质量指标KQI的新权重值；如果不成立，则重复执行3）、4）、5）步骤，直至满足l≥L的条件。

3 仿真结果及分析

为了验证本文改进型模型的有效性，全面分析了传统评估模型和改进型评估模型中KQI指标的权重值情况。由于LTE网络在我国正处于商用阶段初期，因此，本文的仿真数据主要是根据专家对不同时间单元内影响LTE流媒体业务用户感知质量的重要指标进行的等级评定而确定的，并结合本文中评估周期内关键指标的权重影响，采用模糊评价法，进而求得评估周期内LTE流媒体业务用户感知质量满意度。

本文针对LTE流媒体业务，根据KPI指标筛选方法提取了4类用户感知强的主要因素，即业务接入时延、业务的连续使用时长、业务使用的流畅性和业务的质量，其每一类用户主观感受相应地映射至技术因素侧的KQI指标。在计算KQI指标权重时，需要考虑各类用户主观感受对其的影响，才能准确、真实地反映用户实际感受。

根据本文建立的LTE流媒体业务用户体验质量评估模型和提出的KQI指标权重改进计算方法。在技术因素侧，通过专家评估计算得到KQI指标初始权重值wt,i（1），在后续进行KQI指标新权重计算时使该值在选定的评估周期内保持不变，只需通过用户主观体验数据，利用KQI指标权重改进型计算方法中的步骤3）～5）即可得到新的权重结果。再利用模糊层次分析法计算出第一个评估周期各评估时间单元内KQI指标初始权重值，如图5所示。然后针对非技术因素侧，本文通过统计指定评估周期中每一评估时间单元内实际的用户体验数据，进行每一类用户感知差的数据计算得到LTE流媒体业务KQI指标的新权重结果。最后通过Matlab仿真得到第1个评估周期内考虑用户主观感受后的LTE流媒体业务的KQI指标新权重结果以及第2个评估周期内LTE流媒体业务KQI指标权重，分别如图6和图7所示，图中横坐标均表示时间（以小时为单位），纵坐标为影响LTE流媒体业务用户体验质量的各KQI指标权重值。

图5 第一个评估周期LTE流媒体业务KQI指标初始权重

图6 第1个评估周期LTE流媒体业务KQI指标新权重

通过对比图5、图6和图7可知，在将有用户投诉的情况纳入评估范围后，与之前相比，KQI相关指标的权重比例均有一定的变化，该变化表明用户投诉可以影响流媒体业务的用户体验KQI指标，从而在引入用户投诉情况后，用户体验质量由静态变为动态，可以实现对评估过程的量化处理，从而更加准确地对用户体验进行评估。

图7 第2个评估周期LTE流媒体业务KQI指标权重

为了更进一步表明非技术因素侧的影响程度，即通过各关键质量指标权重值变化来表示。本文将影响LTE流媒体业务用户体验质量的流媒体业务接入成功性在两个评估周期内的权重结果单独列出，如图8所示。图中横坐标表示时间（以小时为单位），纵坐标表示业务接入成功性权重值。从图8可知，1 h处显示的值为第一个评估时间单元00:00～01:00内LTE流媒体业务接入成功性权重值计算结果，以此类推，可知2～24 h业务接入成功性权重值计算结果。

图8 LTE流媒体业务接入成功性权重值变化

从图8可知，由于出现了用户感知差的情况而产生了用户投诉，与该类用户主观感受相对应的KQI指标对用户体验质量的权重结果值也发生了变化，反映出每个评估时间单元内用户对各项指标的要求与感受不同，表明感知网络质量的变化趋势也不相同，而变化的程度就取决于用户对使用业务的实际感知情况。因此，从对该改进型的评估模型的分析过程可知，该模型能够体现用户实际体验质量的动态变化，具有较强的实用性。

4 结束语

本文将模糊算法中的层次分析法应用到LTE高速率业务的用户体验质量评估过程中，研究了KPI指标筛选方法，将技术因素和非技术因素对用户体验质量的影响进行综合分析，并着重对非技术侧的主观感受进行量化分析，并对关键质量指标权重的计算方法进行改进研究，建立了改进型用户体验质量评估模型，大大提高了计算精度，更好地指导网络优化人员有针对性的优化网络，切实提升用户的感知度。

[1]许致远.基于QoE综合评估的WCDMA网络质量投诉处理[J].邮电设计技术，2012（8）：84-89.

[2] 3GPP TS 36.300 V9.9.0，Evolved universal terrestrial radio ac⁃cess（E-UTRA）and evolved universal terrestrial radio access network（E-UTRAN）;overall description（release 9）[S].2011.

[3] KIM H J，LEE D H，LEE J M，et al.The QoE evaluation method through the QoS-QoE correlation model[C]//Proc.Networked Computing and Advanced Information Management，2008.[S.l.]：IEEE Press，2008：719-725.

[4] 3GPP TS 26.234 V9.8.0，Transparentend-to-end pack⁃et-switched streaming service（PSS）;protocols and codecs（re⁃ lease 9）[S].2012.

[5]林闯，胡杰，孔祥震.用户体验质量（QoE）的模型与评价方法综述[J].计算机学报，2012，35（1）：1-15.

[6] 赵训威，林辉，张明，等.3GPP长期演进（LTE）系统架构与技术规范[J].北京：人民邮电出版社，2009.

[7] 于瑞芷，刘露，周文安.语音业务的业务健康度评价模型的研究[J].北京联合大学学报：自然科学版，2010，24（2）：82-85.

[8]周乔奇.面向客户感知的移动通信网络质量评估体系的研究[D].上海：复旦大学，2009.

贺肖荣（1986—），程师，硕士，主研移动通信网络规划与优化；

杨从俊（1983—），工程师，本科，主研移动通信网络规划与优化；

申海龙（1986—），硕士生，主研通信新技术应用。

责任编辑：许 盈

Research on Assessment Method of QoE Based on Streaming Media Services of LTE

HE Xiaorong1,YANG Congjun1,SHEN Hailong2
（1.Jiangsu Posts&Telecommunications Planning and Designing Institute Co.,Ltd.,Nanjing 210019,China;2.Institute of the Applications of Advanced Telecommunications Technology,Chongqing University of Posts and Telecommunications,Chongqing 400065, China）

Aiming at the assessment of QoE of streaming media services of LTE,the key performance indicator（KPI）screening method is advanced by using interval estimation theory of analytic hierarchy process in order to select the more appropriate KPI indexes to assess QoE.Secondly,an improved QoE assessment model is established by analyzing the technical factors and nontechnical factors which influence the quality of experience.Finally,the calculation method of key index weight of the KQI indexes weight is improved,and then a consummate assessment method is established.The experimental results show that,this method could give consideration to network objective factors and user subjective feelings,and reflect the actual network quality much better.

LTE;quality of experience;analytic hierarchy process;assessment model

TN929.53

A

10.16280/j.videoe.2015.04.013

2014-06-18

【本文献信息】贺肖荣，杨从俊，申海龙.基于LTE流媒体业务的用户体验质量评估方法[J].电视技术，2015，39（4）.

国家科技重大专项资助项目（2009ZX03003-01）；科技型中小企业技术创新基金项目（11C26215113601）；重庆市自然科学基金计划项目（CSTC2012JJA40054）