面向用户感知的LTE网络评估模型的设计与实现

邓炳光，刘 兵，张治中

(重庆邮电大学 通信网测试工程研究中心，重庆 400065)

面向用户感知的LTE网络评估模型的设计与实现

邓炳光，刘 兵，张治中

(重庆邮电大学 通信网测试工程研究中心，重庆 400065)

随着数据业务的飞速发展以及智能终端的快速普及，如何评价并提高用户体验已成为当前网络优化、未来网络设计的重点。基于此，提出了一套面向用户感知的LTE网络评估指标体系，并采用层次分析法、变异系数法，建立了以用户感知为核心的LTE网络评估模型。最后，以重庆某小区实测数据为例，对该小区数据业务性能进行评估，并给出了直观的分析评估结果。

LTE网络；用户感知；感知指标体系；层次分析法；变异系数法

随着OTT(Over the top)应用的爆发式发展，从电信运营商的角度，三大运营面临越来越大的管道压力，并逐步从语音业务转向流量经营。从用户的角度，层出不穷的业务，让用户越来越注重对网络性能的个人体验。而第四代LTE(Long Term Evolution)以及未来的5G(the fifth Generation Mobile Communication Network)移动宽带系统的目标是为全面提升用户体验[1]。基于此，建立一套基于用户感知的LTE网络评估系统已成为现阶段电信运营商的迫切需求。

传统的网络评估方法采用基于网元层面的客观评估方法和基于用户调查的主观数学样本统计来进行。在具体的评价过程中，主观方法由于用户选择的主观性以及所调查人群的限制性，得到的评估结果往往不具有稳定性和科学的指导性；而客观方法却往往基于网络侧，并没有充分考虑用户的体验和与用户体验的相关QOS参数，也无法全面指导网络运维。因此目前并没有一套完整的评估方法能够将用户体验信息的主观性和网络状态的客观性综合分析计算的方法[2-3]。

本文重点研究基于用户感知的LTE网络指标，在传统网络评估的方法上运用层次分析、变异系数法，以明确的结果实现了用户对LTE网络感知情况的评估。

1 LTE网络架构

LTE网络采用全IP化、扁平化的网络架构，主要包含3大部分，分别是用户终端(UE)、演进的全新接入网(E-UTRAN)和演进的分组核心网(EPC)。其中，E-UTRAN仅由基站(e Node B)组成，EPC包含移动管理实体(Mobile Management Entity)、服务网关(Service Gateway)和分组数据网关(Packet Data Network Gateway)等子组件[4]。网络架构如图1所示。

图1 LTE网络架构

LTE适用于网络质量评估及网络优化的接口众多，例如Uu，X2，S1-MME，S1-U，S6a，SGs等接口。其中，S1接口是LTE网络中最为核心的接口，是接入网(E-UTRAN)和分组核心网(EPC)之间的唯一通道，承载了两个实体间所有的信令和数据[5]。因此，对S1接口进行分析可以全面地获取LTE网络的运行状况，本文的分析数据主要也是从S1-MME和 S1-U 这两个接口采集。

2 用户感知评价体系

要对LTE网络性能进行评估，首先要建立LTE网络的评

价体系。整个评价体系从数学建模的角度，可分为数据采集、数据聚合、建模分析、感知呈现4个层面。其中分析数据主要包括S1接口采集的数据和用户投诉数据；数据聚合则是对网元层面各类指标的数学统计，例如统计求取无线接通率，E_RAB建立成功率等语音业务指标；建模分析是整个评估算法的核心，主要用于将用户感知、业务质量和网元性能通过一定的数学表达式进行关联映射，从而完整地表征用户和网络的交互过程。最后感知呈现则以明确结果实现用户对LTE网络感知情况的定量分析[6]。

基于上面的分析，整个LTE网络评估体系如图2所示。

图2 用户感知评价体系

3 用户感知评价模型

3.1 体系构建

3.1.1 选取原则

LTE指标的选取决定了最后用户对网络感知情况的准确性和全面性。如果评价指标过少则会造成对LTE网络的评估显得分析片面；如果过多，则容易造成对LTE网络某一特性的重复表征，徒增复杂度。本文以面向客户感知为核心，在LTE网络指标的筛选上遵循以下原则[7]：

1)以用户感知为导向原则：所选取的指标无论从信令面还是业务面，均应该从用户的角度出发，选取能充分表征用户实际感受的指标。

2)全面性原则：选取的指标能够较为全面地反映LTE网络各方面的性能，不能过于片面。

3)可操作性原则：即需要将LTE网络评估问题进行必要的层次分解，并且选取的指标应该具有可测性、可控性和可操作性。

4)独立和重要性原则：选取的指标集应该具有独立性，避免对LTE网络某一特性的重复表征；并且还能够对最后LTE网络性能的评估产生显著影响。

3.1.2 指标建立

LTE用户感知情况，即用户对LTE网络的总体满意程度，表征了用户对LTE网络总体可接受程度，反映了用户期望的质量与LTE网络提供质量的差距程度。基于图1建立的LTE网络评价体系，LTE网络的指标建立则是对具体QoE、KQI、KPI指标的选取。针对LTE网络性能的评估，总共涉及三类业务，语音业务、短信业务和数据业务。每类业务具体的KQI和KPI定义如下。

在语音业务方面[8-9]，LTE网络基于用户感知的角度可分为接入性指标、保持性指标和移动性指标，它们具体对应的KPI指标如图3所示。

图3 语音业务体系

在数据业务方面[10]，LTE业务指标主要是针对TCP/UDP，HTTP，DNS，MMS，FTP等协议的分析。本文基于用户角度，可分为可接入性、舒适性、可靠性3个指标。对应具体的业务，可再细分为网页浏览、视频业务、即时通信、微博业务、下载业务、游戏业务6类，它们对应的具体KPI如图4所示。

图4 数据业务体系

在短信业务方面，由于移动通信的快速发展和移动互联网OTT业务(如微信、米聊、QQ)的快速发展，短信业务也基本被数据业务所替代，因此在此不作具体分析。

基于以上分析，整个LTE网络指标体系如图5所示。

图5 LTE网络指标体系

3.2 模型建立

LTE网络评估体系最终是要以明确的结果实现用户对网络感知情况的定量分析。整个模型建立步骤分为以下4步：

步骤1，选定LTE网络评估指标；

步骤2，构造综合评估函数；

步骤3，确定映射关系和指标权值；

步骤4，综合评判。

指标选取已经在上节中分析介绍，因此，基于图5建立的LTE网络指标体系，整个模型具体建立过程如下。

3.2.1 构造综合评估函数

定义用户感知指数CSI(Customer Satisfaction Index)用于表征用户对LTE网络的感知情况。基于前面的分析，LTE网络共涉及语言业务、数据业务和短信业务。每一项又可细分为具体的KQI和KPI指标。因此，LTE网络的综合评价表达式CSI可量化为

CSI=α1U1+α2U2+α3U3

(1)

Ui=β1Q(y1)+β2Q(y2)+…+βn(yn)，i=1,2,3

(2)

Q(yn)=λ1H(x1)+λ2H(x2)+…+λmH(xm)

(3)

式中：CSI是语音业务、数据业务、短信业务的加权和；U1是LTE网络语言业务的评分；U2对应数据业务；U3对应短信业务；α1,α2,α3分别对应三者的权值。

Ui是各业务具体KQI分值的加权和，如语音业务对应的接入性、保持性和移动性3类KQI指标。其中，β1,β2,…,βn是各KQI对应的权值。

Q(yn)是网元层面各具体KPI分值的加权和，如无线掉话率、业务平均速率。H(xm)是各KPI的评分值。其中，λ1,λ2,…,λn是各KPI对应的权值。

3.2.2 确定映射关系和指标权值

用户感知指数是从最底层的H(xm)映射到Q(yn)，再通过Q(yn)映射到Ui得到。因此要求解CSI，则必须分别求出各层权值α,β,λ和最底层KPI的分值H(xm)。

由于α对应语言业务、数据业务、短信业务的权值；β对应移动性、保持性、用户使用舒适性等KQI指标的权值，它们均是用户的主观感受，因此，本文对α,β权值的求取采用层次分析法(Analytic Hierarchy Process)中的单层次排序法[11]求取。λ是网元层面各KPI指标的权值，由于各指标存在具体的数值，并且量纲不一致，为科学的确定权值，避免人为主观性，本文采用变异系数法[12]求取各λ的权值。

1)α,β权值的确定

基于AHP的原理，α,β权值确定步骤如下：

(1)构造判断矩阵

将CSI和Ui每一层中各指标进行两两比较，数学家Saaty建议采用数值1～9进行度量[13]。如A和B相比较时，定义1、3、5、7、9分别表示A比B相同重要、稍重要、明显重要、强烈重要、极端重要。2、4、6、8则表示取前面重要性度量判断的中间值[14]。

结合用户的主观感受和Saaty建议的度量标准，本文针对U1、U2、U3建立判断矩阵CSI-U=(uij)n×n，表示为

U1U2U3U1u11u12u13U2u21u22u23U3u31u32u33

(2)一致性检验

为了确定构造的判断矩阵是否合理，需要对CSI-U进行一致性检验，检验步骤如下：

① 计算一致性指标CI

(4)

② 根据CSI-U的维度n的大小确定一致性指标RI。对n=1,2,…,9，Saaty给出了RI的值，如表1所示。

表1 一致性检验表

③ 计算一致性比例CR

(5)

当CR<0.10时，则认为构造的判断矩阵合理，可用于权值的确定，否则应重新构造或是修改判断矩阵，并再次进行一致性检验[15]。

(3)求取权值

求取矩阵CSI-U的最大特征值λmax和对应特征向量W=(w1,w2,w3)，将W=(w1,w2,w3)归一化即得到权值α=(α1，α2，α3)，β的权值确定方法和α的求取方法一样。

2)λ权值的确定

本文采用变异系数法求取KPI的权值λ，假设选定的KPI评估指标为{x1,x2,…,xN}，共计N类指标，每类指标包含m个数据，则N类评估指标每类m个测试数据可以表示为如下矩阵

(6)

基于上面的矩阵，KPI的权值λ的求解步骤[16]如下：

(1)计算各指标的平均值

(7)

(2)计算标准差

(8)

式中：σj表征了第j类KPI的绝对变异程度。

(3)计算各指标的变异系数

(9)

式中：vj表征第j类KPI相对变异程度。

3.2.3 综合评判

要评判用户对LTE网络的感知情况，基于3.2.1小节构造的综合评估函数，需要确定各层指标的权重α,β,γ以及网元层面KPI的分值H(xm)。α,β,γ的求取方法已在上节中介绍，因此，用户对LTE网络的感知情况的综合评判可分为以下步骤：

步骤1，求取KPI的分值H(xm)；

步骤2，确定CSI评判等级；

步骤3，求取CSI分值，判定等级。

1)KPI分值的确定

现将网元层面KPI的分值H(xm)的求取方法介绍如下：

(1)确定评估门限值，Thmax是实测数据中的上限值，Thmin是实测数据中的下限值，Thmax>Thmin。

确定门限的方法是将某类KPI的所有实测数据由小到大进行线性排列(去掉相同的数值)，并按CSI等级划分为5个部分，第四部分对应的数值为上限值Thmax，第一部分对应的数值为下限值Thmin，示意图如图6所示。

图6 KPI门限确定示意图(区间内递增)

(2)将实际数值T按线性比例映射[17]到[0,N]之间，其中N是该项指标的满分，本文基于CSI等级，满分N为5分。

基于选取的KPI，各类KPI的评分又可细分为以下两种情况：

针对情况1，数值越大越好的KPI，诸如业务建立成功率和业务平均速率，H(xm)分值的求取方法如下：

KPI数值T大于上限值Thmax的为N分，小于下限值Thmin的为0分；KPI数值T介于Thmin和Thmax之间时，则按线性比例映射到[0，N]之间。

函数公式表示为

(10)

函数图像如图7所示。

图7 KPI评分图(区间内递增)

针对情况2，数值越小越好的KPI，诸如平均单向时延和业务掉线率，H(xm)的求取方法如下：

KPI数值T大于Thmax的为0分，小于下限值Thmin的为N分；KPI数值T介于Thmin和Thmax之间时，则按线性比例映射到[0,N]之间。

函数公式如下所示

(11)

函数图像如图8所示。

图8 KPI评分图(区间内递减)

但是实际情况可能存在某项指标极度恶化的情况，却对整体用户感知的评分影响较小。为避免这种情况，本文通过对H(xm) 评分修正如下

针对情况1，数值越大越好的KPI，当指标极度恶化时，H(xm) 的求取方法如下

(12)

当实测值T远远低于下限值Thmin时，即Thmin≥kT,k=1,2,3,…,N，H(xm)得分为-k。

针对情况2，数值越小越好的KPI，当指标极度恶化时，H(xm)的得分定义如下

(13)

当实测值T远远高于下上限值Thmax时，即T≥kThmax,k=1,2,3,…,N，H(xm)得分为-k。

通过这样的修正，可以突出恶化的指标对于用户整体感知得分的影响，以有利于网络的维护。

2)CSI等级的确定

在求出具体分值的基础上，要实现用户对LTE网络感知情况的定量分析，需要对用户感知指数CSI进行等级确定。本文针对用户满意指数CSI等级的确定，参考ITU对QoE等级的划分方法[13，18]，同样将用户感知指数划分为5个等级，分别为优、良、中、差、极差，对应分值为5、4、3、2、1，如表2所示。

表2 CSI评估等级

3)CSI综合评判

将α,β,λ权值和网元层面的KPI评分H(xm)带入综合评估函数，求出最终的CSI分值。基于CSI的评判等级，最终实现用户对LTE网络的感知情况的评估。

4 仿真验证

基于用户的角度，LTE网络提供的语言业务已满足绝大多数用户的通信需求，本文以数据业务为例，对LTE网络评估模型进行验证。

基于图5所示LTE网络评估体系，用户对数据业务最关心该业务的可用性、舒适性和可靠性。根据用户的调查和流量的统计，网页浏览业务占用户移动互联网业务流量70%以上[19]，本文以HTTP业务质量对模型进行验证。

定义HTTP业务的用户实际体验指数为CSI-HTTP，则综合评估函数为

CSI-HTTP=β1Q(y1)+β2Q(y2)+β3(y3)

(14)

各KQI得分为

(15)

各KPI得分，基于CSI等级，本文N取5，所以KPI评分表达式如下

(16)

或表达式

(17)

基于上面构建的模型，要评估HTTP业务质量，首先要确定β和λ的权值，运用层次分析法求解β的权值步骤如下：

步骤1：通过分析调研，对HTTP数据业务的可接入性、舒适性、可靠性三大KQI指标构造判断矩阵,表示为

(18)

求取λmax、CI、RI，其中λmax=3.009 2，CI=0.004 6，RI=0.58。经过计算

(19)

满足一致性检验，求得HTTP数据业务可接入性、舒适性、可靠性三类KQI的权值为β=(0.07,0.72,0.21)，权值分配如表3所示。

表3 KQI的权值

步骤2：变异系数法求取λ权值

由于业务可接入性只选取了业务建立成功率，业务可靠性只选取了业务掉线率，因此可接入性和可靠性的权值λ均等于1。舒适性涉及业务平均单向时延和业务平均速率两个指标，本文将重庆渝北区各小区业务平均单向时延、业务平均速率的实测数据带入模型中的变异系数法求得业务平均单向时延和业务平均速率的权值λ1=0.59，λ2=0.41。

在确定KQI和KPI权值的基础上，以重庆渝北区某小区HTTP数据业务为例，HTTP业务的CSI-HTTP评分的过程，通过下列步骤演算，具体数值见表4和表5。

1)采集某月该小区HTTP数据业务数值，并计算KPI分值，如表4所示。

2)计算每一项KPI对应的得分H(xm)，KPI的上/下限值由样本数据按门限规则确定。

3)计算KQI分值Ui，它是KPI得分的加权和。

4)计算HTTP业务的用户感知指数CSI-HTTP。

5)将得到的CSI-HTTP评分与CSI评分规则进行比较，确定用户最后的CSI-HTTP等级。

表4 HTTP业务KPI计算过程

表5 HTTP业务分CSI计算过程

基于前面的计算，得出该小区基于用户感知的HTTP业务质量介于良好和优秀之间，将其他数据业务或语言业务的实测参数带入模型，也将求出相应的CSI等级，从而完成整个LTE网络的评估。

5 结束语

未来移动通信将迎来数据时代，用户的主观感受也将成为未来网络设计的重点。基于此，本文对LTE网络架构进行了分析，选取了LTE网络评估指标，并运用层次分析法和变异系数法，对各层指标集合进行了分值和权值的求取，建立了基于用户实际体验的LTE网络评估模型。该模型以用户感知为核心，弥补了传统移动网络评估方法只是基于网络侧的不足，对三大运营商在网络优化和提升用户体验方面具有重要意义。

[1] 张海峰，张杰. TD-LTE数据业务发展趋势[J].互联网天地，2013(4)： 12-14.

[2] PINSON M，WOLF S. A new standardized method for objectively measuring video quality[J]. IEEE Trans. Broadcasting，2004，50(3)：312-32.

[3] 郭红丽. 客户体验管理的理论与方法研究[D]. 上海：同济大学，2006.

[4] 3GPP. TS 36.414 V.11.0.0. Evolved universal terrestrial radio access network (E-UTRAN)； S1 data transport(Rel-11)[S]. 2012.

[5] 杨叶. LTE网络测试仪S1接口信令监测技术的研究与开发[D]. 重庆：重庆邮电大学，2012.

[6] 曾亮. 浅谈客户满意度指标体系的构建[J]. 中国新通信，2007(11) ：78-81.

[7] 杨丰瑞， 吴在学. 电信企业服务质量感知的评价指标体系和方法[J]. 北京邮电大学学报：社会科学版，2012，14(5)：53-57.

[8] 3GPP. TS 36.412 V.11.0.0. Evolved universal terrestrial radio access network (E-UTRAN)； S1 signaling transport(Rel-11)[S]. 2012.

[9] TMF，GB917，SLA management handbook[S].2004.

[10] 郭希蕊， 冯建民. 基于3G移动业务的用户体验映射体系研究[J]. 移动通信，2011(3)：82-86.

[11] 邓雪，李家铭，曾浩健. 层次分析法权重计算方法分析及其应用研究[J]. 数学的实践与认识，2012，42(7)：93-99.

[12] 薛强， 赵静. 基于变异系数法的不同地区国家级示范生产力促进中心发展实力的综合评价[J]. 东方论坛，2013(3)： 56-61.

[13] TMFGB923A-wireless service measurement-key quality indicators[S]. 2004.

[14] 王应明. 判断矩阵排序方法综述[J]. 决策与决策支持系统，1995，5(5)：101.

[15] SAATY T L. The analytic hierarchy process[M]. New York：McGraw-Hill， 1980.

[16] 王靖，张金锁. 综合评价中确定权重向量的几种方法比较[J]. 河北工业大学学报，2001(2)：52.

[17] 陈刚， 周文安，宋俊德. 基于SLA的业务建模和参数映射算法[J]. 北京邮电大学学报, 2007(8)：28-32.

[18] ITU-T. Definition of quality of experience (QoE)[S]. 2007.

[19] 郑有强， 徐兆吉. TD-LTE业务承载能力及应用分析[J]. 移动通信，2010(5)：54-57.

邓炳光(1978— )，讲师，主要研究方向为通信网与测试技术；

刘 兵(1990— )，硕士生，主要研究方向为5G移动通信系统总体技术、通信网测试技术；

张治中(1972— )，教授，博士生导师，主要研究方向为第三、四、五代移动通信网络架构、测试及优化技术。

责任编辑：闫雯雯

Design and Implementation of LTE Network Evaluation Model Based on User Perception

DENG Bingguang, LIU Bing, ZHANG Zhizhong

(CommunicationNetworksTestingEngineeringResearchCenter,ChongqingUniversityofPostsandTelecommunications,Chongqing400065,China)

With the rapid development of data services and the rapid popularity of intelligent terminal, how to evaluate and improve the user experience has become the focus of network optimization as well as the future network design for current operator. Based on this, a LTE network assessment model for user-perceived is established, using the analytic hierarchy process (AHP) and the variation coefficient method to unify all operations under the same mathematical model. Finally, the performance of HTTP operations is evaluated in a district of Chongqing, and a visual assessment is given.

LTE network; user perception; perception index system; analytic hierarchy process; variation coefficient method

【本文献信息】邓炳光，刘兵，张治中.面向用户感知的LTE网络评估模型的设计与实现[J].电视技术,2015，39(13).

国家“863”计划项目(2014AA01A706)；国家科技重大专项(2014ZX03001027；2012ZX03001021)；重庆高校创新团队项目(KJTD201312)；重庆市教委成果转化重大项目(KJZH14103)

TN929.5；TP391

A

10.16280/j.videoe.2015.13.017

2015-01-27