基于用户体验的4G端到端业务与网络质量测试工具＊

赵立君，种璟，董鹏，严国娇

（中国移动通信有限公司研究院，北京 100053）

基于用户体验的4G端到端业务与网络质量测试工具＊

赵立君，种璟，董鹏，严国娇

（中国移动通信有限公司研究院，北京 100053）

中国移动自主研发了基于用户体验的端到端业务与网络质量评测工具，实现端到端业务质量和性能评测，实现现网真实“用户感知”的可测、可量、可知。基于用户体验的4G端到端业务与网络质量测试工具是面向业务质量和移动互联网网络测试的专业工具，支持Android、iOS操作系统，贴近用户的真实使用场景，实现真正以“用户”为中心的端到端业务质量评测，具备基础通信、网络性能、用户体验、终端性能等测试能力，能够从用户的角度反映实际业务和网络的运行情况、性能质量。该工具多个版本全面支撑了中国移动全网4G试商用城市验收测试、4G全网常态化端到端服务监测，填补了业内自有用户体验评测工具的空白，受到多方好评。

移动4G；端到端；用户体验；业务质量；网络质量

在移动通信领域中，运营商通常以网络为中心，向终端用户侧看定义典型业务场景，向内容侧看定义互联网应用，并没有真正意义上思考过真实的用户体验。究其原因，是因为移动通信业务用户体验定义是业内公认的难题，没有标准，因人而异、因时而异、因地而异，更难于做到对现网真实“用户感知”的可测、可量、可知。

随着4G用户的快速发展，基于用户体验的业务与网络质量评测工作成为运营商的重要工作，运营商成立品质部并将用户体验评测纳入常态化工作。传统测试方法成本高、样本覆盖率低，无法定位响应慢、速率低、业务中断、脱网等一系列端到端的用户感知问题，不能满足移动互联网用户体验评测需求。端到端用户体验评测方法及工具的缺失，导致运营商对用户体验评测认识有偏差，亟需开展用户体验评测方案研究、用户体验的评测工具研发，先于用户发现并解决问题。

聚焦用户体验，贴近用户的真实使用场景，实现真正以“用户”为中心的端到端业务质量评测，从用户的角度反映实际业务网络的运行情况和性能质量评测工具应运而生。本文提出的工具是从端到端的用户体验入手，发现和分析影响业务质量的问题，并进行针对性的改进，是提升运营商4G用户满意度和市场竞争力的有效手段。

1 4G无线网络质量评测现状

1.1 无线网络测试指标优异，用户端到端体验差

无线网络测试侧重于无线网络覆盖、干扰、空口性能（速率、时延）等测试，无线网络指标较建网初期已有显著提升。但4G用户经常出现网页打开慢、视频多次卡顿或无法播放等用户体验差的问题。无线网络测试与真实用户体验存在明显差异，无法客观、真实、准确的反映现网用户的端到端体验。

1.2 端到端用户体验影响因素多，涉及部门广

用户体验是包括业务、网络、服务的可用性、性能和满意度在内的各种因素的综合体验，具体到4G网络用户体验是端到端的访问体验，主要受到终端、无线网络、核心网、互联网出口网络质量、互联网资源服务等多重因素影响，需要运营商的网优、网管、品质等多部门协同优化。

1.3 端到端用户体验测试方法及工具缺失

传统路测软件、扫频仪、信令监测仪表等省公司常规配备工具主要用于无线网和核心网监测分析，无法满足端到端用户体验评测需求。端到端用户体验评测方法缺失，导致运营商对用户体验评测认识有偏差。亟需开展用户体验评测方案研究，先于用户发现并解决问题。

2 基于用户感知的4G端到端业务与网络质量测试工具

基于用户感知的4G端到端业务与网络质量测试工具是面向业务质量和移动互联网网络测试的专业工具，支持Android、iOS操作系统， 贴近用户的真实使用场景，实现真正以“用户”为中心的端到端业务质量评测，具备基础通信、网络性能、用户体验、终端性能等测试能力，能够从用户的角度反应实际业务和网络的运行情况、性能质量。

本工具具备多项业务与网络质量测试能力，包括基础通信业务测试、数据业务测试、实时监测、辅助定位测试等能力，支持一键测试、众测自动化、远程推送等自动化测试，可应用于4G用户体验评测、终端综合性能评估、网络接入质量、载波聚合网络覆盖评估、网络加速效果评估等场景。本工具包括专业版、众测版、增强版等多版本工具，并提供轻量级SDK开发包，测试终端无需root或越狱，可模拟用户真实操作，评测4G网络真实用户体验，用测试数据量化用户体验品质，如图1所示。

适用于互联网“端-管-云-台”质量监测/拨测SDK开发包是为互联网应用开发商提供的轻量级SDK开发包，它能够在用户无感知状态下实现业务质量及用户行为等多维度的信息采集。集成方式方便快捷，支持Android、iOS操作系统。互联应用可通过集成SDK开发包实现在基础信息、应用性能、业务体验、用户行为等方面的信息采集，可满足互联网应用业务质量评测、互联网平台的健康度、现网服务接入质量、日常运营数据采集等监测需求，能够更准确评估互联网应用的业务真实用户体验，量化评估互联网应用及业务平台质量。

图1 4G业务质量端到端评测流程示意图

2.1 工具评测能力

基于商用终端的4G端到端业务与网络质量测试工具已具备基础通信业务测试、数据业务、自动化测试、监测等多项测试能力，如图2所示。

基础通信业务测试能力包括语音拨打、语音自动接听、短信收发、彩信收发等测试能力。

数据业务测试能力包括网速带宽、互联网文件上传/下载、网页浏览、视频等测试能力。

监测能力包括无线网络/Wi-Fi信号强度、信噪比、网络制式、小区信息、切换分析等网络监测功能，PING、DNS、TRACEROUTE等辅助定位测试能力，设备信息、资源消耗等终端监测能力。

自动化测试能力包含一键测试、众测自动化、远程推送3种自动化测试方式。其中，一键测试指客户端自动从云端同步下载测试用例脚本，一键自动执行的自动化测试能力，生成的测试报告自动上报云端。远程推送指云端向工具推送测试任务，工具端自动接收用例并执行，生成的测试报告自动上报云端，全程无需人工干预。

2.2 多维度关联分析

4G端到端业务与网络质量测试工具输出3类9项用户体验指标、6类17项辅助分析指标。用户体验指标包括文件下载体验指标、网页浏览体验指标和H5视频点播体验指标。辅助分析指标包括空口测速、域名解析、路由跟踪、连通性、下载辅助指标、网络信息监测。可将体验指标与辅助分析指标进行多维度关联分析（空口质量分析、内容源可达质量分析、内容源引入调度分析内），可分段分层定位问题，便于网优、网管、品质等多部门协同优化，如表1所示。

表1 多维度关联分析指标

通过对以上用户体验指标、辅助指标、内容等方面关联分析，发现和定位共性问题。如在对内容源进行分析时，从可达质量和引入及调度3方面进行关联分析。在可达质量分析方面，到内容源时延、路由跳数两维度反映内容源可达质量，分析到内容源的可达质量问题对用户体验影响；在引入分析方面，针对重点内容，分析内容源引入情况；在调度分析方面，对实际调度的结果进行分析，如已引入的内容，在实际访问时是否调度到异网。

图2 工具评测能力

2.3 数据回传及分析

基于用户感知的4G端到端业务与网络质量测试工具将测试数据自动回传至云平台，云测试平台对工具和用例进行管理，从而支持测试任务的灵活定制，并完成对测试数据的过滤清洗，提供定制化数据分析报告、简易报表、数据可视化呈现、原始数据提取等数据分析手段。

图3 可视化业务质量热力图呈现

2.4 基于智能热力图技术的用户体验感知可视化系统

对全网各类包含地理位置信息的海量数据进行深入分析挖掘和可视化，以热力地图的形式直观呈现用户行为及服务质量分布状况，充分揭示现网终端、网络和业务特征，为网络优化、市场营销等提供决策支撑。在终端型号、业务类型、网络制式、时间趋势等方面开展的多维数据挖掘，多图层数据聚合，用户行为及服务质量动态趋势跟踪和对比分析，定制化质量差点区域自动识别。可视化业务质量热力图呈现如图3所示。

本工具运行4年来累积采集超过3亿份测试报告，以中国移动全网4G互联网访问时延为例，通过基于智能热力图技术的用户体验感知可视化系统，从全国、省、市、区、街道等14个层级呈现4G网络互联网访问时延情况。所有用户业务与网络测试指标都可用热力地图形式直观呈现，可逐级放大，显示全国、省、市、区、街道直至建筑周围的测试情况，并用不同颜色标识出测试指标好中差情况。

3 主要技术与创新点

本方案在业内提出了新的4G核心业务评测技术体系，支持主流商用智能手机终端，提供全面业务和网络性能评测能力，解决品质大数据可视化难题需要一体化解决方案，基于大样本数据的业务品质分析，适用于面向全生命周期的“用户体验”提升策略，如图4所示。

（1）创新点1：崭新的4G核心业务评测技术体系，包含业务模型、指标定义、评价方法，测试内容等4部分，主要特点是从端到端客户体验出发，面向市场，实现对标参照，突出重点，繁简适中，做到可监测、可量化。

（2）创新点2：支持主流商用智能手机终端，提供全面业务和网络性能评测能力，已形成专业版、众测版、增强版等多版本工具，支持安卓和iOS系统， 无需root/越狱，可模拟用户真实操作，评测4G网络真实用户体验，用测试数据量化用户体验质量。

（3）创新点3：解决品质大数据可视化难题需要一体化解决方案，传统可视化方法无法有效直观反映测试大样本数据的多维信息，通过业务质量测试大数据清洗、建模挖掘和分析，建立了真正贴近用户体验的业务质量可视化系统，形成整体覆盖质量、重点区域分析、准确地点诊断的一体化解决方案。

（4）创新点4：基于大样本数据的业务品质分析，实现了从传统样本数据采集分析到离散大样本数据采集分析的转变。离散大样本数据采集分析以真实场景、准确位置为基础，注重每一个样本的价值，以及大样本数据的挖掘。重用户实际体验与样本数据的拟合度、重基于位置的离散数据聚合计算、轻平均值、排序，具备较好的呈现方式。

（5） 创新点5：适用于面向全生命周期的“用户体验”提升策略。通过用户端到端评测，度量业务/网络质量、发现网络问题，明确网络端到端优化方向，调整优化网络，提升用户体验，并通过用户端到端评测来验证优化结果。

图4 面向全生命周期的“用户体验”提升策略

本工具所涉及技术方案、软件均为中国移动通信有限公司研究院自主创新研发，先后申请国家发明专利7项，申请国家软件著作权2项，中国移动通信有限公司研究院具有该成果全部自主知识产权。

4 结论及未来工作

本工具已广泛应用于中国移动全网4G网络品质众测、4G网络端到端服务监测、4G网络品质常规监测，覆盖在全国31个省，352个地市，用户数超过510万，已成为业内4G网络质量评测的重要手段。2017年本工具继续支撑4G网络质量全国众测、专项拨测和常态化拨测。

随着全网4G覆盖率持续增加，基于用户体验的业务与网络质量评测工作越来越受到运营商的重视，本工具将不断扩大测试范围和能力，继续研发更多贴近真实用户体验的测试场景和测试能力，为4G网络质量提升和5G网络架设保驾护航。

[1] 玉玲玲. 4G网络发展的关键技术与发展趋向分析[J]. 科技创新与应用, 2017,(18):89.

[2] 鲁义轩. 从关注网络转向关注用户体验4G加速下一代运维变革[J]. 通信世界, 2014(26).

[3] 范琳琳. 4G通信时代的LTE技术发展情况探讨[J]. 中国新通信, 2015(14).

[4] 王丽英. 4G时代,如何应对测试挑战[J]. 今日电子, 2014(6).

[5] 刘越.“4G”引领移动互联网创新趋势[J]. 世界电信, 2014(9).

AbstractChina Mobile researches and develops the end-to-end service and network quality evaluation tools based on user experience independently, achieving to the end-to-end service quality and performance evaluation testing. It can be tested, measured and sensed for real user experience of the commercial network. Based on user experience the 4G end-to-end service and network quality testing tools are the professional tools for service quality and mobile Internet network testing, supporting Android and iOS operating systems.The tools are close to the real use scenarios of mobile users, achieving the "user centric" end-to-end service quality evaluation testing. With the testing capabilities of basic communications, network performance,user experience, terminal performance, the tools reflect the actual service and network operation and performance quality from the view of mobile users. The multiple versions of the end-to-end service and network quality evaluation tools fully supported the acceptance test of 4G trial-commercial city, the endto-end normalization service monitoring of 4G commercial network. The tools filled in the blank of the operator’s own user experience evaluation testing tools, and received much praise.

Keywordsmobile 4G; end-to-end; user experience; service quality; network quality

The end-to-end service and network quality evaluation tools based on user experience

ZHAO Li-jun, CHONG Jing, DONG Peng, YAN Guo-jiao
(China Mobile Research Institute, Beijing 100053, China)

TN929.5

A

1008-5599（2017）10-0021-05

2017-09-18

* 中国移动集团级一类科技创新成果，原成果名称为《基于用户体验的4G端到端业务与网络质量测试工具》。