移动互联网下视频时延的用户体验质量研究

谭 浩，孙家豪

移动互联网下视频时延的用户体验质量研究

谭 浩1，孙家豪2

(1. 湖南大学汽车车身先进设计制造国家重点实验室，湖南 长沙 410082； 2. 湖南大学设计艺术学院，湖南 长沙 410082)

随着移动互联网的发展，移动视频业务的迅速爆发，良好的用户体验质量(QoE)成为运营商挽留用户的关键因素。从用户体验角度，建立不同时延下移动视频业务的评价量化标准。通过情景实验模拟的方法，以平均主观意见分(mean opinion score，MOS)量表建立用户视频体验质量的实数映射关系。针对用户对视频观看时延的有效反应进行分级研究，得到以下结果：单次和多次的初始缓冲时延和卡顿时延对用户观看移动视频的影响并建立用户体验质量评价等级。在短视频中出现单次时延在4 s以上，用户会出现负面情绪；在相同延迟时长下，单次的初始缓冲时延的用户体验质量略优于卡顿时延；对于在一定播放时长的移动视频业务中出现多次卡顿，卡顿时延短但是间隔频繁的体验质量比卡顿时延长但是间隔时间长的体验质量要更差。

移动互联网；体验质量；缓冲时延；卡顿时延；平均主观意见分量表

等待对于用户来说是一种经常不可避免的体验，并且是对服务满意度和客户忠诚度的决定因素[1]。移动视频业务出现的时间延迟则是影响用户体验最重要的因素之一[2]，其通常被定义为系统延迟[3]或系统响应时间[4]。不同时延会直接影响用户对移动视频服务提供商的选择。随着基于IP的语音传输(voice over internet protocol，VoIP)以及支持视频显示的移动设备和无线网络(WLANS和3G/4G)的广泛应用，导致视频流量的使用有了迅速增加的趋势，不久，通过网络传输的视频内容将达到90%[5-6]。但是移动视频飞速发展的同时也遇到问题，相对于桌面端的视频业务拥有稳定的网络环境，移动端的视频业务面临更复杂的网络环境和应用场景，用户对时延的体验要求更高。然而业界关于移动视频时延体验质量的好坏并无统一标准；传统网络以容量和覆盖为核心的建设模式也遭遇挑战，出现了网络关键性能指标(key performance indication，KPI)很好但用户体验不佳的问题。因此，确定统一的用户移动视频业务体验质量指标(quality of experience，QoE)，从而为网络故障定位和网络质量优化提供基础和依据成为一个迫切解决的问题，本文提炼出导致视频时延中的关键因素，通过实证实验的量化方法，分析用户视频体验质量，提出体验质量评价标准。

1 用户体验质量与时延

1.1 用户体验质量(QoE)

QoE的研究，在各种移动视频服务中发挥重要的作用，其通常是描述用户整体满意度，反映用户使用(多媒体)系统、服务或应用程序的满意或厌烦的程度[7]。还有其他解释，如QoE是评估用户对不同设备上显示内容的满意度[8]；国际电信联盟定义QoE为：终端用户对整个应用或者服务整体的主观可接受程度[9]；在文献[10]中，QoE被定义为：用户体验一个系统的整体性能。QoE测量系统涉及不同类型的技术和非技术的因素，与服务准备、交付和呈现有关，面对移动视频业务日益增加的需求，QoE维持在可接受的水平上具有巨大的挑战。分析上述几个定义，可以总结出QoE是用户和服务或者应用交互的过程中产生的一种主观感受。因此，确定时间延迟的维度，建立移动视频业务的时延体验质量评价标准，具有重要的理论和实践意义。

1.2 时延

由于系统延迟是由系统本身和瞬态因素造成的[3]，用户受其影响，导致体验不佳[11-12]。近些年来，许多研究发现有2个因素可以影响用户在延迟期间的体验和表现：①是延迟长度；②是延迟变化[13-14]。漫长的等待时间对用户的性能和体验是有害的，对用户的整体满意度产生不良影响[15-16]。视频加载时间和卡顿次数是影响用户视频业务体验质量的2个关键因素[17]，二者的用户体验往往来源于用户感知到的时间长短。用户所感知的时间即为时间知觉，是人们对时长的主观感受和心理体验[18]，而移动视频播放中出现的时延就是用户时间知觉中时距的一种体现。方浩等[18]研究发现，移动端加载动效均对降低等待焦躁感产生正向影响并且加速条件下用户时距知觉最短；刘江波和袁徐庆[19]提出AR的APP加载页面提前进入互动体验，能够很好地掩护加载状态，减少用户对时间的感知。谭浩等[20]基于用户电生理信号变化对不同卡顿占视频时间比进行用户体验研究，发现15%的卡顿占比体验较好，到达23%以上用户不能忍受。但是，上述研究中多数只考虑了单次时延或短时间时延对用户的影响及相关设计策略，并没有考虑多次时延的对用户影响并用户体验质量质模型。因此，在移动视频业务构建各种延迟的体验质量模型，对于用户体验至关重要。本文将移动视频业务中时延的因素分为初始缓冲时延(用户点击播放按钮到视频开始播放前的一段时间)和卡顿时延(在视频播放中出现的停滞的次数与时长)，并针对2个指标进行实验配比设计。

1.3 QoE量化方法

为了更好地研究QoE与时间延迟因素之间的关系，需要将其量化，建立QoE到实数的映射关系，更准确地反映QoE与时间延迟因素的关系。STEVENS和VOLKMANN[21]将测量(或者量化)的水平分为４个等级，即类别量表、顺序量表、等比量表及等距量表，而前三者测量方法更加适合QoE的特征。文献[22]采用类型量表的方法，将QoE分为可接受和不可接受2个级别；文献[23]提出了成对比较法，对测试样本进行两两比对后再对QoE进行量化，属于等距量表法，二者皆有一些缺陷。本文量化方法采用的是基于是国际电信联盟(International Telecommunication Union，ITU)建议的平均主观意见分(mean opinion score，MOS)[24]，将QoE的主观感受分为5个层次，细致地描述了用户的主观感受，是一种顺序量表法，是评估视频体验质量最常用的方法。MOS方法使用包括“坏”、“差”、“中”、“好”和“优”的评价质量等级，并将其转换为数值1，2，3，4和5来进行实数的映射(表1)，不仅相比两类法对用户的主观感受描述的更加细致，而且相较于成对比较法所准备的实验素材更加适中。

表1 平均主观意见分量表

2 实验设计

2.1 实验素材与被试

本文实验中2两个任务研究视频QoE和时延之间的关系：任务1是比较不同时间长度下，在视频播放中出现单次初始缓冲时延和卡顿时延对用户体验质量的影响；任务2是比较在单次卡顿时长、卡顿次数和卡顿后视频流畅播放时长三者不同配比的情况下，多次卡顿时延对用户体验质量的影响。

影响视频QoE的因素有很多，有研究划分为技术性能、可用性、主观评估、期望和背景5个类别。文献[25]指出，影响用户感知的因素还包括主观质量指标和客观质量指标，主观质量指标包括移动设备的属性(网络连接质量、屏幕尺寸、设备性能)、用户的目的与兴趣、视频播放的内容、时长以及环境的影响(照度、温度、观看距离)。因此本文实验在实验室环境中进行，保证光线柔和(100 LUX左右)温度舒适(18~25℃)，噪声恒定为50 Hz左右，实验设备选取iPhone 6 Plus手机(5.5 in，400 ppi)用于播放实验视频片段；视频素材利用视频编辑软件模拟在移动网络中的缓冲时延和卡顿时延。采用1080 P分辨率并覆盖新闻、综艺与娱乐、原创、动画、体育和纪录片6种视频类型供用户自主选择，视频时长在单次时延体验中为20 s，多次时延体验为6 min，综上设置主要为减少主观质量指标对用户体验的影响。客观质量指标包括初始缓冲时延、卡顿时延和卡顿次数。用户在完成实验后，利用MOS主观测评表对每段实验视频片段进行评分。

本文研究中有38名参与者(21名男性、17名女性)，年龄介于18~55岁(男=21，SD=10)均是有经验的移动设备用户，平均每人使用网络6年。所有参与者接受视觉疲劳测试并填写个人基本信息表之后，其中30名(15名男性、15名女性)有资格参加本文研究，80%的参与者经常使用移动设备观看视频。

2.2 实验流程

任务1.单次初始缓冲时延和卡顿时延实验。

首先请用户调整最舒适的位置并将手机摆放到最合适用户的距离，用户被告知实验测试过程和实验的目的；如图1(a)所示，用户选择一个长度为20 s最感兴趣类型的视频并点击播放按钮开始观看。每个视频素材最开始都有一个秒的初始缓冲时间(时延配比见表2)。参与者需要根据对不同素材的体验对其进行5分到1分的MOS评估。当MOS得分达到1分时，实验结束。

图1 任务1流程图

表2 任务1时延配比(s)

同样如图1(b)所示，用户选择一个长度为20 s最感兴趣内容的视频并点击屏幕播放按钮。视频开始播放5 s流畅的画面后出现秒的卡顿时延(时延配比见表2)，最后直到视频继续播放完成。参与者根据对不同素材的体验进行5分到1分的MOS评估。

任务2.多次卡顿时延实验

如图2所示，用户首先调整最舒适的位置并将手机摆放到最合适的距离，告知用户实验测试过程和实验的目的。用户选择一个长度为6 min的最感兴趣类型的视频并点击播放按钮观看视频。视频播放秒后，出现秒的卡顿时延。视频继续播放秒直到发生下一次卡顿时延，以此循环。参与者需要根据自身体验对时延进行5分到1分的MOS评估，当被试MOS评分为1分时，实验结束。的时长为任务1的单次卡顿时延的MOS分数为5，4和3所对应的时间；的时长为2 s，4 s，8 s，16 s，32 s，64 s和128 s，卡顿次数为1~20次。

图2 任务2流程图

3 结果与分析

如图3所示，将任务1中的初始缓冲时延和卡顿时延在移动网络环境下的用户体验MOS分进行了平均处理后，发现缓冲时延和卡顿时延的总体趋势几乎相同，但是在时延时间相同的情况下，缓冲时延的MOS分普遍高于卡顿时延，表明用户在模拟移动互联网环境中观看视频时，缓冲时延的容忍度比卡顿时延的更高。在对缓冲时延和卡顿时延进行了单因素方差分析，并将12个等待时间长度作为因子水平后，发现其对用户体验质量有显着的主要影响((2, 30)=11.105；=0.001；partial2=0.425)。当延迟时间1=0.1 s时用户有最好的体验，被试的MOS评分最高。当初始延迟时间不超过0.5 s时，用户拥有较好的用户体验，所有评分均高于4.5；当卡顿时延2=1 s时，MOS分数降至4；当卡顿时延3=3 s时，MOS分数降至3。当平均时延时间超过4 s时，MOS分数用户大多数反映为负面情绪。如果时延超过10 s，实验中用户都表现出对视频播放情况的零容忍并拥有了糟糕的用户体验。

针对任务2中多次卡顿时延对用户体验质量的影响，单次卡顿时延为任务1对应的MOS分数(1=0.1 s，2=1 s和3=3 s)，为了测试在移动网络环境下多次卡顿时延对观看体验产生影响，对7种不同的视频流畅播放的时长(2 s，4 s， 8 s，16 s，32 s，64 s和128 s)和卡顿次数(1~20次)进行了双因素的方差分析，当单次卡顿时延为0.1 s时，视频流畅播放时长和卡顿次数对MOS分数有显著的影响且其间有相互作用[(1,29)=8.114，<0.001，2=0.727]。当单次卡顿时延为1 s时，视频播放时长(<0.001)和卡顿次数(<0.001)之间对MOS分数有显著的影响[(1,29)=7.145，=0.000，2=0.684]。从3 s单次卡顿时延数据分析[(1,29)=8.024，=0.000，2=0.519]也具有显著的影响。

图3 任务1实验结果

如图4所示，在卡顿次数和视频流畅播放时长相同的情况下，单次卡顿时延越长，用户MOS评分就越快到达1分并且对卡顿忍耐的次数会降低，对用户体验质量影响就越大。例如，当视频流畅播放时长都为32 s时，图4(a)中单次卡顿时延为0.1 s，用户忍耐卡顿次数的数量为10次并且MOS分为2.87分；图4(b)中单次卡顿时延为1 s，用户忍耐卡顿次数的数量为10次并且MOS分为2.1分；图4(c)中单次卡顿时延为3 s，用户忍耐的卡顿次数的数量为8次，用户的MOS评价到达了1分。

图4 任务2实验结果

在其他条件相同的情况下，视频流畅播放时长变短或卡顿次数的增多都会对用户的行为和心理产生不利的影响；并且卡顿时延的一定的情况下，视频播放中卡顿时延短，且间隔频繁的体验质量比卡顿时延长但是间隔时间也长的视频体验质量要更差。如图4所示，在视频播放流畅的时长从2 s到16 s的范围内，随着时间长度变短，卡顿的次数的增多，用户的MOS分评价会迅速降低。例如，在图4(a)中，当视频播放流畅时间为4 s、单次卡顿时延为0. 1 s、用户的MOS分为1分的时候，卡顿的次数为10次；但是当视频播放流畅得时间延长至16 s时，用户的卡顿的忍耐次数增加到15个。在图4(b)中，当视频播放流畅时间为4 s、单次卡顿时延为1 s、用户的MOS分为1分的时候，卡顿的次数为8次，当视频播放流畅得时间延长至16 s时，用户的卡顿的忍耐次数仅为11个；图4(c)中也是相同趋势变化。但是当视频流畅播放时间超过16 s，延长到32 s以上时，用户的MOS分数不会随着卡顿次数的增加而迅速下降；如图4(a)所示，当视频流畅播放时间为2 s时，卡顿次数从1次增加到3次，MOS分数下降0.64分，而在128 s的视频流畅播放的素材中，分数仅下降0.1分，MOS分数相差不大。如图4(b)所示，当视频流畅播放时间为2 s时，卡顿次数从1次增加到3次，MOS分数下降0.87分，而在128 s的视频流畅播放的素材中，分数也仅下降0.1分。如图4(c)所示，当视频流畅播放时间为2 s时，卡顿次数从1次增加到3次，MOS分数下降1.07分，而在128 s的视频流畅播放的素材中，分数仅下降0.43分。

4 结束语

本文研究分析了在移动网络环境下影响观看视频体验的最重要的两个因素：初始缓冲时延和卡顿时延。通过对视频播放中出现的单次和多次的时延实验设计，得到了移动视频业务下，时延的单次和多次的用户体验质量的MOS分评价标准，单次时延在4 s以上，用户会体验质量变差；在相同延迟下，单次的初始缓冲时延的用户体验质量略优于卡顿时延；在一定播放时长的移动视频业务中出现多次卡顿，卡顿时延短但是间隔频繁的体验质量比卡顿时延长但是间隔时间长的体验质量要更差。移动视频业务的用户体验质量标准使运营商直观的对业务进行评价，为优化网络结构、合理分配网络资源，定向输出网络优化套餐的服务与优化提供了数据支持，并且提升用户业务体验质量并增加用户忠诚度。

本文研究也存在一定的局限性：①本次实验用户均选择有多年移动视频使用大学以上的青年，没有考虑个体的认知因素和人格因素，而是用移动视频的用户非单一群体；②本次实验研究并未考虑视频播放的总时长对用户体验质量的影响，不同时间长短的视频可能对用户时延体验有影响，将在后续的研究中进一步讨论。

[1] PRUYN A, SMIDTS A. Effects of waiting on the satisfaction with the service: Beyond objective time measures[J]. International Journal of Research in Marketing, 1998, 15(4): 321-334.

[2] LEE D, MOON J, KIM Y J, et al. Antecedents and consequences of mobile phone usability: linking simplicity and interactivity to satisfaction, trust, and brand loyalty[J]. Information & Management, 2015, 52(3): 295-304.

[3] SZAMEITAT A J, RUMMEL J, SZAMEITAT D P, et al. Behavioral and emotional consequences of brief delays in human–computer interaction[J]. International Journal of Human-Computer Studies, 2009, 67(7): 561-570.

[4] DABROWSKI J, MUNSON E V. 40 years of searching for the best computer system response time[J]. Interacting with Computers, 2011, 23(5): 555-564.

[5] BEGEN A, AKGUL T, BAUGHER M. Watching video over the web: part 1: streaming protocols[J]. IEEE Internet Computing, 2011, 15(2): 54-63.

[6] Index C V N. Forecast and methodology[EB/OL]. (2013-10-08) [2019-07-15]. https://d2sr9p9v571tfz. cloudfront.net/upload/images/10_2013/131028130134.pdf.

[7] BRUNNSTRÖM K, BEKER S A, DE MOOR K, et al. Qualinet white paper on definitions of quality of experience output from the fifth qualinet meeting[EB/OL]. (2013-03-12) [2019-07-15]. http://www.qualinet.eu/images/stories/QoE_whitepaper_v1.2.pdf.

[8] MÖLLER S, EDITORS R A. Quality of experience: advanced concepts, applications and methods[M]. Berlin: Springer, 2014: 11-12.

[9] International Telecommunication Union. Definition of quality of experience (QoE)[EB/OL]. (2007-02-06) [2019-11-01]. https://www.itu.int/md/T05-FG.IPTV-IL- 0050/en.

[10] GARCIA M, CANOVAS A, EDO M, et al. A QoE management system for ubiquitous IPTV devices[C]// 2009 3rd International Conference on Mobile Ubiquitous Computing, Systems, Services and Technologies. New York: IEEE Press, 2009: 147-152.

[11] CEAPARU I, LAZAR J, BESSIERE K, et al. Determining causes and severity of end-user frustration[J]. International Journal of Human-Computer in Studies, 2004, 17(3): 333-356.

[12] NAH F F H. A study on tolerable waiting time: how long are web users willing to wait?[J]. Behaviour & Information Technology, 2004, 23(3): 153-163.

[13] KUHMANN W. Experimental investigation of stress-inducing properties of system response times[J]. Ergonomics, 1989, 32(3): 271-280.

[14] KUHMANN W, BOUCSEIN W, SCHAEFER F, et al. Experimental investigation of psychophysiological stress-reactions induced by different system response times in human-computer interaction[J]. Ergonomics, 1987, 30(6): 933-943.

[15] SEOW S C. Designing and engineering time: the psychology of time perception in software (adobe reader)[M]. Hoboken: Addison-Wesley Professional, 2008: 16-20.

[16] SIMOENS P, VANKEIRSBILCK B, DEBOOSERE L, et al. Upstream bandwidth optimization of thin client protocols through latency‐aware adaptive user event buffering [J]. International Journal of Communication Systems, 2011, 24(5): 666-690.

[17] KHAN A, SUN L, JAMMEH E, et al. Quality of experience-driven adaptation scheme for video applications over wireless networks[J]. IET Communications, 2010, 4(11): 1337-1347.

[18] 方浩, 李梦凡, 王中, 等. 移动端加载动效时距知觉影响机制研究[J]. 图学学报, 2019, 40(4): 746-750. FANG H, LI M F, WANG Z, et al. Study on effect mechanism of time-distance perception on motion loading of mobile terminal[J]. Journal of Graphics, 2019, 40(4): 746-750 (in Chinese).

[19] 刘江波, 袁徐庆. 移动端增强现实产品的加载设计研究[J]. 工业设计, 2019, 150(1): 131-133. LIU J B, YUAN X Q. Study on loading design strategy for mobile augmented reality products[J]. Industrial Design, 2019, 150(1): 131-133 (in Chinese).

[20] 谭浩, 梁晨曦, 孙家豪, 等. 基于生理电的移动视频卡顿占比体验的研究[J]. 包装工程, 2017, 38(2): 120-126.TAN H, LIANG C X, SUN J H, et al. Mobile video lag-time proportion experience based on physiological signal[J]. Packaging Engineering, 2017, 38(2): 120-126 (in Chinese).

[21] STEVENS S S, VOLKMANN J. The relation of pitch to frequency: a revised scale[J]. The American Journal of Psychology, 1940, 53(3): 329-353.

[22] MENKOVSKI V, OREDOPE A, LIOTTA A, et al. Predicting quality of experience in multimedia streaming[C]//Proceedings of the 7th International Conference on Advances in Mobile Computing and Multimedia. New York: ACM Press, 2009: 52-59.

[23] CHEN K T, WU C C, CHANG Y C, et al. A crowdsourceable QoE evaluation framework for multimedia content[C]//Proceedings of the 17th ACM International Conference on Multimedia. New York: ACM Press, 2009: 491-500.

[24] ITU-T. P.800: Methods for subjective determination of transmission quality[EB/OL]. (1996-03-12) [2019-07-15]. https://www.itu.int/rec/dologin_pub.asp?lang =e&id=T- REC-P.800-199608-I!!PDF-E&type=items.

[25] 王泽朋. 面向网络视频的体验质量测量方法研究与应用[D]. 长沙: 湖南大学, 2018. WANG Z P. Research and application of quality of experience measurement method for network video [D]. Hunan: Hunan University, 2018 (in Chinese).

Research on user experience quality about the time delay of videos on mobile internet

TAN Hao1, SUN Jia-hao2

(1. State Key Laboratory of Advanced Design and Manufacture for Vehicle Body, Hunan University ,Changsha Hunan 410082, China; 2. School of Design, Hunan University, Changsha Hunan 410082, China)

With the development of mobile Internet and the rapid growth of mobile video services, satisfactory quality of experience (QoE) has become a key factor for operators to retain users. Quantitative evaluation criteria was established for mobile video services with different kinds of time delay from the perspective of user experience. According to the method of scenario simulation, a real mapping relationship of the user experience quality was proposed in the subjective scale form of the mean opinion score (MOS). Then a hierarchical study was taken on users’ effective response to delayed videos. The effect of single and multiple initial buffer time and stalling time on user experience quality was obtained. Besides, the evaluation level system of user experience quality was created. In a short video, negative user experience occurs when there is a single delay longer than four seconds. Under the circumstance of the same delay duration, the user experience quality of the initial buffer time is slightly better than that of the stalling time. If many delays occur in a certain mobile video service, compared with a lower frequency of long delays, the short but frequent delays will bring more negative experience to users.

mobile internet; user quality of experience; initial buffer time; stalling time; mean opinion score subjective scale form

TP 391

10.11996/JG.j.2095-302X.2020030350

A

2095-302X(2020)03-0350-06

2019-11-04；

2019-12-02

湖南省社会科学基金项目(2010YBA054)；湖南省研究生科研创新项目(CX2016B111)；湖南大学青年教师成长计划项目资助

谭 浩(1977-)，男，四川宜宾人，教授，博士，博士生导师。主要研究方向为汽车设计、人机交互等。E-mail：htan@hnu.edu.cn