一种基于操作轨迹模型的移动应用易用性评估方法

成静, 朱怡安, 张涛, 杨艳丽

(1.西北工业大学 计算机学院, 陕西 西安　710072; 2.西北工业大学 软件与微电子学院, 陕西 西安　710072)



一种基于操作轨迹模型的移动应用易用性评估方法

成静1,2, 朱怡安1, 张涛2, 杨艳丽2

(1.西北工业大学 计算机学院, 陕西 西安710072; 2.西北工业大学 软件与微电子学院, 陕西 西安710072)

摘要：由于各种移动智能设备特征各异、操作方式多样、使用环境复杂、用户类型众多等诸多因素,使得移动应用的易用性评估问题非常突出。文章试图探索基于用户操作轨迹的移动应用易用性评估方法。该方法通过构造用户操作轨迹状态机模型,比较分析用户真实操作轨迹模型与预期的标准操作轨迹模型之间区别,评估和发现可能的易用性问题。

关键词：移动应用测试;易用性;状态机模型;易用性度量

随着移动应用市场竞争的日益激烈,对移动应用的质量要求日益苛刻和严格[1]。易用性是评价移动应用交互体验的重要指标,有助于提升用户满意度,增加用户黏度[2]。与传统应用软件相比,由于存在交互操作模式较多、使用环境复杂、受屏幕大小限制、用户数量众多等特点,移动应用易用性评估日趋重要和困难[3]。

当前易用性评估方法研究仍主要集中在实验室评测[4]和现场评测方面[5]。但这两类方法对移动应用易用性评测并不充分。首先,移动设备种类繁多,处理能力不尽相同，且屏幕尺寸、触屏灵敏度等都会影响移动应用易用性。其次,由于移动应用使用环境复杂多样,并且可能持续变化。最后,移动用户类型众多,用户的知识背景、年龄、身体状况等,也都可能影响移动应用易用性。受限于测试成本和时间,传统实验室评测和现场评测方法均难以全面、准确评估移动应用易用性。

基于操作轨迹的易用性评估方法,则通过自动收集用户操作轨迹日志,分析识别用户使用障碍,研究评估移动应用易用性[6]。本文在用户操作轨迹模型基础上,定义了一组移动应用易用性评估指标,实现了真实用户使用场景下的大规模、自动化的移动应用易用性评估,使评估方法更为高效、客观、准确和低成本。

1移动应用操作轨迹模型

1.1Android操作轨迹日志

在Android的用户接口系统中,“Activity”定义了用户交互窗口,通常附有一个视图(“View”),通过该视图来响应用户操作事件消息。“Activity”也可以附有对话框“Dialog”或者菜单“Menu”,以接收用户操作事件。在Android系统中,视图、对话框、菜单等不同窗口容器允许接收和处理不同类型的消息,如表1所示。

表1　Android事件类型表

Android移动智能设备有返回键、菜单键、Home键和搜索键等系统健,这些系统健对所有移动应用都适用。Android图形接口系统只处理其注册的事件消息,而忽略未注册的事件消息。

1.2移动应用操作轨迹模型

移动应用操作轨迹模型是根据操作轨迹日志,对用户的移动应用交互操作过程的描述。这里,移动应用操作轨迹模型定义为一个扩展状态机O{S,E,T,I,F}。

S:操作状态集。在移动应用中,将每个独立用户界面视图定义为一个操作状态。在Android中,“View”、“Dialog”、“Menu”均可定义为操作状态。

E:操作事件集。在移动应用中,将用户对移动应用的操作事件定义为其操作事件,如“点击菜单”、“点击按钮”等。操作事件属性包括:事件名称、参数、操作对象、触发时间等。

T:状态转换函数。状态转移函数用以描述移动应用从一个状态(视图),在操作事件触发下,迁移到另一个状态(视图),即状态转换函数描述了状态之间可能的转换规则。

I:初始状态。通常将移动应用启动后的第一个状态称为其初始状态。

F:一组结束状态,表示移动应用退出或者任务完成时的状态。

移动应用操作状态机模型描述了移动应用所有可能的操作轨迹。为了分析移动应用易用性,针对某个任务,在期望的理想情况下的用户操作轨迹状态机,定义为基本操作状态机。而根据测试用户实际操作过程,生成的操作状态机实例,定义为用户操作状态机。通过对比分析基本操作状态机与用户操作状态机之间的差别,有助于评估移动应用易用性。例如,图1描述了一个基本操作状态机,图2是用户操作状态机。二者相比较,基本操作状态机可通过较少的状态和操作事件完成任务,而用户操作状态机则增加了一个新的状态S4和多个操作事件。

图1　基本操作状态机

图2　用户操作状态机

2移动应用易用性评价模型

在进行易用性分析时,首先通过监听用户操作日志,建立用户实际操作轨迹状态机模型,然后对比用户实际操作状态机与基本操作状态机之间的差异,分析和评价移动应用的易用性。这里,基于操作效率、正确性、可学习性、可记忆性等,定义了如下一组易用性度量指标:

1) 返回率Rb:用户退回之前状态的概率。返回率描述了针对某个用户任务,当用户操作失误时,返回到前一状态的频率。即用户返回操作数Cregressive-operation与基本操作数Cbase-operation之比。这里的返回率特指当用户点击“返回键”而触发的用户操作状态回退,即

(1)

2) 偏离率Rd:用户在任务执行的过程中,偏离预期操作序列的操作数与完成该任务的基本操作数的比率。其中偏离操作数可以由用户操作数Cuser-operation与基本操作数Cbase-operation之差计算,即

(2)

3) 首次成功率Rf:是指用户执行任务时,在各个状态下,第一次操作成功的个数与基本操作数的比率,它可反映用户是否能够快速掌握移动应用的操作模式。

(3)

4) 学习次数Co:是指用户从第一次执行任务开始,平均执行多少次任务后,能够达到稳定操作状态,即用户操作状态机接近或者与基本操作状态机一致。

5) 熟练度Rp:在用户稳定操作状态情况下,其任务平均完成时间Tuser与基本操作模型的任务预期完成时间Tbase之比,即

(4)

6) 记忆度Rr:是指用户在长时间不用的情况下,当再次操作时平均完成时间Tuser-re与基本操作模型的任务预期完成时间Tbase之比,即

(5)

3实例研究

为了验证本文所提出方法的有效性,选择开源的移动应用杏林书童作为实例研究对象。招募了20名本科生和研究生作为实验人员,其中10人来自计算机相关专业,10人来自非计算机专业,有10名男性,10名女性,年龄分布在19到27岁之间。所有测试人员均使用自己的Android智能手机,安装具有操作轨迹日志监听功能的杏林书童移动应用。

杏林书童是一款中医方济速查移动应用,我们设计了一个用户操作任务。该任务在杏林书童的首页,选择辩证类别“气血双补”,并在气血双补类别中选择方剂“八珍汤”,然后修改“八珍汤”中人参的药量为11克。该任务的具体操作步骤如表2所示,其对应的基本操作状态机如图3所示。然后分别请20名学生独立完成该操作任务,生成每个用户的操作状态机,图4是其中某一个用户的操作状态机模型。对比分析发现,该用户在状态S4时,存在操作迟疑、误操作多等易用性问题。

表2　杏林书童任务操作描述表

图3　杏林书童基本操作状态机

图4　杏林书童用户操作状态机

通过分析20名学生的操作轨迹模型与基本操作轨迹模型之间的差异,应用所提出的评价模型,评估结果如表3所示。根据表3,用户操作返回率和偏离率较高,首次成功率较低,平均需要3.45次才能熟练操作。熟练操作后平均用户操作时间接近标准操作时间,并且用户记忆度较好。

表3　杏林书童易用性评价结果

4结论

本文提出的基于轨迹的移动应用易用性评测方法,能够支持大规模、远程、低成本的易用性分析和评估,帮助发现移动应用易用性存在的缺陷和问题。下一步,将基于本文的模型与算法,研究和开发相关的工具软件,开展大规模实验,进一步验证所提出方法的有效性。

参考文献：

[1]Jerry Gao, Bai X, Tsai W T, et al. Mobile Application Testing: A Tutorial[J]. IEEE Trans on Computer, 2014, 47(2): 26-35

[2]Ahmed Seffah,Mohammad Donyaee, Rex B, et al. Usability Measurement and Metrics: A Consolidated Mode[J]. Software Quality Journal, 2006, 14: 159-178

[3]Gafni R. Usability Issues in Mobile-Wireless Information Systems[J]. Issues in Informing Science and Information Technology, 2009, 6: 755-769

[4]Hussain A, Kutar M. Usability Metric Framework for Mobile Phone Application[C]∥The 10th Annual Post Graduate Symposium on The Convergence of Telecommunications, Networking and Broadcasting, 2009: 456-462

[5]Coursaris C K, Kim D J. A Meta-Analytical Review of Empirical Mobile Usability Studies[J]. Journal of Usability Studies, 2011, 6(3): 117-171

[6]Ma Xiaoxiao, Yan Bo, Chen Guanling, et al. Design and Implementation of a Toolkit for Usability Testing of Mobile Apps[J]. Mobile Networks and Applications, 2013, 18: 81-97

Evaluating Usability of Mobile Applications Based on User Operation Track Model

Cheng Jing1,2, Zhu Yian1, Zhang Tao2, Yang Yanli2

1.School of Computer Science, Northwestern Polytechnical University, Xi′an 710072, China 2.School of Software and Microelectronics, Northwestern Polytechnical University, Xi′an 710072, China

Abstract:With the fast evolution in the development of applications for mobile smart devices, the study and adequacy of usability evaluation methodologies in this context is becoming an increasingly demand. Traditional laboratory based usability testing is often tedious, expensive, and does not reflect real use cases. In this paper, a novel remote usability evaluation approach has been proposed for mobile applications. This approach automatically collects user interface events as the user interacts with the applications, and then models user operation tracks using state machine. By analyzing and comparing real user operation state machines with expert operation state machine, we evaluate mobile applications with some proposed usability metrics, and find usability faults.

Keywords:mobile testing; mobile usability; usability testing; usability evaluation

收稿日期：2016-03-20

基金项目：陕西省工业科技攻关项目(2016GY-100)资助

作者简介：成静(1982—)，女，西北工业大学博士研究生，主要从事软件测试、软件安全性研究。

中图分类号：TP311.5

文献标志码：A

文章编号:1000-2758(2016)04-0720-04