国内外教育产品的可用性评估研究综述

左伍衡，喻帅英，李苑禄

（浙江工业大学 教育科学与技术学院，浙江 杭州310023）

国内外教育产品的可用性评估研究综述

左伍衡，喻帅英，李苑禄

（浙江工业大学 教育科学与技术学院，浙江 杭州310023）

随着当代信息技术和移动互联网的飞速发展，技术在教育领域所起的推动作用也逐渐被重视，技术支持下的教育产品也有长足的进步。但当前时代背景下，对教育产品的要求不再仅仅是功能的强大，而更重视使用产品时的体验和便利。文章从产品可用性的角度出发，通过梳理国内外教育产品在可用性评估方面的研究进行分析和综述，最后总结目前教育产品的可用性评估研究中存在的不足，并对趋势进行了初步展望。

教育产品；可用性；综述

一、引言

当前信息技术和移动互联网的飞速发展，技术在教育领域所起的推动作用也逐渐被重视，技术支持下的教育产品也有长足的进步。尤其是智能终端的普及和无线网络技术的发展，移动终端的功能早已不再限于通信，越来越多的人习惯使用智能移动终端设备办公和学习，基于移动终端的教育产品是当前软件开发行业的一大热门。但时代背景不同了，用户对教育产品的要求不再仅仅是功能的强大，而更重视使用产品时的体验和便利。

建构主义认为，学习者是在学习环境的帮助下，使用必要的学习资料，通过意义建构的方式内化知识，取得学习的效果。建构主义强调学习者获取知识的情景、途径和过程，而不再仅仅是知识的单向传播，建构主义中，教育产品的角色也从知识内容的传播者转变为建构有意义的学习中的支持者和帮助者。因此，学习者使用教育产品时的“用户体验”就成为学习效果的关键因素，提升教育产品的用户体验变得更加重要。

二、相关概念

用户体验（UE：User Experience）是人们对于针对使用或期望使用的产品、系统或者服务的认知印象和回应[1]。Peter Morville曾设计一个描述用户体验要素的蜂窝图，如图1所示[2]。该图阐释了用户体验应当包含的主要因素，产品开发者进行用户体验研究时也多从这几个方面进行考虑。其中，可用性是用户体验中关键的一部分，相比于用户体验着眼于用户与产品之间的所有交互以及对交互结果的想法、情感和感知不同，可用性通常关注的是用户使用产品成功完成某任务时的能力。ISO 9241-11把可用性定义为“特定使用情境下，特定的用户完成特定的目标时，产品所表现出来的效果、效率和令人满意程度”[3]。通过这个定义我们可以推断出教育产品的可用性定义：教育产品在网络环境下，学习者在达到学习目标、完成学习任务的过程中所应具有的有效性、效率和学习者主观满意度。

可用性近几年已经成为衡量产品质量的主要因素之一，对于教育产品来说，除了考虑其教育内容本身的科学性与合理性外，其产品本身的可用性水平也是一个不容忽视的重要部分。在教育产品的开发过程中，开发者们往往只注重功能的实现和学习内容的堆叠，而轻视学习者在使用产品过程中的实际体验，忽视了产品在用户体验方面的缺陷，也并没有将可用性作为系统开发的独立项目来考虑，不能够使用户简单方便地了解和使用系统，造成了诸多的产品可用性问题和用户在产品使用过程中的困难以及产品部分性能的浪费。用户体验“以用户为中心”的核心理念与当前先进的“以学习者为主体”的理念要求不谋而合，教育产品的设计与开发也应该从有使用需求的学习者角度出发，否则即使产品的功能非常强大，内容非常丰富，但学习者使用困难，这个产品也是失败的。Butow曾认为良好的可用性设计和测试对以下4个关键业务领域产生积极影响：生产成本，客户支持成本，客户生产力，保留客户[4]。有鉴于此，本文梳理了近些年来国内外研究者在产品可用性尤其是教育产品的可用性方面的研究，希望能为提升教育产品的实际使用效率，促进学习者的学习效果，同时也为教育产品的开发商和教学实施者提供一定的参考和建议。

三、研究方法

根据研究中搜集数据的类型和方式，可用性测试的方法大致分为主观和客观测试两大类，两种方法的比较如表1所示。

常用的主观测试方法有问卷法、认知走查法、启发式评估和出声思维法等，客观测试则根据所需要的实验数据类型，选择合适的实验设备和实验方式，如动作路径分析、生理指标测试和眼动分析等。顾小清和付世容认为用户体验的好坏是用户是否接受移动学习的关键因素，为了让学习者快速地接受并适应移动学习的方式，其在研究中以信息系统成功模型和技术接受模型为基础，通过文献梳理、移动学习体验与问卷评估等方式提炼了一个综合模型，并采用模拟实地评估方法，从移动学习的目标人群中招募用户，研究影响用户接受移动学习的因素。其研究结果有助于更好地理解潜在移动学习的用户，并为其开发更适合的学习材料[5]。李东霞在系统阐述微课程与可用性的研究现状，梳理相关的可用性标准的前提下，借鉴相关标准构建微课程的可用性指标体系，并利用层次分析法确定微课程的可用性指标权重。基于初步构建的微课程的可用性指标体系，参考相关可用性评价调查问卷，形成微课程的可用性评价调查问卷，对进一步研究微课程可用性具有重要的参考价值和借鉴意义[6]。程罡等人针对移动学习资源的系统化评价方法仍然缺乏成熟模型的现状，从用户体验的角度出发，利用内容分析的研究方法来构建移动学习资源的评价模型，这对移动学习资源的设计者、开发者，以及选择、购买移动学习资源的个人和机构用户，都有一定的参考和研究价值[7]。

王波认为将可用性评价的方法引入到网络教学平台的评价中来，从真实的学习者的角度来评价网络教学平台，对于网络教学平台的完善有着一定程度的理论意义和实践意义，其研究采用启发式评估和绩效测试相结合的可用性评估方法，针对西北农林科技大学本科生所使用的新视野网络教学平台进行可用性评估[8]。虎二梅等人认为网络教学平台的可用性是影响学习效果的重要因素，发现并解决网络教学环境中的可用性问题，是促进人机交互、提高学习效率的重要途径，在分析了网络教学平台的可用性诉求后，以浙江大学Sakai开放学习平台为例，使用出声思维法、观察和访谈法等可用性测试方法进行个案研究，其研究方式和结论都值得学习平台的开发者借鉴[9]。Zaharias P和Poylymenakou A以人机交互研究领域的方法论为基础，采用问卷的形式，开发了一个面向在线学习程序的可用性评估方法，该方法使用一套结合网络与教学设计要素的概念框架，不仅包含了与在线学习程序的可用性认知因素，还关注了情感体验方面的因素，扩展了该领域在当前的实践[10]。

采用客观测试的方式，在实验室中搜集用户使用产品的数据，进行可用性评价的研究相对主观方式较少。王俊晖基于微机接口与网络通讯技术，采用虚拟仪器技术开发了一个分布式学习的心理生理反应信息测试分析系统。该系统由媒体刺激呈现、生理信号采集处理、同步记录三个子系统构成。利用该系统可以实现对学习者（被试）接受刺激后的皮肤电、脉搏、呼吸、血压、脑电波等多种生理反应信号的实时同步采集，并能将刺激内容、学习者生理反应信息及外部行为表现同步记录，具有良好的通用性。其研究成果提供了一种新的教育技术研究方法，即从心理、生理层面开展教育教学传播效果、教学媒体质量研究和评价，通过实时监测记录学生在学习过程中的多项心理生理指标的变化，实时记录学生外部行为和表情并对生理信号进行相应的分析处理，从而测定学生学习过程的情绪心理活动与注意状态，使得对教育教学传播效果、教学媒体质量的研究和评价深入到人体生理层面[11]。罗楠认为在教育领域，利用信息技术实现基于人机交互的学习，对传统教学方法和模式将产生深远的影响。在成功设计与实现人机交互学习系统后，展开了人机交互学习中儿童兴趣程度的检测方法研究。通过生理信号传感器与摄像头获取学生的皮肤电活动信号，其中皮肤电活动信号能反映情绪激活程度。研究实现了可检测儿童兴趣程度的人机交互学习系统，通过生理技术掌握儿童学习状态，最终实现提高学生学习效率的目标[12]。吴彬星等人认为可用性测试中的情绪评价方法可分为生理测量和心理测量，前者主要测量情绪的唤醒水平，如皮肤电、肌电、脑电、心率和呼吸等，而后者则测量情绪的效价及用户的掌控感，多采用自主设计问卷或已有的问卷。在实际应用中，以往对情绪的评价主要以心理测量为主，未来研究应重视生理测量的作用以及与心理测量的结合，并建立一致的评价指标和解释标准[13]。两种测试方法各有特点与优劣，片面的评估方式往往不能对产品进行综合的评估，因此在实际的可用性评估研究中建议采用主观与客观相结合的方式对测试对象进行评估。

四、研究内容

对教育产品的可用性评估在内容方面主要可以分为硬件和软件两部分。在硬件系统方面，赵锦红等人从信息技术教育的特点入手，对信息技术装备的可用性指标进行分析，给出在装备全寿命期间的不同阶段所使用的不同可用性分析模型，并着重分析了信息技术教育装备与信息技术教育之间的联系[14]。木仁认为移动学习终端的选用直接影响到移动学习的效果，因此把研究对象放在移动学习的硬件设备上，其研究详细分析移动学习终端的特征及评价标准，并对智能手机这一移动学习终端进行实际的可用性评价[15]。此外马小强也分析了可以作为移动学习终端的各种设备，对这些设备对于移动学习的支持程度进行了分析，最后综合阐述了作者对于移动学习终端选择方面的观点[16]。

在软件系统方面，余英龙将用户体验设计思想和方法应用于移动学习系统的设计和开发，并探究目标用户对系统的用户体验认可度[17]。韩晓琴认为移动学习资源作为移动学习的重要支持，其质量的优劣会直接影响学习者的学习体验及移动学习效果，因此在其研究中将可用性理论引入移动学习资源的评价过程中，确定了移动学习资源的可用性评价维度，并提出有效提高移动学习资源可用性的若干策略[18]。苑志旺将用户体验的思想融入到整个学习系统开发的流程中，探讨移动学习系统的设计模式，设计并完成了一个基于安卓系统的移动学习应用[19]。顾小清等人认为，对于微型移动学习的设计，除了考虑内容、媒体的设计之外，还需要从用户的角度对其可用性进行设计。因此，在通过广泛的资料搜集和浏览，调查分析在线学习、WAP和移动手持设备的可用性现状后，确定了微型移动学习可用性设计的原则，并从微型移动学习的特点出发，结合可用性测试的各种方法及工具，初步形成了微型移动学习可用性设计及测试的方案[20]。

Ludivine Martin和David Roldan Martinez等人发现，常用的E-Learning平台教育理论基础不足以指导学习，效率低，存在诸多可用性问题。因此，其采用启发式评估法对Moodle、Sakai和dotLRN三款主流的E-Learning开源教学平台进行可用性评估和比较，探究其在支持在线学习的有效性、在线协作的完整性和为学习者创造良好的虚拟学习空间等方面可用性程度如何。研究通过五个可用性评价方面的专家操作执行一系列教学平台的典型任务，并填写可用性测试表格[21]。李青等人讨论了教学平台的可用性测试特点和原则，并以实例说明可用性测试的方法和应用，通过研究和实验为网络教学平台的设计和开发提供支持和解决方案[22]。此外，陈锡晶使用针对APP的可用性研究模型，对辰山植物园科普导览APP进行了可用性实践研究[23]。刘丽结合成熟的界面设计原则制定针对教育APP界面元素的评价标准，并从APP下载平台中等距抽样选取30款教育APP的界面设计进行分析，归纳教育APP界面设计的共性，并对存在的不足运用理论和技术提出解决方案，得出教育APP界面设计的方法和策略[24]。

五、总结与展望

1.不足

通过对文献的回顾，笔者认为教育产品的可用性研究还存在几点不足：

（1）多数研究存在样本的局限性。首先，由于研究者的样本数据主要集中在自身所在地区，甚至自身所在的学校，样本的范围和数量偏小，因而得出的研究成果在应用范围方面有一定的局限性。此外，多数研究对控制变量的处理过于简单，没有对其差异进行研究。

（2）测试场景单一。当前的教育产品多以移动性和个性化为目标，相比于之前的产品，其突出的特点是灵活性和便携性，使用场景可以出现在学习和生活的各个角落。在实验室试验中，虽然对教育产品的测试任务会给出假定的使用场景，但这不足以证明其在实际场景中的真实表现。

2.改进策略

在以后的研究中，笔者认为还可以在以下几个方面加以改进：

（1）产品的可用性研究属于交叉学科，应该从多个学科角度进行后续的研究。

（2）多数研究因条件限制，只在实验室进行了测试，而实际场景中的测试往往能发现更多的可用性问题。Elena T.Beck等人在六种场景中进行了移动系统的可用性测试，其中五种在实验室条件下，一种在实际情景下，实验过程中要求被试进行出声思考，并对实验过程作视频记录。实验结果表明，在现实场景中的测试发现了一些至关重要的问题，而在实验室则没有发现，但实际情境下操作的实施与记录比实验室复杂得多[25]，因此在以后的研究中可以开发操作简便、效果良好的评估方法，在使用的便捷性和操作的简便性上取得相对平衡的评估方式。

（3）现有的研究多是即时性的访谈与测试，但教育产品的可用性问题也许不是短时间内能暴露出来的。同时，因为可用性是一个相对的概念，依赖于很多因素，它相对稳定却又处在不断的变化之中，所以说教育产品的可用性评估应该考虑在适当的使用背景或环境中，进行较长时间的跟踪调查。

（4）随着教育理念和时代潮流的变化，教育产品的形式和内容也在发生着改变，在硬件设计或软件使用上都有了较大的发展，因此其可用性的评估方式也应该与时俱进，例如当前流行的触屏操作方式和今后的手势操作等。可用性评估着眼于人机交互设计，而教育产品与其他领域的产品在其内容上有特殊性，良好的可用性与交互设计下，产品内容对学习与教学效果的影响也是今后的研究方向之一。

[1]百度百科.用户体验[EB/OL].http://baike.baidu. com/link?url=HMJh6ix1nVax2uy5ExnQfY9Wc0y831WQ myz -XKQ8PeD5aedSlsUMbU9V2NDswryFPDjSB971 O5ntXciXY--Ppw9eE-Esq58N5FLyC3aiTVJbCRWiD_IOeSicOIrpEvNv.

[2]用户体验的量化方法[DB/OL].http://www.alibuybuy.com/posts/17017.html.

[3]ISO 9241-11.Ergonomic requirements for office work with visual display terminals(VDT's)–Part 11:Guidance on usability[S].International Standards Organization, 1998.

[4]Eric Butow著，陈大炜、孙志超译.用户界面设计指南[M].北京:机械工业出版社，2008:60-69.

[5]顾小清,付世容.移动学习的用户接受度实证研究[J].电化教育研究,2011(6):48-55.

[6]李冬霞.微课程的可用性研究[D].金华:浙江师范大学,2015.

[7]程罡,高辉,余胜泉.基于真实用户评论信息构建移动学习资源的评价模型[J].现代远距离教育,2014(1): 43-53.

[8]王波.网络教学平台的可用性评价个案研究[D].咸阳:西北农林科技大学,2012.

[9]虎二梅,郭玉清,马海夫.开源教学平台的可用性研究——以Sakai为例[J].数学的实践与认识,2013(2):138-144.

[10]Zaharias P,Poylymenakou A.Developing a UsabilityEvaluation Method for E-Learning Applications: BeyondFunctional Usability[J].International Journal ofHuman-Computer Interaction,2009(1):75-98.

[11]王俊晖.分布式学习心理生理反应信息测试分析系统开发研究[D].广州:华南师范大学,2003.

[12]罗楠.人机交互学习系统实现及学生兴趣程度检测[D].武汉:华中师范大学,2015.

[13]吴彬星,孙雨生,张智君.产品可用性测试中的情绪评价[J].应用心理学,2015(1):87-96.

[14]赵锦红,朱小明,胡又农.信息技术教育装备的可用性分析[J].中国教育技术装备,2011(3):3-5.

[15]木仁,武俊明,斯琴图,银花.基于智能手机的移动学习终端的评价研究[J].中国教育技术装备,2013(3):38-39.

[16]马小强.移动学习终端的选择与评价[J].电化教育研究,2007(5):52-57.

[17]余英龙.基于用户体验的移动学习系统研究[D].重庆:西南大学,2014.

[18]韩晓琴.有效提高移动学习资源可用性的策略及其研究[J].电脑知识与技术,2014(35):8447-8448,8451.

[19]苑志旺.基于用户体验思想的移动学习系统的设计与开发[D].天津:天津师范大学,2012.

[20]顾小清,顾凤佳.微型移动学习的可用性设计[J].电化教育研究,2010(2):52-57,87.

[21]Martin L,Martínez D R,Revilla O,et al.Usability in e-Learning Platforms:heuristics comparison between Moodle,Sakai and dotLRN.2008.[DB/OL].http:// itakora.com/papers-y-publicaciones/.

[22]李青,刘涛,徐鹏.网络教学平台的可用性测试研究[J].现代教育技术,2009(7):105-110.

[23]陈锡晶.辰山植物园科普导览APP可用性研究[D].上海:东华大学,2014.

[24]刘丽.工效学视域下教育APP界面设计策略研究[D].锦州:渤海大学,2016.

[25]Elena T.Beck.Morten K.Christiansen,JesperK-jeldskov,Nikolaj Kolbe,Jan Stage.Experimental Evaluation of Techniques for Usability Testing of Mobile Systems in a Laboratory Setting[J].Proceedings of OzCHI,2003,Brisbane,Australia.

（编辑：鲁利瑞）

G434

：A < class="emphasis_bold"> 文章编号：1

1673-8454（2017）18-0093-04