基于Kirkpatrick模式的移动学习绩效评价设计探究

袁齐齐 李华 黄典霞

摘 要：为了完善移动学习绩效评价理论，梳理移动学习概念及特性，以及学习绩效评价在移动学习领域发展现状，通过借鉴美国 Kirkpatrick 评估模式与教学系统设计理论，探索性地提出移动学习绩效评价模式设计原则及五层次绩效评价模式，并提出绩效评价还需进一步研究的问题。该绩效评价模式与传统评价方式相比，具有两大特点：一是关注学习者动态学习过程，包括学习者知识、技能、潜能、态度、行为和实践能力的改变;二是关注学习对学习者未来长期潜在影响以及学习者完成学习后对组织和社会的影响。

关键词：移动学习;绩效评价;Kirkpatrick评估模式;评价设计

DOI：10. 11907/rjdk. 192686 开放科学（资源服务）标识码（OSID）：

中图分类号：G434文献标识码：A 文章编号：1672-7800（2020）008-0271-04

Abstract： In order to improve the theory of mobile learning performance evaluation， this paper sorts out the concepts and characteristics of mobile learning， and the current development status of learning performance evaluation in the field of mobile learning. Based on the Kirkpatrick assessment model and teaching system design theory in the United States， it proposes an exploratory study of mobile learning. The design principles of the performance evaluation model，the five-level performance evaluation model and the issues that need to be further studied in performance evaluation are put forward. Compared with traditional evaluation， the performance evaluation model proposed in this paper has two major characteristics， i.e. it focuses on the dynamic learning process of learners， including changes in learners knowledge， skills， potentials， attitudes， behaviors and practical abilities， and it focuses on the future of learning for learners，long-term potential impacts and organizational and social impacts of learners after learning.

Key Words： mobile learning; performance evaluation; Kirkpatrick evaluation model; evaluation design

0 引言

随着网络通信技术的飞速发展以及移动设备（如智能手机、平板电脑、手持阅读器、笔记本电脑等）的普及，移动学习应运而生，尤其在近年来受到了极大关注。美国新媒体联盟发布的《2012年地平线报告》中也强调移动应用程序和平板电脑将在未来一年甚至更短时间内成为教育应用中的主流。我国学者对该领域的研究始于21世纪初，也即自2000年荷兰远程教育学家Desmond[1]在我国作了年会主题报告并同期发表学术论文之后，我国开始掀起移动学习研究风潮。之后该领域的文献逐年增加，最近3年达到鼎盛，每年约有1 400篇，说明移动学习已逐渐成為当前教育研究中的热点。

1 移动学习概念及特性

移动学习最开始被认为是一种数字化学习，应用领域是远程教育[2]，也有学者认为移动学习是在数字化学习基础上发展起来的，是数字化学习的扩展。但随着移动学习开始发展出独立的支持服务系统，其逐渐演化成为基于互联网的主要学习方式之一[4]。

移动学习是指学习者通过移动设备，借助无线通信技术，可在任何时间、地点开展学习活动的一种学习方式。其形态表现为终端（如手机、平板电脑等）、内容（如微课程等）和活动（呈现翻转化与互联网化特征）3个要素[5]。其主要优势表现在学习者可根据自己的需求随时随地进行碎片化学习，内容自定、时间灵活、方式多样。与传统学习模式相比，移动学习具有对象广泛、即时性与情景化等特征。

2 移动学习绩效定义

教育领域并非是最早关注绩效的领域，企业最早关注绩效，随后才进入教育领域，绩效也随之向“学习绩效”转变。1949年，Ryle将绩效定义为“成就、行为的效益”;1994年，张祖忻[7]将“绩效”引入国内，并撰写了相关理论文章，此后开始引起教育领域的关注;2004年，AECT在定义教育技术时也强调了学习绩效，将学习绩效定义为学习者运用新知识与技术的能力[8]。

本文将移动学习绩效定义为：在一定学习任务的指引下，学习者通过移动学习在知识获取、技能提升、态度转变以及行为改变方面的情况，以及学习后对周围环境、社会、组织与学习者自身产生的积极影响。

3 绩效评价在移动学习领域发展现状

绩效评价又称为表现性评价，是“测量学习者运用先前获得的知识解决新问题或完成具体任务能力的一系列尝试”[9]，具有诊断、反馈、调节、激励和导向等功能。研究表明，其对于促进学习者学习起着重要作用，是学习模式中不可缺少的组成部分。但通过对移动学习研究文献的收集整理，当前移动学习研究热点大多集中在技术可行性分析、系统终端软件研发和理论研究等方面[10]，关于学习绩效评价方面的文献相对较少。其中，对于网络学习、远程教育等领域研究较为深入，吴岚[9]、張肖[11]、王冬[12]、田小丹[13]等学者纷纷从各自的角度提出网络学习绩效评估体系等。但在已有的移动学习绩效评价文献中，尚未形成一个统一的评价体系，而且学习绩效评价中还存在以下几个问题：各环节的评价方法不足、对移动学习动态行为关注较少[16]以及难以对长期影响进行评价等。因此，如何科学地设定学习绩效评价层次与指标成为当前移动学习发展亟待解决的问题之一。

为此，本文在借鉴企业培训领域比较成熟的绩效评价模式——Kirkpatrick模式的基础上，结合移动学习特性，探索性地提出适合移动学习特征的绩效评价模式及评价流程。

4 基于Kirkpatrick评估模式的移动学习绩效评价设计

4.1 Kirkpatrick评估模式

Kirkpatrick四层评估模式是由著名学者Kirkpatrick于1959年提出的绩效评估模型，在企业培训领域应用已较为成熟，很多学者将其应用于教育领域以从绩效角度评价学习过程[14]。其主要从反应、学习、行为、成果4个层面对学习进行评价，各层次对应的评价内容如表1所示。

该模式改善了传统学习绩效评价中重结果、轻过程的现状，不仅关注学习者学习结果，更关注学习者在学习过程中知识、技能、态度、行为等方面的动态变化情况，以及对组织、社会等周围环境产生的影响，这些特征正是目前移动学习绩效评价中所缺失的[15]。

4.2 移动学习绩效评价设计

移动学习绩效评价是指根据已有学习目标与任务，对学习过程和学习成效进行动态、科学地评估与分析，并适时作出评价[16]。基于Kirkpatrick模型的评价方式克服了传统教学评价中普遍存在的问题：重结果、轻过程，评价方式单一，客观测试多，针对行为改变的评价少，忽视学习者心理认知变化过程以及学习对学习者自身能力及周围环境的影响等。通过整理已有移动学习绩效评价文献，发现目前针对学习绩效评价设计的相关研究较少。本文借鉴现有学习绩效评价研究与实践经验，基于Kirkpatrick评估模式，对移动学习绩效评价模式作出以下设计。

4.2.1 移动学习绩效评价原则

本文提出以下设计原则：克服传统教学评价普遍存在的问题;关注学习者自身学习需求和学习目标;重点关注学习者在学习过程中的动态变化;根据移动学习的移动性、对象广泛等特点，注重学习者的个性化、学习的碎片化和随意性，以及评价方式的多元化;根据移动学习的即时性特点，在移动学习资源开发过程中，注重学习资源的短时长、娱乐性及情景性。

4.2.2 移动学习绩效评价各层次设计

笔者在Kirkpatrick模型基础上，对移动学习绩效评价各个层次进行设计。从横向来看，Kirkpatrick模型第四层——结果层考虑的是移动学习影响范围是否广泛。笔者认为，还应从纵向来看移动学习绩效，即是否对学习者未来有着长远影响。另外，学习者前期分析与定位对高绩效学习而言也非常重要，因此本文在反应层之前加入可行性层次，以下将对移动学习绩效评价各层次进行分析。

（1）可行性层次。可行性层次主要对学习者需求、学习意愿和动机进行调查。该层次在前期进行，也即进行移动学习前，针对学习者既定目标和期望设计个性化学习任务和绩效评价目标，属于诊断性评价。主要实现方法包括问卷调查法和访谈法。

（2）反应层次。这一层次评价学习者对学习资源与平台等方面的满意度，使整个评价体系开始关注学习主体的情感与个性，而不仅是功用。该层次在移动学习过程中或学习完成后进行，属于形成性评价。使用的方法主要包括问卷调查、用户访谈、评分网站评分、在线投票等。学习者主要从资源的专题化、多样化、个性化、碎片化以及平台稳定性、易操作性和安全性等方面考虑，对学习资源与平台进行打分[16] 。

（3）学习层次。学习层次主要评价学习者对学习内容（知识、技能）的掌握程度以及学习后态度的转变。该层次主要在移动学习过程中或学习完成后进行，属于形成性评价。对于一般文本类知识，使用的方法主要有小结测验、课程测验、档案袋和平台实时记录，如上线时间和次数、练习时间与平时练习得分等;对于技能类知识，则除以上方式外，还需要考虑学生将理论知识运用于实际项目的熟练程度，即对实际任务完成情况进行评价。

（4）行为层次。行为层主要是对学习者在学习后的行为转变及对学习内容的运用熟练程度进行评价，属于总结性评价。该层次在学习后或参加实践活动后进行，主要通过调查报告，从学习者能否熟练运用所学知识与技能、能否良好完成知识迁移等方面进行评价。

（5）结果层次。结果层主要是评价学习者对环境（组织及社会）产生的影响以及移动学习对学习者自身产生的长期影响。该层次在实践活动结束一段时间后进行，属于总结性评价。该层次不仅考虑了移动学习给学习者带来的横向影响，还考虑了学习对学习者现在及未来的长期纵向影响。使用的方法主要包括大数据采集、访谈法、跟踪调查等。通过运用网络信息技术与大数据技术等，可实现对学习者纵向与横向两方面的评价。但由于受到技术限制，该评价方式还未能普及。总体而言，了解学习对学习者的影响及学习者对社会、组织及环境的影响，主要还是通过对学习者跟踪访谈以及通过学习者周围家人、朋友或同事对学习者的评价加以实现。随着未来信息技术及手段的进一步成熟与普及，五层次的评估会变得更加便捷、准确、科学。

5个层次中，可能性层次属于诊断性评价;反应层和学习层属于形成性评价，这两个层次贯穿整个动态的学习过程;行为层和结果层属于总结性评价。总体而言，评价设计克服了传统教学评价的缺点，开始关注学习者学习的前期、中期及后期。

移动学习绩效评价模式中各层次特征如表2所示。

传统教学系统设计包括对学习过程进行分析、设计、开发、实施和评价5个环节[17]。本文在设计移动学习绩效评价时除强调学习者的前期分析与定位外，还强调了移動学习结果的影响范围。评估模式结果层加入了移动学习是否对学习者未来潜力有影响这一内容，即从长远时间范围内考虑移动学习绩效。鉴于此，移动学习绩效评价流程应在传统教学评价流程基础上，加入跟踪评价环节，即在学习者完成学习或参加实践活动一段时间后，追踪调查学习对学习者及其周围环境产生的长期影响，以实现全方位的绩效评价[18]。

因此，移动学习绩效评价流程可归纳为：绩效需求分析、评价系统设计、评价系统开发、绩效评价实施、绩效评价反馈、绩效评价跟踪优化[19]6个环节，以对学习者绩效进行全方位、客观、准确的评价，具体流程如图1所示。

5 结语

本文通过引入用于企业绩效评估的Kirkpatrick评估模型，对移动学习绩效评估模式进行设计，并结合移动学习自身特点，对五层次评价过程中的测量内容、评估方法、评估指标、评估时间进行深入阐述，对移动学习绩效评估流程进行归纳总结。然而，本文的不足之处在于提出的评估模型并未经过实践，尚处于理论探究阶段。相较于传统教学绩效评价，本文提出的评估模式具有更大优势，但仍存在一些亟待解决的问题。例如，如何科学、有效地评估学习者能力的转变;如何使移动学习评价平台更加适应广泛的学习对象;应根据哪些指标对学习者长期绩效进行评价，才能更加科学、客观与个性化等。相信这些问题的解决，将会进一步推动移动学习的发展。

参考文献：

[1] DESMOND K. 从远程学习到电子学习再到移动学习[J]. 开放教育研究，2000（5）：6-10.

[2] 傅骞，魏顺平，贺龙祥.  移动学习领域概念图的构建研究[J].  中国电化教育，2007（10）：96-99.

[3] 王晗. 基于微信的移动学习资源设计研究[J]. 软件导刊，2019，18（11）：183-185.

[4] 李金林. 移动学习发展及其绩效评价设计探究[J]. 中国电化教育，2017（7）：95-98.

[5] 胡立攀，李新成，唐国菊. 国内移动学习的研究现状与发展趋势[J]. 中国医学教育技术，2010，24（6）：616-619.

[6] 徐媛媛. 移动学习资源建设方案研究[J]. 软件导刊，2018，17（3）：224-226.

[7] 张祖忻. 从教学设计到绩效技术[J]. 中国电化教育，2000（7）：5-8.

[8] 贾斌，徐恩芹，张景生. 国内学习绩效研究发展综述[J]. 电化教育研究，2013，34（11）：53-58.

[9] 吴岚，钟志贤. 绩效评估：一种有效的远程教育学习评价方式[J]. 远程教育杂志， 2007（4）：14-17.

[10] 任海峰，赵君. 移动学习国内外研究现状分析[J]. 成人教育， 2010，30（1）：95-96.

[11] 张肖. 基于网络学习环境的学习绩效评价指标体系研究[D].  武汉：华中师范大学，2014.

[12] 王冬. 学习绩效的内涵及其评价研究[J]. 南昌教育学院学报，2008（2）：37-41.

[13] 田小丹. 基于移动学习的实践教学绩效评价指标体系设计[J].  实验室研究与探索，2019，38（2）：224-228.

[14] 宋慧玲，张地坷，帅传敏，等. 我国网络学习绩效研究文献的可视化计量分析[J]. 中国远程教育，2017（3）：30-36.

[15] 陈灏. 新一代无线技术、移动终端在移动学习中的应用研究——以教育部直属机关干部网络学院为例[J]. 中国教育信息化，2015（13）：76-78.

[16] 王瑞华，宋薇. 基于Kaufman绩效评价的移动学习评价研究[J]. 课程教育研究，2018（24）：254-255.

[17] 连红. 移动学习中教学设计模式的研究[J]. 现代远程教育研究，2008（1）：65-67.

[18] 姜强，赵蔚，李松，等. 个性化自适应学习研究——大数据时代数字化学习的新常态[J]. 中国电化教育，2016（2）：25-32.

[19] 祝智庭， 彭红超. 信息技术支持的高效知识教学：激发精准教学的活力[J]. 中国电化教育， 2016（1）：18-25.

[20] KIRKPATRICK D. Great ideas revisited： revisiting  kirkpatricks four-lever model[J]. Training & Development，1996，50（1）：54-59.

（责任编辑：黄 健）