论企业移动学习效果评价体系的构建

杨红英，徐跃明

(云南大学　工商管理与旅游管理学院，云南　昆明　650091)



论企业移动学习效果评价体系的构建

杨红英，徐跃明

(云南大学工商管理与旅游管理学院，云南昆明650091)

摘要：以唐纳德·柯克帕特里克(Donald L. Kirkpatrick)教授提出的四层次评价模型为理论基础，根据移动学习区别于传统培训的特点，力图构建包含学习平台、学员、企业等较完善的移动学习效果评价体系和操作流程，并提出相应的保障措施，以期为企业移动学习效果评价提供有益借鉴。

关键词：移动学习；评价体系；柯式四层次评价模型

随着移动互联网技术的迅速发展和移动互联网设备的快速普及，企业培训理念、方法和手段都发生了翻天覆地的变化，以移动通信设备为主要学习工具的移动学习已走入人们视野，移动学习(M-learning)概念已成为信息时代最为引人注目的学习方式。其打破了传统培训的时空限制，并能提供个性化的培训服务，成为突破传统培训的重要模式，能够帮助员工更加灵活自由地接受培训内容，完成培训任务。由于移动学习的内容及学习方式与传统培训有很大差异，传统培训的学习效果评价体系显然不再适用。因此，如何构建适应移动学习模式的培训效果评价体系，更好地评价员工学习效果，进一步提升员工绩效已成为企业人力资源开发的重要内容。

一、无法针对移动学习特点的传统培训效果评价体系存在诸多弊端

传统的员工培训主要采取面授的方式，学员在学习时多半被动接受，学员培训效果评价主要以考试为主，传统培训效果评价主要针对学员在培训兴趣和态度、培训过程中的努力程度、培训后的行为改变、培训后的企业收益等方面进行评价，基本上按培训的时序逻辑来展开。[1]这对于传统的培训模式来说无可非议，因为传统培训就是按照时间逻辑顺序来安排计划、实施和评价的。而移动学习模式的主要特点在于：一是学习设备的可移动性，由于移动学习主要依靠智能手机、PAD、掌上电脑等便携移动终端进行学习，移动设备的属性和人机交互的体验都会对移动学习的效果产生重要影响；二是学习方式的自主性、灵活性、碎片化，移动学习在学习方式上可以说是对受训者的一种解放，在时间、地点上对受训者的限制很小，给予受训者很大的自主空间，但这种特殊学习方式也对受训者的自主学习能力提出了更高要求，移动学习模式下，受训者的学习时间往往是灵活的、碎片化的，不必占用整块时间来学习培训内容，学习方式更加灵活。由此，当用传统学习效果评价体系来评价移动学习时必然产生诸多弊端。

一是学习资源不同。移动学习模式下，学习资源是数据化、网络化的，其存在形式主要以数据库和云平台技术作为支撑，这样的数据形式保证了移动学习模式下的学习资源更加丰富多样，打破了传统培训学习资源的有限性，如果仍用传统评价体系显然无法客观科学地对移动学习效果进行评价的。二是交互方式不同。移动学习模式下，员工主要面对移动通信设备进行学习，虽然可以通过移动设备实现学员之间、学员与教师之间的互动，但绝大多数情况下移动学习的交互方式是人机交互。传统培训主要以集中面授的形式进行，交互方式主要是人人交互，而针对人人交互方式所设计的培训体系如果应用到人机交互的评价中，无法准确评价培训效果。三是学习频率不同。移动学习强调学习的自主性、灵活性、碎片化，学员可以通过移动学习的方式随时随地根据需要获取学习内容，学习的频率高、时间短，学习的时间不规则地分布在任何时间段。传统培训的学习通常较为集中，时间连续性高且持续时间较长，把按时间逻辑的传统评价方式应用到自主性和灵活性很高的移动学习效果评价中显然是不合理的。

二、移动学习效果评价体系的理论基础

从20世纪50年代开始，国外学者在培训效果评价方面的研究就已经开始。唐纳德·柯克帕特里克(Donald L. Kirkpatrick)教授是在培训效果评价方面做出重要贡献的先驱，1959年他提出四层次评价模型，这是迄今为止最经典、最著名、应用最广泛的评价模型。该模型主要包括反应、学习、行为、结果这四个层次的评价内容及方法，根据企业员工培训的实际过程层层递进，构成完整的培训效果评估模型。每一个层次都针对培训过程中管理者最关心的问题来设计相应指标，每个层次的主要评价内容、设计要素和评价方法如表1所示。[2](P124)

表1　Kirkpatrick四层次评价模型

在柯式四层次评价方法提出之后，许多学者都开始针对企业培训的效果评价展开研究，形成了多种多样的评价理论体系。总体来说，这些理论体系可以划分为两大类：一是在柯式四层次评价法的基础上演化而来的层次评价模型。哈柏林(Hamblin,1974)把培训效果评价分为反应、学习、工作行为、收益和组织目标支持五个部分。菲利普斯(Phillips, 1991)将评价的重点放在了培训的货币利润与成本的比较上，将评价模型划分为反应和既定的活动、学习、在工作中的应用、业务结果、投资回报率五部分。西姆斯(Sims, 1993)进一步以四层次评价法为基础，建立了一个多层次的评价模型，分别从微观培训评价、培训方面评价和培训项目评价三个方面对企业的培训方案进行全面分析。卡夫曼(Kaufman, 1994)则认为，四层次评价的反应层应增加关于培训项目背景方面的评价，同时还应该评价培训对企业周边环境的影响，并将培训评价扩充为培训可能性和反应、掌握、应用、组织效益、社会效益五部分。二是以培训流程为导向的流程评价模型。20世纪70年代，沃尔等人提出了 CIRO 评价模型，将评价的程序划分为背景评价、输入评价、反应评价和输出评价四个部分，其具体内容如表2。

表2　CIRO评价模型

1967年，美国学者斯塔弗尔比姆(Stufflebeam)在对泰勒行为目标模式的反思基础上提出了CIPP模型，将培训评价分成了背景评价、输入评价、过程评价和成果评价四个部分，在评价内容方面弥补了CIRO模型的不足，具体如表3所示。

表3　CIPP评价模型

流程评价模型以培训的流程为导向，移动学习模式则以自主性、灵活性、碎片化为主要特征，在培训“流程”被淡化的情况下，流程评价模型并不适合用来作为移动学习效果评价体系构建的理论基础。层次评价模型将培训的评价划分为几个层次，虽然评价指标是针对传统培训设计的，不能直接应用到移动学习效果的评价中，但模型构建的思路可以为移动学习效果评价体系的构建提供指导。

上述介绍的层次评价模型都是以柯式四层次评价模型为基础，通过修正和延伸来构建的，这充分说明柯式四层次评价模型在培训效果的评价上具有普适性和权威性。对于移动学习来说，本文选择以普适、权威的模型理论作为理论基础来构建新的评价体系，针对移动学习特点对经典模型进行修正和延伸，以构建出新的移动学习效果评价体系。

三、移动学习效果评价体系的构建

(一)移动学习效果评价体系构建的基本思路

移动学习过程中，包含三个重要因素：学习平台、学员和企业，而学习平台是移动学习模式区别于其他培训模式的特有元素。因此，结合四层次评价模型理论，围绕上述三个因素，确定相应的评价重点，构建移动学习效果评价的新体系(如图1所示)。

反应层主要评价学员对于培训的主观情感，如兴趣、态度等。移动学习模式下，基本没有教师的参与，学员的学习是自由化、碎片化的，最能影响学员兴趣和态度的就是移动学习的平台设计。基于这一事实，在平台评价方面，主要针对反应层的评价内容来设计指标。学习层主要评价学员的知识迁移情况，笔者将其延伸为学员学习情况的评价，通过一些指标来反映学员参与移动学习过程中的学习状态，并将其归类到学员的评价中。行为层主要评价学员在培训中接受的知识向行为迁移的程度，也就是评价学习者可观测的行为改善。因此，这一层次的评价也归类到学员的评价之中。结果层主要评价学员在接受培训之后，组织是否因此受益。这种受益可能并非直接受益，在思路框架中，笔者用虚线箭头表示了企业受益于平台评价和学员评价之间的关系。总之，结果层应当归类到企业收益评价中。

由图1可知，根据移动学习模式的要素特点，可将移动学习效果评价分解为平台、学员和企业三个部分的评价，把四层次评价模型的四个层次分别纳入到这三个部分中。

(二)移动学习效果评价体系的基本框架

如图1所示，移动学习三个要素的主要评价内容已经确定，下一步的工作是将每一个评价内容进行细化，确定相应的评价指标，丰富体系内容，构建适合移动学习模式的效果评价模型，具体应从三方面细化：一是平台评价的细化。可将平台评价细化为平台建设方面的评价和知识库构建方面的评价。平台建设方面的评价指对移动学习平台的设计、响应等方面进行评价，因为这些方面的要素将会影响学员学习时的体验；知识库构建方面的评价指对学习平台提供的知识进行评价，因为这些方面的要素将会影响学员学习过程中的收获。二是学员评价的细化。包括学习层和行为层两个部分，可将学习层延伸为对学员学习状态的评价，并将其细化为活跃度和贡献度两个方面的评价。其中活跃度用于衡量学员利用移动设备进行学习的活跃程度；贡献度用于衡量学员在学习过程中贡献学习经验和相关知识的意愿。行为层细化为知识和能力两个方面的评价，其中知识方面主要衡量学员在接受培训后对各种知识掌握程度的提高；能力方面则主要衡量学员在接受培训之后工作方面相关能力的提升程度。三是企业收益评价的细化。可通过多个方面的指标来反映，主要以企业KPI绩效指标作为理论基础，将企业的收益评价细化为财务、客户、内部运营、学习与成长四个部分。每一个部分都能为企业收益变化提供若干衡量指标，这样就可全方位地反映出员工接受移动学习培训后为企业所带来的收益。

通过各层次评价内容的细化，图1所示的评价体系构建的基本思路就可以进一步明晰为如图2所示的移动学习效果评价体系框架：

(三)移动学习效果评价体系具体指标的选取

经过对评价体系各部分细化之后，下一步工作就需对各个部分评价的内容选取具体评价指标。在平台、学员和企业三个要素的评价指标选取上，首先以前人的学术成果和研究论文为参考，细化每一层次的评价指标。

平台评价是本评价体系的重点和亮点，由于学习平台是移动学习区别于其他传统培训模式的特有要素，其具体评价指标的细化需要参考前人针对移动学习模式的学术研究成果。[3][4][5][6][7]学员评价的指标设计应结合移动学习的特征来进行选择与设计，充分挖掘可以反映学员学习积极性和贡献程度的指标；行为层的指标分为知识和能力两个方面，知识主要指企业各个岗位所对应的专业知识，指标可以选取相应的学习考试成绩，而能力方面的衡量指标可以由胜任力模型提供。[8][9][10][11][12]企业收益评价方面，指标来源主要为企业绩效KPI指标，在财务、客户、内部运营、学习与成长等四个方面均有很多指标可以衡量企业的收益变化，具体的指标设计需要结合不同的企业实际情况来完成。

参考前人的研究结果并结合移动学习特点，可初步形成如表4所示的效果评价指标体系：

表4　移动学习效果评价指标体系

初步形成表4所示的效果评价指标体系之后，还需通过两项工作来形成最终评价指标体系：一是筛选指标。通过问卷调查、访谈、专家打分、相关工作小组等方法来对初步形成的指标体系进行考察，筛选二级指标，保证最终指标体系对于企业自身的针对性和有效性。二是确定指标权重。通过问卷调查的方式，获取筛选后各二级指标的重要性评分结果，利用熵值法对大量的重要性评分结果进行处理,可以直接计算出各二级指标的权重，进而计算出一级指标权重，尽可能客观地完成指标权重的确定，以避免主观分配权重所带来的偏差，保证评价指标的科学性和客观性。

(四)移动学习效果评价体系操作流程设计

在完成指标筛选和权重计算后，可形成最终的移动学习效果评价指标体系。评价体系操作流程的设计能够保证评价体系得到正确合理的运用，以更好地评价员工移动学习效果。

四、移动学习效果评价体系实施的保障条件

(一)资金支持

移动学习应用推广是一项复杂的工程，从移动学习准备实施、全面开展到评估反馈都需要一定的资金支持。为了更好地实施移动学习评价，首先要建立一套完整的电子化评价系统，该系统的建设和维护才能保障评价工作有数据依据，专业技术人员的培训能够保障培训评价体系正常运转，评价结果的运用能够保证评价体系有助于企业提升人力资源的开发水平，这些都要有相应资金支持作为基础。

(二)管理制度支持

良好的移动学习模式需要建立在有效的管理制度基础上，企业应为移动学习这种新的培训模式量身定做一系列的管理制度。一方面针对移动学习设置一定的激励制度，保障移动学习的推广运用，提升员工学习的积极性；另一方面应针对移动学习设置一定的约束制度，保障移动学习评价的结果能够作为人力资源奖惩的依据被运用。只有在合理有效的制度体系下，移动学习的模式才能最大限度地发挥效用，评价体系也才不会沦为一纸空文。

(三)企业文化支持

移动学习模式的应用推广和评价体系的正常运行同样需要企业文化的支持，要实现移动学习的持久推广与发展，就必须树立“即时学习”“自主学习”“终身学习”的学习理念，建立与移动学习相应的企业文化，形成良好的学习氛围，使每个员工都时刻保持学习型状态。开放融合、与时俱进的企业文化，不仅有利于企业员工更快地接纳和适应移动学习的培训模式，更有利于员工接受与之相配套的评价体系。因此，一种适宜的企业文化，是移动学习发展的沃土，也是移动学习效果评价体系正常运行最重要的保障。

[参考文献]

[1]Kirkpatrick, D. L. Techniques for Evaluating Training Programs [J]. Journal of American Society for Training and Development, 1959, 13(11).

[2]李丹, 赵慧. 企业培训效果评估探讨[J]. 科技进步与对策, 2006，(4).

[3]郭绍青，等. 国外移动学习应用发展综述[J]. 电化教育研究, 2011，(5).

[4]蔡卫红，等. 三网融合环境下智能移动终端技术发展对移动学习的影响研究[J]. 长沙通信职业技术学院学报, 2012，(12).

[5]李静，等. 移动平台大爆发时代下移动学习何去何从[J]. 合作经济与科技, 2014，(7).

[6]蒋立兵, 于凌云. 基于3G 技术的移动学习在成人教育中的应用[J]. 现代远距离教育, 2007，(1).

[7]安宁. 移动学习在成人教育中的应用[J]. 教育信息化, 2006，(1).

[8]David C. McClelland. Testing for Competence Rather Than for Intelligence[J]. American Psychologist, 1973，(28).

[9]吴声声, 宋守信, 张若思，等. 电力企业员工安全胜任力模型构建[J]. 生产力研究, 2011，(3).

[10]苏继业, 焦银凯. 基于岗位胜任力模型的在线人才测评[J]. 中国电力教育, 2013，(15).

[11]温柏坚, 赵建之,范河山，等. 技术人员胜任力模型构建——以电力G企业为例[J]. 科技管理研究, 2011，(3).

[12]朱清源. 基于胜任力模型的发电企业绩效管理体系研究[D].北京：华北电力大学, 2012.

〔责任编辑：李官〕

Discussion on the Construction of Evaluation System of Enterprise Mobile Learning

YANG Hong-ying, XU Yue-ming

(School of Business and Tourism Management, Yunnan University, Kunming，650091, Yunnan, China)

Abstract:Based on Professor Kirkpatrick’s four-level training evaluation model and the characteristics of mobile learning, an evaluation system of enterprise mobile learning and its operation process are built, which include the learning platform, the students and the company. Then, some guarantee measures are offered for the smooth implementation of the system. It is hoped that this study can provide some useful reference for the evaluation of the effect of enterprise mobile learning.

Key words:mobile learning; evaluation system; Kirkpatrick’s four-level training evaluation model

中图分类号:C931.2

文献标识码:A

文章编号:1006-723X(2016)02-0115-06

作者简介:杨红英(1962-)，女，云南景洪人，云南大学工商管理与旅游管理学院教授，博士，博士生导师，主要从事人力资源管理研究；徐跃明(1972-)，男，云南寻甸人，云南大学工商管理与旅游管理学院博士研究生，主要从事企业管理研究。