企业E-Learning培训效果评价模型及指标体系研究*

□ 楼旭明 孟 宝

一、引言

借产业信息化与经济全球化的东风，越来越多的中国企业开始使用E-Learning培训，极大地提高了人力资源的开发效率。企业E-Learning培训对人才持续、快速成长意义重大。[1]中国2014年的E-Learning培训市场规模为37.5亿元。[2]随着信息技术的高速发展，以服务为导向的Web2.0时代到来，基于Web技术的企业E-Learning培训也随之过渡到E-Learning 2.0阶段。互联网思维为E-Learn⁃ing 2.0带来了许多变革和创新，更加注重以学习者为中心。学习者们也开始关注其学习效果，因此制定合理的效果评价方法也愈加重要。

二、文献综述

龙三平、张敏（2014）通过对近20年间关于在线学习理论研究的相关文献进行分析，认为目前在线学习理论研究分为四个领域，并且整个研究体系正处于知识的积累阶段。[3]刘革平、张玉华、孙伟彦（2013）在实践工作的基础上提炼了E-Learning2.0的四个基础理论。[4]以上文献，学者从不同理论基础出发，通过分析及总结，从不同角度对企业E-Learning培训进行了多方面、深层次的理论研究。段金菊、余胜泉（2013）阐述了企业E-Learning培训的现状，形成了深层次学习分析模型，对其进行量化分析。[5]胡艺龄、顾小清、赵春（2014）建立了在线学习行为分析（数据、机制和结果）模型，并对数据进行分类和解析。[6]姜强、赵蔚（2015）基于大数据的分析建立了个性化自适应在线学习的分析模型。[7]以上文献，学者对企业E-Learning培训的现状及存在的问题提出不同的观点，多角度对其学习行为进行研究，并各自提出了相应的建议。

吴峰（2010）比较了企业和学校E-Learning培训各方面的差异，最终形成评价模型及指标体系，对企业E-Learning培训的整个过程（前期—进行—结果）进行评价，评价对象包含了组织者、参与者等，主要是对整个项目进行评价。[8]崔承耀（2014）分析了网络生态环境变化对学习各方面的影响，认为企业E-Learning培训将来的发展方向是个性化差异学习。[9]吴站杰（2013）阐述了E-Learning培训的发展历程及特点，以大数据及社会网络技术为基础提出了E-Learning未来学习模型。[10]以上文献，学者从各自的角度提出了企业E-Learning培训的未来发展趋势。

综合上述文献所述，诸多学者已经对企业E-Learning培训的理论基础、培训过程、学习行为以及发展历程和趋势有了较深入的研究，但关于其效果评价的研究尚浅。本研究从培训效果评价的角度对企业E-Learning培训进行研究，建立其效果评价模型，形成评价指标体系，为有效、合理地进行企业E-Learning培训提出意见。

三、建立企业E-Learning培训效果评价模型

目前，学者们对培训效果评价模型进行了不同研究。总结归纳诸多文献，不同学者所研究、使用的培训效果评价模型见表1。

表1 培训效果评价模型比较

从表1可以看出，学者们工作的重点都是尽量将评价方法系统化和全面化，这样才能准确地反映和评价培训的效果，以此完善和优化企业培训设计，提高培训的效率。

目前，柯氏四层模型作为最具代表性的培训评价模型，受到业界广泛的认可。反应层及学习层是对培训过程的评价，行为层是对培训后员工业绩的改善程度进行评价，结果层是对员工及企业的绩效改进情况进行总体评价。然而，在对员工及企业的绩效改进情况进行评价时，由于评价的利益主体不同，从而可能影响整个评价结果的准确性。同时，在对企业绩效改进情况进行评价时，各种数据从下至上传递时可能产生的误差也会影响最终的评价结果。因此，本文在借鉴柯氏四层模型的基础之上，主要从参训者的角度出发形成一个企业E-Learning培训效果评价新模型，见图1。

图1 企业E-Learning培训效果评价模型

四、构建企业E-Learning培训效果评价指标体系

（一）效果评价指标选取

利用图1所示模型作为培训效果评价体系的基础，评价过程从一级指标反应层、学习层、转化层开始。企业E-Learning培训更加注重过程，反应层和学习层是此项效果评价的重要基础，而转化层的效果则与反应层、学习层密切相关。企业E-Learning培训效果评价从反应层到学习层，最后到转化层，层层推进。初始选择的企业E-Learning培训效果评价指标如表2所示。

1.反应层

企业E-Learning培训效果反应层指标主要反映参训者对培训的直观感受，主要是为了了解培训的整体状况，了解参训者是否对企业E-Learning培训感到满意。反应层主要采用调查问卷法及访谈法来了解参训者的真实感受。

Richard L.Dunn认为反应层包括内容准确并切合实际、表现形式多样、操作简单和兼容性强。[11]韩光艳认为好的培训应包含多样化的表现形式、良好的课程结构和合理的开发标准。[12]另外，企业E-Learning培训计算机系统对培训的效果也有很大影响，主要影响因素包括硬件和软件两个方面。综合学者的意见以及分析企业E-Learning培训在中国的现状，本文认为反应层包含培训内容、培训方式和培训环境。

表2 企业E-Learning培训效果评价指标

由于企业E-Learning培训发展到2.0阶段，更加注重参训者的个性化要求。本研究在借鉴不同学者观点的基础上增加了新的指标。培训内容指标包含权威性、专业性、逻辑性、多样性(钱冬明，2014)[13]，增加了新颖性，知识的不断更新使参训者能够及时了解本领域最前沿的知识；接受性，使知识的描述和结构能够被不同层次的参训者接受。培训方式指标包含分门别类、成绩反馈和互动交流（Gaskell，2014）[14]，增加了个性定制，可以使参训者根据自身的情况合理安排学习。培训环境包含了计算机网络、系统操作和资源管理。增加的指标均体现了企业E-Learning培训以人为本的思想。

2.学习层

企业E-Learning培训效果学习层指标主要考察参训者对培训涉及的知识与技能的掌握程度，以及培训后自我创新能力的提升程度。学习层主要采用操作测试、书面测试、情景模拟测试和角色演示等一系列方法来检验参训者对培训内容的掌握程度。

McGraw-Hill认为学习层的目标应该是对学员通过培训应获取的知识、技能和态度提出要求。[15]武丽志认为学习层的评估应分为专业知识、专业技能和专业情意三部分。[16]本研究在借鉴学者观点的基础上提出学习层指标包含知识水平、技能水平和创新水平。

知识水平指标包括考核成绩、平时成绩（Mc⁃Graw-Hill，2007）[17]、学习报告评分；技能水平指标包括实操成绩，增加了案例分析评分，该指标可以测试参训者学习后的分析能力；创新水平包含了创新能力和创新成果（崔霞，2010）[18]，增加了创新意识指标，参训者在培训后能够有意识地想要创新，才真正达到了学以致用，从而最大限度地为企业带来效益。

3.转化层

企业E-Learning培训转化层指标主要考察参训者在培训结束后把培训成果转化为实际工作表现的程度。这部分评价工作在培训完成后的几个月内进行，了解参训者所学知识的迁移情况，并分析行为变化的程度，以及是否与培训有关。转化层主要采用各种后续跟踪方法，由同事、上下级、客户等相关人员对参训者的工作行为进行合理的评价，从而确定参训者是否能将所学内容应用到工作及实践之中。

武丽志认为知识迁移包括直接迁移和间接迁移[19]。吴峰认为成功的企业E-Learning培训的评判标准为：目标完成度、工作认可度和客户满意度。[20]本研究认为转化层的指标包含工作态度、工作能力和工作成效。

工作态度指标包括工作主动性、工作责任心和企业归属感（Anne Gaskell）。[21]工作能力指标包括实操能力和创新能力(吴峰)。[22]工作成效指标包括工作质量和工作效率（McGraw-Hill）[23]，增加领导满意度，参训者参加培训后的工作能满足领导的期望，可以激发员工的工作激情和动力。

（二） 效果评价指标的筛选

为确保该评价指标体系的准确性，本文使用德尔菲法，形成了效果评价指标问卷，将所研究的问题和其所处的背景以邮件的方式传达给各位专家，请其提出宝贵意见，之后汇总各位专家对本文所选各项指标的意见，对已有指标进行筛选、调整，形成指标体系。本文挑选了12位分别来自高校、企业相关领域的专家，经过两轮筛选，共计回收11份有效问卷，专家意见最终以问卷回答的形式反馈回来。对数据进行统计分析如下：

1.数据处理

首先，在两轮调查问卷中请各专家对指标的判断依据、问题的熟悉程度和评价等级进行判断。其中，它们的量化值见表3。

表3 判断依据、问题熟悉程度及评价等级的量化值

2.专家积极系数及权威程度

（1）专家选择

本文挑选的专家分别为：7位在高校研究远程教育的教授，5位在企业负责远程培训的高级管理人员。

（2）专家积极系数

专家积极系数=收回问卷数/发送问卷数。本文共进行两轮调查。在第一轮调查中，共发送12份问卷，收回11份，专家积极系数为91.67%。在第二轮调查中，共发送11份问卷，收回11份，专家积极系数为100%。本次调查中专家的积极系数较高。

（3）专家权威程度

其中， Cr：专家权威程度系数；Ca：专家的判断依据；Cs：专家对问题的熟悉程度。Cr越大说明专家的权威程度越高。

经计算，两轮调查问卷中对于一级指标的专家权威系数均值分别为0.785和0.896，均大于0.7，说明两次的调查均有较高的专家权威程度。

3.指标的集中程度及变异系数

（1）集中程度

其中，专家人数：N；Ej：指标i第j级重要程度；nij：第i指标评为j级的专家数。

（2）离散程度

（3）变异系数

其中， Vi越小表明专家的协调程度越高。

通过计算，将集中程度大于3.0且变异系数小于0.3的指标作为最终指标。经筛选后，形成企业E-Learning培训效果评价指标体系，如表4所示。

表4 企业E-Learning培训效果评价指标体系

五、实例研究

本研究选取我国某大型企业作为实证研究的对象，对其企业E-Learning培训效果进行评价。根据实证研究对象的具体特征确定指标权重，再应用模糊综合评价方法，对该企业E-Learning培训效果进行综合评价得到总体评估结果。将定量、定性评价相结合，从而减少个人主观性对评价工作产生的影响，提高评价的可靠性与有效性。

（一） 指标权重的确定

本文采取层次分析法结合德菲尔法来获得权重，先把企业E-Learning培训效果评价问题分解为对培训效果产生影响的各个要素，再将这些要素分组形成不同层次的结构，运用比较的方法来确定各要素的重要性，最后综合所有决策者们的判断形成判断矩阵。为避免此过程产生的误差，对判断矩阵进行一致性分析。在此基础之上对决策方案的相对重要程度进行总排序，最终做出评价决策。

首先，选取在高校研究企业E-Learning培训的教授及在企业从事E-Learning培训工作的中高层管理人员共12位专家作为效果评价小组，构造判断矩阵，以邮件形式发送给各位专家请他们填写，回收后对各位专家的意见进行汇总，形成结论后再次反馈给专家组的成员，对形成的结论不断地进行汇总及反馈，直到意见较为统一为止。根据专家的评定结果，最终构建各层判断矩阵。然后，进行一致性检验，经计算，各指标C.R.均小于0.1，一致性检验合格。经计算，各指标权重计算结果如表5所示。其中，Bi、Cij、Dijk所代表的指标请参考表4。

表5 各层指标权重

（二） 数据收集与整理

进行企业E-Learning培训效果评价，对参加培训的200名学员进行调查。其中，对反应层的调查采取问卷调查法，对学习层的调查采取成绩评定结合访谈法。对转化层的调查采取访谈法。运用统计方法，设定评估等级权值：“非常满意”5分，“满意”4分，“基本满意”3分，“一般”2分，“不满意”1分，将调查的结果结合权重均转化为基本权值，如表6所示。

表6 各指标权值

（三） 模糊综合评价

利用模糊综合评价方法对该企业E-Learning培训效果进行评价。

首先，根据其评价指标体系，确定评价因素集合。公式如下：

Bi=(Ci1,Ci2,…,Cin) Cij=(Dij1,Dij2,…,Dijn)

其次，根据指标权值，确定评价因素的权重集合。公式如下：

再次，根据收集整理后的评价数据，得出模糊判断矩阵。公式如下：

最后，计算综合得分，将模糊判断矩阵乘以相对的指标权重矩阵，公式如下。各层次指标得分如表7所示。其中，A、Bi、Cij、Dijk所代表的指标请参考表4。

表7 各层次指标得分

从表7可以看出，反应层B1的综合得分为2.99，其效果不理想，将其得分分解至三级指标，其中，内容多样性D113的得分为2.17，互动交流D122得分为2.61，系统操作D132得分为2.75。这三个指标的得分均小于3，由此可以看出该企业E-Learning培训存在的不足主要包括培训内容不够多样化，培训缺少互动交流和操作系统不够方便。

六、结论

身处大数据时代的今天，企业E-Learning培训已经发展到2.0阶段。本文通过对企业E-Learning 2.0及效果评价体系相关文献的研究，结合我国培训企业E-Learning培训发展的趋势，构建了企业E-Learning培训效果评价模型，进而形成效果评价指标体系，为有效地进行效果评价提供参考。使用层次分析法对该指标体系进行定量分析，使企业管理层能清楚地看出改进的方向，及时转变思路，使培训能够真正提高员工的职业能力，激发员工最大的潜能。同时，随着在线培训体系的不断发展，有些指标也将不能真实地反映培训效果，应按照实际情况对该体系指标进行改善，作者今后也将对其进行更加深入的研究。

由于互联网技术的高速发展、企业规模不断变大，企业E-Learning培训将会更加普遍。当Web技术发展到n.0阶段时，企业E-Learning培训也必将提升到n.0阶段。在将来，把云计算思想体现到企业E-Learning培训效果评价方面，将成为进一步探索企业E-Learning培训效果评价的发展趋势。同时，企业E-Learning培训是否可以参考当下发展势头强劲的MOOC模式，也将是未来学者研究的方向。

[1]Ashby,A.,Richardson,J.T.E.,&Woodley,A.(2013).National stu⁃dent feedback surveys in distance education[J].the Journal of Open,Distance and e-Learning,26(1):5-13.

[2]互联网教育研究院：2014年在线职业教育产业研究[EB/OL].[2014-10-20].http://www.199it.com/archives/282452.html.

[3]龙三平，张敏.在线学习理论研究的现状与趋势——基于SSCI数据库（1994-2013）的科学计量分析[J].远程教育杂志，2014，（03）：64-70.

[4]刘革平，张玉华，孙伟彦.e-learning 2.0的基础理论探究[J].现代远距离教育，2012，（01）：57-61.

[5]段金菊，余胜泉.学习科学视域下的e-Learning深度学习研究[J].远程教育杂志，2013，（04）：43-51.

[6]胡艺龄，顾小清，赵春.在线学习行为分析建模及挖掘[J].开放教育研究，2014，（01）：102-110.

[7]姜强，赵蔚，王朋娇等.基于大数据的个性化自适应在线学习分析模型及实现[J].中国电化教育，2015，（1）：85-92.

[8][20][22]吴峰.企业数字化学习项目评估指标体系研究和定量分析[J].远程教育杂志，2010，（05）：105-110.

[9]崔承耀.网络生态视角下数字化学习研究[J].中国远程教育，2014，（11）：33-37.

[10]吴站杰.大数据时代E-learning融合式学习框架——学习的规模效益与个性化的实现途径[J].开放教育研究，2013，（04）：53-59.

[11]Richard L.Dulm(2003).Getting into E-Learning for work force training[J].Plant Engineering,9（57）：63-69.

[12]韩光艳，何烽.企业E-learning培训与传统面授培训的成本比较分析[J].远程教育杂志，2009，（04）：43-50.

[13]钱冬明，孙梦，庄俭，杨平，余平.社区教育网站评价指标体系研究[J].远程教育杂志，2014，（06）：49-55.

[14][21]安妮·盖斯凯尔，罗杰·米尔斯，肖俊洪.远程教育和e-learn⁃ing的挑战：质量、认可度和成效[J].中国远程教育，2015，（01）：05-15.

[15][17][23]杰克·菲利普斯.如何评估培训效果[M].张少林等译.北京：北京大学出版社，2007.

[16][19]武丽志，吴甜甜.教师远程培训效果评估指标体系构建——基于德尔菲法的研究[J].开放教育研究，2014，（05）：92-101.

[18]崔霞.职业经理人培训效果综合评估体系研究[D].上海：华东师范大学，2010.