刘徐迪
摘 要:构建科学实用的职业培训质量测评指标体系,对高质量职业培训的进行具有重要的实践指导意义。以国内外企业培训中广泛采用的柯氏评价模型为基本评价框架,采用德尔菲法构建了职业培训质量测评指标体系。该体系的评价指标包括4个一级指标,14个二级指标以及26个三级指标,并采用层次分析法确定了各个指标项的权重。该体系的构建能够为职业培训的质量评价提供依据,对职业培训领域的发展意义重大。
关键词:职业培训;质量测评指标;体系构建;德尔菲法;层次分析法
职业培训是一种按照不同职业岗位要求,对受培训者进行职业知识与实际技能培养和训练的社会活动[1]。近年来,国家高度重视职业培训。党的十九大报告指出,要“大规模开展职业技能培训,注重解决结构性就业矛盾,鼓励创业带动就业”。国务院于2019年颁布的《国家职业教育改革实施方案》提出,要“开展高质量职业培训”,鼓励职业院校“面向在校学生和全体社会成员开展职业培训”。在职业培训快速发展的背景下,职业培训质量测评作为培训过程中重要的一环,有助于发现培训过程中的问题与不足,有助于完善职业培训制度,提高培训质量。目前,国内对职业培训具有普适性的质量测评研究较少,多为针对特定职业培训的质量评估,缺乏统一的比较基础。因此,研究职业培训质量指标体系的构建,对于职业培训领域的发展意义重大。
一、职业培训质量测评指标建构的模型选取
国外对培训质量测评的研究起步较早,其中影响最广泛的是唐纳德·L·柯克帕特里克(Donald L.Kirkpatrick)于1959年提出的“四层次评估模型”,包括反应层评估、学习层评估、行为层评估和结果层评估。
1.反应层评估。反映层评估是指学员对培训的印象与感受,包含积极肯定的反应与消极否定的反应。积极肯定的反应体现该培训项目很有可能取得预期效果,该项目在未来也会受到足够的重视;消极否定的反应则暴露了该培训项目可能存在问题。高层管理者通过了解参训人员的意见,对接下来的培训做出更合理的发展决策。如对反应层进行评估,为了实施起来简单有效,需要设计一份能够量化學员反应的表格,并尽可能多地收集学员的反馈信息。
2.学习层评估。学习层评估是指参训学员参加培训项目后,能够在多大程度上实现态度转变、知识扩充或技能提升等相应结果[2]。这是培训项目要直接实现的三个目标,是衡量培训质量高低的重要指标。对这一层级可以采用标准化测试的方式评估学员获得的知识;采取演示的方式考察其实际操作能力;根据观察或访谈了解学员的态度转变。
3.行为层评估。行为层评估指学员接受培训后,在工作中表现出的态度以及对知识、技能的运用情况。对这一层级进行评估要比前两个层级更为复杂,通常要选取适当的时间,借助观察、面谈、调查问卷或综合这几种方式来弄清培训的基本情况。
4.结果层评估。结果层评估是指企业目标包括增加利润、改善经营环境、提升品牌知名度等目标的实现程度。这一层级关乎培训的根本目的,同时也是整个评估程序中最难处理的环节。在培训项目开始前需要找到大量数据资料,如产品质量、员工离职率、客户投诉率等,并将开始数据与项目结束后的相应数据进行对比。此外,对于一些无法量化的指标,还应在培训结束后找到一些实实在在的证据,以证明培训项目是否取得了预期的效果。
“反应”“学习”“行为”和“结果”四个层次,每一个层次都是后一个层次的必要条件[3]。每一层都是极为重要的,并且对下一层具有重要影响。当评估从一层进入到下一层,程序会逐渐复杂,实施困难也会增大。柯氏评估理论的形成对促进培训事业的交流与发展产生了很大的影响。在国外,威廉·H·汉姆布林(William H.Hamblin)、杰克·菲利普斯(Jack Philips)、罗杰·考夫曼(Roger Kaufman)在多年以后分别对该模型进行了修正,但总体上仍延续了柯氏“四层次评估模型”的思路与方法。柯氏评估模型被引入中国以后,在教育和卫生等众多领域得到广泛应用。宋夕平(2006)通过举例说明了在评估企业培训效果中如何更好地运用柯氏评估模型;赵德成(2009)、马玉慧(2011)等将柯氏评估模型运用到教师培训项目上进行研究;张立威(2013)、黄雪燕(2018)等以柯氏评估模型为基础,建立了关于全科医师、护士的培训效果评估指标。柯氏评估模型在职业培训评估中应用十分广泛,常被称为是最著名、最经典的培训评估模型,故本研究选取柯氏的“四层次评估模型”作为指标建构的理论基础。
二、职业培训质量测评指标体系设计
(一)评价指标体系初步设计
以柯氏模型为基本评价框架,并在广泛查阅相关政策、文献的基础上,构建了职业培训质量测评的48项初级指标,其中,一级指标4项,二级指标13项,三级指标31项,具体如表1所示。
(二)评价指标体系修订
为了验证评价指标的科学性以及可行性,研究采用了德尔菲法(Delphi Method)。德尔菲法又称专家咨询法,是一种群体决策行为,具有匿名性、反馈性和统计性的特点,本质上是建立在众多专家的专业知识、经验和主观判断能力基础上的[4]。研究通过发放专家意见征询表的方式进行了两轮专家咨询,两轮均要求专家对每项指标的“重要性”进行打分,同时请专家对初步拟定的指标体系提出意见和修改建议。“重要性”程度分为“很不重要”“不重要”“一般”“重要”“很重要”5个等级,赋值依次为:1、2、3、4、5。将两次咨询结果分别录入SPSS 24.0与Excel 2010(专业增强版),计算各项指标的算术均数、标准差、满分比、变异系数,并根据界值法的计算要求修订指标。
1.第一轮专家意见征询。第一轮共发放问卷27份,回收26份。专家工作年限在30年以上的有6人(占比23.08%);工作20年~30年的有6人(占比23.08%);10年~20年的有14人(占比53.85%)。专家职称为正高级的有7人(占比26.92%);副高级的有12人(占比46.15%);中级的有7人(占比26.92%)。为了确保专家咨询结果的可靠性,研究采用专家权威程度系数(Cr),对专家评分的可靠性进行分析,其量化值详见表2。
Cr的值取决于专家熟悉程度系数值Cs和所有判断系数和Ca,计算公式为:Cr=(Cs+Ca)/2。数值越大表明专家对咨询内容的权威程度越高,当Cr≥0.70时,代表专家权威程度高,结果可靠。第一轮专家咨询熟悉程度(Cs)=0.75,判断依据(Ca)=0.93,故权威程度(Cr)=0.84,咨询结果相对可靠。
汇总一轮专家修改建议,得出算术平均数、满分比、变异系数的界值分别为:3.99、0.33、0.27。算术平均数、满分比为正项指标,数值大于界值入选。变异系数为负向指标,数值小于界值入选。规定必须同时不符合两个及两个以上尺度的指标才被剔除。通过査阅相关文献、参考专家集体评判和研究者逐条分析讨论,对每项建议给予相应处理,处理类型可以概括为“增加或删除指标”“变更指标从属领域”以及“修改指标表述”三大类。具体修改情况为:删除“1.2.3是否对接行业前沿”“1.4.4构建理想师生关系的能力”“1.5.1培训资料与设备是否齐全”等16项指标。增加“1.5.1培训前期准备充分”“1.5.2培训过程进展顺利”“1.5.3培训结束总结及时”等17项指标。将行为层评估下的二级指标“3.1参训人员职业态度”转移至学习层评估,改为“2.3态度转变”。将“2.1.1专业知识”表述改为“2.1.1专业理论知识”,将“2.2.1专业技能”表述改为“2.2.1岗位常用操作技术”。
经过第一轮的统计分析,本次指标体系包括4个一级指标、14个二级指标、28个三级指标。
2.第二轮专家意见征询。第二轮共发放问卷17份,回收15份。专家工作年限在30年以上的有2人(占比13.33%);工作20年~30年的有3人(占比20%);10年~20年的有10人(占比66.67%)。专家职称为正高级的有4人(占比26.67%);副高级的有4人(占比26.67%);中级的有7人(占比46.67%)。第二轮专家咨询熟悉程度(Cs)=0.78,判断依据(Ca)=0.94,故权威程度(Cr)=0.86,咨询结果相对可靠。
汇总第二轮专家修改建议,得出算术平均数、满分比、变异系数的界值分别为:4.30、0.46、0.18。專家指出,三级指标“1.2.3内容相对集中”与“3.1.1个人出勤率”设置不恰当,且得分不符合界值法要求,故予以删除。与此同时,对各指标的具体表述进行了细致的修改,使指标的表述更加清晰且通俗易懂。最终指标体系包括4个一级指标、14个二级指标、26个三级指标,详见表3。
三、职业培训质量测评指标权重计算
本研究以层次分析法对第二轮咨询结果进行分析整理,确定职业培训质量测评各级指标权重,为职业培训评价工作提供客观依据。层次分析法(Analytic Hierarchy Process,AHP)由美国运筹学家T.L.Saaty等人提出,是一种多目标决策分析方法。应用AHP法确定评价指标的权重,就是在建立有序递阶的指标体系基础上,通过比较同一层次各指标的相对重要性来综合计算指标的权重系数[5]。
1.建立目标树,如图1所示。
2.建立判断矩阵。以第二轮咨询数据得出的各级指标重要性均数进行两两比较,以确定Saaty标度,详见表4。
以反应层评估Ⅱ级子目标层为例构建判断矩阵,详见表5。
3.计算各级指标权重。权重计算过程:计算判断矩阵每行数值乘积并开n次方根,得到初始权重系数W'i;对计算结果做归一化处理,得到各级目标权重Wi。公式如下:
4.层次单排序及一致性检验。采用层次分析法计算权重时,在得出归一化权重后,应对其是否符合逻辑进行检验。一般采用一致性指标CI和一致性比率CR进行判断检验,当CI<0.10时,表明计算所得权重系数符合逻辑,当CR<0.10时,表明判断矩阵具备一致性。公式如下:
RI为平均随机一致性指标,取值见表6。
5.结果。本项研究进行各级指标权重的计算分析,得出各级指标的判断矩阵CI、CR值均小于0.10,表明计算所得的指标权重系数符合逻辑,指标层次单排序具备满意一致性,结果详见表7、表8。
四、总结
本研究以改进职业培训质量为出发点,以国内外企业培训中广泛采用的柯氏评估模型为基本评价框架,采用德尔菲法构建了职业培训质量测评指标体系,该体系的评价指标包括4个一级指标,14个二级指标以及26个三级指标。本研究采用层次分析法确定各指标项的权重,通过这种方法确定的指标体系结构清晰、层次分明,能够为职业培训的质量评价提供依据。从一级指标的权重来看,学习层评估与行为层评估的重要性较大。在二级指标中,技能成果、培训后学员工作结果、知识成果、培训后学员工作过程、态度转变排在指标项前五位,这是进行职业培训质量测评时应重点关注的几个方面。
整体看来,该测评工具能够较为全面地评价职业培训项目中的各要素,同时也填补了我国职业培训在评价方面的研究缺失,对我国职业培训的科学评价具有重要的参考价值。同时,这种培训评价指标体系不局限于某一特定职业,而是面向各种职业培训,具有广泛的现实意义和使用价值。但本研究也存在一些不足,如专家数量有限、未能开展职业培训试评等。接下来,为了更好地验证评价工具的信度、效度,本研究将把评价工具应用于实际的职业培训项目中进行测评,以实现对评价指标体系的迭代优化,最终形成完整、成熟的职业培训质量测评指标体系。
参考文献:
[1]姜大源.职业教育:培训与教育辨[J].中国职业技术教育,2008(7):1,24.
[2]唐纳德L.柯克帕特里克,詹姆斯D.柯克帕特里克.如何做好培训评估:柯氏四级评估法[M].奚卫华,林祝君,译.北京:机械工业出版社,2007:17.
[3]李莉.培训效果评估模型解析[J].中国电力教育,2005(4):25-28.
[4]刘伟涛,顾鸿,李春洪.基于德尔菲法的专家评估方法[J]. 计算机工程,2011,37(S1):189-191,204.
[5]曹茂林.层次分析法确定评价指标权重及Excel计算[J]. 江苏科技信息,2012(2):39-40.
[责任编辑 曹 稳]