基于柯氏模型的高职教师培训评价体系构建

聂伟进，汪卫平

(1.厦门大学教育研究院，福建厦门 361005；2.杭州师范大学教育学院，浙江杭州 311121)

引 言

加强职教师资培训已成为全球性趋势。如欧盟启动的 “欧洲职业技能周”项目以及为提升职业教育教师专业发展的计划项目提出的关键原则[1]，澳大利亚国家级职业教育培训奖，马来西亚、柬埔寨等发展国家也正在推动全国性的职教师资培训项目。我国从2006年也开始实施职业院校教师素质提高计划，并于2012年将高职教师培训纳入该计划。在实施职业院校教师素体提升计划中，从教育部到省级政府都已经开始重视对培训效果的评价。但高职教师培训评价的理论研究与实践却较为薄弱。2020年10月，中共中央国务院颁布的《深化新时代教育评价改革总体方案》对新时期的教育评价做出新要求。提到“改进结果评价，强化过程评价，探索增值评价，健全综合评价”，“提高教育评价的科学性、专业性、客观性。”

高职教师培训评价要体现科学性和专业性，要“健全‘双师型’教师评价标准，突出实践技能水平和专业教学能力”。美国学者理查德.加德纳提出的持续专业发展(Continuing professional development)应用于教师专业发展和培训。因为该理论强调教师的专业发展有五个关键点是:确定个体的需求、规划和开展发展活动、反思个体的学习、应用个体的学习、与他人分享个体的学习。所以这也意味着教师持续专业发展能弥补传统教师培训缺陷，通过系统性的培训安排和评价来引导培训体系的调整，还应注重教师在培训过程的内在需求和知识经验的积累[2]。

以职业院校教师素质提升计划为代表的职教教师培训评价工作，教育部与各省级政府均颁布实施意见和项目管理办法，但都缺乏可操作的评价指标。在理论方面，关于高职师资培训的研究还是集中在培训体系建设，问题与对策探讨，较少涉及对培训效果的科学评价。仅有少数涉及到培训效果评价，但其重点在于培训有效性、绩效评价等，忽视了教师作为主动学习个体对教师培训政策的回应。因此，本文将基于教师持续专业发展的视角，以柯氏培训评价模型为基础，利用江苏省高等职业教育教师培训中心积累的培训教师的调查问卷、培训心得文本等数据，以及针对教师培训研究与实务工作人员的专家意见，最终形成高职教师培训评价指标体系，为后续高职教师培训评价工作提供有益参考。

一、柯氏培训项目评价模型的内容、发展及应用

柯氏培训评价模型的提出者是原美国培训与发展协会(ASTD)主席，威斯康辛大学荣休教授——Donald Kirkpatrick。他在1954年的博士论文中首次提出了培训评价四层次模型，1959年在美国培训与发展协会会刊上发表的系列文章使得这一模型收获了诸多拥趸者，1994年出版的《评估培训项目》(EvaluatingTrainingPrograms)使得该模型影响更为广泛。1996年发表的论文对1954年的模型做进一步修正[3]。2005年和2007年分别出版的(Transferring Learning to Behavior)和(Implementing the Four Levels)则进一步补充了柯氏培训评价模型。尽管后来也遭遇一些批评，但批评者们建构的评价模型只不过是在其基础上做细节修改而已，本质上并没有走出该模型的框架。如，Jack Phillips(Five Level ROI Model)以及Kaufman的五层次评价模型(Five Levels of Evaluation)。尽管还有其他培训评价工具，但是柯氏四层次培训评价模型无疑是最成功的，至今没有其他工具能像它一样获得世界范围认可，并被广泛运用于企业、政府、公益组织、医疗卫生、教师等培训领域[4]。所以Smidt 等人对过去十年使用柯氏评价模型的研究进行梳理，发现该模型的适用性最强[5]。

柯氏模型的核心框架是依次衔接的评价四层次。第一级是反应层(Reaction), 评价的被培训者的满意程度。反应评价是指受训人员对培训项目的印象如何，包括对讲师和培训科目、设施、方法、内容、自己收获的大小等方面的看法。第二级是学习层(Learning)，是评价被培训者的学习获得程度，它是测量受训人员对原理、技能、态度等培训内容的理解和掌握程度。第三级是行为层(Behavior)，是评价被培训者的知识运用程度，是指在培训结束后的一段时间里，由受训人员上级、同事、下属或者客户观察他们的行为在培训前后是否发生变化，是否在工作中运用了培训中学到的知识。第四级是结果层(Result)，是评价培训创出的经济效益，效果的评价即判断培训是否能给企业的经营成果带来具体而直接的贡献，这一层次的评价上升到组织高度。

与其他领域相比，柯氏评价模型在教师培训领域的影响丝毫不弱，但主要集中在基础教育、普通高等教育，甚至是护理教育，较少涉及职业教育方面。Praslova关注到柯氏评价模型在高等教育的运用，侧重于学习结果和项目评估方面[6]。卜彩丽[7]与陆少颖[8]也关注到柯氏评价模型对于教师培训评价的应用。刘建银与黄露则基于柯氏评价模型，试图建立“国培计划”评估的五层次模型[9]。仅有少数文献涉及职业教育教师培训项目的评价。例如，Ravicchio与Trentin对意大利职业教育教师培训项目的评估研究[10]。国内部分学者探索基于柯氏培训评价模型构建高职教师培训的评价体系，但也局限于理论建构，没有具体操作指标。林秉娟基于柯克帕特里克模型，构建了由4层次7方面构成的高职教师培训的评价指标体系。其中包括受训教师的个人感受、培训结束后培训机构颁发证书及评价、受训教师教育理念的改变、知识体系的完善、实践技能的提升、教育教学方法的改进、对学校教育教学的推动[11]。陈千诰虽然在柯氏模型(Kirkpatrick)之上建立了，由3阶段7项指标24个主要观测点构成的高职院校教师培训评价体系，但在主要观测点仍有问题[12]。

在对柯氏模型的继承与发展中，Donald Kirkpatrick的子女继续扛起该模型发展的大旗，成立了专门从事培训评估的(Kirkpatrick Partners)公司，并在2010年对该模型进行了最新的一次完善(图1)，形成了新柯氏评估模型(The New World Kirkpatrick Model)。这次的调整是针对批评者们指出的缺陷进行了补充。这表现在：在反应层新增了学员的学习参与程度和与工作的相关性两个变量；学习层，他们新增了信心和承诺两个变量。行为层的全部以结果层的部分，引入了一个新的机制——监督和调整，其目的在于针对第三级和四级评估过程中的各环节以及相应的评估方法和活动进行适当的监督和调整。Woodhouse[13]对美国医疗行业的培训项目的评估，Subramain.Maran基于修正后的模型对美国营养学教育培训项目效果进行评估，也都验证了新模型的适用性[14]。本文认为基于最新的柯氏培训评价模型，对当前高职教师培训的评价有着极其重要的借鉴意义。

图1 新柯氏四级培训评价模型

二、基于柯氏模型的高职师资培训评价体系

虽然殷蕾等人基于柯氏四层次评价模型和转化学习理论，构建了包括培训背景、培训反映、培训收获三个一级指标的评价体系[15],但该模型忽略了高职教师“双师型”的特点，只关注教学科研能力，专业技能的培训效果无法得到有效评价。正如朱旭东等人指出，教师培训的核心要素包含需求评价要素以及培训效果评价要素。在培训效果评价中，需要涉及到过程性评价、终结性评价、项目后评价[16]。

正如柯氏模型的拥趸者致力于评价框架的完善，高职教师培训评价模型也不能依据在已经就被其创立者抛弃的旧模型之上。因此，本研究基于柯氏评价四层次模型的最新框架的阐释，江苏省高职教师培训中心已有学员满意度评价问卷和学员撰写的培训心得，从柯氏模型四个一级指构建原始的评价指标体系。为保证评价指标体系的科学与有效性，我们采用专家经验评估法，邀请高职教师、高职教师发展中心负责人、高职院系领导、教师培训基地工作人员、培训基地负责人、教育学专家、职业教育研究专家、教师培训研究共17位专家对初拟的指标体系进行直接评价。最终形成包含四个一级指标、19个二级指标的高职教师师资培训评价指标体系(表1)。本文致力于建构的高职教师评价模型只精确到三级指标，文中仅展示具体测量题项的示例。后续研究将进一步探索可实际测量的题项。

表1 高职教师培训评价的指标体系

(一)反应层：学员对培训项目的回应

反应层是高职教师培训评价的第一阶段，它衡量的是参训学员对培训项目的满意程度以及回应程度。当前已有的高职教师培训效果调查问卷，就多是在满意度这一层次上，仅关注学员对培训是否满意。新的柯氏模型中则有满意度、参与度、相关度三个维度来衡量。

同伴阅读就是委派五年级学生做“小老师”指导二年级学生阅读。这些大哥哥大姐姐为了指导好弟弟妹妹，会事先认真备课，总结阅读策略与方法，并把这些策略与方法深入浅出地讲给弟弟妹妹。活动中，五年级学生的热情很高，指导也非常耐心。二年级学生在哥哥姐姐的带领下，阅读的兴趣提高了，阅读能力也得到了提升。

第一是参与度。它指的是学员在培训项目中的投入程度。学员在培训过程中的投入程度影响着他们的培训效果。“参与度”可以通过一些指标去衡量，例如学员出勤率、课程作业完成情况、课堂师生互动情况，生生互动等境况。这一维度可以通过日常课堂观察和问卷调查方式进行衡量。

第二是关联度。它指的是培训内容与教师自身知识结构、工作内容的相关性。该维度考察的是学员感知到的培训项目与自身的关联性，关联度越高越能激发学员学习投入的兴趣。

第三是满意度。它测量的是学员对培训项目的总体评价。这其中又可分为更具体的硬件和软件指标，例如，培训基地师资情况、教学内容、学习氛围、课程时间、学习环境、学习辅助环节等多维度的满意度。

针对反应层的评价方式，培训组织者可以通过书面考试、操作测试等方法来了解受训人员在培训前后，知识以及技能的掌握方面有多大程度的提高。如果因学员专业背景，学历背景，年龄层次差异较大，可通过小组讨论、小组展示、学员代表示范等方式组织。

而对于该层次的培训科目和成绩，学员的培训总结和结业证书等，改变以往的只停放在培训单位的做法，而是应该将其寄到学员所在单位，存入业务档案，作为评优评先和职称晋升的重要依据之一。

(二)学习层：学员在知识、技能、态度的变化

学习层主要评价学员在培训项目中多大程度上实现了知识、技能、态度方面的提升。是目前最常见、也是最常用的一种评价方式。可以采用笔试、实地操作和工作模拟等方法来考查。培训组织者可以通过书面考试、操作测试等方法来了解受训人员在培训前后，知识以及技能的掌握方面有多大程度的提高。本文借鉴新柯氏模型，加入了承诺的概念。因此在学习层主要有四个维度，分别是知识、技能、态度、承诺。

它们测量的层次不同。“知识”强调的是“我知道这个东西”(Iknowit)。“技能”强调的是“我现在就能做好”(Icandoitrightnow)。“态度”强调的是“我相信培训内容在工作中是有用的”(Ibelievethiswillbeworthwhiletodoonthejob)。“自信”表达的是学员在参与培训后对效果的自信状态，即“我认为我能在工作中运用得到”(IthinkIcandoitonthejob)。而“承诺”表达的是学员想要将所学知识技能运用到工作中的情感，即“我打算在工作中实际运用”(Iintendtodoitonthejob)。

本研究建议通过培训前后的知识技能增加的数值。常用方法可以是培训前后的量表测量，以及实地观察或者访谈。例如，可以通过最后一次课程上的问卷调查，而对于测量工具方面，我们认为要开发或者借鉴专门测试知识、技能、态度的量表或问卷。

(三)行为层：所学是否能运用到工作中

行为层是考查培训效果的最重要的指标。它涉及的是学员在培训中学到的知识、技能是否运用到实际工作中，及培训知识的可迁移性等系列相关问题。行为的评价指在培训结束后的一段时间里，由受训人员的上级、同事、下属或者客户观察他们的行为在培训前后是否发生变化，是否在工作中运用了培训中学到的知识。这个层次的评价可以包括受训人员的主观感觉、下属和同事对其培训前后行为变化的对比，以及受训人员本人的自评。这通常需要借助于一系列的评价表来考察受训人员培训后在实际工作中行为的变化，以判断所学知识、技能对实际工作的影响。

我们从知识运用深度、运用范围、持续时间、自主专业发展行为等四个维度衡量教师在培训过程中学习到的知识、技能，以及形成的情感态度价值观能否真正运用到实际工作中。首先，“知识运用深度”指的是在培训项目中学习到的知识与技能在实际工作中的发挥效果。即学员受到培训的知识与技能能否真正运用到学校教学、科研、社会服务等领域中，并究竟能起到多大的作用。

“知识技能运用持续时间”测量的是学员在培训中学到的知识，运用到实际工作中能维持多长时间，培训效果在时间变化过程中的消退速度如何？这主要测量的是，参训教师能否将所学知识与技能长时间地运用到工作中，而不仅仅是因为培训带来的短期激励。

“知识运用范围”指的是培训项目中学习的知识与技能是否能够突破个人，实现迁移，示范辐射，并向组织中的其他人进行知识扩散。这一指标主要用来衡量，教师培训的知识技能更新能都对组织其他人形成学习效应，这些已经受过培训的教师能对其他成员由较好示范与引领作用。

“自主专业发展”指的是学员参与培训项目后，是否能养成促进自身专业化发展的学习习惯和行为。教师作为学员参与培训单位的教学内容，对于自身能否形成终身学习和自主学习的理念和习惯，能否在回到原单位后仍然对自身教师专业发展有强烈的兴趣。

(四)结果层：培训项目对所在组织的影响

结果层的评价即判断培训是否能给企业的经营成果带来具体而直接的贡献，这一层次的评价上升到了组织的高度，它关注的是培训项目能否给组织商业或环境两方面带来积极的外在影响，例如声誉、商业收益等等。而且就正如柯氏模型指出的，这种培训的效果应该从培训基地和参训学校来逐一分析。

对于教育事业单位来说，对组织层面的评价无法，也不能像商业单位一样，以经济效益进行衡量。这也正是当前高职师资培训评价中最明显的一个特征。因此，本文认为，高教师资培训项目的评价，尽管需要考虑到培训成本和回报之间的关系，但我们不能像公司一样精确评价商业收益，或者只注重经济思维的激励。

对送训基地而言，结果层评价是传统意义的培训项目评价内容。其维度包括，参训单位的预期目标完成度、教学质量、科研产出、学生成长、学校声誉等维度。“预期目标完成度”，是需要教师培训部门负责人，基于对培训前的目标设计与培训后的总体效果，对整个培训项目的一个总体评价分数。“教学质量”，指的是培训项目给学校教学方面的提升效果，可以从课堂质量(师生互动频次，互动质量)、学生评教分数、专业教研能力评价(教研课题奖项申报和教研论文撰写)等维度衡量教学质量。“科研成果”指的是培训项目给教师学术科研带来的影响，可以从论文发表、课题获批数、著作出版、专利获批数等维度进行衡量。“社会服务维度”，指的是培训项目给高职教师服务区域经济社会发展能力带来的影响，例如可以从教师服务产教融合的次数和质量来进行衡量。“学生成长”指的是教师培训对学生成长带来的影响，可以通过学生满意度、学生成绩(GPA)、毕业率、升学率来衡量。“学校声誉”衡量的是教师培训给学校整个组织带来的声誉提升效果，可以从学校排名、用人单位满意度等指标来衡量。

同时，我们也应该要考核送培学校的培训项目对组织自身影响，这是柯氏模型提出的一个换位思考的考察方式。对送培学校而言，高职师资培训项目的评价，其维度涵盖投入-收益的比例、政府考核等情况。“投入-收益比例”衡量的是本单位参与培训高职教师学员投入的人力物力资源和所收获的货币性收益。由于非货币收益难以量化，因此我们认为该指标可以作为一个可调节的模糊集指标。而“政府考核”则是培训单位较为重要的评价指标，由于培训工作与政府部门关系相当紧密，政府部门评价关系着培训单位的经费和声誉。一般认为，越是能够提供高质量教师培训项目的单位，政府的评价往往也越高。

三、关于评价指标体系的几点说明

研究者需要再次重申的是，尽管我们采用了实证的方式构建了上述评价指标体系，但其本质依然仍是理论层面的探索，所以仍有以下几点需进一步说明。

第一，强调教师在师资培训评价中的作用。以教师知识结构和持续专业能力发展要素为核心基础的评价工作，需发挥教师在绩效评价的作用。第二，评价要重视参与者的互动。教师培训的需求要素中，培训基地要充分了解参训教师的意愿，而他们所在单位也要与教师有良好沟通，使每位教师都能积极自愿参与教师培训。对于第三方参与评价的介入，需要更审慎的态度。第三，以渐进方式推动评价工作，尝试以行为层和结果层的信息反馈到前两个层次，进而调整培训工作。我们的建议是可以先在第一、二层进行评价，关注在培训进行前、进行时，以及培训短期内的效果。待时机成熟再推动更高层次评价。如果要涉及行为从或结果层评价，可从部分指标着手。但要注意结果追踪，尤其是2-3年教师的长期表现，能离析出培训的效果。从这一点来看，也需要培训基地与送培学校之间有长期良好的沟通与合作。第四，每一阶段评价方式可以有差异，也可由多种方式结合起来使用。还需要注意的是，要注重对培训前的评价，了解评价需求以及学员基础水平。第五，以基于证据的政策制定思路推进评价工作。当前高职师资培训工作对已收集到的信息材料缺乏有效的分析，因而需要通过评价指标建立一套标准化的信息采集系统，形成高职教师培训效果的数据库。

最后，本研究的不足之处需未来深化。第一，新柯氏模型本身不足应得到正视。如该模型划分的相衔接的层次，其内在逻辑具有一定因果关系。第二，后期应结合调查问卷以及部分教师培训心得文本，验证问卷的编制及测试情况、问卷的结构效度(判断变量能否用于因子分析)、问卷的信效度检验(旨在了解量表是否具备可靠的稳定性)。第三，增加各级指标的权重计算模型，采用层次分析法(AHP)确定评价指标的权重，保证权重分配的客观性和精确性(划分层次评价结构、构建比较判断矩阵、各层次排序和一致性检验)。第四，新柯氏模型中关于各层面的评价提到的诸多评价具体方法，大部分是可借鉴使用但还需要开发符合职教师资培训评价的工具与方法，这是后续研究需要突破的点。