“国培计划”项目评估的五层次模型：基于柯氏评估模型的分析建构

刘 建 银,黄 露

(重庆师范大学 教育科学学院，重庆 401331)

“国培计划”项目评估的五层次模型：基于柯氏评估模型的分析建构

刘 建 银,黄 露

(重庆师范大学 教育科学学院，重庆 401331)

当前“国培计划”项目评估存在评估维度层次低、评估方法和内容单一、评估信息来源范围窄、评估滞于静止状态等问题，使评估成为“国培计划”实施中最为薄弱的环节，这与“国培计划”的经费投入、参训规模和专业影响不相适应。柯氏模型是现今国际人力资源管理领域公认运用最广泛、最有效的培训评估模型。基于对柯氏评估模型的分析，“国培计划”项目评估可从需求层、反应层、学习层、行为层、结果层五个层级递增的维度进行。实施五层次评估模型还应关注评估指标体系构建、评估结果的适时反馈、评估时间点把握及评估主体多元化等问题。

“国培计划”；柯氏评估模型；培训项目评估；五层次模型

2010年我国启动实施了“中小学教师国家级培训计划”(简称“国培计划”)。作为落实《国家中长期教育改革与发展规划纲要》而启动的第一个教育发展重大项目，三年多来培训经费投入之巨、培训参与规模之大、培训模式探索之新、培训影响波及之广，可谓我国中小学教师培训历史所罕见。然而，实践对于这轮教师培训质量或效果的评估，多数仍旧停留在参训教师满意不满意、高兴不高兴等对培训的态度层面，理论上也缺乏针对“国培计划”项目培训质量多层次评估框架的系统设计，更多的是原则性思考。[1]实践和理论的这种滞后状况，使得我们难以对“国培计划”培训效果进行全面、准确的诊断。本文基于国际上人力资源开发与管理领域中最经典的柯氏四层次培训评估模型的分析，初步构建了适合于“国培计划”教师培训质量评估的五层次评估模型，以期能弥补这一明显不足，进而更好地推动“国培计划”的有效开展。

一、柯氏评估模型的框架及内容分析

在任何组织中，对员工进行培训是人力资源开发管理最重要的职能之一。柯氏四层次评估模型最早是针对企业的评估模型，但被人们认为是现今世界上运用最广泛、最有效的培训效果评估模型，因而被大量应用到其他类型组织的培训评估工作中。该模型是1959年由威斯康辛大学教授唐纳德.L.柯克帕特里克(Donald L.Kirkpatrick)提出的，因而常简称为“柯氏评估模型”、“柯氏评估理论”。1994年为了使模型更适应时代的要求，Kirkpatrick对其做了进一步完善。总的来看，柯氏评估模型包括四个层级：反应层、学习层、行为层及结果层，[2]其对评估的深度和难度也逐层递增。

一级评估——反应层(Reaction Level)，即评估参训者对所参加培训项目的主观感受程度。简单来讲，就是评估参训者对培训项目的喜欢或满意程度，如对培训项目的设计、师资、培训组织管理、培训环境和条件、课程内容与结构、培训方法、培训与工作相关性等的满意度。可以说，现有对“国培计划”的评估大多集中在这一层级。Kirkpatrick认为，反应层是最容易操作的，它对评估者自身应掌握的测量知识和能力的要求很低。在对反应层进行评估时，需遵循五条准则：一是要明确想得到参训者对培训项目哪方面的反应程度信息，二是把确定的评估内容制成项目评估表(或问卷)，三是采取某种测量形式把反应层的调查结果制成表格和量化，四是以匿名的形式进行评估调查以获得参训者的诚实反应，五是设计量表时鼓励参训者提出项目评估表以外的意见或评论。

二级评估——学习层(Learning Level)，即评估参训者理解和掌握原理、知识和技术等培训内容的程度。学习层的评估主要通过笔试、实地操作和工作模拟等方法进行，其测量也以问卷或量表作为手段。这一层次对评估人员的统计学知识要求较高，所以要难于对反应层的测量评估。Kirkpatrick指出，对学习层进行评价时同样应遵循五个准则：一是参训者要全员参与测试以获得确定的量化数据，二是要对参训者的学习情况进行培训前测和后测以方便比较，三是测量应建立在客观的基础上，四是设计控制组(没有接受培训)与实验组(接受培训)并将测试结果进行比较，五是要对结果进行统计分析以确保评价的信度并发现其中的相关关系。需要提及的是，在这一层级，Kirkpatrick一再强调前测后测、控制组与实验组的重要性，以方便能进行比较分析。

三级评估——行为层(Behavior Level)，主要评估参训者接受培训后行为产生的变化及是否将培训中所学的原理、知识和技能转化为实际行为。这个层次的评估可以通过对受训人员的主观感觉、下属和同事对其培训前后行为变化的对比以及受训人员的自评等方式来进行。行为层更能体现培训效果，但比前两层次更难评价。同样，在这一层次上Kirkpatrick也提出了五条准则：其一，系统完整的评价除了前后测外，还要包括参训者在工作时的表现；其二，对参训者行为的评估主体应包括参训者自身、其上级与下属、参训时的同伴、专家或客户；其三，要对参训者前后工作行为表现及培训后的行为变化进行量化观察并做统计分析；其四，实施追踪评价。对培训后参训者行为的评估应在培训结束三个月后或更长的时间进行，以便保证参训者能将所学的知识理论运用于实践，增加评估效度；其五，设置控制组(没有接受培训的组)和实验组，以方便进行对比分析。

四级评估——结果层(Result Level)，主要是评估参训者参加培训后对自己所在组织带来了哪些变化，如减少成本、降低缺勤率、减少员工抱怨、提高产品数量和质量、提高团队士气、提高客户满意率等等。一般来说，结果层是四个层次中最难的评估层次，因为组织取得的效益除参训者受培训的影响外，还受其他因素的制约，因而确定所搜集整理的信息是由培训带来十分困难。在柯氏评估理论提出之初，Kirkpatrick虽然强调结果层评估很重要，但也承认在实际操作上还很不完善，准确测量很难。在技术上，通常只能尽量测量培训前后的不同情况，通过使用控制组消除培训以外因素的影响。[3]在该模型应用三十七年后，Kirkpatrick才总结了结果层评估的六条准则：一是尽量设置控制组，二是用足够的时间去获得结果，三是培训前后都要对受训者及组织者进行评估，四是选择的合适时间点多次评估，五是认真考虑评估成本与潜在收益，六是如果长久不能获得绝对证据，可就现有数据结果进行分析。[4]

总的来看，柯氏评估模型具有以下特点：一是评估内容丰富，而且所包含的四级评估层的评估难度是逐渐升高的。相应地，每上升一个层级，其评估所获价值也在增大；二是评估方法多样化。前两个层次以量表、问卷为主，而后两个层次不仅有问卷、量表方法的使用，还有观察法、角色扮演、工作模拟等方法的介入。在结果分析方面，该模型十分强调统计分析的运用，注重对评估信息的量化；三是评估模型的应用是一个动态的评估过程，如强调前后测技术和追踪评估的运用，关注参训者前后培训变化的对比，培训后行为的变化及参训者所在组织效益的变化；四是评估主体范围涉及面大，评估主体涉及参训者本人、其上司下属、同事、专家或客户，这样才能对参训者进行全方位的评估。当然，从其评估完整性来看，该模型主要侧重于培训效果的评估，缺少对培训前期的整体规划、设计的评估，这也是该模型不足的地方。

二、“国培计划”项目评估的问题与五层次评估模型构建

对照人力资源开发与管理中最经典的柯氏评估模型，现有“国培计划”项目评估很不充分和成熟。第一，评估内容单一且评估层次低。从大量培训总结或政策报告来看，“国培计划”的评估内容往往只停留在参训教师对培训的主观感受，而这样的评估内容只是柯氏评估模型的第一个层次——反应层。仅有极少数评估方案会对参训教师所获知识、技能进行评估，但也只是上升到学习层。如此单一且低层级的评估内容，难以对“国培计划”进行全面诊断；第二，评估信息来源范围窄。目前“国培计划”更多是将参训教师作为评估信息的唯一来源，这显然是不充分的。因为在培训过程中有培训者或专家的参与，培训后有学生、参训教师的上级、同事直接见证参训教师的行为变化，因此应当如柯氏评估模型那样从多方面搜集培训的质量信息，才能保障评估信息充分、公正、客观；第三，评估滞于静止状态。现有的大多数评估都只是在培训结束后进行，把评估结果放在单一的时间点上，使得“国培计划”的评估呈现静止状态。反观柯氏评估模型，它强调前后测验的比较，重视追踪评估的运用，关注参训教师后续行为变化和所产生的绩效，是一个动态的过程。总之，目前评估成为了“国培计划”项目实施中最薄弱的环节，这明显与“国培计划”的投入、规模和影响不相适应。应当说，评估是确保“国培计划”项目质量的重要保证，也是进一步改进“国培计划”的重要参考。因此，我们从教师培训评估的特殊性出发，对柯氏评估模型进行了改造，构建了适用于“国培计划”项目的五层次评估模型。

1.需求层评估

这一部分的评估是柯氏评估模型所缺少的。需求层评估是“国培计划”项目实施前对所制定的方案或规划的评估。应该说，培训方案设计与规划是一个培训的开端，其制定的合理性直接影响着培训质量。同时，满足参训教师与学校的培训需求才是实施“国培计划”的直接目的和价值所在，因此以需求为依据来验证培训规划与设计的合理性十分重要。需求层评估的对象主要是参训教师与中小学校；评估内容是考察教师实际需求或期望与培训方案或规划的一致性、合理性程度等；评估方法可以采用问卷调查法、访谈法。

2.反应层评估

反应层评估主要是了解参训教师对所参加的“国培计划”培训项目的主观感受程度，也就是了解参训教师对培训的喜欢程度或满意程度。这一层级的评估对象是参训教师；评估内容可从培训教师、培训课程、培训环境三个维度进行，当然在三个维度下内容还可细化；在评估方法上，由于反应层评估属于态度调查，它的结果难免带有主观倾向性，因此最好编制李克特式的五点量表来调查，比如以非常满意、满意、无所谓、不满意、非常不满意来划分满意程度，以量化的方法统计问卷或量表结果。同时，为弥补问卷的不足，也可以辅之以访谈法，使评估结果更加客观、科学；评估的时点应该放在培训结束前立即进行，这样才能较为准确了解参训教师的感受信息。

3.学习层评估

学习层评估是对参训教师在培训中掌握了哪些原理、知识和技能的评估。评估内容可以依据2012年教育部正式公布的《中学教师专业标准》、《小学教师专业标准》、《幼儿园教师专业标准》所划分维度和领域来制定。仅以参加“国培计划”的中学教师培训为例，评估内容维度可以划分为专业理念与师德、专业知识和专业技能三个部分。专业理念与师德包括职业理解与认识、对学生的态度与行为、教育教学的态度与行为、个人修养与行为，专业知识分为教育知识、学科知识、学科教学知识、通识性知识四个领域。专业技能分为教学设计、教育教学评价手段两个领域。当然，如果是专题性的培训，应该设置针对该专题的评估内容；在评估方式方法上，可依据培训内容采取不同方法，如考查原理掌握程度可以封闭式的试卷题目为主，在专业技能评估环节可加入现场操作、情景模拟等方式，在专业理念与师德方面可用案例分析法；在评估时间选择上，不仅培训结束前要安排评估，在培训过程中也要选择恰当的时间点加以评估；在对结果处理方面，需要将培训前与培训后教师知识技能水平进行前后测比较，这样才可获得科学的诊断结论。

4.行为层评估

行为层评估是对参训教师接受培训后行为产生的变化及将培训中所学知识、技能转化为实际教学行为进行的评估。评估内容主要是参训教师教学行为的变化，评估内容的具体维度同样可以依据《教师专业标准》进行划分，分为教学实施、班级管理与教育活动、教育教学评价、沟通与合作和反思与发展五个领域；评估方法主要运用观察法记录参训教师教学行为变化，采用360度评估法搜集参训教师及关联群体对其行为变化的看法，以获得全面的评估信息；在评估时间上，由于行为的习得和变化是一个动态的长期过程，其变化无法立即显现，评估者可以在培训结束三个月后深入到实际教学场景中，对参训教师的教学行为进行追踪评估。对结果的分析要注重对参训教师培训前后行为的变化进行比较。

5.结果层评估

结果层评估用于参训教师通过培训对自身和学校所产生绩效的评估。在评估内容上，主要包括参训教师个人绩效与学校绩效两项指标，特别是影响学校教育教学质量的关键绩效(Key Performance)指标。参训教师个人绩效包括教学工作完成率、学生平均成绩、优秀学生率、学生家长投诉率、个人科研成果、教学技能评比等，对参加专题培训的教师绩效评估应该集中在该专题可能影响的绩效范围内。学校绩效包括学生学业成就、同类学校排名、学校管理效率、社会满意率、学生家长投诉率等；在评估时间方面，建议结果层评估最好定于培训结束后半年到一年的时间内进行。因为参训教师从学到知识、技能到将其熟练地运用到实际工作中并在工作中产生效果，是需要一定时间的，不过如果这个时间间隔太长，影响工作绩效的其他因素就会增多，结果层评估就很难开展。[5]当然，结果层是最难评估的层次，如可行性较差应尽量简单。

为使针对“国培计划”项目的五层次评估模型更加容易认知和理解，我们将其基本框架总结如表1。

表1 “国培计划”项目五层次评估模型的基本框架

三、“国培计划”项目五层次评估模型的实施建议

基于实践广泛应用的柯氏评估模型，本文构建了包括需求层、反应层、学习层、行为层、结果层在内的适用于“国培计划”的五层次评估模型。但是，这个模型只是从评估对象、评估内容、评估时间和评估方式方法上建构了一个初步框架。如果要将其加以实施，还应在可操作性方面做进一步考虑。

1.构建更具操作性的指标体系

评估模型只是一个整体框架，其具体运行需要有一套系统的科学的指标体系。评估指标体系是收集真实、可靠、准确的评估数据的重要依据，有了详尽的指标体系，评估才有了标准与可行性。一个好的指标体系应具备完整性、协调性、比例性[6]与精炼性等特征。因此，首先应根据评估模型中各层次评估的侧重点，对评估维度进行更细致的划分，操作化后形成更为具体的观测指标；其次，应以参训教师、学校需求为依据，对不同维度或指标赋予不同的权重；再次，在指标数据长期分析基础上，应设置相应的常模基准，对长期承担较多培训项目的单位进行培训效果监测，逐步建立对“国培计划”项目培训质量的预警系统，从而使培训评估得以长效、可持续进行。

2.重视评估结果的反馈

通观柯氏评估模型，其基本没有提及评估结果的反馈环节。应该说，结果反馈是构建“国培计划”项目五层次评估模型实施中必须高度重视的。试想评估后没有结果反馈，所做的一切评估工作还有什么价值？总的来看，反馈环节应注意以下几点：第一，从反馈对象来看，包括参训教师、“国培计划”培训承担组织及师资和评估者。作为参训教师，可从反馈结果里了解自身在培训中的状况及与其他参训教师的横向比较情况，从而促使其认真对待“国培计划”；作为培训组织、师资能通过反馈了解培训的整体情况，分析培训中产生的问题，从而对下一次的培训方案、内容、方法等做出调整；作为评估者，可从评估结果了解评估模型的科学性和合理性。第二，从反馈形式来看，呈现的报告要包括对培训方案、培训目的、培训内容、培训方法及师资等方面的评估数据反馈，培训项目及评估方案的调整和建议等方面。第三，从反馈内容来看，主要依据五层次——需求层、反应层、学习层、行为层、结果层来划分。如在需求层反馈培训方案、师资构成是否合理的结论，反应层呈现参训教师对培训的满意程度，学习层要在每一教学任务完成后呈现参训教师知识技能掌握情况，行为层要反馈参训教师的行为变化结果，结果层要出示参训教师及学校通过培训产生的绩效变化数据等等。

3.准确把握评估时间点

目前大多数对“国培计划”的评估都选择在培训结束前进行，虽然这时的评估能及时了解到参训教师对培训的主观感受，却无法观测到他们的行为变化等更深层次的信息。我们知道，教师专业成长是一个动态发展的过程，教师行为具有“内隐”特征，培训效果的显现也是一个滞后的长期过程，在这一过程中每一阶段又有不同的表现。因此，需要针对不同层级设计不同的评估时间点。需求层评估时间需要在培训开始前进行，这样才有利于对培训计划方案等进行调整，方便下一步培训进行；反应层是参训教师对培训项目喜爱程度的总体调查，最恰当的评估时间应放在培训结束前，因为此时的参训教师已经参加完整个培训，能够即时反映出自己的主观感受；学习层是对参训教师培训后知识、技能的考察，除了在培训结束前进行评估外，在培训过程中也要进行阶段性评估。只有应用了阶段性评估才能不断调整培训内容及方法，使得培训更加符合参训教师的实际情况，更利于他们掌握知识与技能。这是与柯氏评估模型不一样的地方；对行为层、结果层来说，由于参训教师习得知识、技能转化为实际教学行为，个人绩效及学校绩效变化都是一个迟缓的过程，它们不是通过培训就能够立刻表现出来的，因此其评估时间都需要在培训结束一段时间后才能进行。

4.形成多元化的评估主体

“国培计划”实施过程中，主要涉及参训教师、培训组织、培训教师三大主体。目前的评估仅从参训教师那里获取评估信息，忽视了培训组织、培训教师的地位和作用。更为重要的是，参训教师因参加有效培训而产生的教育教学行为变化，将对多重对象产生影响，如学生、同事、校长、家长，甚至包括他(她)的教研室、年级组和学校等不同层级的组织机构。[7]忽略这些利益关联者的信息，极易致使评估结果不够准确、全面和科学。美国评价学者派特(M.Q.Patton)最早提出“多元主体参与”的概念。他的观点是：应该把需要使用评价信息的各方面人员邀请到评价中来，请他们提出对评价的要求和建议，以便使评价结果能够很好地满足使用者的需求。美国评价学者豪斯(E.R.House)也指出：“多元主体参与评价的最大优势是克服了评价的偏见，提高了结论的真实性。”[8]因此应用五层次评估模型时，必须摈弃单一的评估主体，形成多元化的评估主体。具体对整个培训而言，应当分别从参训教师、培训组织、培训教师三大主体获取评估信息；而对考察参训教师行为变化、绩效变化而言，则应结合360度反馈法从不同层面的人员、不同的视角收集信息，以做出准确、全面和科学的判断。

[1] 苏姗姗，董小平．“国培计划”项目质量评估模式构建[J]．中国教育学刊，2012(3)：71-74．

[2] Kirkpatrick ,Donald L．Techniques for evaluating training programs[J].Training and Developemt, 1979，33(6)：78-92.

[3] 李莉．Kirkpatrick培训效果评估模型解析[J]．中国电力教育，2005(4)：25-28．

[4] Kirkpatrick ,Donald L．Great Ideas Revisited.Techniques for Evaluating Training Programs.Revisiting Kirkpatrick’s Four-Level Model[J].Training and Development Journal, 1996,50(1):54-59.

[5] 罗哲,易艳玲．基于CIPP模型和柯式模型构建我国公务员培训评估体系[J]．中国行政管理，2007(4):40-42．

[6] 陈霞．教师培训有效性的评价指标体系构建研究[J]．中小学教师培训，2008(10):9-11．

[7] 余新．影响教师培训有效性的五个基本环节[J]．北京教育学院学报，2009(6):67-71．

[8] 蔡敏．论教育评价的主体多元化[J]．教育研究与实验，2003(1):21-25．

[责任编辑张淑霞]

Five-LevelModelforEvaluatingNationalTrainingProject:AnalysisandConstructionBasedonKirkpatrickModel

LIU Jian-yin, Huang Lu

(CollegeofEducationalScience，ChongqingNormalUniversity,Chongqing401331,China)

A number of problems in current evaluation for National Training Project, such as low evaluation level, singular evaluation method and content, narrow and static in evaluation scope and in data have made evaluation the weakest part and incompatible for the investment of the project. Based on the most widely used and popular model in international HRM, Kirkpatrick Evaluating Model, the paper argues that the project should be conducted from five levels (demand, reaction, learning, behavior and result). The analysis shows that attention should be paid to issues such as the construction of evaluation indicator system, feedback of evaluation results, evaluation time points and diversification of evaluation subject in application of five-Level Model.

national training project; Kirkpatrick Evaluating Model; training evaluation; five-level model

G451

A

1674-2087(2013)02-0074-06

2013-04-25

重庆市教委教改重点项目

刘建银，男，四川邻水人，重庆师范大学教育科学学院教授，博士，主要从事教师教育、教育政策法规研究；黄露，女，四川泸州人，重庆师范大学教育科学学院硕士研究生。