王贤
摘 要:“国培计划”项目质量评估应定位于提高培训项目实施的品质与价值,通过多方协同参与和灵活应用多种方法的方式来进行系统综合的成效检验。笔者在柯克帕特里克提出的培训成效四级评估模型的基础上,结合“国培计划”项目实施的现状,提出了三级质量评估模式。同时,针对当前评估所存在的方法选择相对单一、与教学实践活动相脱节、评估设计重结果轻过程、评估结果缺乏信息反馈等不足,提出了注重落实基于学员实际工作岗位表现的成效评估、构建基于评估结果的学员奖励制度和开展基于培训数据库建设的过程性评估等策略。
关键词:中小学教师 “国培计划”项目 质量评估模式
2010年开始全面实施的“中小学教师国家级培训计划”(简称“国培计划”)是提高中小学教师特别是农村教师队伍整体素质的重要举措。该计划希望通过大规模的中小学教师培训,培养出一批在推进素质教育和教学改革方面发挥骨干示范作用的教师,并进一步创新和完善教师培训工作,服务基层教育的发展。“国培计划”的实施对于欠发达地区义务教育的发展和改革都具有重要意义。而“国培计划”项目能否真正发挥其应有作用,关键还取决于其实施的质量。因此,教育部和财政部关于启动“国培计划”的通知中就明确要求:建立项目评估监管机制。建立专家评估、网络评估和第三方独立评估等多种方式相结合的评估机制,对项目实施进行全程监控和质量评估,并将项目执行情况和评估结果作为调整培训任务和项目经费的重要依据。[1]目前,在项目培训的实施上,地方教育管理部门虽然在培训的内容、方法和考核等方面具有统一的指导思想,但对培训质量的评估却缺乏一套科学合理的评估模式,导致评估质量良莠不齐。因此,加强“国培计划”项目实施的质量评估模式探索是进一步推动培训工作发展的当务之急。
一、“国培计划”项目质量评估的定位
对“国培计划”项目实施质量进行评估是一项系统工程,在设计评估模式和开展实际的评估工作之前,必须对评估的功能、主体、内容、方法等进行明确的定位。
1.评估功能:提高培训项目实施的品质与价值
从行为本身的直接目的来看,“国培计划”项目质量评估主要是为了检验评估的成效,进而为进一步的调整任务和经费的分配提供参考。然而,从其根本目的来看,评估的根本宗旨在于提高培训项目实施的服务品质及价值,使培训朝着满足培训人员需求的方向发展。因此,评估的重心之一是对项目实施的成功经验进行总结,并对其所存在的问题进行研究,探求解决问题的出路。培训质量评估一方面要充分发挥其所具有的“反拨效应”,提高评估对项目规范化发展的引领作用;另一方面要发挥其“诊断”作用,让评估工作为“国培项目”的更好实施保驾护航。
2.评估主体:教育行政部门组织下的多方协同参与
从理论上分析,评估主体应主要由评估委托方的意图来决定,同时还要考虑评估工作的可行性、便利性和合理性。“国培计划”项目是由政府发起,主要由各省、自治区的教育主管部门负责具体的实施,因此其评估应采取省级教育主管部门组织下的多方协同参与方式。首先,根据“能力优先”的原则,评估团队的核心成员应该是教育行政部门召集下的教育教学培训评估领域的专家和学者;其次,根据“利益相关”的原则,评估团队的成员还应包括主要利益相关者:政府人员、培训基地教师、参与培训的学员、送培单位领导、参与培训教师的学生等。不同人员的意见都应该成为评估成效判断和项目实施问题的重要依据,并“通过集体审议的形式来共同开展工作”。[2]
3.评估内容:系统综合的过程探析与成效检验
评估内容的定位即评估指标的确定问题,建构良好的评估指标是发挥评估功能的第一步。所谓指标是指“对某项表现的预期结果的描述”[3],其反映的是评估者希望受评估项目实施在哪些方面所能达到的水平或产生的作用。因此,“国培计划”项目质量评估首先要关注培训实施的方案及其预期效果的达成度,包括时间的分配、课程的设计、服务的提供、培训的方式、任务的完成、问题的解决等方面。其次是项目培训构成要素的审核,包括对培训教师的资历、培训的相关设备供给、培训学员的后勤服务保障、培训管理的制度设计与安排等方面。再次是培训项目实际达成的效果认定,包括对培训学员的参与程度、培训课程的受认可程度、培训对学员业务能力改变的程度、培训学员任务的完成情况等方面的考察。
4.评估方法:多种方法的灵活选择与优化组合
评估方法的选择对评估的质量和科学性具有重要的影响,不同的评估方法或手段的应用对项目信息的获取有所不同。而不同方法和手段也各自适宜不同的项目类型、信息类型、目标群体、评估技术、时空条件,因此,评估过程中应坚持灵活多样的方法选择和采取多种方法优化组合的方式。“国培计划”项目评估所需要了解的情况往往具有信息量大、内容广泛、对象众多、时空跨越较大等特点,评估人员可以因时、因地、因事适宜,灵活采取案例研究、个人访谈、问卷调查、电话采访、现场观察、集体座谈、作业布置、任务分析、对比实验等方法或方法组合,从而最大程度地掌握相关的第一手资料,提高信息来源的真实性和代表性。同时,对所获取的可量化数据或信息,要善于借用先进的统计技术进行科学合理的处理,提高评估结果的客观性、可追溯性和说服力。
二、“国培计划”项目实施的质量评估模式构建
评估模式的构建需要依赖一个好的评估模型为其提供系统化的逻辑指导。在教育培训领域所使用的众多培训评估模型中,培训专家柯克帕特里克(Kirkpatrick)所提出的柯氏培训成效四级评估模型最为著名。柯氏四级评估模型常被用于评估培训过程对接受培训人员的感情、认知、行为和组织的影响,其四个层级的评估包括学习者反应、知识迁移、行为迁移和组织影响。[4]但是“该模型只是在培训结束后进行一次性的评估,其过分强调参与者的反应,没有重视组织的绩效这一基本的因素”。[5]针对这一不足,1996年菲利普斯(Phillips)教授对柯克帕特里克教授的四级评估模型进行了补充,在其基础上增加了“投资回报”(Returnoninvestment Level)评估,其目的在于对培训的投入与产出比例之间的合理性进行测评。根据理性投资的原则,投资者总是希望培训能给投资方带来更大的收益,而这也更加符合现代投资发展的规律。[6]然而,该模型与柯氏模型一样,都将评估活动看作是培训活动的最后一环,“这就不可能对整个培训过程实施必要的监控,也不可能使之持续获得必要的调整和改进”。[7]
因此,综合这两种模型的优势与不足,并结合“国培计划”项目实施的具体情况,笔者将培训项目质量评估设计为三级评估模式,即培训前评估、培训结束后评估、培训成效期评估。
1.培训前评估
培训前评估主要是对培训基地培训方案设计的合理性、培训工作前期准备的充分程度、与参与培训单位及学员的交流沟通情况、培训可行性水平等方面的评估。这一层级评估的目的主要是督促培训基地全力投入培训工作以及发现准备工作中所存在的不足,并敦促其及时改进,从而保障培训工作得到更为顺畅、高效地开展。这一层级的评估主要通过向培训评估专家递交培训方案、邀请培训专家或上级教育管理部门相关工作负责人对培训工作准备进行现场考察以及培训基地负责人向专家汇报工作等形式来开展。
2.培训结束后评估
培训结束后评估是在培训结束后培训学员尚未离开培训基地前进行的培训质量评估。这一层级的评估包括三个方面情况的考察:一是对学员学习态度和兴趣的了解,包括学员对培训内容、形式、设备、教材、练习、授课时间安排、教师教学等方面的认可度进行详细周全的考察。可以采用课堂观察、问卷调查、访谈等方式来进行信息的了解和搜集。二是对学员认知能力改变的考察,包括对学员参与培训前后对相关培训主题认知的改变、对自我教学能力提高的信心、对教学困惑的消解程度、对自我发展存在问题的理解等方面信息的探究。可以采用对比分析、个案调查、深度访谈、布置任务、课堂测验等方式来对学员的表现进行评析。三是对培训所达到预期效果程度的评定,比如考察学员对培训所应该了解的新知识、新观念、新方法的理解和认可程度或者提高学员对教师职业的兴趣和自我能力发展的信心等是否达到预期水平等方面的考核。可以采取集体座谈、结构访谈、问卷调查、现场观摩的方式对学员或培训教师进行情况的了解和考察。
3.培训成效期评估
培训成效期评估是在培训结束后,学员回到教学工作岗位上从事教育教学工作后的一段时期内,对学员的教育教学工作改善程度的评估。中小学教师培训往往采取的是短时间内高密度集中培训的方式,短时间内要消化大量培训内容往往使学员力不从心。培训是否取得彻底的成效,也只有通过学员在工作岗位上的改变来得以更好地证明。因此,需要在培训结束后,在一定的时间段内对学员的实践能力进行测评。这种测评的方式可以是到学员所在学校进行现场考核、就学员培训后所产生的变化或给学校教学带来的影响等方面访谈学员所在单位的教师和领导、通过学员所在单位的教师或领导进行评课来对学员进行间接考核等;也可以采取让学员再次集中,通过讲课比赛或展示的方式进行教学实践成果汇报。这一层级评估的目的有两个:一是为了更好地检验培训所取得的成果;二是为了更好地跟踪学员的学习状况,并为其提供后续指导,强化培训效果。这一层级的评估所付出的时间、人力、物力往往最多,但其对培训质量的提高往往也更具根本意义。
三、“国培计划”项目实施的质量评估存在的主要问题
1.评估方法的选择相对单一,与教学实践活动相脱节
“国培计划”项目学员的规模往往比较大,一百人左右的班级并不少见。其培训一般采取的是集中授课或讲座的形式,对培训质量的评估往往是培训结束后,在学员离开培训基地前进行,能用于考核学员培训质量的时间往往非常短暂。因此,一般的考核主要采取便于实施的方式,比如通过发放问卷的方式对学员的满意度进行调查,或者要求学员提交一份培训心得体会的总结,通过对总结的简单归纳分析来判定培训质量。这样相对单一的评估方式虽然简便可行,但其对培训质量的评估往往缺乏全面性,对培训和评估的目的也缺乏明确的定位。此外,从提高学员教学能力和水平的培训目的出发,不论是问卷还是总结形式的评估方式,对学员学习收获的判定往往都是难以令人信服的。教学能力的判定终归要回到教学实践上才更具说服力。但是,对众多学员教学实践能力的考核需要大量的时间,而这往往也是培训方案本身所难以设计的。
2.评估设计重结果轻过程,其形式作用大于督导功能
大多的“国培计划”项目实施质量评估实行的是终结性评价方式,即在培训结束后,以一次性的评价结果作为整个评估的结果。比如对学员进行的一次问卷调查、综合考试的结果或将学员提交的文字总结作为培训质量的最终评估依据。这种注重结果轻视过程的评估机制,难以对学员参与培训的变化产生真正意义上的评价、监督和指导。但是,“任何教育教学的评估活动都不只是进行甄别、选拔,更重要的是为了促进被评估者的发展。”[8]中小学教师教学能力提升培训是一个渐进过程,在这一过程中,评估应该发挥不断督促和引导培训学员朝着培训所应达到目标发展的作用,因此评估工作也应该是一个分阶段、分层次逐步跟踪和推进的过程。任何企图通过一次终结性评估来达到不断地促进学员自我发展的努力都是徒劳的。
3.评估结果缺乏信息反馈,后续跟踪和强化服务缺乏
“国培计划”项目一般实行集中培训的方式,培训结束后培训学员各自返回原工作单位任教。在学员离开培训基地前,针对学员培训质量评估的相关信息搜集往往已经结束,但是相关数据、信息的分析工作尚未完成,评估结果自然也无法得知。然而,评估结束后,培训基地由于培训时间紧、任务重,一般不会安排专门人员给学员及其所在学校反馈培训质量的相关信息,只给学员寄送培训合格证书或证明。因此,实际上学员并不知道自己参与培训是否达到了培训所应达到的目标,也不知道自己尚存在着哪些不足和问题。同样,一旦集中培训结束,学员返回工作单位后,这个培训项目的全部工作基本结束。在信息反馈和后续服务缺乏的情况下,培训质量的提升和保障效果将会大打折扣。
四、提高“国培计划”项目质量评估模式有效运作的策略
要提高“国培计划”项目实施质量评估的质量,除了要进行科学合理的评估模式设计外,还需要对评估过程中所容易出现的难题和可能面临的困难采取有效的针对性策略。
1.注重落实基于学员实际工作岗位表现的成效评估
“国培计划”项目质量评估要真正走出“形式主义”的影响就要回归培训目的的本质,加强对教师教学实践能力的考核。就整个培训的核心目的而言,这一部分的考核最具根本意义,然而从时间、精力等成本论,这一考核环节的付出则是最大的。以学员的实际工作岗位表现为考核标准,就要到学员所在的学校进行实地考核,其形式包括深入学员的课堂进行听课,对学员所在学校的领导、教师以及学员所任课班级的学生进行问卷调查或访谈,从而全面获取学员在参加培训后一定时间内的进步情况,并发现其所存在的问题,进而判定学员的培训成效,为其下一步的发展提供指导建议。由于学员大多来自不同的地方和学校,对学员进行实地考察必然要花费大量的时间和精力,这是这一评估环节的难点。因此,在评估设计的过程中,主管部门必须具有充分的准备和决心,并通过加大评估的时间、人力和财力投入来保障实施的顺利进行。
2.积极构建基于评估结果的培训学员奖励制度
评估工作要取得良好的成效,除了需要主管单位给予精心组织,相关评估人员给予认真、负责的对待之外,更需要培训学员的积极参与。在当下的不少评估活动中,比如问卷调查、总结撰写等,学员往往都是抱着敷衍了事的态度,其所提供的信息并不能客观反映真实的情况。要改变这一状况,就要充分激发培训学员参与评估工作的积极性,让他们从根本上改变评估工作与己无关的观念。要做到这一点,我们可以采取根据评估结果对学员进行奖励的制度。这个奖励不应是简单的一纸证书或一定数额的物质奖励,而应成为对学员职称评定、教学奖励、能力认可等方面具有重要参考价值的凭证。教育行政主管部门要从政策制定的高度出发,明确规定在评估中成绩优异的学员给予的奖励及其奖励所具有的认可功能。通过奖励制度的激励,可以激发学员学习的积极性,同时也使他们更加认真的对待评估工作,使评估在真正意义上发挥其应有的功用。
3.加强开展基于培训数据库建设的过程性评估
对于促进培训工作的成效而言,过程性评估比终结性评估具有更大的优势,这是毋庸置疑的。随着国家对教师培训工作的重视以及终身教育观念深入人心,参与培训教师的数量及培训次数都会不断增加,这对培训工作的管理也提出一定的挑战。因此,从规范管理的角度和方便对教师个人成长过程的了解出发,可以考虑对参与培训的学员建立一个培训信息数据库。任何一位学员所参加的任何形式教育教学培训的信息都统一录入该数据库,使该数据库成为与学员终身相伴的培训档案库。档案库所记录的相关信息可以成为用人单位对相关学员录用、晋升、奖励等方面的重要参考。因此,数据信息的录入要注重对学员参与培训所取得成绩的过程性评估,包括学员在多次考核、多次任务完成、多次考勤中的表现等方面的信息,也包括学员在不同的培训中所取得成绩的动态呈现。培训数据库的建设不仅可以提高管理的规范化、科学化水平,为培训工作的相关研究提供数据参考,而且能促使培训学员珍惜培训机会和努力自我提高。
参考文献
[1] 教育部,财政部.教育部、财政部关于实施“中小学教师国家级培训计划”的通知(教师[2010]4号)[Z].
[2] KARLSSON O.A critical dialogue in evaluation:How can interaction between evaluation and politics be tacked.Evaluation,1996(2).
[3] 张银富主编.学校行政:理论与应用[M].台北:五南图书公司,2002.
[4] Kirkpatrick,Donald.GreatIdeas Revisited:Revisiting Kir kpatricks Four-Lever Model.Training and Development,1995(1).
[5] 理查德·斯旺森,等.人力资源开发效果评估[M].陶娟,译.北京:中国人民大学出版社,2008.
[6] Stone,Jennifer & Watson,Virginia.MeasuringTraining ROI and Impact.The American Society for Training and Development(ASTD),1999.
[7] 高志敏.人力资源开发的培训评估模型及其修正与完善[J].河南职业技术师范学院学报,2004(3).
[8] 王艳丽.教师培训应注重培训方式的示范作用[J].天津教育,2005(3).
【责任编辑 郭振玲】