马立东,国家检察官学院教务长,副教授。先后毕业于西北政法学院(现为西北政法大学)法律系、吉林大学法学院,获法学学士、法学硕士学位。历任国家检察官学院教务部主任、职务犯罪侦查教研部主任。2010年10月至2011年10月挂任河北省保定市人民检察院副检察长。
长期从事检察官教育培训教学及管理工作。主要承担宪法学、行政法、检察教育学的教学任务。主要讲授的课程:宪法理论前沿问题、行政法与行政诉讼法前沿问题;群体性事件与检察工作、新媒体环境下检察官媒介素养与舆情应对;现代培训理念与检察培训师角色定位、检察官培训特点与有效教学的组织和检察官教学中多媒体教学手段的应用等,教学效果良好。
主要科研:参与编写《晋升高级检察官资格培训教程》、《初任检察官资格培训讲义》和《检察官与人权保障教程》;发表《行政诉讼检察监督机制的完善》、《中国特色检察教育培训机制建构和创新》、《国家检察官学院教育培训二十年回顾》等文。
科学客观的教育培训质量评估是对检察教育培训活动效果的检验和检察教育培训质量的综合性反映和评价。
教学质量评估作为教育评估的一个重要方面,贯穿于教学活动的全过程。对教学现象进行价值判断,对教学活动表现形态进行评估,它既是教育评估的核心又是教育评估的基础。
一、教学质量评估概述
教育评估是现代教育管理与指导的主要手段。教育培训机构的教学质量自我评估是进行动态管理的首要条件,也是实现教育培训全面质量管理的重要保证。
(一)教学质量评估相关概念
1.教学质量。“质量”,究其本质来说是一种客观事物具有某种“能力”的属性,由于具备“能力”才能满足各种各样的“需要”。引用上述质量定义,可认为对检察教育培训而言,每一位检察官受训者的能力、知识、理解力和个人发展要不断地得到提高,所要求的就是培训机构必须坚持以追求培训质量为目标,强调培训质量的持续提高,强调培训的不断“增值”。将质量概念引入教育培训领域时,教育培训无疑就是一种“服务”。
教学质量是教育质量这个总体结构中的核心结构,是一个有特定质的规定性的有机整体。
2.教学质量评估。评估(Evaluation),在实践中也称为评价(Assessment)、评鉴(Validation)、评审(Audit)等,表示评估主体结合特定的目的,遵循相关指标,选择有效的方法和手段来衡量评估客体的价值的过程。简言之,评估就是价值判断的过程。美国教育评估学者毕比把评估定义为:“系统地收集和解释证据的过程,在此基础上做出价值判断,目的在于行动。”[1]
教学质量评估,就是依据教育评价理论,以教学目标为主要衡量标准,运用有效的技术手段,对教学目标、教学过程、教学效果等所达成的效果及其成效按照既定的标准进行测定与衡量,并做出价值判断。作为一种反馈与矫正系统,被评主体通过所得出结论的反馈,对其进行整改与矫正,对教学质量起到控制的作用。
检察教育培训教学质量评估不仅是对教师课堂教学的评估,而应当是三个层次的评估:一是对学员培训后的效果进行评估,以掌握学员参加培训的情况,以提高培训的实效性。二是对培训项目的组织实施情况进行评估(针对教务管理部门、教师)。这是一个完整全过程的评估。包括培训前、培训中和培训后的评估。三是对培训机构的教学保障质量进行整体评估。对培训机构的办学条件、办学指导思想、功能定位等各方面情况做出综合评估。
(二)国外公务员培训教学质量评估方法简介
1.英国。英国是世界上建立公务员制度较早的国家。随着公务员制度的建立,对公务员的培训制度也相应建立起来。
英国的公务员培训,不管是内设部门组织的培训,还是社会培训机构组织的培训,都非常重视培训效果评估。其主要做法是:建立有效的培训评估机制,保证培训的实效性。评估主要从以下几个方面开展:一是注意学员对培训的反应。二是检查学员对培训内容是否掌握。三是学员是否真正掌握了课程内容并运用到工作中去。四是培训是否有助工作业绩的提高。在评估过程中,将公务员需要具备的核心能力作为评估标尺,对公务员个人能力评估定位。对高级公务员评估还要将基本能力评估与高级职位工作测评要素即管理部下、责任制、判断力、影响力和业务能力相对应、相融合,明确高级公务员履行职责所必需具备的素质、技能、经验、方法等。
2.法国。法国把公务员培训引入绩效管理。法国的公务员培训是政府行为。由于培训任务重、工作量大,许多具体事情政府管不过来,于是引入市场机制,政府成为培训市场的购买者。各培训机构在市场竞争中优胜劣汰。激烈的市场竞争使法国各类培训机构普遍感到压力大,大家都努力提高培训绩效,谋求生存与发展。因此,每个培训机构都通过完善的培训评估不断提高培训质量。其主要做法是将整个评估过程分为四个环节:培训前评估,即在培训之前对培训计划进行评估,看其是否合理可行;培训中评估,及时校正培训目标;当即评估,即在培训结束时立即进行评估;长远评估,即在培训结束6个月后,进行跟踪评估。评估的内容主要是看培训目标是否达到,培训计划是否可行,培训课程是否合理,培训投资是否有效等。
国外公务员培训质量评估制度呈现这样一些基本特征:训前评估以素质测评和需求调研为重点。其中训前素质测评,主要是为了深入了解学员与培训项目相关的素质状况技能差距,以便量体裁衣式地开设各种培训课程。训中评估以课程质量和学习效果为重点。训后跟踪评估以成果转化和投资回报为重点。如对培训对象能否学以致用、能否将所学知识转化到实际工作中去必须进行跟踪调查。
(三)教学质量评估的功能
管理功能。通过评估,可以促进教育培训机构的教学管理更加科学化、规范化,是宏观调控教学的主要措施和有效手段。通过对教学质量进行评估,可以多渠道、综合性地反馈来自教学各个方面最基本的信息,使检察官培训机构较为客观地掌握教学活动的现状和水准,了解到教学策略和管理方法是否正确,教师素质及其教学效果、学员学习态度和学习效果是否优良,探讨检察教育培训改革与发展的新思路、新举措,为学院的教学管理、科学决策提供依据和思考。
诊断功能。通过评估,可以诊断出教学过程中的问题,改进教师教学工作。美国著名的教育评估专家斯塔夫尔比姆曾说过:“评估最重要的意图不是为了证明,而是为了诊断”。[2]检察官培训教学工作存在的问题,会通过不同形式表现出来。经常性地针对不同的环节、不同的对象进行评估,可以发现和诊断问题,找出问题产生的原因,及时制定解决问题的有效措施。对教师而言,通过评估,能及时发现教师在教学态度、教学内容、教学方法等方面的不足,帮助教师全面深刻地反思教学工作,总结成绩经验,掌握自己在教学中的优势和劣势,查找问题不足,分析原因后果,商讨对策措施,促使教师进一步明确自己的职责,不断完善自我,确立发展的目标,并有目的地提高各相关方面的素质,更好地为检察教育教学服务。
激励、引导功能。通过评估,教学质量评估是对教学管理者、教学人员工作水平、工作效率、工作质量和工作成果的鉴定。通过收集评估对象的相关信息资料,采用一定的手段进行选择和处理后,将处理结果与有关标准进行对比分析,从而判断评估对象的状况。通过评估,有利于建立起科学合理的激励机制,对优秀者予以奖励,推广经验,调动他们的积极性,充分发挥评估结果的激励作用。同时对评估结果差的予以鞭策,督促他们对自己的教学过程进行思考,采取措施,迎头赶上,以最大的精力投入到本职工作中,营造人人关心教学质量的良好氛围。
二、检察教育培训教学质量评估的实践——问题及对策
没有质量评估或不健全的质量评估,既不能使培训的效果、质量得到有力的保障、检阅和反馈,又易于隐藏培训深层次的问题,对管理、培训等机制的发挥有负面影响。随着新一轮大规模培训工作的展开,检察教育培训面临着新的形势,培训质量评估便成为我们要研究的重要课题,完善创新培训教学质量评估机制,至为重要。
(一)检察教育培训教学质量评估工作存在的问题
1.教育培训质量评估工作碎片化,没有从干部培训教学的实际出发,以整体优化的指导思想建立评估体系和确定评估内容。检察教育培训教学质量评估的内容究竟有哪些?这些内容的重要程度如何?课堂专题教学的方式和质量对整个任职培训教学方案设计质量又有怎样的影响?不同评估主体采用同一种评估方式其中存在多大误差?测评数据、测评结果实际作用会是什么?教师若没有理论的引导和评估观念的改变,促进教学、回馈学习的评估是否能够贯彻始终?等等这些都还缺乏系统的分析。比如说仅从教师课堂教学质量评估方面对各种影响培训教学过程和教学效果的因素没有作全面而整体的系统研究与分析。不同的班次、不同的课程,不同教学形式的课程,没有既有区别针对性又相对稳定、合理的评价指标。
2.教学质量评估过程缺乏系统性,对各种影响培训教学过程和教学效果的因素没有作全面而整体的系统研究与分析。培训教学质量评估是一个层次重叠、条目众多的系统,对培训活动的各个环节如对培训活动的投人、过程与效果进行检查、监督与评判,既要评估培训工作本身,也要评估培训组织、领导和后勤服务;既要评估培训的实施阶段,也要评估培训需求调查阶段和培训方案的制定阶段,以此达到对培训活动进行有效控制,保证培训目标的可靠实现。目前我们的培训结果评定形式化、简单化,评估结果准确性不高,直接导致了质量评估可信度不高。
3.对评估结果的总结和利用不够,信息反馈不及时。在向教师及时反馈同时跟进监督的方面存在制度性的问题。教学质量评估的目的是为教育培训机构提供及时可靠的信息,及时地改进教学,提高培训质量。而目前我们对评估结果的整理分析和总结利用还不够,对课堂专题教学效果的好坏不能及时地加以反馈。对教改课程尚缺乏有针对性的测评方法,难以实现评估结果的引导功能。同时对于不同类型课程单一的评估方式难以真正实现“全面、真实、客观和公正”。
4.各种因素的存在影响检察官培训教学质量评估准确性。课堂教学质量评估具有很强的实践性,在执行过程中会受到多种因素制约。在实际操作过程中,每一种信息来源都因它的局限性而影响到结果的准确性。(1)评估者心理因素与评估误差。由于知识、兴趣、情绪等因素影响,人们往往会形成知觉准备,这种知觉准备又会影响后续的知觉过程,这就是心理学上的知觉定势。知觉定势造成的主观偏差,往往会使评估的可信度降低、区分度变差、评估结果呈偏态分布。如评估者受环境、情绪和人格特质的影响,出现宽容误差或苛严误差,给出过高或过低的评估:如评估者出于对授课者职务、职业背景的敬重出现先入为主的定势影响给出与实际授课效果不尽一致的评估;如评估者为避免做出极端判断,使评分分布在中间等级,表现为一种彼此差距不大的中央趋势现象。评估者既不愿给优秀授课教师以太高的评估,也不愿给较差的授课教师以太低的评价;如评估者基于从众心理给出群体效应误差评估等。(2)评估主体的缺项导致误差。目前学院检察官培训教学质量评估主体以学员为主,没有兼顾到同行、专家和授课者的评估。虽然学员从始至终参与了整个教学过程,是课堂教学效果的最好见证人。评估的可信度也最高。但学员的评估往往会出现(1)中所列示的误差。而增加同行、专家的评估则会在课程内容的专业性、授课方式等方面弥补单一评估的不足,授课教师自评有利于教师对评估内容“内化”,使评估结果朝向宜于课程建设性的方向发展。(2)评估目的与效度对评估结果的影响。通常评估目的有下面几个:导向功能:确保教师的态度、行为、结果能达到检察官人才培养目标的实现;管理功能:为工资晋升、职称评定等工作提供有价值的信息;激励功能:以评估结果为基准评选优秀课程、精品课程,引导教师对照标准不断改进教学;诊断功能:通过评估找出问题及不足,以提高教学质量。评估目的的不同会直接影响评估内容的选择和评估的效度。
(二)完善检察教育培训教学质量评估机制
影响检察教育培训教学质量的因素很多,如何结合培训对象群体具有检察实践经验的丰富性、培训时间的有限性、接受知识的指向性、综合性等特点,确定检察教育培训质量评估的重点内容,并建立相应的评估指标体系是检察教育培训质量评估的关键之所在。应根据受训者、培训者、培训机构的培训目的与要求,选择恰当的方法来进行。应注重采用定性分析方法与定量分析方法相结合、个别谈话与座谈会相结合、专题问卷、综合调查和总结报告相结合,有形评估与无形评估相结合的形式,从正面激励的角度,开展有针对性的评估,具体的改进方法有:
1.评估主体多元化以增强评估结果的真实客观公正。在评估主体上进行结构性调整,扩大评估主体的参与范围,使普通教师、学员代表、教辅人员、学员管理机构等加入到教学质量的评估工作中,积极促进评估主体由一元化向多元化转变。
2.对受训者的评估方面,评估手段应多样化,考核、问卷调查、个别谈话、测评、论文、调研报告和学习总结等灵活应用。针对7天左右的短班应考虑增加培训后学员向工作单位负责人汇报学习情况等方式。重点评估受训者的学习收获情况。
3.对培训者(教务管理部门、教师)的评估方面:一是组织受训者举行座谈会、问卷调查、抽样调查、个别访谈等;二是通过考评组的听课与测评(考评组由受训者代表、主管领导、专家、业务部门的有关人员组成);三是培训的社会反馈信号,如媒体的报道、其他培训机构的评价等;四是培训师资本人的意见(教师自评);五是受训单位的的反馈意见。主要评估培训者胜任工作的基本条件、组织培训活动的能力、培训的内容、运用培训方式方法能力、敬业精神、学员满意度等。
4.对培训机构在培训活动中的管理评估:一是管理工作的配套性评估;二是管理方式的有效性评估;三是管理组织与效应的评估;四是教务组织与有序性的评估;五是学员管理部门或组织员工作的时序性、激励性、成效性评估。
5.增加检察官培训教学质量评估准确性的对策。虽然在教学评估中误差的出现不可避免,但是误差并非不可控。我们研究评估中导致误差的因素,一是为将误差控制在一定范围内,二是作为衡量评估准确性的标尺。(1)突出评估的激励和诊断这些发展性功能。要以激励、促进教师发展的理念为指导,诊断教学中的不足和问题,使优秀教师成为典型示范,让需要进步者得到帮助。评估结果不应是试图证明什么而应成为试图改变什么。(2)选择和运用多元主体评估法。学员、同行、专家和授课教师自己这四种评估主体各有其优缺点和适用形式,又可相互弥补不足。检察官培训教学应采用以学员为主,兼顾多元的评估法是一种比较科学的选择,能够获取丰富的信息量,在一定程度上可以保证教学评估的客观性和有效性。(3)建立科学的课堂教学质量评估指标体系。科学的指标体系应该具有客观、全面、易于理解和操作等特点。为尽量减小各种因素对评估结果的影响,要做到评估项目、内容具体明确,一定要选择学员在课堂上直接就能够观察到的、教师的具体教学行为作为评估内容。最后要根据评估目的科学地确定多元评估主体,并根据内容和价值的重要程度赋予相应的权重系数,不可简单化、平均化。(4)兼顾定性评估和定量评估。定量评估有较强的可操作性和可移植性,但是它容易将复杂的教育现象简单化。定性评估比较适合过程性评估,重视评估中多种因素之间的交互作用,有较强针对性;其缺点表现在对评估者的依赖性较大,容易受到主观因素干扰。应采取定性评估与定量评估相结合以定性分析为主的方法,不宜在评估指标和细化方面耗费过多精力,要激发广大教师参与的积极性,充分发挥课堂教学评估的发展性功能。
注释:
[1]蔡敏:《欧洲大学内部质量保障体系的构建及评价》,载《比较教育研究》2012年第1期,。
[2]吴国华:《论高校教师教学质量评价机制》,载《天中学刊》2010年第2期。