冯加根 杨 卓
(教育部考试中心,北京 100084)
命题是考试的基础性工程。命题程序是指为生产试题所设定的工作流程,是保证试题质量的有效机制。美国教育考试服务中心(ETS)参照《教育与心理测试标准》,专门制定了《ETS质量和公平标准(2014年版)》,“要求所有产品都要经由系统性的审查流程来评估其是否符合《ETS质量和公平标准》。这种审查过程采取内部审核的形式,使用统一并有文献可查的程序对产品进行评估。”“这些程序使测试为其预期目的及目标人群提供公平、可获取、可靠和有效的分数解释。”[1]
我国中小学教师资格考试实行全国统一考试,采取“笔试+面试”综合性考试方法,每年举行2次笔试、2次面试。考试成绩合格是认定教师资格证书的必备条件[2]。截至2017年,全国参加改革试点的省份为28个,笔试累计报考905.9万人[3]。2011年至2017年,教师资格考试已经使用的400余套笔试试卷、数千道面试题,都是通过严谨、规范的命题程序生产出来的,试题质量得到了社会广泛认可和好评。在调查“你认为目前的中小学教师资格考试与以前的考试相比其效果”问题时,72.96%的考官认为好,22.21%的考官认为一般,4.83%的考官认为不好;43.44%的考生认为好,38.48%的考生认为一般,18.08%的考生认为不好;61.10%的学科教学论教师、行政部门和考试机构人员认为好,32.48%的认为一般,6.42%的认为不好[4]。本文尝试通过对我国教师资格考试命题程序运行实践经验的总结与反思,探讨命题程序的具体作用、构成及特点,旨在防止实际执行中可能出现的随意化现象,进一步改进命题质量,提升教师资格考试的社会美誉度。
教师资格考试命题,不同于学校期中、期末考试的命题:学校考试命题常常依赖于教师的个人经验;教师资格考试命题,实行的是严谨规范的程序化命题,注重命题流程的科学化、专家团队分工协作与过程质量管理。命题的程序化是命题专业化的重要标志。
教师资格考试命题程序,是在学习借鉴其他考试项目命题程序基础上发展起来的,逐步形成了若干相对固定的环节。每个环节相对独立,前后连贯,形式上表现为命题流程的一个个步骤、阶段,命题者需要完成相应的命题内容与任务。命题程序是组织管理命题过程的重要工具,有程序好办事,按程序办好事,细节决定成败。实行程序化命题,是保证试题质量的重要基础,符合命题流程科学化管理的基本规律。教师资格考试命题程序的作用,主要是有利于实现试题生产的标准化、高效化。
教师资格考试命题程序的标准化作用,主要表现在:一是有序开展命题工作,试题生产流程标准化,所有试题通过相同的程序产生;二是依规依矩进行命题,所有命题参与者都遵循相同的规则与操作规范要求来生产试题;三是在试题生产的各个环节,质量标准是相同的,没有达到质量要求的试题不能进入到生产流程的下一个环节。
教师资格考试命题情况比较特殊、复杂。2011年以来,参与教师资格考试笔试、面试命题的专家,数千人次,命题的内容涵盖综合、教育、心理、教育法律法规、学前教育、中小学教育、中小学语文教学、数学教学、英语教学、历史教学等几十个学科领域。只有分门别类建立专业化的命题团队,才能顺利进行试题生产。命题团队专家来自全国各地不同地区,分布在大学、研究机构、中小学、幼儿园等不同单位,他们自身的专业能力水平、背景、个性、对教师资格考试命题的认识与理解,客观上不可能完全一样,每位专家编写提交的试题,千差万别,风格各异,与国家统一考试的试题质量要求有一定差距,直接用于考试是不现实的。每道合格笔试试题、面试试题的生产,都需要命题团队成员间的密切分工协作。
教师资格考试需要组织管理数量众多、学科领域非常广泛的专家参与试题生产工作,这是极其巨大的挑战。如果每个专家自行其是,缺乏规范的、严谨的、共同遵循的程序与规则,试题生产是难以顺利进行的。只有充分发挥命题程序的标准化作用,才能够有效促使命题专家团队每个成员心往一处想,劲往一处使,保持试题生产活动过程的高度统一、协调一致、环环相扣。严格按照命题程序生产出来的试题,质量与技术规范不会因人而异、因时而异,能够达到国家考试的要求。利用命题程序,能够有效调节命题流程节奏,管理好每个人的工作质量、每道题的质量。
教师资格考试每次笔试科目为35个、面试试题为39个学科(领域)。每一次考试使用的笔试试题、面试试题,数以千计。考试对试题开发生产的需求数量非常大。因此,必须建立高效化的命题工作机制,精心设计命题环节,使命题专家团队的工作目标与方向定位清晰、准确,工作流程更为经济、合理,避免走弯路,减少无效劳动,促进试题生产效率的改善与提高。
严格按照命题程序生产试题,为组织管理更多的专家参与命题工作,多频次、大批量生产试题,提供了条件与机制。教师资格考试部分科目,组织了几个不同命题团队,分头独立进行命题,单位时间里生产的试题成倍增加,快速积累了大量试题,满足了改革试点实践需要。不同命题团队都执行科学、统一、规范的命题程序与规则,分工配合,环环相扣,每个人的工作有章可循,有据可查,保证了每个环节工作效率的优化,有利于达到整个试题生产流程的最佳效率。通过命题程序的系统集成效应,实现了试题生产的集约化、高效化。
一般以考试项目的试题需求为目标来设计命题程序的基本环节、步骤,基本原则是便于操作实施,不是越多越好、越复杂越好。不同考试项目的特点不同,命题程序也有一定差异。
教师资格考试根据命题任务需求特点,命题程序大致可划分为前后相继、相互影响的6个环节,即规划、编题、研磨、组卷、启用、反馈。每个环节蕴含丰富的内容,命题者要在各个环节完成相应的命题工作任务。
规划是命题工作的起始阶段,是教师资格考试命题程序的第一个环节,主要解决命题的总体框架设计方案问题,谋划组织管理命题的方法策略,包括试题试卷需求分析、制定命题目标任务、制订命题手册、组建命题团队、命题业务培训、准备命题相关资料等。教师资格考试既有笔试,又有面试,命题科目多,学科内容广,精心做好规划至关重要。
命题需求分析与制定目标任务。教师资格考试每年需要使用笔试试卷约70套,面试试题数千题。为了积累足够的试题,每年实际完成的命题任务量应是使用量的若干倍。
制订命题手册,是实行程序化命题的基础,也是命题科学化水平的重要标志。命题手册的内容主要包括教育测量与命题基础知识、命题指导思想与基本原则、各种题型开发编写与审查的规范要求、命题管理与安全保密要求等。命题手册的内容要非常具体,有针对性,便于操作实施;尤其是关于不同题型试题开发编写的技术规范,既要有指导性要求,也要有具体的典型实例。学科秘书要提供试题模板,让每一位参与命题的专家可以依托模板来开发提交试题。试题模板是进行试题开发工作的最直观样本,每种题型都有相应的模板。例如,关于“四选一”选择题的编写模板,对试题立意、如何选择试题素材及编写题干、选项,既要有正面的指导性要求,也要有针对性的容易产生差错的具体提示,并附有试题例子。
组建命题专业团队,建立结构合理、有广泛代表性的命题专家库。命题任务主要由2个方面的专业人员来完成:一是命题专家,包含所有命题科目的学科专家、教育测量专家、中小学幼儿园骨干教师等,他们在院校、专业水平、地域、职称、年龄、性别等方面应具有代表性。命题专家主要承担撰写试题、审题、组卷、质量评估等任务。二是命题组织管理专家,通常称为学科秘书,按照命题科目或学科或学段配备,要求具有一定教育测量基础和较高的专业素养,热爱命题工作,安全保密意识强。学科秘书主要负责命题工作规划、组织管理、参与命题审题、组卷、准备命题所需资料文档等工作。
命题业务培训。命题的专业性要求非常高,没有经过培训的人员,难以胜任命题工作。培训对象主要是命题专家和学科秘书。培训的目的和内容主要是让他们熟悉教师资格考试项目的基本特点与改革发展趋势、教师教育特点与发展趋势、中小学新教师能力素养结构要求与表现、命题基础知识、如何进行试题选材、试题编写方法与技术、试题质量要求与标准、命题操作规范等。
命题资料及相关参考材料准备。命题过程中,命题专家和学科秘书需要依据或参考相关资料,建立相应的命题工作档案:一是命题的依据,包括中小学教师专业标准、教师教育课程标准、中小学教师资格考试标准与大纲、党和国家对新时代教师的新要求、关于教师的政策法规等,但是中小学、大学任何版本教材不能作为命题的依据;二是命题参考资料,如中小学与大学教材、参考书,相关的书籍、报刊等;三是用于记载、验收命题工作过程与情况的表格、文档等,以备查证;四是关于命题安全保密的记录表、文档。
学科秘书按照命题任务计划,负责组织命题专家编写试题。命题专家应按照试题模板统一编写试题,以保证开发出来的试题样式与规格基本一致。
编题通常有3种方式:一是命题专家根据学科秘书的要求,利用日常时间自行通过模板开发试题,提交给学科秘书。这种分散式编题,机动灵活,能够充分利用命题专家的闲暇时间,便于学科秘书组织动员更多专家参与试题开发,但学科秘书的工作量很大,由于没有面对面交流,可能会出现试题质量参差不齐现象。二是学科秘书组织召集命题专家团队,以小组协作方式集中封闭一段时间,专门进行试题编写工作。通过这种方式,命题团队可以在较短时间内开发较多试题,并能面对面地对试题进行切磋、讨论、修改,但这种方式受时间、空间、场所、参加人员数量等因素影响较大。三是学科秘书利用日常工作时间,组织就近的若干命题专家到指定地点编写试题。这种方式比较灵活,但工作时间较短,一般是一天或半天,能够参与的专家范围有限。上述3种方式编写的试题,从质量标准来看,属于试题半成品,需要进一步审核打磨。
学科秘书负责组织对开发编写出来的试题进行研磨。教师资格考试试题研磨主要有3种方式:自磨、团队磨、他人磨。自磨,即学科秘书对自己负责的笔试题、面试题,进行初步筛选、核对、编辑处理,提出修改意见与建议,或者试题编写者对自己所开发的试题自行审查、打磨与修改。团队磨,即学科秘书组织试题命题专家团队,集中起来集体审查与修改试题。由于试题来自各个方面不同的命题专家,尽管大家都是按照模板提交试题,但客观上每个人对试题考核目标的认识理解、试题取材的侧重点与偏好等,见仁见智,尤其是关于人文学科方面的试题,特别需要命题专家在一起面对面进行集体研讨、打磨,集思广益,取长补短,进一步统一命题思想、思路,深入细致地推敲、修改试题。他人磨,即聘请命题专家以外的相关专家对试题进行打磨,这些专家没有参与试题编写工作,能够从局外人的角度审视试题,不会先入为主,不受编写试题的思维定式影响,有可能发现试题存在的问题,有利于更加全面地改善试题质量。
试题研磨的主要内容与要求是:试题不存在政治性问题,没有科学性问题;试题符合考试标准与大纲要求,没有超标超纲现象;试题考核目标与内容明确,没有歧义;试题答案与设问一致、吻合,赋分合理;试题有考核意义,试题导向性与立意恰当;试题表述符合命题技术规范要求;试题难度适宜;试题为原创等。研磨过程中,专家们对每个题目进行逐项审核,实行一票否决。对于研磨合格的试题,命题专家和学科秘书签署相应的试题质量审查表。
经过研磨、加工合格的笔试试题,组成试卷后,存入试卷管理系统。经过研磨、加工合格的面试试题,进入面试题管理系统。面试题按照学段、类别、学科(领域)、类型等统一编码,可通过计算机进行储存、检索、管理、使用。
教师资格考试采用专家人工方式组卷。命题专家团队与学科秘书负责笔试科目组卷工作。命题专家和学科秘书通常按照命题蓝图(双向细目表)来挑选合格试题,组配试卷。命题蓝图具体规定了每一份试卷的总体结构,包括考核目标、各个内容模块考核权重、题型、题量、考核能力层次分配比例、试题难度预测等。命题专家团队、学科秘书逐一挑选合格试题,组配成试卷,经过审核、修改、难度评估、校对无误后定稿。
组卷的质量标准主要包括:试卷总体考核目标符合考试标准、大纲要求;没有科学性、政治性问题;试题内容分布合理;试卷预测难度适宜;试卷格式规范。组卷完成后,命题专家和学科秘书要对每一份试卷签署试卷质量审查表,确认所完成的试卷质量合格。试卷质量审查表主要内容包括4个方面:政治政策性、科学性、适合性、技术规范性。前3个方面内容与要求,类似于试题质量审查表,但试卷审查更加关注试卷整体。技术规范性方面,主要从题目编排、题目间关系、前后一致性等角度列出具体要求,例如,试题排列顺序是否符合考试逻辑,前后试题之间是否含有相互提示的内容,试卷中出现的试题图表的格式序号、大小及比例是否规范一致,试卷中出现的数字、字母、符号是否正确、规范且全卷统一,各题型试题分值之和是否等于卷面满分等。
学科秘书通过管理系统,随机抽取拟使用的笔试试卷、面试试题用于考试。对所抽取的试题、试卷,学科秘书自己要进行认真审校,也可请专家进行审核把关。审核要求主要包括2个方面:一是对照试卷质量审核表,深入细致复核试题、试卷;二是要特别根据前一次考试统计分析报告、阅卷总结报告、考试情况调研报告等反映出来的问题与建议,对试题、试卷作适当修订。与研磨、组卷环节相比,启用环节的试卷审核的内容与指标更加关注的是总体质量与积极导向,例如:试卷是否符合教师专业标准、考试标准、考试大纲的要求;试卷是否体现育人导向、能力导向、实践导向、专业化导向;试题情境设计是否联系中小学、幼儿园实际,使用的案例、材料是否典型;试题是否注重考核教师专业基础知识、教育教学基本能力和素养,有无偏题、怪题、死记硬背题;试卷是否适合用于考试等。
试题质量高低归根到底要通过考试实践来检验。利用好考后试题的科学分析、量化评估等反馈信息与结果,对命题进行深入反思,是教师资格考试命题程序的有机组成部分,不可或缺,具有特殊意义。教师资格考试对象包括师范生、非师范生,师范生是教师队伍来源的主体,考试结果信息对教师教育机构的课程设置、教学、人才培养具有极其重要的导向意义,试题必须充分反映新时代教师教育成果与特点,能够有效区分学与不学、学得好与学得不好的考生,以保障和促进教师教育健康发展。此外,通过反馈,也有利于进一步提高命题程序其他环节工作的针对性、实效性。
反馈的内容丰富,包括定性和定量2个方面;反馈的形式多样,包括统计分析、阅卷总结、专题调研等。统计分析以定量为主,阅卷总结、专题调研以定性分析为主。统计分析的内容与指标主要有:考生群体分布;考生成绩总体统计;各省成绩统计、分数分布;不同群体考生成绩统计分析;各个科目成绩统计、分数分布;幼儿园、小学、中学不同学段成绩分布;不同学段间笔试科目成绩相关系数统计;难度、区分度、信度统计分析;选择题的各个选项分析等。教师资格考试实行全国统一阅卷。阅卷结束之后,每个阅卷点均提交阅卷总结报告,包括对每个科目、每个试题的分析评估意见,以及命题改进建议,尤其是试题能否较好反映教师教育的现状与特点。阅卷期间,学科秘书组织相关专家到阅卷点开展专题调研,通过与阅卷点学校领导、阅卷组长、阅卷教师交流、访谈、座谈、实时网上查阅考生答题及教师评分情况等方式,深入细致了解阅卷教师对评分标准的把握情况,以及对试题的意见与建议,调研特别关注试题能否有利于促进教师教育改革发展,进一步提高教师培养质量。
教师资格考试命题程序的设定,立足于满足改革试点对高质量试题的需要,从多年来运行实践观察,具有整体性、实用性的特点。
教师资格考试命题程序的整体性,主要表现为用系统化思维来设计每个环节,构成了试题生产流程的完整闭环,优化了试题生产过程的整体效率。这一程序实现了试题生产全流程的标准化,保证了各个环节的操作标准与要求相同,充分发挥了程序的最佳运行效果。程序各个环节之间是一个系统性和连贯性的安排,前一个环节的结束成为后一个环节的起点,后一个环节是对前一个环节的深化,一环套一环,缺一不可。例如,研磨不能无中生有,必须建立在编题达到一定规模的基础上。经过研磨,积累了足够的合格试题,才能进入组卷环节;否则,组卷的效率会大打折扣,试卷质量也难以保证。
质量是考试的生命线。教师资格考试对试题质量问题实行“零容忍”,不容许出现任何差错。规划环节准备的各科命题手册,是编题的基础性工具,既有教师资格考试命题的共性要求,也有各科目的个性化要求,能够从源头上对命题专家编题起到切实的指导、约束与规范作用,保证每个专家提交的试题都有比较好的质量基础。研磨过程中,侧重解决的是单个试题的质量问题。组卷环节,解决的是试卷的总体质量问题,简单地把若干道好题集中组合在一起,并不一定就是一份好试卷。从试题到试卷,是一个复杂的构建、再创造过程,凝结了命题专家、学科秘书等众人的集体智慧。反馈环节,采集的数据信息要真实客观,统计分析方法得当,确保分析与评估结果科学、可信。从规划、编题、研磨到反馈,实质上是对试题质量的持续性锻造、淬炼和提升,以确保试题试卷完全符合质量标准。
命题程序各环节的先后顺序,因需而定,根据实用、有效而确定。教师资格考试命题程序,采取总体设计、分步执行的方法。按照规划、编题、研磨、组卷、启用、反馈的顺序,注重实用性、实效性,以方便命题专家、学科秘书进行命题操作和试题生产。
设定命题程序生产试题,目的是为了满足每年教师资格考试所需要的试题、试卷,不是为了试题生产而生产。实际上,也可以把命题程序看作是从试题、试卷启用来倒推的试题生产流程,以此来细化、分解试题生产的各个阶段、步骤,优先选择那些对试题、试卷启用能够起到显著作用、具有积极效果的环节,例如,规划环节的命题专家库建设,可优先吸收改革试点地区的专家,便于及时了解试题启用后的意见与建议。在编题、研磨、组卷环节,目的性、指向性都非常明确,就是不断地改进试题的内容与形式,把合格试题有机地组配成可启用的试卷,存入管理系统备用。反馈环节的分析评估数据、信息与结果,是启用试卷时最直接的参考依据,有利于不断提高拟启用试卷的实用性、针对性、时效性。
尽管个人的命题经验在命题过程中很重要,但教师资格考试命题不能仅仅依赖命题专家、学科秘书的个人经验,必须进行深入研究,探索建立符合教师资格考试改革发展需要与特点的命题程序,以不断提高命题专业化、科学化水平,实现又好又快地生产试题试卷。