马秀谊 方苑 吴成兵
摘 要 题库建设是教育考试走向专业化、规范化的主要途径,也是目前国际先进考试评价机构的主要工作模式。建立高质量的题库能够确保大规模教育考试具有较高命题质量,从而达到稳定的测试目标,这也是省级教育考试机构建设高中学业水平测试题库的现实需求。但是题库建设是一项复杂、系统的工程,首先要明晰题库的内涵和功能,明确题库建设的性质;其次,在遵循科学性、保密性、有效性的原则下,提出具有可行性的建设框架;最后,要有配套的工作保障机制,加强队伍建设,转变工作机制等。
关键词 普通高中 学业水平测试 题库建设
党的十八届三中全会对考试招生制度改革作出全面部署,2014年,《国务院关于深化考试招生制度改革的实施意见》明确提出要“加强题库建设”,“完善高中学业水平考试”,其中要求“创造条件为有需要的学生提供同一科目参加两次考试的机会”。这就给教育考试机构提出了更高的要求。根据问题导向的思路,需要教育考试机构有效解决“同一科目一年两考”、确保考试成绩公平、可信,题库建设给我们提供了解决问题的思路。本文主要就题库建设中面临的问题作出分析,重点探索题库建设运行管理机制,提出“一中心、三配套”的建设框架,尝试回答“题库是什么” “如何建设题库”,进一步探索省级教育考试机构建立学业水平测试题库的有效途径。
一、对学业水平测试题库建设的认识
1.基于标准的高中学业水平测试
在建设题库之前,首先应该明确题库的性质,明确题库储存何种性质的试题,考试的功能为何,同时还要明确考试测量的范围和能力目标要求,以及题库的使用对象等。为此,需要我们对高中学业水平测试有清楚的认识。一般来讲,高中学业水平测试与语数外科目考试、综合素质评价共同构成完整的普通高中学生综合评价体系,是高考方案的重要组成部分。就其考试性质而言,是一项标准参照性考试,是以某种既定的标准为参照系进行解释的考试。
主要目的是评价学生经过相当时间学习后,学生学业所能达到的水平,通常这种水平以等第表示。为此,在题库建设中要紧紧围绕“标准”考试的性质,要有“标准意识”,为题库建设做好顶层设计,例如,在试题入库阶段要基于学业标准意识开展命题工作,否则遴选入库的试题不符合学业水平测试的测试目的,系统化生成废题,会给题库建设工作带来严重后果。
2.题库的内涵和功能
从国外来看,关于题库建设和应用较为广泛,例如SAT、ACT等考试。但在国内题库建设的研究和应用上,偏重于理论研究,且存在一定认识误区。如许多研究者将一定数量和范围征集的试题集称为题库。实质上,国内关于题库建设的大量探讨,更多意义上是卷库的集成,并非真正意义上的题库。题库实质上是按照一定的教育测量理论,在计算机系统中实现的试题和试卷的集合,它是严格遵循教育测量理论,在精确的数学模型基础上建立起来的教育测量工具。题库并不是简单地将某一科目的试题简单地收集存入计算机,这种作法,充其量只是一个习题集或者试卷库,是题目堆积的仓库,并不是真正意义上的题库。完整意义上的题库,除了具有录入存储试题的功能外,还应具备智能组卷、分析反馈等功能。
3.现代教育测量理论和技术的引入
题库建设总是在一定的测量理论指导下进行的。测量理论不同,题库建设的方法、试题的参数与代码系统以及选题组卷系统也会不同。题库建设离不开现代教育测量技术的支持,具体指经典测量理论(CTT)和项目反应理论(IRT)。学界关于二者的比较早有明确论述,这里不作具体阐述。现有研究表明,基于CTT的等值方法只能实现不同试卷之间的等值,可用于建设“试卷库”,而基于IRT的等值方法可以更好地满足大规模题库建设的需要。但是目前项目反应理论(IRT)的研究仍偏重于理论,较少应用于大规模高利害性教育考试项目。而且其假设条件要求严格,对测验条件要求较严格,这些条件不满足就会影响测试的精准性。
此外,关于试测工作。一般来讲,在题库建设过程中都要求只有经过试测的试题才能进入题库,然而,由于国内大规模教育考试的安全要求,试测环节的保密工作给考试的组织实施带来较大困扰,很难满足实施严格意义的试测。题库是否需要经过试测以取得相应的指标属性,值得深入思考。如果是为了提高试题的质量和满足评价的需要,可以仅对部分试题(锚题库)方式进行试测和校准。
二、题库运行的设计规划
基于以上分析,本文认为学业水平测试题库应遵循科学性、保密性、有效性的基本原则,在明确题库性质基础上,重点建设“一中心,三配套”,具体指以命题管理系统为中心,安全系统、维护系统、评价系统三大配套系统。
1.基本原则
(1)重视题库建设的科学性。题库建设应以科学的教育测量理论为指导,遵循题库建设的规律和内在要求,充分吸收和利用国内外题库建设的先进经验,注重研究论证,重点攻关试测、等值等关键技术。
(2)突出题库建设的保密性。安全保密是命题工作的高压线,在建设规范和标准、管理与使用等各个环节都应严格制定符合国家保密要求的操作流程,确保题库安全运行。
(3)强调题库建设的有效性。有效性是发挥题库效益的必然要求,题库建设应在保持科学性的前提下,突出有效性,避免资源、财力浪费。应在广泛调研和严格论证的基础上,制定分阶段的实施目标,以部分学科为试点,逐步推进题库建设有序实施。
2.命题管理系统
题库管理系统是指选题和组卷的软件系统,其作为整个题库建设的核心,是否高效发挥作用决定着题库建设的成败。题库模式下的命题管理应包括三个方面:一是高效的试题入库标准和工作机制;二是有效的试题分类管理;三是科学的组卷策略。为了保证题库的有效运行,除了题库中试题的质量和数量有保证外,试题如何分类编码管理尤为重要。试题经过检查合格后准备入库,入库前必须对每一道试题进行编码,以保证试题有效存储和方便提取。
鉴于高中学业水平测试有着相对稳定的课程标准、考试说明,本文认为比较有效的一种分类法可以根据考试说明最低级别的知识点进行分类管理,如从利用方便的角度,可以知识点的关键字段分类管理试题,但是鉴于学业水平测试的测试性质,还应添加试题的测试能力表述,为后期评价系统的开发应用做好准备。对入库试题进行具体属性标记,应包括三类内容。一是试题内容,包括试题及参考答案、分值等;二是自然内容,包括试题来源(年份、创作来源),试题上次使用时间和使用次数,这两个参数主要是用来控制试题的曝光度;三是统计内容,包括试题描述性统计分析指标,具体指难度、区分度。虽然短期时间内,部分技术指标无法发挥作用,但是在题库建设中要考虑到长远发展的需要,为今后改革发展留足空间。除此之外,科学的组卷策略、便捷的试题录入系统和安全的远程征题系统也应纳入考虑范畴之内。
3.维护系统
高效维护题库,提高试题的使用效率,避免出现大量的废题,是高质量题库的重要特征和重要保障。维护题库的运行,主要包括两个环节,有效补充新题和改造“废题”。
(1)补充新试题。一般来讲,保持一定数量的试题是维护题库运转的重要前提。具体保持多少题量,没有一个定论,应该根据考试的性质、题库的使用模式、组卷数量等来决定。如果今后学业水平测试采用的是机考方式,同时组卷量较大的情况下,试题量应越大越好。但是鉴于学测目前仍然采用纸笔化测试,一次测试只使用一份试卷,初期题库建设可以保持5~6倍,同时要更加注重试题的质量。另外,需要注意的是补充新题要突出结构性、有层次有重点。首先,对于题型、知识点较为稳定,且试题情境与时事政策关联不大的,可以先行、重点命制。其次,根据先难后易原则,优先补充相对较难命制的试题。
(2)改造“废题”。废题产生原因有诸多因素,例如经常不被选用,或者情境材料过于陈旧等,不可避免会产生无效试题,维护题库的目的就是要把废题控制在一定水平上,防止出现系统化废题。主要做法:一是严把入库关,制定严格的试题入库标准;二是建立“废题库”,采取改编、剔除等手段把废题量控制在一定水平上。
从更长远的角度看,必须在安排命题工作时遵循这样的原则:核心内容要多,边缘内容要有,以此最大限度地减少因政策调整、课标修订、教材重编等上层因素造成的试题过时问题。总之,题库的建设和维护是动态过程,要做到维护题库和考试改革发展同步、补充试题与考试同步、命题技术与题库技术发展同步。
4.安全系统
使用题库工作模式,能较好地提高命题质量和保持考试难度的稳定性。但与封闭式命题模式相比较,鉴于其作为大规模考试具有高利害性,其安全性仍有很大隐忧。主要有三方面:一是题库试题的曝光率。这也是题库建设过程中不可避免的一个问题,主要指试题的重复使用问题,应主要根据考试性质、考试的厉害关系综合考虑。对于学业水平测试而言,基本原则应是尽量避免重复使用,或者少使用。试题的重复使用会严重影响到考试效果,以及产生的不真实考试数据会给后期的考试评价带来误判。二是人为盗窃和不可抗拒原因导致的数据丢失等。可以采取严格管理制度,做好题库数据的备份,予以解决。
5.评价系统
考试结果的统计与分析既是科学化考试流程和题库建设中的一个重要步骤,也是促进考试走向科学化、规范化必不可少的手段。通过对考试结果的分析与利用,一方面可以建立严格的考试质量控制体系,及时发现考试中的问题,进而提高试卷和考试的质量。另一方面,基于考试结果的大量数据,可以研发针对地区、学校、个人的多层次评价报告。基于学校、地区的评价报告可以侧重对教育教学的反馈,服务基层教育单位;基于考生个体的评价报告,尝试从传统的分数报告转变为多维度的成绩报告,这也是今后题库建设中重点突破的领域。
三、建立高效率题库的重要保障和机制
1.加强队伍建设,打造协作合力
建设题库不仅需要学科命题专家,更加需要教育测量理论的指导和计算机技术的支持,同时还有大量的管理工作。所以,必须建立一支由学科命题专家、教育测量专家、命题管理人员与计算机技术人员组成的专门队伍。
学科命题专家发挥着核心作用,决定着题库建设的成败。其职责主要是提供符合要求的高质量试题,并根据要求对学科试题进行专门的维护;教育测量学专家的职责在于解决试测、等值等题库建设中的技术难题,起着题库建设“规划师”的角色;命题管理人员也要实行专业化,题库管理环节多,日常维护任务多,要求复杂,这就需要熟悉命题业务的专门人员;计算机人员主要是为题库建设提供技术研发支持,该项任务可以委托给合作的相关技术研发公司完成。
2.转变工作模式,提升管理效率
题库模式下的命题工作意味着工作模式的质变,也对命题组织和管理提出了更高的要求,需要重新打造整个的命题管理流程,建立适应题库运作的命题工作机制和管理模式,包括培训、征题、审题、试题入库、题库维护等阶段。为保证各环节工作顺畅,需要重点做好两方面工作:一是建立并完善各环节工作的质量标准和工作规范,例如试题入库质量标准;二是做好日常题库管理和技术研发并重。题库的管理和维护应是一个动态过程,日常管理应注重题库运作的规范性和有效性;技术研发应侧重解决等值技术等技术难题,关注题库发展的前沿技术。
学业水平测试题库建设是一个工作量庞大、要求极高的系统工程,需要理清思路,周密规划,分阶段实施,同时需要明确今后工作的方向,重点突破。一是在技术层面,积极探索和研究项目反应理论(IRT)在题库建设中的实际效用;二是安全方面,根据考试性质的需要制定各个环节的安全解决方案。总之,在教育测量学理论指导下,边学习、边研究、边建设,争取逐步取得阶段性成果,探索题库式命题和大规模运用题库的技术手段,最终实现完全依托题库来命题与考试的工作模式,进一步推动考试评价工作向纵深发展。
参考文献
[1] 顾海根.心理与教育测量[M].北京:北京大学出版社,2008.
[2] 李光明,关丹丹.关于题库建设的若干问题的思考[J].中国考试,2014(9).
[3] 高升.题库建设中的试题沉积问题及其应对策略分析[J].中国考试,2010(3).
【责任编辑 关燕云】