关于高考实施社会征题的思考

2016-02-14 06:15:17陶百强刘清华李明楷
中国考试 2016年5期
关键词:等值审题命题

陶百强 刘清华 李明楷

关于高考实施社会征题的思考

陶百强 刘清华 李明楷

命题工作是高考改革的核心,实施高考征题制有利于满足我国“十三五”期间高考改革需求。命题征题制也是国际惯例,有利于挖掘命题人才,提升教育测评质量,更好地让高考制度为各高考利益攸关方服务。本文分析了征题制的背景和改革入闱制的必要性,介绍了命题征题中外对比和面临的挑战,最后提出启动征题制的思考与建议。

高考改革;社会征题;命题质量

1 引言

2013年中共十八届三中全会通过的《中共中央关于全面深化改革若干重大问题的决定》把推进考试招生制度改革作为深化教育领域综合改革内容之一,将教育考试改革置于我国各领域深化改革的时代大背景下,作为我国最大规模和民生关注焦点的高考迎来了改革的春天。《中共中央关于制定国民经济和社会发展第十三个五年规划的建议》指出,用创新、协调、绿色、开放、共享五大发展理念为“十三五”谋篇布局,其中,“创新”被提及71次,以创新和开放原则引领我国高考命题制度的改革乃时代的呼唤。

理想的教育测评宜追求三个境界:道德、专业、民主,高考命题征题制有利于推进测评在三个层面的进步。本文虽主要涉及高考英语命题改革,但对其他科目高考命题改革亦有参考借鉴意义。

2 命题制度改革背景

2.1 高考是超高利害测试

我国高考可谓“超高利害测试”(gigantic-stakes testing),对考生影响巨大,特别是在考分对大学入学具有决定性影响的国情下。我国近年每年高考考生人数多达900多万,为全球最大规模考试。社会各界特别是直接利益攸关方的考生和家长对高考极度重视,如《纽约时报》2015年报道了某超级中学的备考烈度和家长的关注度。[1]高考施测期间,各级政府动用各种资源维护考试秩序。

高考也受到国家领导关注,如2003年6月四川发生的全国首例高考试卷失窃案惊动国家高层领导,[2]其他亚洲国家对高考也很重视,如韩国2014年高考生物和英语命题各有一处瑕疵,教育部部长公开道歉,韩国课程与评估研究院院长引咎辞职。2014年11月25日总统朴槿惠要求检讨当前的高考试题命题总体流程。[3]

2.2 新高考改革要求增加试题数量

媒体常曝考生在备考期间被隐瞒父/母去世消息,在提倡孝文化的我国实非人性。一考定终身的高考弊端还体现在考生焦虑感高。为了扭转一考定终身之弊,从《国家中长期教育改革和发展规划纲要(2010—2020年)》(以下简称《教育规划纲要》)到十八届三中全会通过的《中共中央关于全面深化改革若干重大问题的决定》,再到2014年发布的《国务院关于深化考试招生制度改革的实施意见》,都要求提供多次考试机会。

实施社会征题制有利于满足高考改革之多考举措对试题数量的需求。考试频次的提高大大提高了试题的数量要求,一年多次考试要求题库储备大量试题。[4]要探索、开拓题库命题征集试题的方式,扩大题库试题命题教师队伍,采取信息化方式从不同渠道征集试题。[5]

鉴于应试倾向较浓的国情以及某些国际考试如雅思和美国SSAT考试的经验教训,社会对高考试题曝光率容忍度极低,加之我国教育测试题迄今无版权保护等因素,高考试题不能重复使用,要求高考题库容量足够大。境外一些重要考试的试题也一次性使用,如美国大学入学考试ACT,[6]我国台湾大学入学考试中心研发的高考试题均不重复使用。

2.3 新高考改革要求确保试题质量

与一个全球考试大国地位不相称的是,我国迄今无类似美国《教育与心理测量标准》(2014)的测量标准以规范测试。我国心理学会等曾在20世纪90年代初制定了一个比较简单的心理测量内部标准。谢小庆呼吁相关机构有必要及早编制颁布中国考试工作者的专业标准。[7]可喜的是,我国将在“十三五”期间制定外语测试标准。

缺乏标准制约的测试命题问题频出,据陶百强对高考英语科命题瑕疵进行的10余年的系统研究结果显示,高考多项选择题极易出现命题瑕疵。[8]文献检索显示国内外对命题瑕疵的研究都不足,特别是我国几无试测,命题失误威胁教育公平。我们只有正视问题,抛弃鸵鸟政策,才能进步。

指导我国教育改革和教育规划的政府文件高度重视考试质量,如《教育规划纲要》要求“保证国家考试的科学性、导向性和规范性”;《国务院关于深化考试招生制度改革的实施意见》要求“科学设计命题内容”。

2.4 互联网与信息技术要求试题具有原创性

高考命题以前出现瑕疵或问题时,因信息透明度低以及互联网未普及,社会影响不大。有关部门可用行政手段有效管控媒体对高考相关事件的炒作,如2004年的《国家教育考试考务安全保密工作规定》规定“任何新闻媒体不得以任何方式炒作关于考试中发生的有关事件”。

随着互联网技术的普及,且社会对试卷差错的容忍度越来越低,[9]如何避免潜在危机,考务机构需谋划在先。大量商业开发的试题即拍即显答案的手机软件要求高考试题不能利用陈题进行简单改编,技术发展对试题创新比例和程度都提高了要求。

3 命题制度的国际比较

3.1 我国大陆高考入闱命题制

我国高考命题曾长期实行入闱制,入闱的正式术语为会议任务型命题方式。现代的入闱制起源于科举考试命题制度——“锁院制”,“考官一经任命即刻赴贡院入闱回避,断绝与外界乃至亲友的往来,以避免发生行贿、受贿、请托舞弊等事件”。[10]1978年,为确保高考命题保密性,教育部对命题者采取“入闱”措施,沿用到1986年,1987—2003年实行非严格入闱命题,试卷审校完后命题者签保密协议后解散;2003年发生高考试卷失窃大案,且2004年国家扩大高考自主命题,2004年开始,高考等重要的国家教育考试命题与组卷采取全封闭入闱制。

入闱命题最大的益处是尽量确保国家绝密信息不外泄,但弊端丛生如“非常不人性化”,[11]命题者承受巨大心理压力,且威胁命题质量如限制了对命题者的遴选范围,[12]入闱命题对命题参考资源进行了制约,闱内有限的工具书和命题人的知识局限、上网受限、时间压力等可能导致命题瑕疵甚至命题错误。[13]特别是英语科命题更需大量查证,“随着语言的发展……过去很多不可接受的语言现象不时出现在英语国家的正规媒体上,而作为外语学习者的命题人员很难迅速捕捉到这些变化”,[14]若无大量查询求证工作,命题专家群体也难以避免不当语言或试题瑕疵出现于“高度敏感的高考英语试卷”。

意识到入闱命题的局限性,高考主管部门早在20世纪80年代尝试征题,如原国家教委考试管理中心在全国征题总结(生物科)中提到,从1988年第9期《生物学通报》刊登征题通知到1989年2月大约半年时间,全国848名教师或教研员等提交了16 006道试题,其中723位来自中学,某位中学教师提供了600道试题……不少教师邮寄了他们多年积累下来的上百道题,[15]从此总结推断,试题质量堪忧,试题无法满足试题原创的基本命题要求。教育部考试中心于1999年3月面向社会征集高考题(涉及语数外),2001年1月扩大征题科目。从征题历史看,征集到的试题质量不佳,如桂诗春所言,“教育部考试中心早就向社会公开征集高考试题题目,但找不来这样的人”,[16]重启征题制度时宜吸取过去征题教训。

3.2 国际/地区征题举措

国外或境外高利害大规模考试的主办机构基本实施征题制,如命制我国台湾大学入学试题(学考与指考)的大学入学考试中心、命制SAT、TOEFL等的美国教育考试服务中心(ETS)以及培生集团等。

3.2.1 中国台湾大学入学考试中心

中国台湾大学入学考试中心(以下简称“大考中心”)于2011年4月20日向高中教师(含现任、代理及退休教师)征题(据考一字第1010000277号),《大考中心题库向高中教师公开征题办法》含6部分:目的、实施期间、征题对象、征题办法、征题限制、联络方式。[17]征题办法明确重要事项如必须原创试题,每位教师投稿每年不超15题,参加征题者不得在补习班任教;经初审合格试题支付征题费,各科选择题1题为500元(注:新台币),每题组为500+250×(小题数-1)元(新台币)。征题对象网络提交身份信息,待大考中心审核后提交试题。大考中心征题首页内容完整、信息透明,以给应征者提供充分指导,首页讯息公告含征题办法、征题审题原则、征题系统使用简介等。

3.2.2 美国教育考试服务中心(ETS)

ETS官网招聘页面含征题网页,且内容保持更新。2015年8月25日检索的征题网页标题为Item writing opportunities(命题工作),但2015年12月18日检索更新后的网页标题为Freelance Assessment Development Opportunities(试题研发兼职工作),工作内容更宽泛,且标题明示工作性质为自由职业;此外,征题网页罗列命题所涉的学科领域。试题研发兼职招聘网页简述如下。[18]

“试题研发兼职工作”应征者应该具备本科学历,对工作经验无要求(具体考试项目可能有额外要求)。

①岗位描述(Job Description)

ETS长期聘用学科专家命制或审查与各自专业领域相关的试题。申请合格者命制并电子提交试题。所有命题培训由ETS资深测试专家提供,培训和试题研发远程完成。ETS寻求各个内容领域和测试项目的申请者,如数学、社会科学、科学、英语语言、英语语言艺术等。

为了不拘一格广纳命/审题人才,ETS在总体招聘通告中明确宣称不对申请者的专业职称(Profes⁃sional credentials)以及测试研发经验提要求,但具体岗位会提高应聘者的学历和经验,如语言测试类的TOEFL和TOEIC要求命题者具有硕士学位和三年以上的命题经验。[19]

②经验与技能要求(Experience and Skills)

深谙全美教育标准(Common Core State Stan⁃dards)和具有基于该标准丰富命题经验者优先。在职K-12教师、教师培训人员、研究生以及其他行业专家也欢迎申请。

ETS在招聘网页最后声明:ETS遵守公平就业与雇佣反歧视法案,任何合格申请者将得到雇用考虑,不论种族、肤色、宗教信仰、性别、国籍、是否残疾、受保护的退伍军人身份或受法律保护的其他情况。

3.2.3 美国ACT(American College Testing)

美国大学入学考试机构ACT在其网页Item Writing(命题)有详尽征题介绍,[20]含4个超级链接:如何成为命题人、谁是命题人、考试项目、关于EP⁃AS考试。前两项简介如下。

如何成为命题人:申请者主要为全国各地小学、中学、大学教育工作者(含在职或退休教师、教育有关自由作者等)。申请者填写命题人调查表(Item Writer Questionnaire),包括教育背景、教学经历和专业领域、工作单位性质(如研究机构、教育咨询机构、教学单位等)、命题经历、可接受命题工作时段等14项内容。ACT调查表显示,所物色人员不局限于命题专家,还有咨询和试题公平性审查专家(Fairness reviewers)。

ACT收到调查表后将发感谢信,若申请者之前未交简历,ACT会提醒应聘者交简历。一旦有命题需求,ACT联系申请者提交样题并发送以下内容:命题指南、样题具体指导、现行报酬标准、回邮明信片(供命题者填可承担命题任务的时段)。ACT审题人员评价样题后反馈意见和建议。若样题通过审查,ACT和申请者签署命题合同。

3.2.4 培生集团

已有超过170年历史的培生集团是全球领先的教育集团之一,其测试研发招聘网页(Test Develop⁃ment Job Opportunities)含以下岗位:命题人、制图员、审题人(审查内容、公平性/敏感性事项)。命题人最好具有学士学位,有命题、教学或开发国家标准或课程标准或测试经验,或有备考辅导经历。命题涉及英语语言(阅读和写作)、数学、科学、社会科学。内容领域审题人须有深厚教育背景和工作经验;公平性或敏感性审题人必须对种族、性别、地域、社会经济等因素具有认识和敏感性。[21]

命题(含审题)申请者须提交培生测评研发申请书(Pearson Test Development Contractor Applica⁃tion),[22]含个人联络信息、工作单位信息、精通语种、教育背景、工作经历、教学资格、国别、曾经的教学年级、教学年限、教学科目、测评实践经验类别(如形成性、终结性测试,职业资格认证测试)、可接受命题工作的时段等12项内容。申请者通过网络提交表格。若条件符合要求,一旦有任务,培生集团会联络符合申请者。

4 征题制面临的挑战

征题制有利于扩大国家教育考试题库的库容和质量,且可通过征题发掘命题人才,拓展命题素材。但重大决策必须考虑潜在的挑战以提前规划,避免重大决策失误。除命题质量外,征题面临的基本挑战有保密和成本问题。

4.1 保密问题

我国高考(含分省命题)的试题(包括带试题内容的答题卡、副题)在启封并使用完毕前按国家绝密级事项管理,答案及评分参考在考试结束前按国家绝密级事项管理。[23]绝密级国家秘密是最重要的国家秘密,泄露会使国家安全和利益遭受特别严重的损害。[24]保密问题是征题制面临的重大挑战。我国是一个人情社会,加之目前社会诚信体制欠健全,保密问题是考虑的核心要素之一。

4.2 征题运行成本

征题制节省很多表面经费,如节省基于入闱命题的相关经费,包括交通费、食宿费、出差补助、会务费以及安全保密等后台运营人力和物质等支出。

然而,实施社会征题会产生入闱命题不涉及的费用和其他资源投入,会更耗时费钱,至少从短期来说。征题需要投入大量的人力、物力、财力,如征题系统软硬件的长期维护、征题报酬的支付、审题成本投入等。若实施大规模征题,初步遴选征集到的试题会浪费大量时间和人力成本,需要大量审题专家,培生集团公开招聘审题者的做法可供借鉴。

尽管征题制比入闱命题成本高,但其益处也是传统入闱不可比拟的,且能更好控制质量,并符合国际惯例。

5 对征题制度的建议

借鉴国外征题经验和基于国情,结合笔者思考,提出以下建议供我国实施征题制度参考。

5.1 保密制度

确保征题工作中的保密性事关征题成败,事关考试安全和社会稳定,是维护高考公信力和权威性的重要前提。目前我国对高考涉密人员进行多维度监管如“关注涉密人员日常行为表现、工作纪律、社会交往和经济收入等方面不正常表现”。[25]社会征题前提是要有配套的管理办法和工作机制,否则事倍功半,得不偿失,保密是最重要的配套措施,征题制度大幅增加高考核心涉密人员范围,保密工作更艰巨,可从以下方面考虑。

5.1.1 组织措施

美国ETS有专门的考试安全处置组织“ETS考试诚信办公室”(The ETS Office of Testing Integri⁃ty),通过预防、侦测、补救三个步骤维护考试安全。

为了系统管控实施征题保密管理等,建议有关机构设置高考保密工作处,负责管控高考征题、审题、施测等各个环节的保密工作。征题制涉及保密工作范围大大高于入闱保密工作范围,需要足够人力进行专业化保密管控。建议借鉴公共管理的4P原则进行有效和系统管控,即预防(Prevention)、保护(Protection)、惩处(Prosecution)、合作(Partner⁃ships)。[26]此举于法有据,2014年3月1日开始实施的《中华人民共和国保守国家秘密法实施条例》规定“机关、单位应当根据保密工作需要设立保密工作机构或者指定人员专门负责保密工作”,保密要求很高的高考征题牵涉面非常广泛,成立保密处有利于推进保密工作的系统性、专业化。

5.1.2 配套的法制措施

规范我国考试的法律法规,一些部门条例如《国家教育考试违规处理办法》、《刑法》(第398条)、《刑法修正案(九)》,2015年12月修订的《中华人民共和国教育法》等都完善了国家教育考试违规处罚条款。但我国迄今未出台专门保护考生权益的法律法规,无约束命题、审题、阅卷、成绩使用等考务行为的法规。

《国家教育考试法》准备工作从2002年开始,新增了考生申辩、申诉、复议申请、申请经济补偿等条款以保障考生权益;2007年年底该法草案进入最后完善阶段。[27]然而十余年过后,《国家教育考试法》无果而终。在中共中央倡导依法治国的时代背景下,推进依法治考,出台《中华人民共和国国家考试法》乃时代的呼唤,也是社会进步的要求,该法不但规范打击舞弊等行为,而且规范约束命题、审题、施测、阅卷等考务行为,促进重大考试专业化,让考试更好地为国家与个人服务。

5.1.3 建立泄密举报与调查制度

建立基于证据的匿名或实名举报制,对具体线索由保密工作处等调查,维护征题制安全,不但有利于预警泄密以启动应急机制,而且对泄密威胁也会起到威慑之效。对具有重大贡献的举报人进行精神和物质奖励,监控大量分散的命题者的违规行为需发挥人民群众的力量,充分调动群众力量,全民护密。同时,对恶意举报按诬陷惩处,保护命题人的权益。

征题参与人应对命题人身份以及所提交的试题以及试题素材来源保密,命题人在命题保密期内不得以命题专家身份对外宣传或讲课、发表文章等。

5.1.4 命题回避制度

《2015年普通高等学校招生全国统一考试考务工作规定》规定“专职考试工作人员如有直系亲属或者利害关系人参加当次全国统考的,应回避接触考试的试题、答案及评分参考、答卷等涉密材料;兼职人员如有直系亲属或者利害关系人参加当次全国统考的,不得参加考试工作”。

实施征题制后对命题人员也约定回避措施,我国台湾地区征题制有回避举措,考务机构要求命题人主动告知就读高中子女的姓名和就读学校、参加本次考试的三等亲的姓名和学校。台湾高考命题B计划(涉及工作内容为修题即审题)的专家成员未来两年有二等亲考生应考,需填报相关资料。[28]借鉴台湾做法,要求征题命题人提交试题时告知将参加高考的子女以及旁系血亲的子女信息,在题库试题属性中增回避备注,以规避所提交的试题用于某亲属参加高考的年份。

5.1.5 从保密角度遴选征题命题人

从征题的第一个环节即命题人的遴选环节考虑保密因素,宜基于我国国情从保密角度遴选征题对象,且宜规避命题人遴选中的歧视,如党派歧视、文凭歧视、毕业院校歧视、年龄歧视、性别歧视、地域歧视等。考试机构根据内部标准确定征题对象。

5.1.6 保密技术保障

ETS实行严密的通信传输,“通讯使用最先进的加密技术,且软件能够侦测通讯传输是否被修改或中断”。[29]我国征题系统应从技术层面确保命题保密工作,并借鉴国外先进技术,如参加测试安全国际学术会议以学习经验等。

5.2 定向征题和开放征题结合的社会征题制度

我国人口众多,若不加筛选的社会征题将让初审环节不堪重负,且浪费大量人力,建议实施定向征题和开放征题结合的征题制。前者指征题方检索大型学术数据库选择征题对象,如在中国知网、重庆维普、万方检索文献标题和关键词“高考命题”、“高考英语”等,从发表的文章判断作者对高考命题是否有深度研究(含大中学和科研机构人员等),然后发征题意向邀约,并请邀约对象填申请表格。

为了充分延揽各界人才为我国高考命题献力,同时并行开放的征题制,不论身份、职称、行业等广征命题人,以充分吸纳各界人才为高考事业所用。应征者填写命题申请表格,含教育背景、提供胜任命题工作的证据、擅长的命题领域。审批申请的权限在考务机构,需投入大量人力审查申请表,可将申请初选环节外包,为避免遗漏优秀命题人才,可实行双轮筛选。

为了增强保密性、提高质量并降低考务机构运营人力、物力成本,可考虑细分试题研发的关键子环节,如分类征集素材提供专家、命题专家、审题专家,同时不排除优秀应征者承担数项任务。

5.3 质量管理

试题质量是征题的核心要素之一。历史上的多次高考征题尝试中途夭折与征集试题质量无法满足考试要求有很大关系。随着社会决策管理水平的进步,加之我国教育测评的发展以及相关研究人员水平与规模的提升,重启的征题制度应会取得更佳效果。在质量环节进行严格的质量标准管控是保障征题效果的重点。

5.3.1 质量立标

我国虽迄今无指导心理和教育测评的国家标准,但国家已启动制定国家外语考试质量标准。[30][31]英语科高考改革曾在20世纪80年代引领我国高考改革,外语考试标准制定将为其他学科考试标准奠定基础。“制定外语考试质量标准应以公平公正为原则,为全国性外语考试提供考试质量要求和管理服务规范,以提高考试科学性,规范考试行为,保障考试的公信力。”[32]

外语考试质量标准涉及实践标准(Code of Prac⁃tice)和道德标准(Code of Ethics),本建议仅从测评实践环节对质量标准提出建言,试题审题标准实质上即命题标准,二者只是因为操作主体不同而出现两个名称。

借鉴美国ETS的测试审题标准和我国现行高考命题原则,提出高考命题质量审查原则包括:原创性、科学性、敏感性、公平性、编校规范性。[33]限于篇幅,下文仅就原创性和科学性之难度控制维度予以阐述。

5.3.2 原创性

原创性是高敏感且为超高利害考试的高考命题的基本原则,是确保测试效度和测试公平的要素,有利于抑制我国愈演愈烈的题海战术和应试教学倾向,抑制影子教育对测评的冲击。学界对命题的原创性很重视,原创不但是版权保护法规的要求,也是“影响测试效度的元素”。[34]命题研究专家T.M.Haladyna和Rodriguez认为使用新材料和试题有利于考查高层次思维能力,若命题人避免测试回忆再认能力,试题内容应新颖,[35]我国倡导提高学生思维品质的背景也要求高考命题体现原创性。

我国台湾大考中心要求高中教师征题审题时检查“试题与历年试题或参考书是否雷同或相似”,但2014年度学测国文科现“撞题”争议,有多题与坊间参考书商印的测验卷雷同,考题公正性受质疑,大考中心承诺未来升级题库时,尽量将坊间各出版社考题也纳入比对系统,避免和补习班、参考书题目雷同。[36]

我国大陆闱门内的高考命题组所做的一项重要工作是查重,避免当年的考题与市面上现有的材料撞车。[37]我国高考命题已制定查重举措,“与以往五年考过试题的查重,特别是对高分值的主观题以及作文题要与收集到的辅导资料上的试题进行比对查重”。[38]但现行查重措施无法完全规避重题。若命题人诚信缺失,对大量征集到的试题查重更是挑战。

为了提高征题效果,征题方宜制定命题建议,如命题素材多元化,题库试题属性含命题素材来源,避免僵化试题来源而被投机性押题。高考各科命题都应确保所有试题为原创试题。

5.3.3 难度控制

我国目前用原始分报告高考成绩,师生对难度很敏感。[39]我国台湾高考试题难度参数由经验丰富的命题和审题专家主观判断来建立参考指标,我国高考目前对难度的控制未基于试测,也是根据专家主观判断。[40]今后外语多考制对难度控制提出了更高要求。不同考试间试题的等值涉及公平和效度问题,特别是对于作出高利害决策的多次考试,测试等值必须谨慎、准确操作,这异常重要。[41]保证考试分数的可互换性(Score Interchangeability)对实施多次考试的测评机构至关重要。[42]实施多次考试的国外考试都会实施并不断完善等值措施,如我国台湾地区全民英检等级考试选择题试卷历次成绩均经过等化程序,参考定锚题的表现、平均数、标准差及IRT指数,调整试卷间难易度不等的情形,同时采用经典测验理论的线性等化方法与IRT估计试题难度参数,并利用b值固定法衔接每套试题的难度值。

但等值技术并不能彻底解决不同考次试题的难度差异问题。国外学者(Haberman&Dorans,2011)认为等值操作有前提,等值应满足3个理想条件:待等值的试卷完全平行或非常接近平行、考生群体基本稳定、等值样本具代表性且足够大以让等值误差最小化,在现实中若无法满足理想条件,等值误差是必然的。[43]等值有先天局限性,只适合对难度差异很小的试题进行等值,若试卷间难度差异变大,等值也不可靠。[44]

测评专家谢小庆的研究显示,并非在任何情况下等值都是最好的,若有证据表明两份试卷难度差异很小,就没必要等值;他所比较的15种等值方法中,有8种方法的等值误差小于不等值,有7种方法的等值误差大于不等值,但实践中我们无法预知等值是否必要,故只能为了控制测量误差而进行等值。尽管在有的情况下进行等值处理可能增大了测量误差,但总体来讲,等值处理仍有必要,从这个意义上讲,等值的过程很像购买保险。[45]在测评实践中,ETS数据分析显示,等值可校准不同考次之间的细微难度差异。[46]

综上所述,等值只能校准细小难度差异,若难度差异大,等值反而放大测量误差,但为了确保对成绩解释的稳定又不得不为之,所以从命题环节尽量命制平行的试卷,征题试题质量和难度稳定是后期等值处理的基础和前提。难度不稳定除了导致降低测试效度和测试公平隐忧外,势必导致考生不得不参加所有考次的考试以让个人利益最大化,必增加考生负担和考试焦虑。

征题机构一般要求命题人提供试题难度,如培生集团要求命题者标注准确答题所对应的CEFR水平等级(即欧洲语言共同参考框架)。征题机构要求征题命题人预估所提交试题的难度只能作为参考,最终控制难度的重任还在审题专家组和试测数据分析组。若我国高考英语实施定位为标准参照性质的英语等级考试,对命题难度控制要求会非常高,且需要证据支持难度控制的科学性和专业性。

5.4 动态管理维护题库

随着时间推移,考试机构需对征集的试题动态跟踪管理和维护,[47]维护质控标准与征题审题标准相同,从原创性、科学性、公平性、规范性、敏感性等方面跟踪维护题库中休眠试题,特别是在投入实际测试组卷付印前再次跟踪核查原创性,以维护高考的测试效度。

美国ETS为了尽量避免使用互联网泄密的以前施测过的考题,ETS将在互联网查重的任务外包给某公司。[48]我国应试教育倾向浓烈,图书出版业严重依赖教辅图书,助学题库类网站大量涌现,但试题的数字化发展客观上也有利于通过技术手段跟踪试题原创性,特别对文科类科目,宜避免高考命题素材或情境与市面教辅雷同或相似,组卷前实行双人核查试题原创性,避免素材巧合性雷同等。尽管所征集到的入库前核查为原创性合格的试题,随着时间推移,该命题素材可能在入库休眠期被其他人员命制为备考试题,为确保试题安全,在组卷前跟踪核查待用试题的原创性很有必要。

5.5 试题版权问题

一些国家的大规模高利害测试为非政府机构实施,且其高度专业化的命题研发耗费大量人力和资金,法规对其开发的试题进行版权保护,如美国SAT试题前面的“诚信声明”(CERTIFICATION STATEMENT),首先声明答题者系考试报名者,在考生签名和日期下面还约定禁止考生以各种方式如电子邮件、短消息或互联网等任何方式与他人“分享”测试中的任何具体试题,若有违反,考生成绩可能被取消或考生面临其他处罚。该版权声明对依赖题库运行的SAT等西方测试有重要意义。[49]

国外对试题命制时的版权意识很强,如世界出版界巨头培生集团拥有专职的律师团队谈判试题素材的版权事宜。[50]培生集团要求命题人必须注明命题素材来源,以便培生集团向著作权人支付著作权使用费。国外某著名语言测试机构的内部命题指南和命题标准对版权规定非常详尽和规范,如限制命题人不能用同一来源的大量素材命题。

鉴于我国著作权意识现状,试题版权研究很少,但随着我国测评引起国外的关注度加大和法治意识的提升,试题命制版权问题也宜引起关注,避免国内或国际版权纠纷。

5.6 合适的征题费和保密费

命题被视为一门创造性艺术(Ebel,1951;Wesman, 1971;Haladyna,Downing&Rodriguez,2002),[51]命题需要复杂的专门技能和复杂的思维水平,[52]对创造性高智力劳动应给予合适的征题费和保密费,体现对创造性智力劳动的尊重与鼓励,以提高考试质量、维护社会公平与稳定。

与国外大规模测试比较,我国高考考务费极低,“考务经费不足”,[53]过低的考务成本导致命题投入与研究不足。我国台湾地区在征题办法中约定报酬:经初审合格的试题,各科选择题1题为500元新台币,每题组为500+250×(小题数-1)元(新台币),征题费标准2011—2015年未提高,故台湾有老师认为“500元诱因有限,盼能提高”。[54]台湾考生数量有限,2015年14万多人参加学考,4.7万多人参加指考。大陆考生数量庞大,小幅提高生均考务费,对命题投入就是很大支持。

建议我国酌情提高考务费标准,以保障我国大规模高利害测评项目进一步专业化所需的必要基本投入,加大对命题、施测、阅卷等投入,加大对高考命题研究的科研投入,最终确保考生权益。若有余力,再考虑对低收入考生推广考务费减免,此举是世界各国或地区以人为本的通行做法。

5.7答案公示制度

命题、阅卷、成绩报告等失误可能让国外考试机构卷入法律诉讼,[55]国外考试似未实施答案公示制度,因为其开发的测试实测前已采取大量的专业化命题控制措施,如试测、试题受版权严格保护等因素。

亚洲国家或地区重要考试引入答案公示制度,如韩国教育课程评价院考后听取考生对正确答案的意见,答案公示期为4天;我国台湾地区于2004年颁布实施法规《国家考试试题疑义处理办法》(2012年颁布实施修正版);我国大陆司法考试在2004年就实施答案公示制度。

我国高考保密性要求极高而无试测,尽早引入基于科学民主决策理念的答案公示制度、建立高考答案疑义机制对维护高考公平有重要意义。

6 结语

为了推进教育评价进一步专业化,为社会和人才成长服务,充分研究借鉴国外或境外征题制度的做法,结合我国国情,尽早启动征题制度的各类配套举措的研制工作,保障高考征题制度顺利实施。征题制度不但有利于满足我国“十三五”期间考试测评改革要求,而且可以通过征题制度发掘测评人才,储备大量测试专业化人才,逐步实现拥有一批以命题为终身职业的专业化命题人员。[56]作为一项国家重大决策,需要各项资源支持,并容忍制度在实践中不断完善,最终获得征题式命题制度的理想效果。

[1]Larmer,B.Inside a Chinese Test-Prep Factory[EB/OL].(2015-01-04)[2016-04-20].http://www.nytimes.com/2015/01/04/magazine/ inside-a-chinese-test-prep-factory.html?_r=0.

[2]吕卓.侦破全国首例高考试卷被盗案的几点反思[J].四川警官高等专科学校学报,2003(6):1-4.

[3]Demands to fix CSAT flood[EB/OL].(2015-11-04)[2016-04-20]. http://koreajoongangdaily.joins.com/news/article/Article.aspx?aid= 2997894.

[4][44]Nissan,S.,&French,R.Item Banking[C]//Kunnan,A.J.(ed.)The Companion to Language Assessment(Volume II:Approaches and Development).Chichester,West Sussex:Wiley-Blackwell, 2014,814-829.

[5][6][9][11][12][25][37][40][47]李光明,等.教育考试国家题库——理论与实践[M].北京:高等教育出版社,2014,269,8,101,2,19-20,298,31,269,279-280.

[7]谢小庆.教育与心理测量标准[M]//杨惠中,桂诗春.语言测试社会学.上海:上海外语教育出版社,2015:79-98.

[8]陶百强,李明楷,李建平.对我国高考英语命题中建构性题型答案可控性的探讨[J].中国考试,2014(10):22-34.

[10]郑若玲.科举启示录——考试与教育的关系[J].清华大学教育研究,1999(2):12-16.

[13]李建平,陶百强.英语语料库及相关软件在高考英语命题中的运用[J].考试研究,2014(2):44-48.

[14]刘庆思,程蒙蒙.高考英语科启用语篇型语法填空题的研究[J].中小学外语教学(中学篇),2013(11):1-5.

[15]国家教委考试管理中心.全国征题总结[J].生物学通报,1990(1):35.

[16]包天仁.桂诗春教授访谈录[J].基础教育外语教学研究,2004(2):19-22.

[17]大考中心题库向高中教师公开征题办法[EB/OL].(2015-12-18)[2016-04-16].http://tiss2.ceec.edu.tw/QRInfoSite/QR_rules.aspx.

[18]ETS.Freelance Assessment Development Opportunities[EB/OL].(2015-12-19)[2016-04-16].http://ets.pereless.com/careers/in⁃dex.cfm?fuseaction=83080.viewjobdetail&CID=83080&JID= 166569&type=True&cfcend.

[19]ETS.Assessment Development I–ELL[EB/OL].(2015-12-19)[2016-04-16].http://ets.pereless.com/careers/index.cfm?fuseac⁃tion=83080.viewjobdetail&CID=83080&JID=185589&type= True&cfcend.

[20]ACT.How Do I Become an ACT Item Writer?[EB/OL].(2015-11-05)[2016-04-16].http://www.act.org/humanresources/item.

[21]Pearson.Test development job opportunities[EB/OL].(2015-12-21)[2016-04-16].http://www.pearsonassessments.com/careers/ test-development-job-opportunities.html.

[22]Pearson.Test Development Contractor Application [EB/OL].(2015-12-21)[2016-04-16].https://survey.vovici.com/se.ashx?s= 058F3B57435AE2F3.

[23]教育部.2015年普通高等学校招生全国统一考试考务工作规定(教考试[2015]1号)[S].2015.

[24]新华社.中华人民共和国保守国家秘密法[EB/OL].(2010-04-30)[2016-04-20].http://www.gov.cn/flfg/2010-04/30/content_ 1596420.htm.

[26]Four“Ps”:Prevention,Protection,Prosecution,Partnerships[EB/ OL].(2015-12-21)[2016-04-16].http://www.state.gov/j/tip/4p/ index.htm.

[27]新华网:中国国家教育考试法草案已进入最后完善阶段[EB/OL].(2015-12-21)[2016-04-16].http://news.xinhuanet.com/ newscenter/2007-12/25/content_7311799.htm.

[28]区雅伦.台湾大学入学考试中心题库及相关工作介绍[J].中国考试,2006(12):14-20.

[29]How ETS Protects the Integrity of the TOEFL®Test[EB/OL].(2015-10-31)[2016-04-16].http://www.ets.org/toefl/institutions/ about/security.

[30]林蕙青.深化考试招生制度改革,加强国家外语能力测评体系建设[J].中国考试,2015(1):3-6.

[31]姜钢.贯彻落实《实施意见》,积极推进国家外语能力测评体系建设[J].中国考试,2016(1):3-6.

[32]刘建达.基于标准的外语评价探索[J].外语教学与研究,2015(3):417-425.

[33]Tao,Baiqiang.Reforming China’s Gaokao item writing mecha⁃nism—From secluded item writing to an online test item submis⁃sion system[R]//Paper Presented for 2015 International Confer⁃ence on Language Testing and Assessment.Guangzhou,2015.

[34]Osterlind,S.J.Constructing Test Items:Multiple-Choice,Con⁃structed Response,Performance and Other Formats(2nd edition)[M].New York:Kluwer Academic Publishers,2002:60.

[35]Haladyna,T.M.,&Rodriguez,M.C.Developing and validating test items[M].New York,NY:Routledge,2013:92.

[36]郑语谦.大考中心:坊间考题将纳入比对[EB/OL].(2014-11-03)[2016-04-16].http://udn.com/news/story/6925/479552-防撞题-大考中心:坊间考题将纳入比对.

[38]周卫.高考押题:谁在押,怎么押[EB/OL].(2015-08-31)[2016-04-16].http://www.infzm.com/content/91229.

[39]岳伟.高考试卷难度的设计与控制[J].考试研究,2007(4):4-15.

[41]Dorans,N.J.,Moses,T.P.,&Eignor,D.R.Principles and practic⁃es of test score equating[R].Princeton,NJ:ETS Research Report,2010.

[42][43]Liu,J.,Guo,H.,&Dorans,N.J.A Comparison of Raw-to-Scale Conversion Consistency Between Single-and Multiple-Link⁃ing Using a Nonequivalent Groups Anchor Test Design[R].Prince⁃ton,NJ:ETS Research Report,2014.

[45]谢小庆.对15种测验等值方法的比较研究[J].心理学报,2000, 32(2):217-223.

[46]ETS.How the SAT is Scored[EB/OL].(2015-08-20)[2016-04-16].https://sat.collegeboard.org/scores/how-sat-is-scored.

[48]ETS.How ETS Protects the Integrity of the TOEFL[EB/OL]. [2016-04-16].http://www.ets.org/toefl/institutions/about/security/ test_security

[49]陶百强,李明楷.美国SAT官方模拟试题对我国高考改革的启示[J].中国考试,2011(4):46-54.

[50]陶百强.关于试题命制涉及的版权问题的国际讨论[J].英语考试研究,2010(8):32-35.

[51]Green,A.,&Hawkey,R.An empirical investigation of the pro⁃cess of writing academic reading test items for the International English language[R].IELTS Research Reports,2012.

[52]Schedl,M.A.,&Malloy,J.Writing Items and Tasks[C]//Kunnan, A.J.(ed.)The Companion to Language Assessment(Volume II: Approaches and Development).Chichester,West Sussex,2014: 796-813.

[53]Jinsong,F.,&Yan,J.A survey of English language testing practic⁃es in China:The case of six examination boards[J].Language Test⁃ing in Asia,2013,3(1):1-16.

[54]苹果日报.大考中心征题每则500元[EB/OL].(2014-10-20)[2016-04-16].http://www.appledaily.com.tw/appledaily/article/ headline/20110704/33503239/.

[55]Rhodes,K.,&Madaus,G.Errors in standardized tests:A systemic problem[M].Boston,MA:Boston College,Lynch School of Educa⁃tion,2003.

[56]秦春华,林莉.高考改革与综合素质评价[J].中国大学教学,2015(7):15-21.

Reflections on Enlisting Test Items from the Public for the College Entrance Examination

TAO Baiqiang,LIU Qinghua&LI Mingkai

Item writing is a core issue in College Entrance Examination reform and an online test item submission system is conducive to the needs of China’s College Entrance Examination reform during the 13th Five-Year Plan(2016—2020).Online item submission,an international practice,facilitates discovering and training of item writing talents,enhancing educational measurement and better serving stakeholders of the college entrance examination.This paper analyzes the background and necessity of implementing the online item submission system, delineates item writing in China and foreign countries or regions and proposes suggestions.

Reform of College Entrance Examination;Item Submission System;Item Writing Quality

G405

A

1005-8427(2016)05-0048-10

本文系2014年度国家社科基金项目“学校利益相关者视角下实施高考新方案的教育功效研究”(项目批准号:14BGL128)的研究成果之一。

陶百强,男,江西金太阳教育研究院,研究员(南昌 330020)

刘清华,男,南开大学高等教育研究所,副教授(天津 300071)

李明楷,男,江西省教育考试院,副教授(南昌 330038)

猜你喜欢
等值审题命题
精审题,明立意,读懂童话
异步电动机等值负载研究
防爆电机(2020年5期)2020-12-14 07:03:50
“三招”学会审题
七分审题三分做
认真审题 避免出错
下一站命题
电网单点等值下等效谐波参数计算
基于戴维南等值模型的静稳极限在线监视
汉语国俗语义在维吾尔语中的等值再现
语言与翻译(2014年1期)2014-07-10 13:06:11
2012年“春季擂台”命题
对联(2011年24期)2011-11-20 02:42:38