基于AUA框架的英语高考新模式公平性研究

2018-03-07 17:48姜秀娟
教学与管理(理论版) 2017年12期
关键词:新模式框架

摘 要 测试公平性是语言测试研究主要议题之一。本文通过分析AUA中贯穿的测试公平性理念及其在英语高考新模式中的体现,指出英语高考改革符合AUA框架对语言测试开发和使用的要求,与AUA对测试公平性的追求是一致的,并基于AUA框架关于测试公平性的理念,尝试对英语高考改革中的几个关键问题提出了解决办法。

关键词 AUA 框架 英语高考 新模式 语言测试公平性

2014年7月8日,《2017年高考改革方案》正式颁布,明确规定“英语文理同卷,实行社会化考试,一年两考,按五级制评价”,“学生可多次报考,最终以最好成绩为准”,即2017年以后,英语高考采用“一年两考,取最高分,分等级计入的社会化考试”模式。那么,英语高考改革是否反应了当今世界先进的语言测试理念?是否体现了语言测试的公平性?为了回答这些问题,本文从AUA框架的视角,分析了英语高考改革所体现的公平性,探寻其背后的理论支持与语言测试理念,并对英语高考改革所涉及的几个关键问题进行了思考和建议。

一、AUA框架与语言测试公平性

2003年,Bachman首次提出测试使用论证框架(Assessment Use Argument,简称AUA)。[1]在随后的几年中,经过90余次的修改,Bachman和Palmer于2010年在《语言评估实践》一书中正式提出并详细阐释了AUA框架(见图1)。[2]AUA框架是Bachman和Palmer对1996年在《语言测试实践》中提出的“测试有用性”框架认识的升华,[3]代表了当今语言测试理论发展的前沿。

AUA规定了测试研发者和使用者必须承担对受测试和决策影响的利益相关者的责任(见图2),有力地保证了语言测试的公平性。测试研发者的主要责任是说服决策制定者及其他利益相关者测试记录是一致的,测试的解释是有意义的、公平的、概括的、相关的和充足的。测试研发者还应该了解测试使用和所作决策对其他利益相关者所产生的预期后果。决策制定者的主要责任是说服其他利益相关者决策具有价值敏感性和均衡性以及测试使用和决策的后果具有善益性,同时还要意识到测试记录和解释中存在的不确定性因素。[2]AUA要求将公平性贯穿测试研发和使用的全过程,它所有的质量属性都体现了测试的公平性。

首先,后果的善益性要求基于测试使用以及所作决策的后果对于所有的利益相关者都是有益的,测试成绩报告的表述必须清楚明白,所有的利益相关者都能看得懂,并做到及时和保密。

其次,决策的价值敏感性要求决策制定者在作出决策时应考虑现存的教育与社会价值观体系和法律法规,认真权衡对考生作出错误分类的严重后果,及格线的划定要有利于最大限度地减少因错误分类而带来的不利影响;决策的均衡性要求只能根据所划定的及格线和制定的决策方案对所有考生进行分类,而不能受其他因素的影响,所有考生和其他利益相关者都应该清楚决策方案是如何制定与执行的。

再次,解释的有意义性要求对所测语言能力(构念)的界定应依据具体的教学大纲或相关语言能力研究成果和理论,测试任务要与所定义构念相关,施测过程能够使考生发挥出最好水平;解释的公平性要求所有考生都应熟悉某测试的答题方式、步骤、所用设备和考试内容,测试任务中不能包含对某些考生不利的话题和文化内容,所有考生都看得懂测试记录过程的表述,所有考生在展示自己的能力方面机会均等;解释的概括性要求测试任务特征应与目标语言使用任务特征一致,用于评估考生测试表现与用于评估目标语言使用任务表现的标准是相同的;解释的相关性要求基于考生测试表现的信息应该与所作决策需要的信息一致;解释的充足性要求基于考生测试表现的信息足以对考生作出决定,不需其他额外信息。

最后,测试记录的一致性要求测试记录(分数和描述)在不同的测试任务、不同的施测环节、不同的评分员以及不同的考生群体中始终保持一致。

另外,AUA框架还明确了测试研发者和决策制定者的主要责任和次要责任,在一定程度上有助于提高测试的公平性。

二、AUA框架与英语高考改革新模式的公平性

对照AUA框架,英语高考新模式的公平性主要体现在以下三方面。

首先,“一年两考”意味着考生高中三年有六次机会,大大增加了考生接受高等教育的机会,这也是测试公平性的体现,因为该措施在很大程度上保证了“施测过程能够使考生发挥出最好水平”和“考生在展示自己的能力方面机会均等”,符合AUA中“解释有意义性”和“解释公平性”的测试质量属性要求。

其次,“取最高分”意味着决策者将根据由考生最好的测试表现所推论出的该考生的语言能力对其作出是否录取的决定;“分等级计入”能够使考生再也不会因为英语只差一两分而无缘高等教育。因此,英语高考的使用后果和决策后果对所有考生来说都是有益的,也是测试公平性的体现,符合AUA中“解释的有意义性和相关性”、“后果的善益性”以及“决策的均衡性”。

最后,“社会化”考试意味着英语高考试卷的设计与开发由专业的测试机构来承担,该机构有大量的专职测试研究人员,应该是独立、非盈利的,同时具备公信力,不能由办学机构、培训学校主办,例如美国教育测试服务中心,拥有几百名全职的测试研究人员,研究开发了TOEFL、GRE考试等。英语高考采取社会化考试便于明确测试研发者和决策者的责任,能较好地保证测试的公平性。

三、关于英语高考改革的建议

以上分析表明,英语高考“一年两考、取最高分、分等级计入”的社会化考试模式的改革方向是正确的,但是,英语高考作为大规模高风险的选拔性测试,关乎全国每年九百多万考生的前途和命运,必须全盘考虑和细化其设计、开发、实施及使用方案。因此,本文基于测试公平性的理念,以AUA框架为理论指导,对英语高考改革提出几点建议。

1.所考查语言能力(构念)的界定要清楚易懂

根据Bachman和Palmer对语言能力构成要素的论述,英语高考应该主要考查学生基本的语法和词汇的掌握情况,常见文体(如叙述性和描写性文体)基本的阅读理解能力,基本的听力理解能力以及能够用英语(包括口语和书面语)进行简单的信息和思想交流的能力等,[2]并严格按照《高中英语课程标准》(以下简称《课标》)规定的能力标准和要求以及高校人才选拔要求确定拟测能力,所有这些在考试手册中都要详细说明,而且根据不同的利益相关者要选择使用专业性或非专业性语言,目的是为了让所有的利益相关者(如考生、英语高考的开发者、使用者和決策制定者)都能明白对所考核能力的描述。[2]endprint

2.考试内容、答题方式和题型要科学合理,体现公平

这涉及到如何选择考试内容以及以何种方式和题型对这些内容进行考核。首先,考试内容的选择要紧扣《课标》,参考高校人才选拔和培养需求,不能有偏题、怪题,不偏向任何考生。其次,不能出现冒犯考生民族禁忌文化的内容和话题。[2]我国有56个民族,应该充分考虑民族文化差异,避免出现有违民族禁忌的内容。最后,采用所有考生都熟悉的答题方式和题型。我国幅员辽阔,东部沿海地区和内陆欠发达地区的英语教育水平存在较大差异,因此,答题方式和题型应该是所有考生都熟悉的。

3.考试过程要有利于所有考生

所有考生都熟悉并且会使用考试中使用的设备,在某些设备出现故障时,能够迅速启用备用设备;考生应该在熟悉而舒适的环境中有足够的时间来完成考试任务,这是保证考生能够发挥出最高水平的重要条件;[2]监考人员要进行培训,让他们明白监考步骤与要求,做到监考过程标准统一,会使用或操作所需设备并能及时正确地处理突发情况。

4.评分要具有一致性

首先,评分方案、细则以及评分量表的制定至关重要,这需要二语习得领域的专家、语言测试专家、高中英语教师以及大学英语教师的密切配合和深入研究,在反复论证的基础上达成共识。其次,要对评分员进行培训,让他们充分理解评分方案、细则和评分量表,加强他们的评分公平性意识。

5.基于英语高考成绩的决策应考虑考生间的差异

考生间存在着个体差异、城乡差异以及民族差异,这些差异会对他们的测试表现产生影响,从而影响他们的考试成绩。个体差异主要体现在性别和认知风格方面。性别差异会使阅读理解和写作中的背景材料(如体育、机械等)可能有利于男生而不利于女生。考生的认知特点不仅影响他们的外语学习,而且影响他们对某一类测试题型的反应,从而造成与构念无关的系统性偏差。城乡差异主要表现在考生学习条件和考场环境的不同以及考试内容的城市化倾向会对农村考生产生不利影响。民族差异主要表现在考生用于学习英语的时间不同。因此,根据英语高考成绩对考生作出决定时,应该充分认识到考生间存在的各方面差异,采用DIF定量分析和定性分析相结合的方法,严格审查试题中是否存在性别、认知风格、城乡以及民族偏差,如果存在偏差,要对成绩进行公平性处理。对于少数民族考生,更要采取不同的政策与措施,比如降低分数或对他们的分数进行加权处理,最大限度地减少民族差异给他们带来的不利影响。

6.成立教育测试服务中心,建立公平性审查制度,制定公平性原则和标准

英语高考规模大,影响面广,存在许多不确定性因素,很难实现理想的公平,因此,成立一个全职的规模性的语言测试服务中心(即第三方力量),建立公平性审查制度,制定公平性原则和标准非常必要,这不仅可以监督英语高考的研发者、使用者和决策制定者承担各自的责任,还可以使他们明确应该遵循的原则和达到的标准,从而有效提高公平性。具体而言,可由语言测试专家和相关职能部门在充分分析和研究的基础上,参考美国教育测试服务中心的做法,利用一到两年的时间逐步成立我国的教育测试服务中心,并由该中心负责英语高考公平性审查制度的建立和公平性标准的制定,这是英语高考改革真正实现社会化考试面临的又一挑战。尽管困难重重,语言测试专家也对第三方力量介入的可行性提出质疑,[4]但是,鉴于我国严重缺乏对大规模高风险测试设计、开发与使用质量的全面研究和监管,应该也有必要进行这方面的探索和尝试,这也是促进英语高考改革健康发展,早日实现与世界先进语言测试理论和实践接轨的重要保证。

任何大规模高风险的选拔性语言测试都承担着艰巨的社会责任,它会影响甚至决定一个人未来的发展和命运,我国的英语高考就肩负着这样的使命,鉴于此,英语高考改革成了近期全社会关注的热点,褒贬不一。总体来看,“一年两考、取最高分、分等级计入”的社会化考试模式符合AUA框架对语言测试开发和使用的要求,与AUA框架要求将公平性贯穿测试整个过程的核心理念是一致的。限于篇幅,本文仅就英语高考改革的几个关键问题给出了大致的解决办法,主要涉及构念的界定、内容的选择、评分的要求、考生间的差异、公平性审查制度和原则及标准的制定等。当然,不管英语高考如何改革,我们都要有国家战略意识,放眼中国国际化和人才国际化的大趋势,以人的发展为第一要义,其最终目标应该是促进外语教育观念的转变,使外语教育真正从学生全面发展的角度出发,为促进学生发展核心素养的养成做出应有贡献。

参考文献

[1] Bachman, L. Constructing an assessment use argument and supporting claims about test taker-assessment task interactions in evidence-centered assessment design[J].Measurement:Interdisciplinary Research and Perspectives,2003(1).

[2] Bachman,L.& A. Palmer.Language Assessment in Practice: Developing Language Assessment and Justifying Their Use in the Real World [M].Oxford: OUP,2010.

[3] Bachman, L. & A. Palmer.Language Testing in Practice [M].Oxford: OUP,1996.

[4] 韓宝成,罗凯洲.语言测试效度及其验证模式的嬗变[J].外语教学与研究,2013(5)..

[作者:姜秀娟(1974-),女,山东临沂人,曲阜师范大学副教授,硕士生导师,北京外国语大学博士研究生。]

【责任编辑 刘永庆】endprint

猜你喜欢
新模式框架
广义框架的不相交性
WTO框架下
关于原点对称的不规则Gabor框架的构造
一种基于OpenStack的云应用开发框架
基于Hadoop的DDoS检测框架