基于评估使用论证的TEM8内容效度研究

马 燕

（河南广播电视大学，郑州 450000）

一、评估使用论证

语言测试是应用语言学的重要组成部分，它是一个包括语言学、认知学、心理测量学和教育学等多方面的综合性学科，是检验学生语言水平的重要手段。评估使用论证理论（Assessment use argument，简称 AUA）是由国际著名的应用语言学教授Lyle F.Bachman于2003年首次提出的一种语言测评理论，是测试界的一次理论革新。

评估使用论证理论框架共包含两个部分：评估效度论证（validity argument）和评估用途论证（utilization argument）。前者是基于考试表现的解释，后者是基于考试解释的使用决定（邹申，2012：17）。Bachman 和 Palmer在总结前人研究的基础上，提出了一个考试有效性模型 （model of test usefulness）， 即考试效度研究框架（1996：17-40）。效度是语言测试一个至关重要的属性，大体可分为四大类：内在效度、外在效度、使用效度和超越考试效度。而内容效度属于内在效度的一种，指的是考试自身的效度问题，主要包括考试是否完成考试大纲所规定的测试内容，试题的编排与设计是否有效等。2007年，在美国应用语言学协会年会上Bachman作了《语言测评：机遇与挑战》的报告，他提出用AUA框架来指导目前所关注的各种问题，如测评的后果、道德和公平等，因此需要把效度理论和语言测评的后果结合起来，以期更加明确效度的作用和语言测评的公平（徐启龙，2012）。也就是说，每完成一项测试，要分析该项测试的后效性和所产生的后果，即该测试的用途和起到的正面反拨作用。通过对AUA的后效性分析，可以更好地指导测评开发者有效地完善测评设计与开发全过程，并向利益相关者论证测评的公平性和有用性。

二、TEM8及其测试内容简介

英语专业八级考试，简称TEM8（Test for English Majors 8），是我国自主开发的检测英语专业学生语言水平的考试系列，其考试对象为高校英语专业大四的学生。根据2005年新修订的TEM8考试大纲安排，其测试题型主要分为6大类，分别为听力、阅读、人文知识、改错、翻译、写作。考试实行百分制，各题型所占分值比例如下：

听力25分，主观题10道，客观题各5道；阅读20分，客观题20道；人文知识10分，客观题10道；改错10分，共10题；翻译20分，中英互译各1题；写作20分，主观题1道。

本文拟基于评估使用论证这一理论视野，对TEM8内容效度进行分析，以期探索该项测试成绩的公平性和真实性，以及根据该测试内容，有效地提高其在教材研发、课程标准开发、专业教学以及学习效果等方面的正向反拨作用。

三、TEM8内容效度分析

1.听力理解效度分析。

听力理解能力是外语学习者首先具备的基本的语言表达能力之一，随着TEM测试的模式逐步固定，听力的分值比例达到25%，人们对听力理解部分的重视也越来越高，如何培养学生良好的听力理解能力也是外语教学任务的重中之重。2005年新修订的《英语专业八级考试大纲》对听力能力的要求也做出了明确规定：（1）能听懂交际场合中各种英语会话和讲话；（2）能听懂VOA、BBC和CNN等国外传媒的节目中有关政治、经济、文化教育、科技等方面的专题报道；（3）能听懂有关政治、经济、历史、文化教育、语言文学、科普方面的一般讲座及讲座后的答问。关于此部分考试题型的设计，共包括三个项目，其中，section A部分是一个由900个单词组成的讲座，要求学生边听边做笔记，然后完成填空；B部分是会话或新闻采访，约800个单词；C部分为新闻广播报道，录音速度为每分钟150个单词。

较之其他传统的英语测试仅以会话的形式来考查学生听力理解能力，TEM-8的听力测试部分无论是在内容的广度、形式的宽度，还是知识点的深度来看，都无疑是一种更有效的测试方法。近几年的TEM听力测试总的特点就是材料贴近生活，真实性高。以2010年的专八听力为例，从内容上来看，mini-lecture部分是关于语言特性中的辅助语言学的介绍，interview部分是对美国社会多样性进行讨论，而broadcast部分则是对日本当下拓展海外市场的情况介绍。由此我们可以看出，2010年专八听力部分考查的知识面不仅涉及语言、文化方面，还包括政治经济方面，紧扣考试大纲要求。其次，从形式上看，讲座、对话、新闻采访等形式都是受试者在日常学习和生活中经常会遇到的情景，试题以什么样的形式来考查受试者的能力，对考试任务的完成情况有很大影响。口语中往往存在停顿、犹豫、自觉纠错、重复表述、变换主题等现象。交际英语听力测试要反映受试的理解能力，就必须使用尽可能真实的、接近现实生活的听力材料，努力消除试卷用英语（English used in test）与现实生活中实际使用的英语（English used in real life）的区别。而TEM听力测试的这些形式和话题的选择大大增强了听力材料的真实性，对于提高TEM听力试卷的内容效度无疑有极大的辅助作用。

2.阅读理解效度分析。

新《考纲》对于TEM阅读理解部分的测试要求为：能读懂一般英美报刊杂志上的社论、政治和书评，能读懂一般历史传记及文学作品，能分析上述题材的文章的思想观点，通篇布局，语言技巧和修辞手法；能够在阅读过程中调整自己的阅读速度。2005年以前此部分还包括快速阅读，后这一题型被取消，这对于考生的阅读速度能力也就有了更高的要求。

近5年的TEM8阅读理解部分的选材多以文化、社会等方面的议论文和说明文为主。以2012年的阅读理解部分为例，第一篇短文主要讲水在日常生活中的过度消耗，第二篇讲的是学生毕业后重聚的现象，第三篇是关于一名晚上散步者日常所遇而感悟到的邻里关系的文章，最后一篇是关于林肯纪念日如何庆祝的今昔对比情况分析。这些阅读材料的选择很好地迎合了《考纲》的要求，囊括了社会文化和日常热点，文章体裁也多样化，包括记叙文、描写文和议论文等，四篇文章20道问题，阅读总量为3000字左右，达到了《考纲》对这一部分的检测目的。近5年的TEM8阅读理解测试部分的文章基本都是围绕这一特点而命题。从效度理论来看，这些阅读内容是考生所熟悉的，并且语言也和现实生活中用来交际活动的话语相似，文本信息也是及时的，具有时效性，可以说，TEM8阅读理解测试项目保证了测试文本的真实性，通过这一部分的测试，可以有效地检测出学生综合语言运用能力的程度。

但笔者认为，阅读理解部分在阅读材料的选取方面仍有不足。比如，除一般社评、文学作品、科技、经济等方面的文章外，还可以涉及一些更实用的文章，以充分保证题材的多样性、广泛性和真实性。在难度的控制方面，可以考虑选用一篇长度较长的文章，这样，更能考察学生对整体文章的把握和理解，弥补目前试题在结构篇章测试方面的欠缺，同时，也可以进一步满足考纲对阅读速度的要求。

3.人文知识效度分析。

人文知识部分是2005年修订的《考纲》新增加的测试部分，旨在考查英语专业高年级的学生对英语国家社会和文化知识、文学知识、语言知识的了解。考试形式为选择题，共10道题，分数比重为10%。以2011、2012、2013年TEM8真题为例，2011年10道选择题中人文地理知识共占3道，文学知识占4道，语言学知识占3道；2012年10道选择题中人文地理知识占4道，文学知识占2道，语言学知识占4道；2013年10道选择题中人文地理知识占4道，文学知识占3道，语言学知识占3道。通过此部分近三年的TEM真题可以看出，人文知识、文学知识以及语言学知识这三部分的分值比重并不固定，在内容方面，人文地理主要考查美、英、澳、加、新等国家概况，文学方面主要考查小说和诗歌，语言学方面题目涉及较多的是语用学和语义学。这些考题的设计，内容广泛，层次多样，满足了《考纲》对此部分考查目的的要求。通过这一部分的测试，能够有效检测出考生的人文知识掌握能力。

4.改错部分效度分析。

根据《考纲》要求，改错部分的考题由一篇250个词左右组成的短文，短文中有10行标有题号，该10行各有一个语误，要求学生根据自身语言运用和理解能力，增加、删减，或改变其中某一单词或短语，改正语误。语误主要有语法错误、修辞错误、结构错误等方面，此部分主要综合考查应试者的语言能力。以2013年的TEM8试题为例，语篇结构方面的错误有3题，语法方面的错误有4题，拼写错误有1题，搭配方面的错误有2题。改错部分的内容效度并不体现在对有代表性的语言结构的覆盖，而是对有代表性的语言技能的检验检测。Bachman也认为要想设计和使用合适的语言测试，要准确定义所测能力及观察和测量的方法，他建议用交际语言能力作为研究的基础。通过近5年的TEM8改错部分真题来看，体现出了对应试者交际语言能力的考查，达到了《考纲》所要求的运用语法、修辞、结构等语言知识识别短文内的语病并加以改正。但笔者认为，其实这种形式的测试，还处于结构主义理论中的离散点测试，强调应试者对基本语言技能的掌握，在考题的设计当中，应当更进一步地融入语篇、语用能力的考查。

5.翻译部分效度分析。

TEM8翻译测试部分主要要求考生运用英译汉、汉译英的相关理论和技巧，翻译我国报纸杂志、英美报纸杂志上有关政治、经济、历史、文化等方面的文章。无论是英译汉，还是汉译英，皆要求翻译速度为每小时250~300字/词，并且要求译文要忠实原意，语言流畅通顺。2013年的汉译英部分是一篇关于 “生活”的散文体文章，英译汉部分则是关于“联合国代表大会”的说明文；2012年的汉译英部分截取自一篇关于人物心理活动描写的文学作品，英译汉部分则是关于“校园暴力”的议论文；2011年的汉译英是一篇关于现代社会矛盾无处不在的说明文，英译汉部分是一篇关于在尼泊尔旅行的记叙文。通过这三年的考题可以看出，翻译部分的内容包括了社会文化、文学、政治等方面，文体也多种多样，基本涵盖了日常报刊上常见的几种文体。语言测试本身就是一种考生在特定测试情景下语言的输入与输出的交互过程，国际语言测试领域把语言测试的真实性分解为情景、任务、文本、输出、参与者之间互动等方面（徐启龙，2012）。TEM8翻译部分的文章基本反映了该项测试的真实性。无论是文本的内容，还是语言的风格，都能还原日常报刊阅读的情景，符合《考纲》要求。

6.写作部分效度分析。

新《考纲》要求学生能根据所给题目和要求撰写一篇400词左右的说明文或议论文，要求文章语言通顺，用词得体，结构合理，问题恰当。考试时间为45分钟，所占分数比重为20%。该规定清楚地告诉我们TEM8写作考查的重点是考生的英语语言水平，而不是思辨创新能力。这就对学生实际的写作水平提出了一定的挑战。我们来看一下近几年的八级写作考试题目：

年份 体裁 话题 内容2010 观点型议论文 社会焦点 对贵州小山区创新设计的看法对旅游高峰期在历史名胜景区收取高价的看法2012 观点型议论文 社会焦点 对使用手机的看法2011 观点型议论文 社会焦点2013 观点型议论文 社会焦点良好的社会风气对人们日常做好事影响的看法

通过上表可以看出，2010年以来，TEM8写作部分的题目均为当下热点问题，并且体裁均是观点型议论文。此类文体属于开放性题型，考生论述自己的观点，只要论据充分，文体得当，都符合题目要求。另外所选话题集中于社会焦点类，与学生的学习或日常生活话题密切相关，既考查了学生对社会事实的关注度与敏锐度，同时又考查了学生分析问题、论述问题的能力，以此培养学生多思维、多视角的写作辨析能力。但同时上表也反映出一个问题，即近四年的文体均为议论文，对说明文的写作考查有所忽略。

四、TEM8测试的后效性分析

1.TEM8成绩的影响。

自1991年开考以来，TEM8测试已走过22年，测试影响日益扩大，参加人数逐年递增，测试成绩的权威性也被社会普遍接受和认可。参加考试的学生数由最初的4000余人增长到现在的近20万人，参加测试的高校数由最初的80余所增长到现在的近800所，考生遍布沿海发达地区、内陆省市以及边疆地区等，高校类别有综合性大学、理工科大学、师范类院校以及外语类院校。TEM8成绩按分数段划分为三个等级，80~100分为优秀，70~80为良好，60~70为及格。就全国而言，每年的TEM8通过率不超过50%，近三年的通过率依次为38.08%、41.49%、40.08%。可以说，无论是考试规模，还是考试的影响，抑或是考试成绩的社会认可度，都有了质的飞越和提高。用人单位在招聘英语人才时，对英语专业的毕业生是否持有TEM8证书、证书级别是什么等级要求越来越严格，已逐渐成为应聘者的必备条件之一。而很多高校也将此项测试成绩作为衡量教师工作的标尺，每年TEM8测试成绩出来后，相关院校管理人员都积极计算过关率与优秀率，并将相关教学人员的绩效工资与之挂钩。上述种种现象不仅加大了教师、教学管理人员的压力，同时，也极大地加重了考生的个人压力，甚至会影响考生的一生。

然而需要指出的是，社会接受度和认可度高的专项测试既有其积极的一面，也有其消极的一面。过分地强调考试的成绩，会把测试的最初目的引入歧途，并引发一系列的连环副作用。近几年，由于学校和考生过分看重TEM8成绩，作弊和替考现象屡屡发生。因此，学校、教师和学生都必须摆正考试与教学的相互关系，准确认识考试的目的和意义，正确对待考试最终成绩。同时，如何将环境、心理、社会、人为等外在影响因素降到最低，进一步提高考试的准确性和真实性，使其如实反映考生的综合语言运用能力，也是该项测试组织者应继续考虑的重要方面。

2.TEM8成绩的反拨作用。

随着TEM 8考试权威性和科学性的日益凸现，在一定程度上已逐渐成为反应英语教学的一面镜子。Bachman和Palmer认为考试的反拨作用不是一种孤立的现象，而是指该项考试对全社会、教育体系以及处于这些体系中的每个个体（包括教师、学生、教育管理人员）所产生的影响（1996，P29-35）。

TEM8的反拨作用是一种动态、持续的过程，并且该作用本身也会因为各种内在或外在因素的改变而不断变化。总体来说，目前我们对TEM8此项测试的反拨作用研究主要集中在三个方面：一是对教学的影响，二是对当前考试相关人员的影响，三是对社会的影响。首先在教学方面，TEM8的反拨作用主要体现在对教材的选取、教学目标的规划、相关课程的设置、教学内容的安排、教学方法的改进、应试策略的指导等方面。根据《考纲》的要求，针对考试分值比重大的部分以及考生薄弱环节有重点的进行倾斜，综合提高英语专业的学生实际语言运用的能力。其次，对于考试相关人员（考生、教育管理人员、用人单位等）的影响和作用，主要体现在对于考试最终成绩的认识，虽然TEM8测试的真实性和科学性在逐渐完善和提高，但由于受试者的心理、环境、社会压力等方面的影响，其考试成绩与日常语言运用能力肯定存在或多或少的偏差，一次测试成绩并不能百分之百地检测出该生的实际语言表达和运用能力。另外，由于一些不良考风的存在，考试舞弊现象屡有发生，用人单位也不应仅凭一纸证书就判定应聘者英语能力的高低，教育管理人员更不能一味追求合格率而打乱正常的教学秩序，甚至压缩、剔除部分课程，其结果反而使学生丧失本应掌握的语言和文学运用技能，以至于偏离了教学大纲的目标和要求。与此同时，TEM8考试命题人员对考试的内容编排、组织形式以及技术运用等方面都在不断地研究和开发，以期在考试的信度、构念效度、真实性、交互性、影响度和可行性等方面都能日臻完善。

五、结语

虽然TEM8是一项权威性高的测试，但测试只是检测教与学的手段和方法，而不是目的。考试值得参考的方面是为教学带来的反馈信息和起到的反拨作用。AUA测试理论对于语言测试的开发和使用全过程的问责具有重要的作用。它使考试的设计、开发以及使用都更加的科学，体现了以人为本的原则。并且，AUA框架的构建将指导测评开发者有效地向利益相关者论证该项考试的公平性和有用性。如何以AUA理论为基础，根据测试所体现出的问题和现象，找出影响教学的问题和解决这些问题的有效方法，使TEM8测试更加科学、更加完善，是考试命题组成员所应重视的问题。

［1］ 邹申.基于语料库的写作测试效度研究——以《英语专业写作教学语料库》为例［J］.外语电化教学，2012，（01）.

［2］ Bachman L F，Palmer A S.Language Testing in Practice［M］.Oxford：OxfordUniversityPress，1996：17.

［3］ 徐启龙.AUA框架——语言测评理论的新发展［J］.外语电化教学，2012，（01）：39.

［4］ 邹申，陈炜.回顾与展望-写在英语专业四、八级考试开考 20 周年之际［J］.Foreign Language World，2010，（6）.

［5］ 邹申，张艳莉，周越美.阅读测试中题目类型、策略与分数的关系——TEM4考试阅读项目的答题效度研究［J］.外语与外语教学，2002，（05）.

［6］ 黄家.英语专业四级、八级测试为教学带来的反馈信息［J］.中山大学学报论丛，2000，（06）.

［7］ 卢晓仙.TEM8阅读理解测试内容效度分析［J］.三峡大学学报，2008，（01）.

［8］ 党争胜.TEM 考试听力试题分析与建议［J］.外语电化教学，2004，（02）.