TEM4阅读题型的内容效度研究

张珊��

摘要：英语专业四级考试（TEM4）作为国家级测试，旨在检查各高校基础阶段的英语教学和学习情况，该测试的内容效度成为试题使用者最关心的问题。本研究以2012-2016年的TEM4阅读真题为对象，采用Bachman & Palmer的任务特点框架（A framework of language task characteristic），结合阅读题型特点和新版《考试大纲》（2004）具体要求，通过分析语篇特征和期望回答特征来考查TEM4阅读题型内容与考试大纲的吻合度，即探究测试内容是否达到《考试大纲》的要求。结果表明：1）从语篇输入特征来看，题材、体裁、生词、篇幅、阅读速度基本符合2004年新版大纲的要求和规定；2）从预期回答特征来看，答题形式丰富，2016年呈现出新形式，阅读技能覆盖广泛，侧重细节提取和逻辑推理能力。总而言之，近五年的专四阅读材料符合了《考试大纲》的基本要求，测试内容和测试目的基本一致。

关键词：TEM4阅读；Bachman & Palmer任务框架；内容效度

一、 研究背景

TEM4是由高等院校外语专业指导委员会实施的唯一的全国性考试，旨在检查各高校英语专业基础阶段教学大纲的执行情况，其具有极大的权威和影响力，也受到众多机构、专家的认可。2004年颁布的《高校英语专业四级考试大纲》也对旧大纲做了重大改革和调整。阅读是语言学习的最主要输入方式，是获取信息和扩大知识最根本的途径，对培养扎实的语言基础知识具有重要的意义，在听、说、读、写、译五项语言技能中的重要地位不可动摇。在TEM4中，阅读题型占有非常重要的地位，占总分的20%。为了更好地反映新大纲的实施力度，帮助英语专业学生和教师了解专四考试的测试效度，本研究将对2012-2016年的TEM4阅读真题进行内容效度分析，探讨TEM4阅读内容和《考试大纲》的吻合度。

二、 核心概念

（一） 测试效度和内容效度

Brown，J.D.认为测试效度是指对想要测试的内容的测试程度，对想要测试的内容的预期测试效果。测试效度在教师评价学生、安排教学中都起到特殊的作用。在语言测试效度中，通常有三种主要辅助效度测试的策略，即内容效度、结构效度和效标关联效度。其中，内容效度（content validity）即内容的有效性，指测试内容应符合测试的目的和要求，测试项目与教学内容要一致，不涉及无关内容。TEM4测试是一种语言测试效度，内容效度是最核心的部分，能够体现出语言测试的基本要素和基本技能。国内对TEM4效度研究总体呈现两个趋势：第一，研究视角的多元性。具体表现在8个方面，分别是：效度分析、效度检验、效度和信度、效度的正用和误用、效度与学业测试、效度测量以及效度理论的变迁。第二，研究题型的全面性。不仅涉及TEM4阅读题目的研究，还涉及听力、完形、语法与词汇以及写作这五方面的研究。

（二） Bachman & Palmer的考试任务特点框架

Bachman & Palmer（1996）提供了一个详细的、可供参考的语言使用任务特征框架（A framework of language task characteristic）。该框架包括五部分：环境特征、测试规则特征、输入特征、期望回答的特征以及输入和回答的关系特征。本研究基于已有框架，结合阅读测试的特點，从输入特征和预期回答特征两方面分析TEM4阅读题的内容效度，同时对基本的特征做了局部调整，输入特征由体裁、题材、生词、篇幅和阅读速度五部分组成，预期回答特征主要分析测试答题形式和题目覆盖阅读技能。

输入特征形式输入的语言体裁、题材、生词、篇幅、阅读速度

期望回答特征形式期望回答的语言

测试答题形式、题目覆盖阅读技能

三、 研究设计

一方面，采用数据统计法。依照Bachman & Palmer（1996）的语言使用任务特征框架，对2012-2016年阅读真题从输入特征和预期回答的特征两方面，即篇幅、生词、体裁、题材、阅读速度、答题形式和阅读技能覆盖这7个维度进行整理，输入原始数据，进行分类统计。另一方面，采用内容分析法。比较新版《考试大纲》对TEM4阅读题型的具体要求和已收集的真题数据，并结合量性分析进一步探究以上7个维度的与大纲要求的一致性。

四、 数据分析与讨论

（一） 输入特征

1. 题材

《考试大纲》规定：题材广泛，包括社会、科技、文化、经济、日常知识、人物传记等。由下表可知，2012-2016年专四阅读题材基本能够契合大纲要求，19篇阅读材料包括了社会类、科技类、文化类、经济类以及人物传记类，依次是社会类（42%）、文化类题材（21%）、人物传记（15%）、科技类（11%）、经济类（11%），日常知识类基本无涉及。可看出，题材选择较偏向社会类和文化类。同时，除了2015年题材安排失衡，其他年份的题材安排得当。总体来说，改革后的阅读题材基本符合大纲的考试规定和要求，不仅增加了关于社会类题材的阅读量，也比较重视文化类题材，预期近几年阅读题材会有这两方面的偏向。

2. 体裁

《考试大纲》规定：体裁多样，包括记叙文、描写文、说明文、议论文、广告、说明书、图表等。从下表可知，近五年的阅读材料主要涉及记叙文、描写文、说明文和议论文，未涉及广告、说明书、图表。具体来说，广告、说明书、图表也属于说明文类。因此，2012-2016年英语专业四级阅读理解的体裁也符合了大纲规定，类型多样，依次是记叙文（43%）、说明文（27%）、描写（15%）和议论（15%）。2012年对体裁的安排最为合理，2013-2015年涉及了3种体裁，2016年仅涉及两种体裁，但是看得出改革后出题人在体裁选择上偏向记叙文，说明文，重点培养考生对语言的基本应用能力。endprint

3. 生词（难易度）

生词在阅读材料中占有比例直接反映了阅读材料的难易度。《考试大纲》规定：阅读语言材料难度中等，关键词汇基本上不超过《大纲》规定的范围。换言之，阅读材料中的词汇不能偏离专四基础词汇识记范围。通过对近5年专四真题阅读材料的生词统计，如下表所示，整体超纲比例不到2%，即98%以上的单词都在考生被要求识记的单词范围以内，基本符合《大纲》要求，阅读难度也就控制在可阅读范围内，2014年和16年的生词不到1%，阅读难度相对更低了。

Krashen曾提出，在学习过程中，学习任务应该稍微比学习者已有水平高一个层级，也就是著名的i+1理论。因此，这不到2%的生词利于考生阅读能力和阅读技巧的提升，其目的是给考生提供一个合适的空间，刺激已有认知词汇，结合阅读材料上下文和阅读语境，进一步强化个人的阅读语感和猜词意识。因此出题者应适当给考生提供有生词的阅读材料，在实施考纲要求的同时，为学习者提供一个更好的学习园地。

4. 篇幅长度

《考试大纲》规定：专四阅读部分由数篇阅读材料组成，阅读材料共长1800个单次左右。由下表可看出，2012-2015年阅读材料篇章总体在1650词左右，仅2016年的篇幅字数达到2100个词，比《大纲》要求的篇章长度略多。近五年专四真题阅读材料总计字数，包括题干字数，总体是在2100左右，尤其2016年总字数达到2400个单词。总体来说，改革以后专四篇幅长度基本符合了《大纲》基本要求。16年的篇幅长度明显增加，预期未来的考试篇幅可能会延长，对考生的阅读速度也提出了新挑战。

5. 阅读速度

《考试大纲》规定：考查学生阅读技能的同时，既要求准确性，也要求一定的速度，并能根据需要自觉调整阅读速度，考试时间为25分钟，阅读速度为每分钟120个单词。上表对近五年的阅读速度做了粗略统计，将每年的篇章字数和总字数与考试时间比算出，得到了阅读速度的区间，可看出在规定时间内，阅读速度总体维持在1分钟60-80个单词，比规定的1分钟120个单词略慢。因为计算忽略了考生思考、做题的单位时间，得出的阅读速度是有偏差的，也就是说考生的最慢阅读速度可维持在1分钟80个单词。总体上也是接近《考试大纲》要求的。

（二） 期望回答特征

1. 答题形式

新《考试大纲》明确提出阅读部分采用单项选择题形式，学生根据材料可从每道题的四个选项中选出一个最佳的答案，共20道题目。为了本研究数据的科学性，不仅观察了2012-2016年的测试真题，还分析了2004-2011年的考题形式，结果发现2004-2015年的阅读部分考题严格遵循了考纲的要求，历年都是20道单项选择题。但2016年题型有了变化，题目减少为15道，10道题目是单选形式，其他5道题目为简答题。尽管与《大纲》所要求的题型有一点出入，但这种新模式打破了之前的封闭式考题形式，添加了开放性题型，无疑是对考生阅读技能的新型考查，有利于练习了考生的信息提取能力、强化信息的输出能力，也更明确地反映考生的语言表达问题。

2. 阅读技能覆盖分析

《考试大纲》要求：能掌握阅读材料的主旨大意，了解说明主旨大意的事实和细节；即理解字面意义，又能根据所读材料进行判断和推理；即理解个别句子的意义，也能理解上下文的逻辑关系。基于《大纲》和考點，进一步将阅读技能细化成六部分：主旨类、细节类、态度类、推理类、词汇类和指代类。结合下图可知，2012-2016年95道阅读题目中考查细节类的题目约占29%，考查推理题型约占27%，17%考查词汇，14%考查主旨类题目，13%考查态度类，指代类题型无涉及。总体来看，这些题型既测试了考生对整篇短文的理解能力，又对文章提供的信息和事实进行提问；既测试了考生的推理和判断能力，又测试了考生在阅读中理解词义和词组意义的能力。总体来说，题型设计囊括了《大纲》所要考查的各种阅读技能，对阅读能力进行了综合的、全面的考查。鉴于细节题和推理题的高频次，预期未来考题会侧重在这两方面，因此，教师在考前辅导和考生在模拟练习时应该有所偏倚，把握考题的类型，为考试的成功做好充分准备。

五、 结论

（一） 从语篇输入特征来看，题材、体裁、生词、篇幅、阅读速度基本符合2004年新版《大纲》的要求和规定。题材具有广泛性，重视社会和文化类型；体裁具有多样性，侧重对记叙文和说明文的考查；词汇基本在考纲范围内，历年生词未超过总字数的2%；篇幅长短贴近考纲规定长度，仅2016年篇幅略有增加；考生的阅读速度也接近《大纲》的要求。

（二） 从预期回答特征来看，首先，答题形式呈现出新形式，既保持了《大纲》要求的封闭式的选择题，也出现了开放性的简答题，尤其是2016年的考题。其次阅读技能覆盖较全面，多样的题目设计考查了考生的阅读基本技能，包括主旨理解、细节提取、态度判断、逻辑推理、词汇词义的辨析，其中重点放在细节和推理题目上。

参考文献：

[1]Brown，J.D.Testing in Language Programs：A Comprehensive Guide to English Language Assessment[M].Beijing：Tsinghua University Press，2013（p220-223）.

[2]常俊跃，刘雪莲，苏晓丽.英语专业四级考试指南及全真模拟[M].大连理工大学出版社，2011.5（p93-102）.

[3]侯艳萍.近七年英语专业四级阅读理解内容效度评估[J].河北大学学报（哲学社会科学版），2012.7.

[4]龙玉梅.英语专业四级考试批判性阅读能力测试探析[J].淮北师范大学学报（哲学社会科学版），2012.2.

作者简介：张珊，新疆维吾尔自治区石河子市，石河子大学。endprint