2014—2018年高考英语浙江卷完形填空试题内容效度分析

张 弘

引言

高考是我国参与人数最多、规模最大、最具影响力的一个选拔性考试。浙江省作为新高考改革的试点省份，率先对高考英语进行了改革，改革后高考英语试题题型有了很大的变化，取消了单项填空题和短文改错题，新增了阅读理解七选五，将命题作文改成了读后续写和概要写作等。但是，完形填空这一题型在高考英语改革后仍被保留，由此可见其在测试中的重要地位。完形填空可以检测学生的多种能力，如阅读理解能力、语法能力和综合英语水平等（李雪莲 2009）。高考英语试题的信度和效度是衡量测试科学性的重要指标，完形填空能否完成预期的测试目标，有赖于对其效度的检测。通过检索中国知网发现，国内学者对浙江省高考英语完形填空的效度研究并不多，具有代表性的是夏春芳、罗晓杰（2015）对2010—2014年高考英语浙江卷完形填空试题进行的内容效度分析。但2014年之后的试题并无人研究，因此以2014—2018年高考英语浙江卷完形填空试题为研究对象，从测试输入特征（包括题材、体裁、难度、长度、删词间距）和测试答题（考点层次和考点分布）两个维度对其进行内容效度的历时研究，从而为浙江省高考英语完形填空命题提出一些有效的建议，增强测试对学生的反拨作用。

一、相关概念界定

（一）完形填空

完形填空起源于20世纪50年代，在英语中用Cloze表示，是泰勒（Taylor）根据“格式塔心理学”（即补全心理）创立的一种测试题型（郭丽 2010）。完形填空要求学生根据对上下文的理解，复原篇章或段落中被删去的一些词或词组（Madsen 1983）。它最初是用来测定文章难度系数的（Heaton 2000），现在主要用来测试学生的阅读理解能力，同时也涉及对他们语言知识、篇章知识和背景知识等的考查（邹申、杨任明 2000）。

完形填空有多种分类，其中被广泛接受的是李筱菊（1997）的分类，主要有两种方式：

第一种是按照删词的方式将其分为定距删词、合理删词和特定范畴删词。定距删词又称为经典完形填空，是根据随机抽样的原理，通常将一篇文章中的每5—10词之间所处位置的词删去。合理删词则是不定距的、有选择性地删词，一般删去跟文章内容密切相关的一些实词或词组，或文中的一些功能词，如连词、冠词、介词等。特定范畴删词是指把某一类别的词删去，如所有冠词、所有介词或者将范畴扩大到所有功能词，这类完形填空考查范畴较窄，不能测量学生的综合能力。

第二种是根据填空方式将其分为开放式和选择式。开放式由被测试者根据阅读文本的内容自行补充符合题意的词。选择式又可另分为分题选择式和集库选择式。前者会给每个空缺提供3—5个选项供被测试者选择，难度相对较低；后者则将每道题可供选择的词汇全部汇集成一个词库，供被测试者挑选，词库中的词汇按字母顺序排列，且数量大于文章空缺词的总数。

此外，还有其他学者根据评分方式的不同将完形填空分为唯一答案完形填空和可接受答案完形填空；根据填空方法不同将其分为单项选择、填空式和后半个词完形填空。高考英语中所涉及的完形填空一般采用分题选择式，删词方式则以合理删词为主。高考英语浙江卷采用分题选择式完形填空。这种类型的完形填空容易评分且更加客观、合理，受到命题者的青睐。

（二）内容效度及其评估

效度主要有两方面的含义：一是指考试究竟测量的是什么，也就是试题在多大程度上测出了预期要测量的东西；二是指测试的有效性怎么样，即试题在多大程度上完成了预期的测量任务（夏春芳、罗晓杰 2015）。简单地说，效度是指测试是否测了设计者想考的内容，或者说在多大程度上考了测试者想要考的内容（Heaton 2000）。

希顿（Heaton）将效度分为表面效度、内容效度、结构效度和经验效度。其中，内容效度是效度测试的重要部分，包括效度关联性和效度覆盖面，是指测试的代表性和对课程目标的覆盖面程度（Heaton 2000）。对于内容效度的评价可以从以下三个方面评估：（1）测试内容是否和测试目标相关；（2）测试内容（试题）是否具有代表性；（3）测试内容是否适合测试对象（夏春芳、罗晓杰 2015）。

下面依据《普通高中英语课程标准（2017年版）》（以下简称《课程标准》）、《普通高等学校招生全国统一考试英语考试大纲》（以下简称《大纲》）及巴克曼和帕尔默（Bachman&Palmer，1996）提出的任务特征框架等相关语言测试理论，从测试输入特征和测试答题两个维度对2014—2018年高考英语浙江卷完形填空试题进行内容效度分析。巴克曼和帕尔默在测试任务特征框架中对测试输入特征和测试答题的定义如下（见表1）：

表1：测试输入特征和测试答题的定义

根据以上定义，将完形填空试题的内容效度分析框架整理如下（见表2）：

表2：完形填空试题的内容效度分析框架

二、高考英语浙江卷完形填空试题的内容效度分析

（一）研究设计

1.研究对象

以2014—2018年高考英语浙江卷完形填空试题为分析对象（2016年10月浙江省开始实行新高考改革，英语科目一年两考），共计7篇完形填空，每篇完形填空有20个空，共计140个空。高考改革后，完形填空的分值由原先的每空1分改为每空1.5分，总分由20分增加为30分。但完形填空的命题形式仍旧不变，主要考查学生在阅读理解的基础上运用词汇的能力。完形填空一般在一篇约250词的短文中留出20个空，要求学生从每题所给的四个选项中选出最佳选项，使补全后的短文语句通顺，结构完整。

2.研究问题

分析2014—2018年高考英语浙江卷完形填空试题的特征及其内容效度，研究问题如下：

（1）2014—2018年高考英语浙江卷完形填空试题有什么特点？

（2）2014—2018年高考英语浙江卷完形填空试题的内容效度如何？

3.研究过程和方法

采用文本分析法，依据巴克曼和帕尔默（1996）的任务特征模式，对2014—2018年高考英语浙江卷完形填空试题的内容效度进行历时研究，比较不同年份之间的差异。首先，从测试输入特征维度出发，分析7份试卷中完形填空试题的题材、体裁、难度、长度和删词间距。其中，题材以《课程标准》中规定的24个话题为主，易读度可通过Micro Office中“拼写和语法”功能计算得出。接着，再从测试答题维度对考点层次和考点分布进行统计和分析。最后，结合《课程标准》《大纲》和一些相关理论得出关于2014—2018年高考英语浙江卷完形填空试题的内容效度的结论。

（二）数据统计与分析

1.测试输入特征

测试输入特征主要从题材、体裁、难度、长度和删词间距对高考英语浙江卷完形填空进行讨论和分析。部分统计结果如表3所示：

表3：2014—2018年高考英语浙江卷完形填空的测试输入特征

（1）题材。

《课程标准》中对于话题有这样的描述：第一，熟悉个人、家庭和社会交往等方面的话题；第二，进一步熟悉有关日常生活、兴趣爱好、风俗习惯、科学文化等方面的话题；第三，熟悉我国社会生活的话题；第四，了解有关英语国家的日常生活习惯的话题。进而将这四个方面细分为包括个人情况、人际关系等在内的24个话题（教育部 2018）。从表3可以看出，7篇高考英语浙江卷完形填空的文本内容中，篇章的题材主要集中在日常生活（1篇）、社会生活（2篇）、人物故事（2篇）和个人经历（2篇）这四类，这些话题贴近学生的生活，读起来亲切且带有故事性，可以激活学生头脑中相关的背景知识，从而适当降低阅读难度。

（2）体裁。

体裁主要指记叙文、议论文、说明文和应用文等不同类型的文体。《课程标准》中提到熟悉生活中常见的语篇形式，把握不同语篇的特定结构、文体特征和表达方式，有助于学生对语篇意义的理解，也有助于他们对不同类型的语篇进行有效的表达和交流。从表3可以看出，完形填空的文体以记叙文为主，议论文为辅，说明文、应用文等未曾出现。完形填空试题具有一定的特殊性，篇章中会有多处挖空，相较说明文和应用文而言，记叙文和议论文在挖空后的可读性更强，且容易根据上下文内容进行推断选择，因而被选用的机会更高。2014—2018年高考英语浙江卷完形填空试题的体裁局限于记叙文和议论文，体裁较为单一，与《课程标准》希望学生接触多种体裁文本的要求不相符。

（3）难度。

文章难度的评估主要看易读度的数值，易读度的计算公式为：RE=206.835-0.846*NSYLL-1.015*W/S，其中，“NSYLL”指每 100 个单词的音节数，“W/S”表示每个句子的平均单词数。易读度主要指语言材料易于理解的程度（刘颖、王文琴，等2016）。表4为易读度数值参考量表（Flesh 1948）。

表4：易读度数值参考量表

结合易读度数值参考量表，将2014—2018年高考英语浙江卷完形填空试题的易读度数值绘制成折线图，如图1所示：

图1：2014—2018年高考英语浙江卷完形填空试题的易读度折线图

从图1可以看出，2014—2018年高考英语浙江卷完形填空试题的易读度数值并不稳定，相邻时间段试题的易读度数值波动较大，易读度最大值和最小值极差为27.7。参照易读度数值参考量表可知，难度处于“标准”水平（60—70）的试题有2份，分别为2015年6月和2017年11月的试题，约占28.6%；处于“较容易”水平（70—80）的试题只有1份，为2016年6月的试题，约占14.3%；处于“容易”水平（80—90）的试题有3份，分别为2014年6月、2017年6月、2018年6月的试题，约占42.9%；处于“非常容易”水平的试题有1份，为2016年10月的试题，约占14.3%。由此可见，2014—2018年高考英语浙江卷完形填空试题的易读度并不稳定，2015年6月的试题难度最大，2016年10月的试题难度最小，其余年份的试题难度通常在“标准”水平和“容易”水平之间波动，“容易”和“非常容易”水平的试题居多，“较容易”水平的试题偏少，“标准”水平的试题居中。

（4）长度。

篇章长度即指篇章的总词数，安德森（Anderson 1980）指出完形填空较为合理的词数范围为150—350词，《大纲》中对于完形填空词数的要求为“约250词”（教育部 2018），在150—350词范围内。将2014—2018年高考英语浙江卷完形填空试题的篇章长度绘制成柱形图，如图2所示：

图2：2014—2018年高考英语浙江卷完形填空试题的篇章长度柱形图

从图2数据可以看出，2014—2018年高考英语浙江卷完形填空试题篇章长度词数最多的是2015年6月的试题，总长度为318词，词数最少的为2016年10月的试题，长度为226词，2014—2018年高考英语浙江卷完形填空的篇章长度均符合考试要求，且篇章长度整体呈递减趋势。此外，高考改革前（2014年6月—2016年6月）的完形填空试题的篇章长度要明显大于高考改革后（2016年10月—2018年6月）的篇章长度。通过SPSS软件，对篇章长度和试题难度进行相关性分析，得到sig.＝0.344＞0.05，得出2014—2018年高考英语浙江卷完形填空试题的篇章长度与试题难度不相关的结论。

（5）删词间距。

对于完形填空试题的删词间距，被广泛接受的是希顿的界定。希顿（2000）认为删词间距太短会造成文章难以理解，删词间距太长又会造成篇章长度过长，难度加大。一般认为每5—10词开始设置空格较为合适。下面将2014—2018年高考英语浙江卷完形填空试题的删词间距进行统计，结果如表5所示：

表5：2014—2018年高考英语浙江卷完形填空试题的删词间距统计表

从表5数据可以看出，2014—2018年高考英语浙江卷完形填空试题的删词间距最大间距和平均间距均超出5—10词的范围，高考改革前的试题超出的范围更大，另外，除2016年6月和2017年11月的试题外，其他年份试题的最小间距均在5—10词的区间内。从平均间距来看，改革后的试题的平均间距与希顿的标准间距更为接近，改革前的试题的平均间距偏离较大。此外，通过SPSS软件，探究2014—2018年高考英语浙江卷完形填空试题的删词平均间距与难度和长度的相关性，得到如下结果，见表6、表7：

表6：2014—2018年高考英语浙江卷完形填空试题的删词平均间距与试题难度的相关性

表7：2014—2018年高考英语浙江卷完形填空试题的删词平均间距与长度的相关性

表6所示的是2014—2018年高考英语浙江卷完形填空试题的删词平均间距与难度的相关性，sig.的数值为0.555＞0.05，得出平均间距与试题难度之间不相关。表7所示的是2014—2018年高考英语浙江卷完形填空的删词平均间距与长度之间的相关性，sig.的数值为-0.007＜0.01，相关系数为0.890**，两者在0.01水平上显著相关，且为正相关。

2.测试答题

测试答题主要从考点层次和考点分布两个角度对2014—2018年高考英语浙江卷完形填空试题进行分析。

（1）考点层次。

考点层次由低到高依次分为：单词层次（W）、词组层次（P）、句子层次（S）和语篇层次（D）。单词层次（W）是指只看单词，无需看单词之外的上下文就能得出答案的题目，如单词拼写、词法变位和构词法的题目都属于这个层次。词组层次（P）是指需要填的词与它之前或之后的词有固定搭配关系，看空缺前、后的词就能得出答案的题目。句子层次（S）是指空缺需要填的词在本句内就可以决定，不用看超出本句的上下文。语篇层次（D）是指空缺所填的词不仅要看本句，还要看本句外的语篇才能决定。考点层次的高低与试题效度密切相关，考点层次越高，试题效度也就越高，两者成正相关。此外，高层次的考点在考高层次的知识或能力时也能检测到低层次考点的知识与能力，因此完形填空命题要尽可能地使考点层次提高（李筱菊 1997）。下面将2014—2018年高考英语浙江卷完形填空试题的考点层次进行统计，结果如表8所示：

表8：2014—2018年高考英语浙江卷完形填空试题的考点层次

从表8中的数据可知，在2014—2018年高考英语浙江卷完形填空试题中，考查语篇层次的题目占比最高（76.4%），其次是句子层次（22.1%），词组层次（1.4%）居第三位，单词层次没有考查。2014—2018年高考英语浙江卷完形填空试题侧重考查语篇层次，符合完形填空命题要求。其中，2016年10月的试题考查语篇层次的题目最多，占95%，试题效度最高。2015年6月和2018年6月试题效度偏低，语篇层次的题目均只占65%，其余年份的试题效度居中。从2014—2018年高考英语浙江卷完形填空试题的考点层次统计数据来看，各个层次的试题占比并无规律性变化，且语篇层次和句子层次的试题占比并不稳定，波动较大。用SPSS软件对语篇层次的试题数量与试题难度进行相关性分析，得到sig.的数值为0.216＞0.05，说明两者之间不存在相关性。

（2）考点分布。

考点分布主要指各种词类在完形填空中被考查的情况。下面将2014—2018年高考英语浙江卷完形填空试题的考点分布情况进行统计，数据整理如表9所示：

表9：2014—2018年高考英语浙江卷完形填空试题的考点分布

表 9（续）

从表9中数据可知，2014—2018年高考英语浙江卷完形填空试题主要考查语篇中的实词，其中动词考查的最多（65个），占46.4%，副词考查的最少（12个），占8.6%。至于语篇中的虚词，一般每年只考查1—2个，或者不考查。总体而言，2014—2018年高考英语浙江卷完形填空考查的词类比较集中，不够全面。

三、研究结论与命题建议

（一）研究结论

通过对2014—2018年高考英语浙江卷完形填空试题的内容效度进行分析，得出以下一些结论：

首先，从测试输入特征来看，2014—2018年高考英语浙江卷完形填空试题的题材还不够丰富，主要围绕日常生活、社会生活、人物故事、人物经历这四类展开，体裁也较为单一，基本为记叙文和议论文，与《课程标准》中提到的需要学生熟悉各种体裁，能对各类话题进行讨论的要求不相符。至于试题的难度，2014—2018年高考英语浙江卷完形填空试题的难度较不稳定，文章的难度在“标准”“较容易”“容易”“非常容易”四个区间内波动，难度跨度较大。高考英语改革前，相邻年份间的试题难度波动较大，改革后这一情况有所缓解，总体来说，试题难度基本处在“标准”和“容易”水平之间。另外，2014—2018年高考英语浙江卷完形填空试题的篇章长度基本符合安德森建议的完形填空合理长度150—350词的标准，但高考英语改革后的篇章长度更加符合《大纲》中约250词的要求。就删词间距来说，2014—2018年高考英语浙江卷完形填空试题除了最小间距基本符合希顿建议的5—10词的标准外，最大间距和平均间距均超出这一范围，研究发现这与篇章长度有直接关系。值得注意的是，高考英语改革后试题（2016年10月—2018年6月）的平均删词间距更接近5—10词这一标准，内容效度更高。此外，通过对2014—2018年高考英语浙江卷完形填空试题平均间距与难度和长度进行相关性分析，发现平均间距与难度之间不相关，与长度呈明显正相关。

其次，从测试答题角度来看，2014—2018年高考英语浙江卷完形填空试题的考点层次主要集中在高层次的考点上，以语篇层次为主，同时考查少量句子层次考点。至于低层次考点，如词组层次和单词层次几乎没有考查。通过进一步分析得出，语篇层次考点的数量与试题难度之间并不存在相关性，因此命题者在命题时不用顾虑可能因考点层次过高而影响试题难度。对2014—2018年高考英语浙江卷完形填空试题的考点分布进行统计可以发现，完形填空考查的词主要有6类：动词（短语）、名词（短语）、形容词、副词、连词、介词（短语），没有对冠词、数词和代词的考查。各个词类的考查没有固定比例，且分布不均，其中，动词（短语）所占比例最高，其次为名词（短语）和形容词，副词和连词则很少考查。

（二）命题建议

1.完善考试说明，提供具体的命题指导

通过查阅《大纲》发现，其对于完形填空命题的描述比较笼统，仅在篇章长度上有明确的词数限制，其余方面缺乏详细的指导，建议可以从测试输入特征和测试答题两方面入手，进一步完善考试说明，针对题材和体裁的选择、试题难度和删词间距范围的规定及各个考点层次和词类考查比例的分布等制定出详细的规则，使高考英语试题设计更加合理，进一步加强试题的内容效度。

2.合理控制文章的易读度，缩小试题难度的波动范围

易读度是用来判断试题难度的一个重要方面，试题易读度数值的高低直接影响考试难度水平的高低。易读度的数值可以变化，但需要在一个不会导致难度发生大幅变化的合理范围内，这样历年高考试题的难度才能大体维持在一个一致的水平上，否则极易造成考试不公平的问题。

3.增加高层次考点，合理分配各词类的考查比例

根据完形填空的命题要求，它主要考查学生在阅读理解的基础上运用词汇知识的能力，因此将词汇知识的考查上升至篇章层次更符合命题要求。此外，李筱菊（1997）指出，高层次的考点也能考查低层次的知识。因此，增加高层次考点的比例，既可以扩大试题的考查范围，又可以进一步探知学生的综合能力水平。此外，各个词类考点的分布要均衡，否则极易造成学生因某类词考查得不多而忽视对这方面知识点的复习和巩固，造成知识点掌握不全面的现象。

结语

高考是全国性的考试，高考卷的试题效度受到了广大考生的关注。浙江省作为高考英语改革的试点省份，试题的内容效度关注度更高，值得研究。仅对2014—2018年高考英语浙江卷完形填空试题的内容效度进行历时研究，而对改革前、后试题效度的变化只是简单提了几点，未作深入的对比分析，之后的研究中可以进一步探索。