基于效度与信度理论对陕西省专升本英语考试改革的优势分析

杜兴雨 苏 蕊

(西北大学 陕西 西安 710027)

引言

陕西省专升本考试实施于2001年，在过去19年里，诸多大专院校考生通过参加该考试从而获得了继续接受教育、取得学士学位的机会。近年来，陕西省专升本考试报名人数和招生规模有了显著提升，专升本考试的关注度也随之逐渐获得广泛关注。根据陕西省考试院的要求，文史、艺术类考生需参加“大学英语”和“大学语文”科目考试，而理工类则需参加“大学英语”和“高等数学”的测试。由此可得，英语考试科目在三门考试中受众面广、普及度高，成为了专升本考试体系中最重要的组成部分。

2017年以前，陕西省专升本英语考试主要由五部分构成：语知(40分)、阅读(50分)、完形填空(20分)、翻译(20分)、作文(20分)。然而，自2018年起，完形填空部分被取消，取而代之的是语知分值从40分提升至60分。本文针对这一题型变化(如表一所示)，从效度和信度理论角度来分析改革后的专升本英语测试优势所在。

表一：

改革前改革后语知与词汇4060阅读理解5050完型填空200英汉翻译2020英文写作2020共计150150

信度、效度是语言测试中的两个基本问题。信度(reliability)是评判测试分数能否准确反映出考生实际水平和知识掌握能力的标准，而效度(validity)则用来评判一项测试或一道试题能否有效测试某一考点、能否考察应试者对某一特定知识点的掌握情况[1]。任何考试体系在设计考题时都必须要兼顾试题的信度和效度。效度与信度一直以来都是测试学领域的热点研究，但信度研究相对较少，效度研究偏多。此外，大部分测试学着眼于中高考、四六级、四八级或大学生英语竞赛等普及度和知名度较高的考试体系，对相对小众的专升本考试的关注度较低。本文从效度和信度角度分析陕西省专升本英语测试改革中用语知取代完形填空这一改革，不仅能观照该变化的合理与否，更反映出改革后对该项测试可信度以及有效性的优势所在，为专升本考试的试题设计合理化提出建议。

一、完形填空的意义与争议

完形填空(cloze procedure)设计之初是为了检验文章的母语可读性，即在删去部分词组之后，母语阅读者依然能根据上下文逻辑关系和语用习惯来推测出被删减掉的词组。但不久之后，该命题技巧就被应用于外语测试领域。其中的cloze来源于格式塔心理学(Gestalt Psychology)，意为“形状”、“形式”或者“完形”。完形填空因此而得名[2]。

完形填空文本的选取需要综合多方面的因素，不仅要考虑题材和体裁，更要注重难度、长度的控制和其中的遣词造句。在上述要点都契合考试要求的前提下，该语篇才适用于完形填空。选取语篇后，命题者还需要结合考生平均知识水平，有目的地删减一些词语，并在下放给定的四个选项中选择合适的答案来进行填充，从而使文章的句法和结构恢复完整[3]。可以说，完形填空可用来考察学生对语法、词组固定搭配、词汇量和阅读理解等多方面的知识掌握情况。

然而，2015年公共英语四六级考试率先取消完形填空引发了测试学界对该题型的再审视。而陕西省专升本英语考试也在两年后正式取消该题型。以陕西省2009到2017年间的9份完形填空试题来看，该部分存在一系列不足，被语知和词汇题所取代具有一定的必要性。首先，为了增加考试公平性，陕西省专升本英语命题组为非英语专业和英语专业的考生设计了难度系数不同的完形填空，而这也是考卷中唯一使用分别命题的部分。然而，这一分别命题在2016、2017又被修正为统一命题，几经变化，足见完形填空部分的争议性。本文即着眼于完形填空的语篇选择、选项设计、出题顺序等方面存在的问题，剖析其信度和效度的高低，以及被语知和词汇题所取代的必要性。

二、完形填空题型的“信度”分析

如果在难度大致相当但语篇不同的完形填空测试中，某一学生能得到大致一样的分数，则说明完形填空的信度较高，反之则为不高。本文以西北大学职业技术学院A同学在某一时间段内对2009到2017年专升本完形填空的答题情况为参照数据，进而分析完形填空的信度问题：

表二：

年份文本主题最后得分2009150年前英国社会的贫富差异(社会科学)8/202010八十岁的琼斯太太开车依旧眼神很好(幽默故事)11/202011兴趣爱好的益处(社会科学)9/202012男女购物习惯的差异(心理学)13/202013大学生是否应该选择热门专业(社会问题)12/202014没有牙齿的老妇人(幽默故事)14/202015吝啬鬼琼斯先生的偶遇(某故事节选)11/202016为父亲洗梳子(家庭情感)8/202017我童年时代的一次舞蹈表演经历(回忆故事)9/20

通过该生的答题得分情况可以看出，在试题难度大致相等的情况下，考生对于自己相对熟悉且日常化的话题可使正确率超过50%，而面对陌生的话题如外国社会变迁等，则正确率低于50%。而该生对2016、2017年试题中完形填空部分的作答情况可以反映出，在取消英语专业与非英语专业的区分命题后，完形填空难度系数有了明显提升，导致在未涉及专业话题的情况下，考生的作答正确率也很难超过50%。

通过以上数据可知，左右考生分值变化的因素是其对话题和专有名词的理解程度；考生一旦未能把握文章情节脉络，必然会导致大面积失分的现象。反之，考生在完成作答过程中一旦对后续情节有所洞悉，就可以大致猜出后续问题的答案。例如：2014年完形填空中，文章第一段就出现了lunch, fast food restaurant, meal等词，足见文中夫妻是在进餐，即使不看文章中间部分，也可答出文末第76问中：when he was ____his mouth with a napkin. 选项为：A. wiping B. washing C. bathing D.touching 从文章开头便可推测出此时应是饭后，且有napkin随后，则一定是“擦嘴”，因此选择了A选项。这就是应试者在掌握文章脉络后进行的推测。反之，在2009年完形填空的第79题，Dickens’ father was a clerk, who used to ___more than he earned . A. cost B. spend C.waste D. lend。这道题正确率极低，因为大部分人根据“狄更斯不得不去工厂打工”这一信息误断出“其父亲是因花销过多，所以需要儿子去打工挣钱”，从而选了A选项。而实际上狄更斯的父亲是因为无力偿还外债而被投进了监狱。这就是不熟悉故事情节或未把握文章脉络，仅仅根据碎片化推断做题的结果。

由此可知，在专升本完形填空中，存在诸多干扰应试者正常发挥水平和依靠非正常推理来做题的情况，因此，考生所得的分数会发生较为明显的波动，测试结果具备的一致性与可靠性不高，从而导致测试结果不可信。比如，某考生在熟悉某语篇的情况下可以通过非正常手段来对某些问题进行作答，而一旦缺乏对某些知识的了解时，又往往会在认识选项词汇的情况下答错。此外，英专与非英专考生无区别命题后，导致了对非英专考生的超纲考察，失分程度显著上升，因此其测试结果同样不具备原有的参考价值。

三、完形填空题型的“效度”分析

效度分析是评价试题质量高低的首要标准，通过效度分析可以检验出某试题在多大程度上检测出了要测量的目标物。效度分析应用在测试学上，即用于观照一份试题能否较好地完成其预期设置的任务，能否考中命题者期望测试的知识点。完形填空是一种命题灵活的阅读理解题，它在基于应试者对语篇的正确理解前提下，进一步考察其词汇的灵活运用能力以及语法的掌握能力。因此，完形填空是一项测评考生综合语用能力的考试手段。然而，由于文本选择、选项设计以及题型顺序安排等多方面因素，专升本英语试题中完形填空部分的效度不佳。本文即从上述三个方面来说明导致效度不佳的具体体现。

(一)文本选择方面

专升本应试对象主要是本省高职高专院校三年级的应届毕业生，国家教委在2006年颁布的《高职高专教育英语课程教学基本要求》中明确指出：“普通高等专科英语的教学目的是让学生掌握必需的、基本的、实用的英语语言技能。此外还需要具备阅读与翻译本专业英文资料的初步能力。”[4]可以看出，对于高职高专学生的语言培养偏重于日常交际和涉外业务等技能。与《基本要求》相匹配的高等学校英语应用能力考试A级(原大学三级考试)的阅读材料选取也偏重于应用文和说明文。因此，作为高职高专学子的升学考试，也应将测试重点放在大纲侧重的应用文和说明文上。

然而，通过表一列举的从2009到2017年完形填空的文章主题可以看出，涉及应用文和说明文的比重相对较少，大部分属于日常交际的范畴。对于应试者而言，专业性强的说明文难以兼顾和涵盖所有专业，对受众为专业不同的考生而言会带来一定的不公正因素；而对于命题方而言，应用文和说明文比普通文本更难满足同时考察语法、词汇和阅读理解三方面的要求。因此，既要使文本契合专升本考生实际需求，又要达到命题目的，无形中增加了命题的难度。

(二)试题选项设计的科学性

完形填空的出题模式大致有三种，即固定比例删词填空(The Fixed Ratio Method)、变化比例删词填空(The Variable Ratio Method)以及选择型完形填空(The Multiple-choice Method)[5]。作为21世纪以来普遍采用的类型，选择型完型填空不仅被专升本英语测试所采用，更成为了各大英语语言测试体系的常见题型。但选择型完型填空面临着多项选择同样的问题，即选项是否合理，能否有效避免被考生通过其它途径缩小选择范围或直接锁定答案的情况。这一问题并非陕西省特有，邻省河南也有相关学者对选项设计设计的科学性进行过研究[6]。基于这一疑问，本文列举两例在陕西省专升本完形填空命题中出现的选项设计失误，从而反映了由于选项设计导致该题型效度降低的情况。

首先，选项设计必须要体现一定的考察目的。在2009年完形填空第62题There were a___very rich people...，选项为A.little B.much C.few D.many。根据文章情节可知，150年前的英国正处于第一次工业革命时期，新兴资产阶级崭露头角，成为了英国社会的新贵，但同时也拉大了社会的贫富差距，加深了社会阶级的分化与矛盾。因此可知富人是少数。该题一方面考察了考生对文章大意的阅读理解能力，通过阅读上下文，可以判定答案是“人多”还是“人少”。另一方面也考察了“a little后接不可数和a few后接可数”这一知识点。然而英语中没有 a many/much 的表达方式，只有many/much a的用法，因此部分考生即便没能读懂，也能够直接越过理解层面，从语法层面上将此题答案范围缩小在A和C之间。这就是由于选项设计不佳而违背了出题者的初衷、影响了试题效度。

此外，在设计选项中要尽量保持选项的形式、长度和词性一致，以免给考生不必要的暗示(如“三长一短必选短、三短一长必选长”等)，从而影响了试题的效度。在专升本完形填空部分，诸多选项设计没有有效规避选项形式、长度或词性不一致的情况，而这种情况大多是由于命题方在设计选项过程中单纯将原文中被删减的词直接还原成正确选项，尔后在设计干扰项的过程中没有与正确选项保持一致所导致的。

典型的例子如2011年非英专完形填空第75题：Anyone, rich or poor, old or young, sick or well, can follow a satisfying hobby, ____his age, position, or income.

A. in the case of B. in the event of C. in spite of D. regardless of

此题前三个选项为干扰项，均有in开头且长度都一致，相对于三个3～4个单词构成的干扰项，正确答案D选项是一个仅由两个单词构成的短语，且外形也大不相同。这样的情况极容易给考生提供暗示，从而促使其运用非正常解题手段锁定答案。

(三)完形填空在专升本考试中的出题顺序问题

在专升本英语试题中，完形填空排序为第三，即在顺序答题的情况下，考生完成了40道语知和词汇以及4篇阅读理解后才开始对完形填空进行作答。部分考生由于时间安排不合理，或者对完形填空有畏惧心理，往往会选择跳过该部分，先完成翻译和作文，最后再做完形填空。2017年陕西省专升本英语科目的阅卷情况显示：有36.2%的考生未对完形填空进行作答，另有17.64%的考生对该部分进行了消极作答。这样的情况加剧了考生英语科目得分率普遍偏低的现象，也使得上线人数不足招生计划人数的情况加剧。

本文列举了近四年来陕西省专升本的报录数据，如表三所示：

表三：

年份报考人数增幅计划招生人数实际录取人数实录/计划录取2016130124.81%8517696481.76%2017139366.90%8949735182.14%20182121752.24%133641193289.28%20192533719.41%157941405388.97%

数据来源：陕西省教育考试院官网。

专升本考试划有最低分数线，之所以出现录取人数少于计划招生人数的情况，一方面是由于某些专业报名人数不足，而另一方面也是由于上线人数不够造成的。作为文史类和理工类考生都需要面对的英语科目，其测试的效度高低就成了决定考生能否上线的关键因素。在实录人数低于计划人数的情况下，取消答题率不高的完形填空，扩大语知和词汇的测试比重对提升考生答题率、充分发挥试题作用，从而达到提高实际录取比例、充分利用专升本教育资源的目标。通过表三数据可以观察到，自2018年正式取消完形填空后，实际录取人数占计划录取人数的比例显著提升了7～8个百分点。尽管这一变化是由多个因素促成的，但不能否定英语科目考试中的题型变动为录取比例上升所带来的正面影响。因此，由于完形填空出题顺序所导致的考生答题率不高现象，也是影响专升本英语测试效度的因素之一。

四、语知和词汇比重增加的优势

语知和词汇部分的单项选择题在效度与信度方面都相对较优。首先，语知词汇选择题具有较高的信度。如在考察词汇的情况下，考生只要认识选项中的词汇就基本能答出该题。同理，在考察语法知识点的情况下，如果考生对某语法题测试的语法点了解相对透彻，也会大概率答对该题。相对于完形填空需要基于理解的基础，语知和词汇选择选择题受其它因素干扰较少、作答情况较为一致，因此信度较高。除此以外，语知和词汇选择题相对完形填空还有较高的效度。60道题中语法和词汇考察各占30道，每道题专注于一个考点，考察目的单一且具有针对性[7]，通过作答情况可以反映考生对各个知识点和词汇的掌握程度。

另外，取消完形填空、增加语知和词汇的考察能够有效均衡语法、词汇和语篇理解在整张试卷中所占的比重，有利于全面考察应试者的能力。众所周知，完形填空测试主要以考察阅读理解和词汇为主，语法检测所占比重相对较少，如2011年非英语专业组完形填空部分，词汇考察占20题中的17题，而语法考察仅占3题。由于完形填空中词汇和阅读理解通常结合在一起考察，因此本文将该部分词汇题视为阅读与词汇各占50%的比重。基于这样的前提，我们从表四可以大致观察出改革前后语法、词汇和阅读考察在整张试卷中所占的比重变化：

表四：

语法词汇阅读理解三项之比取消完形填空之前2328.558.521:26:53取消完形填空之后30305027:27:46

在《高职高专教育英语课程教学基本要求》中，对高职高专学生的词汇(认知3400词、掌握1600词)、语法(掌握并正确运用语法规则)和阅读能力(阅读中等难度的英文材料)[4]都有明确规定，因此三者的重要程度都不可忽视。在专升本考试中用语知和词汇题取代完形填空后，不仅没有偏废任何一方面的考察力度，反而使完形填空的功能得到了有效替代，各知识板块的考察比重也更加均衡合理，使之能够更有效地反映考生的综合能力。

总结：

效度与信度是测试学中衡量试题合理与否的重要标准。作为英语测试中常见的题型，完形填空是综合检验应试者词汇积累、语篇理解、语法知识、逻辑推理等语用能力的有效途径。然而由于专升本考试的特殊性、试题设计、选项设计以及出题顺序等多方面因素导致在专升本测试中信度和效度不佳。自2015年四六级考试率先取消完形填空后，2018年陕西省专升本考试也随之取消完形填空，增加了语知和词汇考察的比重。本文基于这一变化，从信度和效度的角度分析了高职高专英语教育大纲、命题的文章选取、选项设计的科学性、完形填空作答率以及语知和词汇题的优势等，从而得出此次改革是提高考生答题率、增加试题设计合理度，提升信度与效度的有益尝试这一结论。在陕西省专升本录取人数连年不满计划招生人数的情况下，提升考试的效度与信度，发挥试题合理选拔人才的功能从而达到合理利用我省专升本教育资源的目的。