大学英语校本学业成就考试效度探究——基于期末考试与CET4成绩的相关性验证分析

董连忠

（中国劳动关系学院，北京 100048）

0 引言

信度、效度和可行性是衡量语言测试质量的重要标准，其中效度指测试的有效性，即测试在多大程度上测到了想要测试的内容，从而为成绩的解释及其使用提供理论依据和实证参考，是测试研发与评价的最根本要求［1］。大学英语测试是大学英语教学的重要组成部分，包括各高校大学英语教学过程中自行组织实施的课堂测验，期中、期末等校本学业成就考试，也包括大学英语四、六级考试（CET4&6）。虽然CET4与期末考试同为学业成就考试，但由于前者是面向全国非英语专业大学生的统一考试，更倾向于大学生英语水平考试，而后者是检查大学英语基础阶段学生所学内容的掌握情况，因而两个考试在考试目的、考试内容、考试任务等方面应有所不同［2］。多年来，由于CET4具有较高的信度和效度，自施测以来得到了业界及社会的广泛认可［3］；同时受大学英语教师教学任务重、科研压力较大，再加上多数教师缺乏测评素养等主客观因素的影响，一些普通高校校本考试选用CET4真题内容，照搬CET4题型，使大学英语学业成就考试效度令人质疑［4］。本研究以某高校19级法学、经济管理和财务管理3个班SET3为例，在对考试内容和考试题型进行对比的基础上，对3个班学生的考试成绩进行了相关性验证，试图发现期末考试存在的问题，以期提升大学英语学业成就考试质量。本研究拟回答以下问题：（1）两个考试学生的总成绩及单项技能成绩的相关性如何？（2）受试对两个考试难度及考试任务难度的评价如何？

1 研究设计

1.1 研究对象

参与本研究的为某高校2019级法学、经济管理和财务管理3个班的123名学生，其中男生34人，女生89人。受试分别于2020年12月参加了CET4和SET3。

1.2 研究工具

本研究采用的研究工具为某高校19级SET3和2020年12月CET4试卷、考试成绩和调查问卷。两个考试内容、任务、题量及赋分比例等情况如表1所示。

表1 CET4与SET3试卷构成及赋分比例

由表1可知两个考试的考试内容（听力、阅读、写作和翻译）和考试任务（阅读部分除快速阅读外）基本相同。该校的外语教师均有CET4&6主观题评分经历，SET3的主观题（写作和翻译）均由全体外语教师在同一时间内按CET4评分标准要求进行评分（客观题机读），以确保评分客观公正。

最后对3个班学生实施了问卷调查。由于两个考试间隔不足2周，且考试环境基本相同，因而问卷仅对两个考试的总体难度和单项任务难度进行了调查。问卷信度0.97，使用SPSS对两个考试成绩和问卷结果进行了统计分析。

2 结果分析与讨论

由表2可知，除“综合”部分外，SET3的总分（69.86）、听力（22.62）和阅读（30.59）平均分均高于CET4，SET3成绩分布较为分散，CET4相对较为集中。其中，SET3和CET4的阅读部分平均分差异明显，得分率分别为76.39%和68.09%，部分原因或许与SET3不考查快速阅读有关。两个考试的偏态值无明显偏离0的变量，表明两个考试成绩基本呈正态分布；除CET4的综合部分偏态值为正数，即得分偏低，低于平均分的人数超过了50%外，两个考试的其他部分偏态值均为负数，表示这些题得分偏高，高于平均分的人数超过50%。

表2 考试分数描述性统计

峰度值一行显示，仅SET3的综合部分和CET4的阅读部分峰值为正数，表示这两个变量的峰比正态分布的峰矮平，即分数过于分散；两个考试其他部分均为负数，表示以上变量的峰比理想正态分布的峰要高尖，即分数过分集中在中分段；最大值和最小值两行显示，除SET3综合部分外，无论是总平均分还是单项技能平均分，最大值与最小值之差SET3均高于CET4，表明SET3成绩差异较大，说明部分学生未考出真实英语水平。表3显示了两个考试成绩的相关性情况。

表3 考试分数相关性分析

由表3可知，两个考试总成绩高度相关（0.863），单项成绩中度相关（0.311～0.567）；就内部相关而言，SET3呈弱到中度相关（0.311～0.448），CET4呈高度相关（0.706～863）。造成这种结果的原因或许是SET3部分内容是本学期所学内容，如听力、阅读理解及汉译英均有选用了部分教材课后练习和课上CET4辅导内容，造成SET3内部相关性较低。可见，虽然SET3与CET4采用相同题型，但受试的考试表现有所不同。因此，考试的开发与设计首先应考虑考试目的，考试目的决定考试任务的选用，而非照搬“权威”考试题型。表4显示了两个考试的总体和单项难度情况。

表4 两个考试总体和单项难度

由表4可知，两个考试均有一定的难度，无论是单项技能难度还是总体难度，仅有SET3的写作和汉译英在3.00及以上，且CET4的总体难度和单项难度均高于SET3，且均具有显著性差异，表明CET4难度较大。差值较高的分别为听力（0.52）、汉译英（0.49）和写作（0.46），表明这3项技能CET4难度更大。表5进一步显示了两个考试的任务难度差异。

表5 考试任务难度

由表5可知，两个考试采用的相同任务中，CET4难度均大于SET3，差值较大的分别为阅读部分的选词填空（1.00）、听力部分的新闻理解（0.55）和对话理解（0.50）及综合部分的汉译英（0.49），而写作、仔细阅读和篇章理解难度相对较小。这一结果或许与SET3选用部分课后习题（听力）和本学期辅导的CET4真题（仔细阅读、写作）有关。

3 讨论与启示

效度是程度概念，它对分数的解释取决于所得的证据多大程度上能够支撑效度主张，因而效度验证是收集不同的数据对分数作出合理解释的过程［5］。按不同发展阶段，效度大致可分为分类效度、整体效度和基于论证的效度验证方法。基于分类效度观，所收集的支持分数解释的证据又主要分为内容效度、校标关联效度和构念效度的意义［6］。本研究中的两个考试均属大学英语学业成就考试，SET3的考试内容、考试任务与CET4基本相同，因而两个考试的内容效度和构念效度的意义无显著差异。本研究仅通过校标关联效度和学生对两个考试难度的认识对SET3予以探析，从而发现SET3存在的问题与不足。

3.1 两个考试学生的总成绩及单项技能成绩的相关性

研究发现，两个考试考查内容和考试任务基本相同，均考查了听力、阅读（SET3未考查快速阅读）、写作和翻译；两个考试学生的总成绩相关度较高，即测量受试整体语言水平的一致性较高，而单项成绩呈中度相关；内部相关SET3呈弱到中度相关，CET4相关度较高。

一个语言测试主要关注三方面的问题，即考什么、怎么考和考试结果的使用［7］。SET3和CET4均为大学英语学业成就考试，考试内容（考什么）和考试任务的选用（怎么考）基本相同，充分显示大规模高风险考试对期末考试的“标杆”作用。然而作为全国非英语专业大学生英语水平考试，CET4与期末考试相比又有其特殊性。《大学英语教学指南（2020）29-30》明确指出，不同高校应基于校本办学特色和办学定位，“采取选用与开发相结合的形式，制定科学完善的校本大学英语测试体系”，从而充分发挥测试的导向作用［8］。而该校期末考试形式、考试内容严重四级化，缺少基于校本学情的测试设计与开发体系。

3.2 受试对两个考试难度和考试任务难度的评价

调查结果表明，受试认为两个考试总体难度较大，与CET4相比，SET3的汉译英、写作和阅读部分的选词填空（15选10）难度相对较小。造成这一现象的主要原因是SET3采用了本学期部分所学内容的课后练习和CET4真题辅导内容，降低了试题难度。事实上，为提升期末考试效度，可适当增加主观题，采用基于所学内容、形式多样的考试任务，而非全盘照搬CET4考试题型，从而减少大规模考试给教学带来的负面影响。综合以上分析，本研究得到如下启示。

3.2.1 增加综合测试任务，减少多项选择题

语言测试设计首先考虑考试目的，其次是测试任务的选择［9］。为提高考试效率，大规模高风险考试通常采用较多的多项选择题，如托福、雅思、四六级考试及英语专业四、八级考试等。作为一种常用的测试题型，多项选择题的科学性和有效性已得到语言测试界的认可，但其对教学同样有重知识传授、轻运用能力培养等严重的负面影响［10］。因此，大学英语校本期末考试应从教学实际出发，结合不同学期的教学内容，采用灵活多样的考试任务，如复合式听写、简答题及读后续写等题型，为教学提供准确的反馈信息，以便调整教学内容、改进教学方法，全面提升大学英语教学效果。

3.2.2 探索基于《量表》的大学英语校本测试体系

语言测试的目的是提供一种科学的测量工具，即通过语言运用的抽样，对受试语言能力进行客观、准确和公正的评价。多年来，由于缺乏开发、实施考试的时间和经费，教师测评素养水平较低，再加上大学英语教师教学压力大、科研任务重等主客观因素的影响，多数普通高校大学英语校本考试设计和考查内容不尽合理，考试效度有待提升［11］。《中国英语能力等级量表》（教育部、国家语委2018，简称《量表》）立足我国不同阶段的英语学情，为各级各类英语考试提供科学的能力指标体系和准确的能力标尺，为英语教学的过程性、终结性等测评方式提供能力参照标准［12-13］。因此，应将大学英语基础阶段校本期末考试与量表对接，使考试设计更加全面、系统，从而有利于提高大学英语期末考试效度。

3.2.3 加强教师培训，提升大学英语教师测评素养

语言测试是一门跨学科的科学，试卷开发是一项技术很强的工作，从试卷设计、命题、预测等到实施是一套系统工程。这就要求命题人员具备一定的测评素养，既要知晓语言测评的基本原理，掌握一定的测评技术与方法，熟悉测评质量的评判标准，同时又具有一定的应用语言学理论基础、丰富的教学经验，还应对学生的语言能力及学习中的困难有较深入的了解［14-15］。因此，加强语言测评培训，提升大学英语教师测评素养是提高大学英语期末考试质量及大学英语教学效果的重要途径。

4 结语

测试是教学的组成部分，对教学具有导向作用，因而效度是语言测试研发人员永久追求的目标。与CET4相比，大学英语校本学业成就考试具有规模小、考试内容与题型的选择相对灵活等特点，其目的主要是检查教学效果，为教学提供及时反馈，以提高教学效果。本文仅通过一所高校3个班的大学英语期末考试成绩与CET4成绩进行相关分析和问卷调查，对大学英语期末考试效度进行了探析，研究结果仅为探索性结论。为进一步挖掘普通高校大学英语学业成就考试效度，应对多所高校大学英语期中、期末考试及课堂测验等进行深入地研究，提升大学英语测试效度，从而促进大学英语教学的不断发展。