目标定位与指标选择:普通高中英语学业水平考试评价的理论思考

李淑姣 罗田野

目标定位与指标选择:普通高中英语学业水平考试评价的理论思考

李淑姣 罗田野

普通高中学业水平考试之考试评价，即考试评价主体依据一定的标准和目标，选用科学合理的评价指标，运用多样化的评价方法，对学业水平考试的过程和效果作出的价值判断和反思。以普通高中英语学业水平考试为例，考试评价目标应坚持考试质量评价、教学诊断、探索个性化评价模式以及满足差异化评价需求的多元统一；考试评价指标在“四度分析”的基础上还应将课程标准、考试说明纳入其内以进行效度分析。

高中英语学业水平考试；考试评价；目标定位；指标选择

普通高中学业水平考试是新课改背景下普通高中学生学业考核的一个重要手段，也是多元化高校招生制度的重要机制。自上世纪80年代末我国建立高中毕业会考制度以来，高中学业水平考试逐步成为社会整个生态系统中的重要“节点”。党的十八届三中全会明确提出要逐步推行普通高校基于统一高考和高中学业水平考试成绩的综合评价多元录取机制。《国务院关于深化考试招生制度改革的实施意见》中也提出进一步完善高中学业水平考试。普通高中学业水平考试，已然划入全面深化改革的总体战略规划之中，而且其科学规划与全面推行也就成为当前教育领域综合改革的重点课题之一。〔1〕

考试是一个有机的活动系统，它由考试认识、考试实践、考试评价三种基本活动组成。这三种活动间的相互依存、相互作用和相互转化，既构成了考试活动的全部内容和运动形态，同时也形成了考试活动区别于其他社会活动的本质和运动规律。〔2〕考试评价，一是指考试是评价方法族群中的一种具体方法，即作为评价方法的考试；二是指对特定考试之合其对应的特定价值主体需要和合有关考试规律（测量规律）的程度进行判断的活动。〔3〕普通高中学业水平考试之考试评价，即考试评价主体依据一定的标准和目标，选用科学合理的评价指标，运用多样化的评价方法，对学业水平考试的过程和效果作出的价值判断和反思，其基本内容包括考试质量评价和价值判断两个方面。

现在，考试评价日益成为考试研究的焦点。以普通高中学业水平考试为例，从教育公平的视角出发，通过教育机会、教育过程和教育结果三个方面对高中学业水平考试进行分析，可以发现该考试的确存在公平问题，这些问题体现在考试命题、成绩评定和结果应用三种外在形态。〔4〕国内对普通高中学业水平考试的考试评价主要侧重于考试质量评价。可以从试题和题组功能偏差试题得分与总分的相关系数识别指数分析及分类一致性和准确性四个方面对考试的质量进行了定量评价。〔5〕以普通高中英语学业水平考试为例，这种考试质量分析可以从宏观至微观，即以试卷、试题质量分析以及对教学的反拨作用作为结构分析模型。〔7〕笔者认为，普通高中英语学业水平考试之考试评价在考试质量评价和价值判断两方面内容的基础上首先要合理定位考试评价目标，并在此基础上构建科学的考试评价指标体系。

一、英语学业水平考试评价的目标定位

（一）考试质量评价与教学诊断相结合

考试质量评价是指评价主体按照一定的标准，运用定性与定量相结合的方法，对考试过程和效果的价值判断。它包括考试设计评价、考试实施评价和考试结果评价三部分。〔8〕普通高中英语学业水平考试质量评价，在考试设计方面应主要围绕试题设计、筛选、组合的优劣，试题难度编排、题型组合以及试卷整体设计的质量。考试实施方面应围绕考试组织管理各方面的统计资料及反馈信息展开。比如，利用某省市考试违规违纪方面的统计数据与反馈信息可以清晰的了解各考点考试管理的质量、考生违纪违规的分布情况，借此，考试组织和管理部门可以做出具有针对性的考试决策。

同时，还要通过挖掘考试结果所蕴含的教育信息，评价教学质量，进行教学诊断，并针对性地给出教学改进的对策建议，为教学和学生发展服务。考试结果使用方面，考试分数的解读大有可为。考试评价主体可以借助考试分数不同层次的反馈信息发挥考试对高中英语教学的反拨作用。例如，可以利用考试分数推断同一地区不同学校间英语教学水平的差异，也可以详细分析考生得分和失分相对集中的题型题组，为评价和改进教学提供依据。

（二）探索个性化评价模式与满足差异化需求相统一

学业水平考试的目的在于检验学生学习程度，引导学生全面学习，全面发展，提高学生综合素质，也为学生毕业和升学提供重要依据。这就意味着不同于高考等选拔考试，其考试评价也不能简单套用选拔考试的评价模式，而应探索较为个性化评价模式。笔者认为，适宜采用全样本数据分析的方式，从试卷、题型、试题三个层面进行高中英语学业水平考试质量评价。试卷部分主要包括平均分、差异系数、难度系数、信度、试卷总体构成差异的纵横比较评价、效度以及试卷难度编排、总分合格与不合格考生的难度差异等；题型部分，一方面要分析各题型平均分、差异系数、难度系数、区分度、差异系数等基本统计量，另一方面要重点分析评价各题型的难度与区分度等级构成；试题部分要重点分析试题得分平均分、标准差、差异系数、难度系数、区分度、试题猜测概率，选择题干扰项效率、选择题各选项选大比例及其差异性、试题功能差异等方面。同时，还可以进行历次考试间的比较分析，包括历次考试试卷的信度、效度比较与评价，同一省市考生英语水平的总体变化及评价，等等。因此，一份完整的考试评价报告应包括导论(包括研究目的、意义、指标体系、方法、内容提要等内容)、考试评价数据分析统计报告、各题型分解报告、考生学习水平评价报告、历次考试纵向比较、地区及校际间各等级成绩考生横向比较、问题与建议、附录等主要内容。

在考试评价中，不同的考试价值主体具有差异化的评价需求。满足这种差异化评价需求，基本做法是要尽可能完整全面地把握和挖掘样本数据，梳理出能够满足差异化评价需求的反馈信息。以普通高中英语学业水平考试为例，可以选取某段时期的全样本数据展开考试评价。对于考试组织方而言，要满足其试题设计、考试实施与管理、考试结果解释以及考试改进以及个性化评价探索等价值倾向；对于教师与广大考生而言，要梳理出满足教学改进与考生应考需求的评价内容；对于社会来讲，要不断回应其对考试文化与考试行为社会效应的关注。因此，在宏观层面，可以为市级教育行政部门提供高中学生学习整体情况的信息，反映各区县学生学业整体状况以及教育教学方面的问题，为制定政策和调配区县间教育资源提供决策参考，为考试科目的纵向比较及地方高中教育教学的长期监控提供依据；中观层面，可以使学校把握学校整体学生学业水平及各学科教育整体情况，透过连续多年的分析评价实现学校教学质量变化的有效监控，为学校进行教学资源优化配置和学校战略改革提供依据；微观层面，一方面为教师了解自身教学成效，实现自身发展，提高教学质量提供方向；另一方面，可以为学生把握自身优缺，有针对性地查漏补缺，改进学习方法，促进学业进步提供有效信息。〔9〕

二、英语学业水平考试评价的指标选择

课程标准是国家管理和评价课程的基础，是教材编写、教学、评价的依据，也是制定各类考试评价标准的依据。〔10〕课程标准和考试说明既是课程教学和考试命题的依据，也是考试评价必须参照的标准课程标准是最基本的教学目标，阐明了教学内容和教学要求，考试说明则是考试的要求和命题的规定性文件，两者共同构成了考试评价的标准和尺度，是评价结果科学性和客观性的保证。〔11〕因此，笔者认为在构建考试评价指标体系时在难度、区分度、信度与效度——“四度分析”的基础上还要将各省普通高中英语课程标准、普通高中英语学业水平考试标准/说明/大纲等考虑在内，作为测试效度分析的重要依据。

（一）项目难度

普通高中英语学业水平考试评价的难度指标有“通过率”和“平均得分率”两种计算方法。其中，听力理解部分和阅读理解部分的难度指标适宜采用“通过率”来计算；情景作文、翻译、笔录要点、摘录信息与回答问题部分则适宜采用“平均得分率”的计算方法。选择题、单词拼写、摘录信息、回答问题等客观性试题的难度用答对该试题的人数对于被试总数之比来表示。情景作文和翻译等主观性试题难度则以全体考生某测试题目实得分数的平均值与该测试题目满分的比值来表示。数值越大，试题越容易；数值越小，试题越难。对于听力技能、知识运用、阅读理解和写作技能各模块的难度指标也要采用“平均得分率”的计算方法。

洛德（Lord F M）认为，“多选一”选择题的恰当难度，应是比机遇成功概率跟1.00间中点值再略大一点的值。“四择一”题恰当难度为0.749。〔12〕若以此推断，考虑到难度值转换后符合正态分布的情况，普通高中英语学业水平考试试题的难度水平应大致介于0.60～0.80之间。至于难度评价时，各评价等级（如划分为极易、较易、中等、较难和极难五个等级）的系数范围的确定。笔者认为可以尝试以下几个步骤：（1）计算某考区单次考试全样本数据下合格组与不合格组考生的人数比例。（2）在上述比例基础上抽取一定数据作为“实验组”，试测其试题难度，作为难度评价时难度等极划分的试验标准。（3）借由全样本数据分析时得到的实际难度系数，进行校正。如果，要进行历次考试项目难度之比较分析，应以各次实际数据差异之平均变化数值加以校正。同时，实测试题难度与考试大纲预设的试题难度还可以进行横向比较。之后，我们便可以分析试卷/题型/试题之难度编排、历次考试难度之变化、各等级成绩考生试题难度之比较，评价各难度等级之构成，统计各难度等级试题之数量，推断测验的同质性与异质性等。

（二）项目区分度

普通高中学业水平英语情境写作与翻译的试题区分度可以用试题得分与测验总分的积差相关系数（rxy）表示，也可以φ相关系数表示。后者对校标（一般将测验总分作为校标）是否为连续变量没有严格要求，应用较广。选择题、单词及词组听写等客观题可以采用点二列相关系数（rxy）来计算每一题目的区分度。若要计算听力理解、阅读理解的题型区分度也可以用积差相关系数（rxy）。

实际情况是，鉴别能力最好的试题，其区分度指数一般在0.50～0.65之间，区分能力较好的试题，其区分度指数多在0.40～0.50之间。〔13〕至于区分度评价时，各评价等级（如划为优、良、中、差四个等级）的系数范围的确定。同样可以采用类似于难度系数范围确定之抽样实验的方法。在此基础上，便可以对试题区分、鉴别能力做进一步的定性研究与评价。

（三）测试信度

测试信度系数多以相关系数表示，主要包括重测信度法、复本信度法、分半信度法和克隆巴赫系数信度系数法。其中，克隆巴赫系数适用于既包含主观性试题，又包含客观性试题的试卷的信度分析，且克服了再测信度难以实施，分半信度估计范围狭窄的不足，是目前考试评价中最常使用的信度分析方法。我们可以利用克隆巴赫系数来说明、评判学业水平考试的内部一致性或同质性状况。当然，如果我们想获得评分误差方面的信息，还可以采用评分者信度来观察。

（四）测试效度

传统效度理论将效度划分为效标关联效度、内容效度、构念效度三种。而统一效度理论认为只存在构念效度这一种效度，但其验证实现的数据分析方法是多样的，其中就包括内容效度系数。而内容相关推论是不可与构念相关推论分开的，测试题目和任务是紧密关联并具有代表性，因为他们是构念效度相关测量以及领域知识和技能的代表。〔14〕

普通高中英语学业水平考试的目的在于科学判断高中英语教学的成效以及高中学生英语的达标情况。这就决定了作为效标分数与实得分数不可能同时出现，因此，可以利用预测效度来表示其效标关联效度。这种方法适用于全样本数据中依据某种过特征（学校、班级等）而进行的抽样检验。比如，我们想知道某次考试的效度，可以选取某一高中进行抽样（基础数据可以通过相关考试主管部门的OMR库结合报名编码索引获得）。其基本做法是：（1）筛选出该高中参加考试的学生成绩、花名册及其准考证编码。（2）按照花名册获取该高中学生参加考试前英语学科课程成绩，确保名单上学业水平成绩与学科课程成绩按考生姓名一一对应。（3）以英语学科课程成绩为校标，求其与当次学业水平成绩之相关系数（不同的评价目的，校标选择是不同的）。（4）核查对应相关系数表界值表，确定预测效度，进行考试效度评价分析。

课程标准与考试大纲建立的能力模型是评价指标的一部分,其实质可视为考试的内容效度。其简便易行的方法是专家评判法。基本做法是由相关英语学科专家组成学科专家评判团队，依据考试大纲能力模型制定详细的具有针对性的双向细目表，根据学科知识和经验对每一个试题进行定性判断与定量统计。同时，可以运用德尔菲法提高这种定性分析的准确性。内容效度之双向细目表应包括以下主要条目（主要依据考试大纲拟定）：（1）听力技能部分，听力理解、笔录要点，把握材料中心思想和重要细节、隐含意思、语言特征。（2）知识运用部分，单项填空和完形填空，猜词、理解语句关系和段落关系等（3）阅读技能部分，阅读理解、摘录信息、回答问题，辨别、理解中心思想和重要细节（概念、寓意、观点、态度等）、阅读技巧运用（略读、查读）。（4）写作技能部分翻，双向翻译、情境作文，准确用词、语法结构和表达习惯等。〔15〕

课程标准要求考生在语言技能、语言知识、情感态度、学习策略等方面达到的各项标准也应纳入评价指标之中，属于构念效度的范畴。构念效度，既要考试分数解释的社会意义，也要探索考试使用的社会价值，可以用内容效度系数来计算。这种方法通常由两个专家独立地审查每个题目,决定该题目实际测量到的内容与拟测量的目标之间相关程度如何,并且用四分量表来表示这种相关程度的大小。由于这种方法较为复杂，在统一效度理论下，笔者认为可以参考内容效度的专家评判法来论证。其基本做法是：(1)简化课程标准要求，并结合考试大纲条目融合，形成课程标准要求与考试内容双向细目表。（2）利用统计软件统计相应项目范围内题目的数量、百分比、试题与项目一致性指标、未测量项目百分比等基本统计量。（3）学科专家在定量分析的基础上进项定性判定。

三、结语

普通高中英语学业水平考试之考试评价，目前在国内尚属较新的研究主题。在考试可持续发展和深化考试招生制度改革背景下，这种研究尤为重要。笔者认为，首先从评价目标定位和指标选择两个方面进行模式探讨具有一定的实践意义。当然，在指标选择时还应注意指标项目的整合以形成科学、严谨的考试评价指标体系。同时，今后应进一步加强在学业水平考试评价方法方面的研究和探索。

〔1〕钱道赓.基于现实与使命的扩张与超越：高中学业水平考试改革刍议〔J〕.大学教育科学，2014（3）:12-14.

〔2〕廖平胜.论考试的一般原理（连载一）〔J〕.考试研究，2003（1）:1-13.

〔3〕张远增.考试评价：考试研究的新领域〔J〕.考试研究，2005（1）:5-11.

〔4〕李欣.教育公平视域下的高中学业水平考试：聚焦与透视〔J〕.中国考试，2012（8）:58-64.

〔5〕周群.高中学业水平考试研究(二):考试质量评价〔J〕.考试研究，2012（6）:20-28.

〔7〕田民，项久海.河北省2012年5月普通高中英语学业水平考试分析及对我省高中英语教学的启示〔J〕.校园英语，2014（4）:89-94.

〔8〕凌云.考试统计学〔M〕.武汉：华中师范大学出版社，2002：408-409.

〔9〕张青华.浅谈高中学业水平考试评价的功能〔J〕.中国考试，2011（4）:61-64.

〔10〕褚慧玲.水平考试与选拔考试的相关问题研究——多元评价中制定考试评价标准研究〔J〕.中国考试，2008（10）：10-16.

〔11〕臧铁军.构建考试评价系统的理论与实践研究〔J〕.考试研究，2013（3）:23-28.

〔12〕漆书青.现代测量理论在考试中的应用〔M〕.武汉：华中师范大学出版社，2003：95.

〔13〕廖平胜.考试学〔M〕.武汉：华中师范大学出版社，1988：293.

〔14〕黄锐.标准参照语言测试的构念效度验证〔J〕.西南民族大学学报（人文社会科学版），2012（6）:191-195.

〔15〕教育部.普通高中英语课程标准（实验）〔M〕.北京：人民教育出版社，2003：9-21.

（责任编辑：王伟宜）

李淑姣，女，北京师范大学哲学与社会学学院助教、硕士，主要研究方向为考试与社会的互动（北京100875）；罗田野，男，华中师范大学政治学研究院硕士研究生，研究方向为考选制度与考试评价（武汉430079）