高旭峰
(三峡大学 外国语学院,湖北 宜昌443002)
HSK(六级)考试信度和效度的评析
高旭峰
(三峡大学 外国语学院,湖北 宜昌443002)
语言测试是通过测试目标能力的表征行为,去推论目标能力。信度与效度是评价测试的两个重要依据,文章首先介绍了新汉语水平考试的背景、语言测试种类和对效度和信度的理解,并对HSK(六级)测试试卷的信度与效度进行分析得出,只有对主客观题型在一定比例上的兼顾才能保证考试的可靠性与准确性。
HSK(六级)考试;信度;效度
为使汉语水平考试更好地服务于汉语学习者,中国国家汉办组织中外汉语教学、语言学、心理学和教育测量学等领域的专家,在允许充分调查、了解海外汉语教学实际情况的基础上,吸收原有HSK的优点,借鉴近年来国际语言测试研究最新成果,推出新汉语水平考试(HSK)。新HSK是一项国际汉语能力标准考试,终点是考察汉语非第一语言的考生在生活、学习和工作中运用汉语进行交际的能力。新HSK分笔试和口试两部分,笔试和口试是相互独立的。笔试包括HSK(一级)、HSK(二级)、HSK(三级)、HSK(三级)、HSK(四级)、HSK(五级)、HSK(六级);口试包括HSK(初级)、HSK(中级)、HSK(高级),口试采取录音形式。
随着汉语国际推广形势的发展,以及语言测试、对外汉语教学、语言学及应用语言学等学科的最新发展,HSK逐渐表现出等级分数划分的不合理,主观性考试所占的比重较小等一些不足。本文运用语言测试学的相关理论,从考试效度和信度的角度出发,以HSK(六级)某次考试试卷作为样卷材料来对HSK(六级)考试的信度和效度进行分析。
(一)语言测试的种类
从测试目的来看,语言测试主要可分为水平测试、等级测试、成就测试以及诊断性测试。无论我们采用哪一种类型,测试都必须是客观的,有目的、有意义的,换言之,其信度和效度都必须得到高度的重视。正如Bachman所示,信度和效度是对语言能力测量的使用和说明的重要质素,“假如我们将对所给测试的分数进行说明,作为个人能力的标记的话,那么,该分数就必须是可信且有效的”(1990:24)。HSK考试属于水平测试考试。
(二)语言测试的信度与效度
考试信度对于任何一种有效考试来说都是必不可少的。效度—信度的区分是语言能力的区分,也是标准与测试的区分。应该说没有一种考试是完全依赖于信度与效度的。显而易见,完全依赖信度的测试,是什么也测不出来的,而完全依赖于效度的测试,也是什么都不能测试的。简单来说,信度是指一份试卷的测试结果在多大程度上具有一致性,即考试结果不受考试时间、监考人员、考场等外在因素的影响。其实影响信度的因素有很多,诸如题目的质量问题,不管是主观考试还是客观考试,题目质量的优劣直接关系到考试的信度;题目的难度也会影响到信度,此外,施考中的一些问题也会间接的影响信度,如考场纪律、考场周边环境、考试要求等。衡量考试的另一个标准是考试效度。考试效度就是达到其预期测试意图的程度。效度是指一份试卷能在多大程度上满足考察的目的。它是针对某一目的来正确解释和使用分数的问题。假如一份试卷同时考查数种语言技能或考查内容超出了考查目的,那么其效度就大大降低。简单说,也就是考试是否考了要考和想考的内容。在分别讨论了考试的信度与效度后,那么我们来看一下它们之间又有什么关系呢?如前所说,信度指的是考试结果的可靠性;效度指的是考试达到预定目的的程度。一个考试有时可能信度很高,不一定效度也高,但是要具有效度的话,首先必须具有信度。总而言之,对于考试来说,信度与效度都是必不可少的:信度是保证效度的基础;撇开效度只谈信度是没有实际意义的。
(一)HSK(六级)介绍
HSK(六级)考查考生的汉语应用能力,它对应于《国际汉语能力标准》五级、《欧洲语言共同参考框架(CEF)》C2级。据HSK(六级)考试大纲要求,通过HSK(六级)的考生可以轻松地理解听到或读到的汉语信息,以口头或书面的形式用汉语流利地表达自己的见解。HSK(六级)成绩报告提供听力(100)、阅读(100)、书写(100)和总分四个分数。总分180分为合格。
(二)HSK考试测试的信度
从试题的角度来说,首先,HSK(六级)测试的题量较充足。从理论上说,题量越大,抽样越多,信度就越高。HSK(六级)考试内容共101题,分听力。阅读和书写三部分。其中有100题均为选择题(客观题),只有一题为主观题。它在135分钟内要求受试者做完个200个得分点,再加上一篇作文,这对HSK(六级)测试信度有较大的保证。
从测试实施的角度来看,HSK(六级)测试实施的各种条件对所有受试者是一致的。每年全国在六月和十二月统一的时间举行两次测试,其操作方式、听力时间等都是一致的,当然,并不能排除个别考场的突发事故。但总体上这并不影响确保HSK(六级)测试的信度。
从评分的角度来看,HSK(六级)测试有严格一致的评分标准,再加上客观题比例大,便于机器阅卷,成绩(得分)毫无人为因素,并且主观题的比例不大(只有一篇作文)在分数这个问题上稳定性相对不会过于偏差。这也是这项测试的最大优点,极大地保证了其信度。
(三)HSK(六级)考试测试的效度
关于效度分析,笔者想从以下这两方面进行分析。
一是从试题设计。一方面,结合整个考试试题,该试卷设计共有100题为选择题,一题为主观题。从题型设计上就缺少效度,因为选择题存在蒙题和猜题的可能性,所以这样并不能考出实际想考知识的学生的掌握情况:另一方面,从题的考试类型上并没有达到他所提出的大纲要求:即通过考试学生可以口头或书面的形式用汉语流利地表达自己的见解的目的。因为考试内容分阅读、缩写和听力,但是其中听力和阅读都为客观题,同样也是有蒙题的可能性存在,所以学生的所得分数并不能代表他已经掌握了该项知识。例如听力有50个题目,如果一个学生做对了40个,其中不乏很多是舞弊或是猜测等方式所得,因此并不能够实际测试到学生的听力能力。从而该级考试的效度也就得不到保证。
二是从考试题型。在此笔者主要认为阅读这一题型设计缺少效度。在阅读这一大题中,主要分为四小部分。其中前两部分笔者认为缺少效度,因为他并没有考所要考的知识。大家都知道阅读题项的设置,是为了测量考生的阅读理解能力。但是这两部分和阅读能力并没有相关的联系。下面将以实例为证。
例一:第一部分 请选择出有语病的一项(正确答案是D)
51.A.他突然提出辞职,让我们感到很意外
B.矛盾的童年生活,是他创作《春蚕》的源泉
C.劳动时间缩短,是大众旅游得以发展的基本条件
D.他除了班里和学生会的工作外,还承担了广播站的主持人
这是选自HSK(六级)某次考试试卷的一道题目,题目中有四个选项要求考生选出有病句的一项,在这个题目中,其中D项是有语病的一项,因为承担要和……的工作搭配,其实这是考察学生对汉语句子语法知识的掌握,和阅读理解并没有太大关系。阅读,顾名思义就是通过阅读理解文章或所读内容大意。就我们的常识来讲,通过这四个句子,我们都可以理解到每句所表达的意思,尽管答案D是一项语病句,但是它并不会影响人们获得该句话的含义。因此该项题目的侧重点并不是考察学生的阅读理解能力,而是对汉语的语法知识的掌握。
例二:第二部分 选词填空
61.椅子的舒适问题,只要设计时考虑人体结构的( ),便可以解决。设计一把椅子而()了人体的结构,就像设计蛋盒而不顾蛋的()。(正确答案是A)
A.特征 忽略 形状
B.本质 忽视 形态
C.特点 忘记 外观
D.构造 违反 外貌
这同样也是选择HSK(六级)某次考试试卷中阅读第二部分的一道题,题目要求考试选词填空,这道题其实考的是汉语词语的搭配和近义词的区分,并用排除法也可以直接选出,和阅读无太大关系。
从以上两例,可以得出整个试卷的效度难以得到保证。在阅读题项中,其中第一部分和第二部分的题型缺少效度。
以上分别从HSK(六级)测试信度与效度的角度评析了其信度和效度。在客观上,测试的信度与效度并不总是保持一致,而常常出现矛盾的一面。其一,语言测试检测的是语言运用能力(HSK测试也是如此),而能力是不可数的,不能用数字加数量单位表示。这样,若将测试设计成定量型的,则信度高,效度低;若将试题设计成定性型的,则效度高,信度低。HSK(六级)测试大体上属定量型的。其二,HSK(六级)测试中99%的测试点都是“对”与“错”这种两分判断,而只有1%的主观试题,即能体现受试者英语的得体性、流利性、有效性。从理论上讲,语言的运用不能单纯用对或错来衡量,应该反映受试者语言熟练程度。从这个意义上讲,HSK(六级)测试的效度低。
像其它所有语言测试一样,HSK(六级)测试的信度也比较容易获得有关数据,因而容易确定;相比之下,其效度则显得抽象些,难以获得确切数据,因而比较难确定。笔者建议一方面可以将客观考试主观化,将阅读部分的第一部分题直接以改错形式出现,要学生找出病句的问题之处,并改正。这样可以避免猜题现象,并且改错和学生的实际知识水平相联系,知识的掌握直接决定题目的正误;另一方面,可以涉及一些情景对话的题目,因为既然要考学生的实际应用能力,就可以在语言中交流得以体现。总而言之,一套试题中兼有客观题与主观题,且主客观题的比例适中,才能保证考试的可靠性与准确性,增强测试的目的性,从而提高测试的质量。
[1]BACHMAN,L.F.Fundamental Considerations in Language Testing [M].Oxford University Press,1990.
[2]阿兰·戴维期著.语言测试原理[M].北京:经济科学出版社,1997.
[3]国家汉办.新汉语水平考试大纲 HSK(六级).北京:商务印书馆,2001.
[4]宋莹.关于留学生HSK考试的分析与研究[J].科教纵横,2008,(8).
[5]谢小庆.关于HSK(初中等)长度适当性的研究[J].语言教学与研究,1999,(1).
[6]邹申,杨任明.简明英语测试教程[M].北京:高等教育出版社,2007.