新汉语水平考试HSK(六级)试卷难度控制研究

2012-07-05 09:19张晋军张慧君张铁英符华均黄贺臣
中国考试 2012年11期
关键词:等值平均分均值

张晋军 张慧君 张铁英 符华均 黄贺臣

新汉语水平考试HSK(六级)是新HSK笔试难度最高的等级。为使不同次考试的分数具有可比性,使参加不同次考试的考生得到公平对待,HSK(六级)拼卷人员采取“内容均衡、形式统一、篇幅控制”等措施,努力使不同试卷在难度上保持一致。通过预测,可以更好地控制试卷难度。但预测有试题曝光的风险,须投入一定的人力物力,同时其准确性受各种条件的限制。如果不预测,试卷难度控制就更为关键。考试结束后,统计人员还要对分数进行等值处理。

HSK(六级)在试卷难度控制方面效果如何?试卷难度信息能为等值提供什么借鉴?我们拟通过对2011年全球8次HSK(六级)考试的数据进行统计分析,来尝试回答上述问题。

1 研究设想

2011年,HSK(六级)在全球组织了8次考试,使用了8套试卷,考生共计36 484人,其中韩国籍考生25 939人,占全体考生的71.10%。具体信息见表1、表2。

表1

表2

要考查HSK(六级)不同试卷的难度差别,有两种方法。一是正式考试时,在不同试卷中安置共同题,通过不同次考生在共同题上的表现来推测不同试卷的难度差。但是为应对应试冲击,新HSK试题的使用是一次性的,不同试卷中不包含相同的试题。二是组织一批考生,将多套试卷都考一遍,考生是相同的,考生的水平没有发生变化,那考生在不同试卷上的分差就是试卷难度差。这基本上也不具有可操作性。

通过表1可以看出,HSK(六级)每次考试,全球考生数量都在2 700人以上。如果将不同次考试的考生看做是总体考生的若干个随机样本,我们就可以假设他们具有相同或近似的汉语水平。这样的话,不同次考试的考生在不同试卷上的得分差异就可视为试卷难度差。由此,在一定程度上,我们就可以对HSK(六级)不同试卷难度控制的质量做出评价。

通过表1、表2可以看出,每次考试,韩国籍考生数量都在2 400人以上。因此,我们还可以韩国籍考生为统计对象,评价HSK(六级)不同试卷难度控制的质量。

HSK(六级)含听力、阅读、书写三部分。本文使用的是这8次考试的原始分数据,只对客观题听力分、阅读分进行统计分析,未对主观题书写分做统计分析。

2 统计分析

HSK(六级)听力50题,阅读50题。我们统计了HSK(六级)2011年8次考试全球考生、韩国籍考生的听力、阅读平均分。具体信息见表3。

表3

HSK(六级)听力、阅读原始分满分都是50分。通过表3可以看出,全球考生听力平均分普遍高于阅读平均分。听力平均分在34.36~40.60分波动,波动范围为6.24分,均值为37.36分。阅读平均分在30.63~34.34分波动,波动范围为3.71分,均值为32.34分。听力平均分均值为37.36分,阅读平均分均值为32.34分,相差5.02分。

韩国籍考生听力平均分普遍高于阅读平均分。听力平均分在34.17~38.55分波动,波动范围为4.38分,均值为36.76分。阅读平均分在29.00~32.48分波动,波动范围为3.48分,均值为31.35分。听力平均分均值为36.76分,阅读平均分均值为31.35分,相差5.41分。

8次考试全球考生相关数据如图1所示,8次考试韩国籍考生相关数据如图2所示。

图1

图2

新加坡考生汉语水平普遍较高。统计显示,4月考试,新加坡考生占全体考生的11.62%;6月考试,新加坡考生占全体考生的20.84%;其他6次考试的比例则都在2%以下。新加坡考生对4月、6月考试全球考生平均分有拉高的影响,会造成对4月、6月使用试卷难度系数的高估。

3 讨论

根据上述统计分析可以发现,HSK(六级)8次考试,听力分普遍高于阅读分,相差5分左右。听力分在35~40分波动,阅读分在30~35分波动。这种波动较为稳定,反映了HSK(六级)试卷难度控制的现有水平。评价HSK(六级)试卷难度控制的质量,可以韩国籍考生为统计对象,也可以剔除新加坡籍等特殊考生群体的全球考生为统计对象。

新HSK最初采用“共同题等值法”实现等值,但很快就在应试培训的冲击下放弃了这种等值方法。“共同组等值法”则因缺少可操作性,一直未能派上用场。在对HSK(六级)难度控制的研究过程中,我们发现,新HSK可以尝试使用“平均分等值法”来实现等值。其假设是,在每次考试有足够数量、足够代表性考生的前提下,不同次考试考生群体的汉语水平相同或相似。如果某次考试听力平均分偏高,意味着听力分测验可能偏易,需要减分;阅读平均分偏低,意味着阅读分测验可能偏难,需要加分。结合图1来看,如果下次考试,听力平均分在35~39分,可能就不做调整。但如果在这个区间之外,我们就须加分或减分,调整幅度由相关人员集体讨论确定。这是一种粗略的等值方法,但它简便易行,可操作性强。

在听力均值线和阅读均值线的确定上,“平均分等值法”有两种选择。一是将其固定,比如选择近三年来的20次考试,获得听力、阅读平均分均值线,今后的考试围绕这两条均值线做调整。二是将其动态化,每次考试都围绕之前所有考试形成的均值线做调整。

[1] 谢小庆.对15种测验等值方法的比较研究[J].心理学报,2000.

[2] 谢小庆.关于HSK等值的试验研究[J].世界汉语教学,1998(2).

[3] 谢小庆.HSK和MHK的等值[J].考试研究,2005(4).

[4] 谢小庆.考试分数等值的新框架[J].考试研究,2008(2).

[5] 谢小庆,任杰.关于HSK等值改进的一项实验研究[J].世界汉语教学,2006.

[6] 谢小庆,任杰.HSK等值方法的改进.对外汉语教学的全方位探索[M].商务印书馆.2005.

[7] 约瑟夫·M·瑞安(美).基于经典测量理论和项目反应理论的等值与连接(一)[M].考试研究.2001(1).

[8] 约瑟夫·M·瑞安(美).基于经典测量理论和项目反应理论的等值与连接(二)[M].考试研究.2001(2).

[9] 约瑟夫·M·瑞安(美).基于经典测量理论和项目反应理论的等值与连接(三)[M].考试研究.2001(3).

[10] 张晋军.关于汉语水平考试(HSK)等值设计的新思考[J].中国考试,2008(8).

[11] 张晋军.国家职业汉语能力测试(ZHC)拼卷工作介绍[J].中国考试,2007(1).

猜你喜欢
等值平均分均值
德国城乡等值化的发展理念及其对中国的启示
异步电动机等值负载研究
这样做合理吗
教你学会平均分
均值—方差分析及CAPM模型的运用
均值—方差分析及CAPM模型的运用
平均分一半
关于均值有界变差函数的重要不等式
关于广义Dedekind和与Kloosterman和的混合均值
两种分法