基于模拟测试的泰国高考汉语PAT7.4效度分析

陈善美++宋春阳

摘 要：本文基于大样本的模拟测试并以真实的泰国汉语高考PAT7.4成绩作为效标，对泰国高考汉语PAT7.4的效度进行了研究。

关键词：泰国汉语高考PAT7.4 信度 效度

一、引言

有关泰国高考汉语PAT7.4效度问题，已经有若干研究成果。但由于历年考生的答卷都是保密的，不能对测试的成绩进行统计，所以前人研究结果基本都是基于试卷的内容、题型、试卷结构、时间或部分考生考试的感受及反馈的问卷，并结合某种测试理论或语言教学理论对其效度做出推断和提出改进建议，如：春丽娟（2012）、周国鹃和春丽娟（2013）、泰宗（2013）、万惜春（2014）、李颖（2015）、杨凯（2016）等。这些论文由于缺乏大样本的答卷统计数据的支持，显得不够客观。为此，本文基于大规模模拟测试被试的成绩统计，对泰国高考汉语PAT7.4的效度进行研究。

二、被试、试卷及测试的实施

（一）被试

本次泰国高考汉语PAT7.4的模拟考试一共有120人参加，考试模拟被试为泰国文科汉语班的高中三年级学生以及考过泰国汉语高考PAT7.4考试的大学生。参加模拟泰国汉语高考PAT7.4考试的学生分为三组，这三组学生分别来自泰国不同的地方：玫瑰园中学是在首都曼谷的学校、宋卡沃拉娜丽查棱学校是在宋卡南方的学校、考过泰国汉语高考PAT7.4考试的大学生是宋卡王子大学的学生。这些学生年龄一般在18～20岁之间。

（二）试卷

模拟试卷是根据课程教学大纲高中阶段六个学期内的知识能力的要求进行的模拟命题。泰国高考汉语的命题内容和要求如下：

1.泰国高考汉语试题分为两部分，一部分用简体字，另一部分用繁体字，学生可以任意选择其中一个部分。

2.所有的试题均是100道题目，分数为300分，考试的时间是180分钟，每道题的平均使用时间是1分钟30秒。

3.泰国高考汉语试题的内容所占比重：语法知识占40%，词汇知识占40%，语音知识占5%，文字知识占5%，文化知识占10%。

4.泰国高考汉语试题只测试“阅读能力”，没有测试听力能力、写作能力、说话能力。

5.泰国高考汉语试题分为七个部分：正确选择词语的位置、词语辨析、判断正确、同义词替换、阅读理解、选词填空、句子的排列。

总体来说，模拟测试的内容与真题涉及的考查内容一致，对学生的语音、语法、词汇等语言知识和语言运用能力进行了综合性的考察，同时也对学生关于中国文化历史风俗等的了解情况进行了测试，试题难易结合，由浅入深。

（三）测试的实施

本次测试分三次进行：第一次在宋卡沃拉娜丽查棱学校进行，宋卡位于泰国南部，是一个港口城市，沃拉娜丽查棱学校是宋卡王子大学孔子学院签署合作教学点的三所学校之一；第二次在玫瑰园中学进行，玫瑰园中学坐落于曼谷的唐人街，该校建于一百二十七年前，已经成立孔子学堂，这是泰国第三家正式的孔子学堂；第三次在宋卡王子大学，对象是参加泰国汉语高考PAT7.4考试的大学生。此次调查选取的三所学校都是具有浓厚的中华文化氛围的学校。

在正式测试开始的前一周，我们会通知学生进行PAT 7.4模拟考试的日期，并且告诉学生可以就测试的项目有意识地进行必要的考前准备，在指定的日期参加模拟考试。虽然已经告诉学生这只是模拟考试，但有些学生在模拟考试过程中依然比较紧张，这说明了学生对模拟测试的重视程度很高。

三、PAT7.4模拟测试质量分析

（一）试卷结构效度分析

这次泰国高考汉语PAT7.4的模拟考试试卷分为八个部分：选择词语正确答案（判断正误）、选择填空、同义词替代、词语辨析、完成对话、理解句子、阅读理解、按要求选择、句子排列。具体情况见表1。

表1：泰国高考汉语PAT7.4的模拟考试试卷题型及得分率

题型 题量 分值 总计 得分率

一、判断词语正误 10 3 30 56.25%

二、选择词填空 10 3 30 57.08%

三、同义词替代 10 3 30 59.25%

四、词语辨析 27 3 81 45.49%

五、理解句子 8 3 24 55.83%

六、指定词语完成对话 7 3 21 49.40%

七、按要求选择 10 3 30 47.41%

八、句子排列 3 3 9 53.88%

九、阅读理解 15 3 45 53.66%

合计 100 300 53.14%

从表1可以看出，本次泰国高考汉语PAT7.4的模拟考试试卷的题量总数为100题。其中让考生从事先拟定的答案中辨认出正确答案的客观题为82题，包括第一部分选择词语正确答案、第二部分选词填空、第三部分同义词替代、第四部分词语辨析、第七部分按要求选择、第九部分阅读理解，共计246分；考察考生理解能力的主观题共18题，包括第五部分理解句子、第六部分完成对话、第八部分句子排列，共计54分。这次试题题量适中，主客观题比例分布处于比较合理的范围。

（二）考试总体成绩分布

120名考生的考试成绩中，最高分是279分，最低分是54分，平均分是151.6分。

表2：泰国高考汉语PAT7.4的模拟考试成绩分数段人数及比重统计

分数段 0～30 31～60 61～90 91～120 121～150 151～180 181～210 211～240 241～270 271～300

人数 0 2 29 13 14 19 17 20 5 1

得分率 0% 1.6% 24.1% 10.8% 11.6% 15.8% 14.1% 16.6% 4.1% 0.8%

由表2可以看出，考生分数基本上集中在30～180分，211～300分的人数明显减少，150分以上的人数为62人，占整个考生人数的51.67%。本次泰国高考汉语PAT7.4的模拟考试考生平均成绩为151.6分，说明本次模拟考试考生的成绩不太理想，大多数考生成绩在61～90分，因而拉低了平均成绩。

（三）试卷各题型的难度

难度（得分率）是测试质量的一个重要指标。本次试卷的五种题型的得分率从表1可以看出：本次泰国高考汉语PAT7.4的模拟考试各题型得分率很低，说明简单题目较少，难题很多，该试卷偏难。从卷面分析和反馈看，学生的考试成绩呈两极分化状态，其中失分最严重的是完成会话与改错句等主观写作题，这说明学生汉语综合运用能力较低，尤其是对汉语的语感与写作还处在较低水平上。

（四）试卷的内部信度分析

根据表3的相关数据，利用SPSS软件，从语音、文字、词汇、语法、文化、阅读六个方面以及与总分之间的相关性进行数据分析，结果如下：

表3：试卷测试内容相关性分析 Inter-Item Correlation Matrix

语音 文字 词汇 语法 文化 阅读 总分

语音 1.000 .348 .454 .485 .437 .489 .566

文字 .348 1.000 .441 .421 .389 .431 .504

词汇 .454 .441 1.000 .860 .673 .798 .920

语法 .485 .421 .860 1.000 .704 .792 .928

文化 .437 .389 .673 .704 1.000 .871 .824

阅读 .489 .431 .798 .792 .871 1.000 .945

总分 .566 .504 .920 .928 .824 .945 1.000

根据教育测量学家的研究，相关值介于0.71～0.99属于高度相关，0.5～0.7属于中度相关，0.3～0.49属于低度相关，低于0.3说明相关性过低。通过相关性的分析，可以得出下列结论：

1.在本次泰国高考汉语PAT7.4的模拟考试中，阅读和总分的相关性最高，达0.945。阅读、词汇、语法、文化与总分都呈高度相关。

2.语音、文字和总分相关性为0.566和0.504，属于中度相关。

3.词汇、语法、文化与阅读的相关度分别为0.798、0.792和0.871，属于高度相关。

4.语音、文字和阅读的相关度分别为0.489和0.431，属于低度相关。

（五）模拟成绩与PAT7.4真实成绩比较

120名考生的模拟考试成绩与泰国高考汉语PAT7.4真实成绩之间的相关性数据表如下：

表4：模拟考试成绩与真实考试成绩的相关性数据表

Paired Samples Statistics

Mean N Std. Deviation Std. Error Mean

Pair 1 模拟成绩 151.6000 120 61.18074 5.58501

高考成绩 120.9333 120 52.20028 4.76521

表4给出了泰国高考汉语PAT7.4模拟考试成绩与泰国高考汉语PAT7.4真实成绩的平均分（Mean）、参考数目（N）、标准差及标准误差（Std.Deviation&Std.Error Mean）这四项基本的描述统计指标。

表5：模拟成绩与PAT7.4真实成绩相关检验

Paired Samples Correlations

N Correlation Sig.

Pair 1 模拟成绩&高考成绩 120 .948 .000

表5是泰国高考汉语PAT7.4模拟考试成绩与泰国高考汉语PAT7.4真实成绩相关检验表。该表显示共有120对参考值，相关系数为0.948。

表6：Paired Samples Test

Paired Differences

95% Confidence Interval of the Difference

Lower Upper t df Sig.（2-tailed）

Pair 1 模拟成绩—高考成绩 27.00411 34.32923 16.579 119 .000

从表6可以看出标准差及95%的置信区间。配对成绩T测试结果表明，t值为16.579，双侧显著值为0.000。0.000小于0.05，显示差异具有显著意义，这说明泰国高考汉语PAT7.4模拟考试成绩高的考生，其泰国高考汉语PAT7.4的真实成绩也比较高。

四、结语

本次泰国高考汉语PAT7.4的模拟考试，尽管总体分数与真实测试的总体分数具有较大差异，但二者在平均分、标准差等指标方面具有较高的相关性。这说明模拟测试具有较高的质量，可以将其作为PAT7.4的一个样本分析。从题型角度分析，各题型得分率比较接近，说明题型没有对难度造成较大影响。从试卷各部分的内容构成看，汉语词汇量、汉语语法、阅读理解能力与文化知识这四个部分的内容相关性也较高。这说明试卷各部分内容内部一致性信度较高，考察对象具有同质性。例如第一大题中的选择词语正确答案，既有对学生汉语词汇量的考察又有对其阅读理解能力的考察，可以看出泰国高考汉语PAT7.4的模拟考试的首要目的是考查考生综合运用汉语的能力。

综上所述，就本次模拟测试成绩统计而言，2015年的泰国高考汉语PAT7.4考试较好地考查了学生的汉语应用能力。

参考文献：

[1]春丽娟.泰国汉语高考PAT7.4调查[D].苏州：苏州大学硕士学位论文，2012.

[2]泰宗.泰国高考汉语研究[D].哈尔滨：黑龙江大学硕士学位论文，2013.

[3]周国鹃，春丽娟.泰国汉语高考PAT7.4分析调查[J]海外华文教育，2013，（1）.

[4]万惜春.泰国高考汉语试题研究[D].天津：天津师范大学硕士学位论文，2014.

[5]李颖.泰国汉语高考PAT7.4试题分析研究[D].昆明：云南大学硕士学位论文，2015.

[6]杨凯.对泰国汉语高考试题PAT7.4的研究分析[D].西安：西安外国语大学硕士学位论文，2016.

[7]杨瑞和.语言研究应用SPSS软件实例大全[M].北京：中国社会科学出版社，2004.

[8]赵金铭.语言测试理论及汉语测试研究[M].北京：商务印书馆，2006.

（陈善美（[泰]KANITHA JUTUNCHUN） 宋春阳 上海交通大学人文学院汉语国际教育中心 200030）