以内省法检验新HSK五级完型填空的效度:基于反应过程的证据

刘书慧

(华南师范大学国际文化学院，广东广州510631)

一、引 言

汉语水平考试作为测试母语非汉语学习者汉语水平的大型标准化考试，自2009年推出新汉语水平考试后，仍延续原有HSK一般汉语能力考试的定位，其测量结果对考生求学、求职以及汉语能力评价的影响后效(consequences)均具有高风险性。［1］因此检验测试的效度一直是研究人员关注的焦点。新HSK5级是考生数量最多的一个等级，但对其效度研究却明显不足，目前只有符华均等［2］研究了试卷的内部结构效度(听力理解、阅读理解和书面表达)。阅读的第一部分完型填空部分与试卷总分的相关达到0.82，［2］是试卷极为重要的一部分。本文力图从考生答题反应过程探讨完形填空测试的答题效度。

完型填空题型已经被验证为有效测试外语学习者阅读理解能力的题型之一。新HSK 5级阅读的第一部分完形填空题，提供几篇文字，每篇文字中有3－4个空格;空格处填入一个词语或一个句子，每个空格有4个选项，考生要从中选出答案;共有15个题目，考试时间15分钟。这个题型是测试考生对上下文的理解和语言综合运用的得体性和准确性，包括词语理解、词语搭配、词义辨析(同义词/近义词)、语法判断和语段的理解。［3，4］Bachman将完型填空测试答题所需的信息分为四个层次:(1)分句内信息(within clause);(2)分句间、整句内信息(across clause，within sentence);(3)句子间、语篇内信息(across sentence，within text);(4)超语篇信息(extra－textual)。［5］虽然完型填空是贯穿了原HSK初中等和改进版的题型，但有关其效度研究却一直空白。

根据《教育和心理测试标准》第五版［6］，效度证据主要来自五个方面:(1)试卷内容;(2)反应过程;(3)试卷的内部结构;(4)测试分数与其他外部变量之间的关系;(5)测试的后果。先前对新HSK5级的效度研究［2］提供了试卷内部结构的效度证据，是分数解释性的必要条件，但并不是充分条件。因为即使知道了一项测试的基本内部结构的效度证据，我们也不一定知道这项测试分数该怎么解释。［7］但基于反应过程的效度证据有助于分数的解释，可以帮助试卷开发人员了解考生分数差异的原因和意义。反应过程指的是考生答题时的心理反应过程和评分员给主观题打分时的心理反应过程。对考生的答题反应过程的分析(包括理论分析和实证分析)，可以提供关于测试的构建与考生实际答题的详细心理过程之间的拟合程度方面的证据。［7］命题人期望考生在完型填空测试题目上能够根据分句内、整句内、语篇内的信息完成任务，同时会区分近义词，掌握词语搭配和语法结构，理解语段的含义。了解考生的答题过程和在回答过程中使用的推理可以帮助出题者明白试卷测试了考生什么能力，考生是否使用了出题者预期的某些能力。［8］收集考生反应过程的效度数据通常通过内省法获得，只有对考生答题过程本身进行分析，才能更全面、准确地揭示测试任务的构念在实际操作中实现的程度，从而为测试分数意义和构念效度提供实质性证据。［9］本文的研究目的是以内省法调查考生完成新HSK5级的完型填空测试的答题反应过程，来检验该部分的效度。

二、研究设计

(一)研究问题

1.考生在完成完型填空测试过程中使用了哪些答题策略?

2.考生实际使用的答题策略是否符合命题人的预期?

3.不同信息类型的题目是否使用不同的答题策略?

(二)被试

参加本研究的调查对象是来自华南师范大学本三的外国留学生22人，其中2人参加预测，20人参加实测。这些学生经过2年的汉语学习，词汇量已达到2 500个，符合新HSK五级的测试对象。

(三)研究工具

2013年7月的新HSK五级共有4 088人参加，信度为0.863。①此数据由汉考国际提供，在此表示感谢。完型填空测试选自这套真题阅读的第一部分，共15题，有四个段落，每个段落有3－4个空格，要求考生要从4个选项中选择合适的词语或句子补充完整。

阅读策略列表使用Cohen和Upton［10］的列表，此列表包括两部分:阅读策略(28项)和考试策略(包括28项考试管理策略Test－management strategies和3项应试技巧策略 Test－wiseness strategies)。阅读策略一方面指读者阅读时在语音、词汇、句法、语义和语篇层面的加工，还指建立阅读目标、总结文本、解释、监管和评估阅读目标实现、使用不同阅读方法提高理解，根据需要对理解进行修复。［11］这些阅读策略在列表中都有体现，如R1设定阅读目标，R23读完文章后，运用逻辑连接词理解文章的内容和段落组织。考试策略指在考试中考生选择使用或在某种程度上意识到的答题过程。考试管理策略就是那些在非考试情况下不会使用的答题策略，如T11选择一个答案，并把答案放在句子里检查是否正确。应试技巧策略指的是考生不依靠自己的语言能力而回答题目时使用的答题策略，如:因为选项里有一个也许很重要的词或短语在短文里出现过，所以认为这个选项就是答案(TW3)。

这个列表是目前最新最全面的答题策略列表。这个策略列表被翻译成汉语，经修改和核对保证留学生都能理解每项的意思。与口头报告相比，列表法能克服以下局限:留学生因汉语词汇有限而无法表达清楚使用的策略;因一些策略的使用是无意识的，所以口头报告法无法获得相关信息，但列表法可以帮助考生提取;口头报告要求考生在阅读的同时报告所想，会打断阅读过程。［12］

(四)研究步骤

先找2位留学生做预测，培训包括解释研究的目的和策略列表的内容，然后发测试卷并要求考生一边完成各题目，一边在指定位置写出使用的策略编号，可多选。在预测后修改了部分策略的表达，使之更清晰明了。2个星期后，对20人进行了实测。实测之前进行大约30分钟的培训，确保每个留学生明白每项策略的意思。学生答题时间总计为30－40分钟，答题结束后，笔者收回问卷。剔除漏答和记录全部相同策略的问卷4份，有效问卷共16份。本研究使用SPSS13.0统计分析数据。

三、研究结果与分析

(一)考生实际使用的答题策略

根据频数统计，考生回答15个题目共使用阅读策略286次，使用考试策略258次(考试管理策略244次，应试技巧策略14次)，前者略多于后者。这与Salehi［12］的研究结果是一致的，运用配对T检验发现阅读策略和考试策略使用频数没有显著差异(sig=0.582＞0.05)。就是说，考生在完型填空答题过程中使用的考试策略和阅读策略同样多。而在实际目标阅读中是不会使用这些考试策略的，阅读测试没有单纯考察学生的阅读技能，因此完型填空测试的真实性程度较低。

统计策略使用频数，删除使用0次的8项策略(R24、R10、R11、R2、R1、TW2、T8、82)，考生共使用51种策略完成完型填空测试，使用频数超过(包括)10次的有如下19项策略，其中阅读策略11项，考试策略8项。

表1 使用频数最多的11个阅读策略

从表1来看，在完成完型填空测试过程中，总体上学生还是通过理解上下文(R28)和全文来完成各题目(R9、R7、R4、R5、R6、R12)，而不是只简单看选项选择合适答案。从运用的阅读策略来看，完型填空题测试了学生对词语的理解(R9、R18)，连接词的运用(R23)，段落结构的思考(R17)和整篇短文主旨的理解(R4、R5、R13)，实现了完型填空题测试阅读综合技能的目的，具有较高的效度。

表2 使用频数最多的8个考试策略

从表2使用频数最高的这些考试策略可以看出，考生在选择答案时总是把选项和上下文联系在一起(T15、T10、T5、T24、T4)，分析、推断、理解选项(T19)在上下文中是否合理、是否正确后并作出回答。作为一种测试阅读理解的手段，完型填空的根本目的则为测试考生运用上下文理解全篇的综合语言能力。［13］所以，考生在完成题目时使用的这些考试策略也正是命题人所期望的。因此从考试策略也可以看出，新HSK五级的完型填空测试效度较高。但研究也发现，考生在完成题目时很多时候是借助背景知识排除不合理选项(T23)再做出回答，而这一策略是偏离命题人的预期的，也影响了测试的效度。

(二)预期答题策略和实际使用答题策略的拟合度

预期答题策略是命题人期望考生在完成题目时使用的答题策略，包括全部的阅读策略和大部分考试管理策略。非预期答题策略是命题人不期望考生使用的策略。它不仅包括应试技巧策略，还有一些根据背景知识使用的答题策略。完形填空是测试外语学习者的阅读理解能力，不能考查应试者的文化背景知识或某一领域的专门知识，因为HSK是一般语言能力考试，考这些知识会造成不公平，而且考的很难说是语言能力。［14］

在策略列表中如下策略属于非预期策略:T18根据背景知识猜答案;T21运用背景知识选择答案;T23根据背景知识排除不合理的答案;T27根据背景知识排除一个或几个选项;TW1使用排除法(虽然不理解还是选择一个答案，因为模糊地感觉到别的答案都不对);TW2做一个题目时会从别的题目里受到启发;TW3选择一个答案因为答案里有一个也许很重要的词或短语在短文里出现过。

通过计算考生在15个题目中使用的预期策略和非预期策略，可以得到预期策略与实际使用策略的比率:比率越高就表示考生使用的策略越接近命题人的预期，比率越低说明考生使用的非预期策略越多，从而偏离命题人的预期策略，效度受影响。结果见表3。

表3 预期使用策略和实际使用策略的拟合度

从表3看到，16名考生在15个题目的回答中共使用预期答题策略503次(占总答题策略的90%)，拟合度为0.90，即考生的答题过程90%属于命题人预期范围内;考生使用非预期答题策略共54次，即只有10%的答题策略使用了非预期答题策略，所以总体来说完型填空测试考查了命题人预期的阅读理解策略，测试效度较高。其中拟合度最高的是59题0.97，总共使用了29次有效答题策略，其中R5(快速阅读整篇文章)和T15(看选项，并把选项放在文章里读)分别使用3次。

59.……当你被拒绝时，你应该面带_______，向顾客敬礼，因为他让你赚了20元。

A赞美 B微笑 C情绪 D决心

拟合度最低的55题使用了7次非预期答题策略，使用 3次 T18，T23、T27、TW1和 TW3各 1次。55题的答案在分句内就能找到，大多数的时候学生通过重复、解释、翻译等策略来回答，但使用背景知识来猜测(T18)或排除(T23、T27)不合理的答案，说明学生对这个词的用法很熟悉，不需要反复看原文，所以即使策略使用的拟合度最低，但55题的正确率还是很高(0.94)。

55.……用筷子进食的国家_______上集中在亚洲，包括中国以及……

A根本 B总共 C一律 D基本

(三)不同信息类型的题目使用的答题策略

从表3可以看到，本研究使用的完形填空测试题目的信息类型有三种:分句内(7个)、整句内(6个)和语篇内(2个)。三种题目使用的答题策略频数分别是255、231和72。运用独立样本T检验发现，考生回答三种信息类型题目时使用的阅读策略，考试策略和答题策略总频数的均值上都没有显著差异。三种信息类型题目的正确率均值也没有显著性差异。但是，深入分析考生回答三种信息类型题目使用最多的前10种答题策略，还是可以发现一些差异(如表4所示)。

表4 三种信息类型题目使用最多的10种策略

在回答分句内信息题目时，与考试策略相比，考生使用了更多的阅读策略(8∶2)，如理解文本结构(R23、R25、R18)，用短文大意帮助理解(R17、R12、R13)，仔细阅读部分或全部文章(R4、R6)。回答整句内信息题目时，考生用了更多的考试策略(6:4)中选择答案的策略(T10、T5、T24、T11、T19)，阅读策略中更关注文章的内容(R5、R6)和利用逻辑连接词理解文章的内容和段落组织(R23)，并通过反复阅读(R12)来完成题目，而较少关注分句层面的关键词等信息。回答语篇内信息题目使用的阅读策略和考试策略数目相当(5∶5)，阅读策略更关注语篇意义和内容的理解(R9、R4、R7、R17)，而较少关注文章局部的意思和结构，考试策略中更多的关注各个选项在语篇层面的合适性(T15、T10)。根据考生在不同信息类型题目上使用策略的运用，可以发现回答分句内题目时，学生主要使用阅读策略完成题目，更关注文本的内容和结构，但在整句内信息类型和语篇内信息题目上，考生偏向使用考试策略，并且还使用了非预期答题策略(T18、T23)。

四、结 论

根据本研究的数据结果和分析，我们可以得出以下结论。

第一，根据考生在完形填空测试的答题过程中使用的答题策略(阅读策略和考试策略)可以看出，完型填空题测试了学生对词语的理解、连接词的运用、段落结构的思考和整篇短文主旨的理解，能把选项和上下文联系在一起分析、推断、理解和判断。作为一种测试阅读理解的手段，能够考查考生对上下文的理解和语言综合运用的能力，具有较高的效度。

第二，考生在557次策略使用中，有503次使用了命题人的预期答题策略完成题目，占90%;非预期答题策略使用54次，占10%，研究表明完型填空测试能够在实际操作中有效体现本测试的构念，效度较高。

第三，在不同信息类型的题目上考生分别使用相应的答题策略。通过仔细分析部分文章的大意和结构，考生更集中使用阅读策略完成分句内的题目;在回答整句内和语篇内题目时考生更偏向使用考试策略，更关注语篇意义和段落组织。

本研究的局限在于，正式被试只有16人，样本较小，大部分是东南亚的留学生。所以本研究的结论还有待进一步验证。

［1］柴省三.关于HSK阅读理解测验构想效度的实证研究.世界汉语教学，2012(2).

［2］符华均，张晋军，李亚男，等.新汉语水平考试HSK(五级)效度研究.考试研究，2013(3).

［3］刘英林.高等汉语水平考试的总体设计与理论思考.语言文字应用，1994(1).

［4］刘英林.中国汉语水平考试十年(一).汉语学习，1996(4).

［5］L.F.Bachman.Performance on Cloze Tests with Fixed Ratio and Rational Deletion.TESOL，1985(3):535 －555.

［6］American Psychological Association，American Educational Research Association，and National Council on Measurement in Education.Standards for Educational and Psychological Testing.Washington，D.C.:American Educational Research Association，1999.

［7］邹申.语言测试.上海:上海外语教育出版社，2005.

［8］J.C.Alderson，C.Clapham，D.Wall.Language Test Construction and Evaluation.Cambridge:Cambridge U-niversity Press，1995.

［9］L.Bachman.Modern Language Testing at the Turn of the Century:Assuring That What We Count Counts.Language Testing，2000(1):1–42.

［10］A.Cohen，T.Upton.Strategies in Responding to the New TOEFL Reading Tasks.Monograph Series:ETS，2006.

［11］A.Cohen，T.Upton.“I want to go back to the text”:Response Strategies on the Reading Subset of the New TOEFL.Language Testing，2007(2):209 －250.

［12］M.Salehi.Test Taking Strategies:Implications for Test Validation.Journal of Language Teaching and Research，2011(4):850－85.

［13］陈晓扣.论英语测试完形填空试题.解放军外国语学院学报，2001(3).

［14］黄理兵，郭树军.HSK阅读理解试题的语料和命题.世界汉语教学，2008(2).