英语语用测试工具的效度研究

郑娜新 张 琳

（青岛理工大学琴岛学院，山东青岛 266000）

1 引言

语用能力是交际能力不可或缺的一部分，正因为此，交际语言教学不能忽视语用教学。但如何教授语用能力仍然是个颇具争议的话题，而教师一般不太愿意教语用，原因可能是测试语用能力的工具目前还不成熟，在其真正投入使用前还需大量的研究工作(刘建达，2013)。本文将就这一问题进行研究，以期开发出可靠有效的语用能力测试工具，以此促进我国外语教学中的语用教学。以往的语用测试研究虽然得出了一些重要发现，但也存在一些问题，可以归纳为以下几点。一，ODCT、DRPT、DSAT和RPSA四种语用测试工具均具有良好的信度和效度。二，对于受试的目标语语言水平与语用能力的相关性，不同研究有不同结果。很多研究表明受试者的目标语语言水平和语用能力显著相关，但仍有学者发现受试的英语水平与其语用能力没有显著相关。三，受试的母语文化对其在语用测试中的表现有影响。现有的研究涉及了日语、英语、汉语等背景，但在二语环境下进行的居多，需要有更多的研究考察外语环境下的语用测试。四，目前还鲜有研究考察受试者在不同的测试方法中是否有不同的表现，这类研究有利于确定不同测试工具的难度系数。

2 研究方法

本研究主要在中国的英语学习者中考察了四种语用测试工具（DSAT、ODCT、WDCT和MDCT）的效度。笔者通过情景收集、情景可能性筛选、元语用调查、试测和MDCT选项设计等步骤开发出了DSAT、ODCT、WDCT和MDCT四种英语语用能力测试工具。两名NS外教对ODCT和WDCT进行了评分，采用0（completely unacceptable）至5（completely appropriate）五个级别，两位评分员所给分数的平均值即为最后得分。MDCT部分，选对得5分，选错不得分。评分结束后，将所有数据输入SPSS19.0进行分析。

3 研究结果与讨论

3.1 内容效度

内容效度是指测试的内容要全面，有代表性，并充分体现所测试的内容。本研究的试题中包括21种生活中常见的情景，涵盖了请求、道歉、拒绝、问候、批评、提醒、赞美、建议、安慰等九种言语行为，比较全面，有代表性。并且每一个情景中都包含了地位、熟悉程度、严重性三种变量，表1列出了三种变量的分布情况。

表1：各情境中三种变量的分布情况

符号说明：+代表“听者比说话者地位高，听者和说话者熟悉，该言语行为严重程度较高”；—代表“听者比说话者地位低，听者和说话者不熟悉，该言语行为严重程度较低”；= 代表“听者与说话者地位平等”。

由表1可以看出，在21个情景中，有14个情景中的听者与说话者之间的地位平等，有16个情景中两者之间较熟悉，有15个情景中的言语行为严重程度较低。考虑三个语用变量的组合效应，受试需要受试充分调动全部语用资源才能完成各个情景中的言语行为。如在情景12中，说话者和听者地位平等，双方也很熟悉，但言语行为严重程度较高，受试需要调用相应的礼貌和委婉策略，才能成功地实现语用功能。在情景11中，虽然交谈双方地位平等，言语行为严重性也不高，但双方不熟悉，说话者同样需要调用相应的语用策略来实现语用功能。照此类推，所有的21个情景呈现了各种各样的社交变量组合，充分考察了受试的全面社交语用能力和语用语言能力。

3.2 标准关联效度

考察标准关联效度可以使用相关分析来看三种测试方法的关联程度，表2列出了三种测试间的相关性。由表2可以看出，三种测试方法间都有着显著意义的相关。ODCT与WDCT在0.01的显著性水平上相关系数为.636，说明ODCT与WDCT有一定的相关性。而DSAT与ODCT的相关系数仅为.320，DSAT与WDCT的相关系数仅为.331（显著性水平为0.05），说明DSAT与ODCT、WDCT间呈弱相关。这在一定程度上说明这三种测试方法测试了学生相似的能力，即语用能力。上述研究结果与前人的研究（Ahn,2005;刘建达,2006）基本一致。

表2：三种测试间的相关性

3.3 结构效度

结构效度可以通过因子分析来考察。因子分析可以提取多种测试共同的特点，考察这三种语用能力测试是否属于同一因素，而测试不同能力的试题是否属于不同因素。本研究中测得的KMO值为0.519，从Bartlett’s球形检测的值为28.978，自由度为10，达到显著，适合进行因子分析。经过最大方差法旋转后，两个特征值大于1的因子被提取出来，得到的结果如表3所示。

表3：因子分析结果

由表3可以很清楚的看出，三种语用测试工具在因子1上负荷值较高，而CET-4在因子2上负荷值较高。这表明DSAT、ODCT和WDCT三种语用测试方法测试了同一种能力，即语用能力，而CET-4听力和阅读测试的是另一种能力，即学生的英语水平。刘建达（2006）在其研究中对WDCT、DSAT、MDCT三种语用测试和TOEFL测试进行因子分析，也得到了类似的结果。

4 结语

本研究用定量的方法考察了DSAT、ODCT、WDCT、MDCT四种语用测试工具在中国英语学习者中的应用。研究结果表明，虽然DSAT、ODCT和WDCT具有良好的结构效度，但DSAT与ODCT、WDCT间相关性较弱，表明在高风险考试中最好不要使用DSAT，因为它评价的毕竟不是语用表现，而是受试对自己语用表现的一种可能性评估。此外，受试的目标语水平和语用能力间没有相关性，这说明语用能力和语言能力是两种不同的能力，需要不同的工具去测量。未来的外语水平考试如果要将语用能力纳入测试范围，必须专门开发语用能力的测试工具。