语料库在英语语言测试中的应用

张文星

（景德镇陶瓷学院 人文社科学院，江西 景德镇333001）

语料库是指按照一定的语言学原则，运用随机抽样方法，收集自然出现的连续的语言文本或话语片段而建成的具有一定容量的大型电子文库。［1］语料库的快速发展促成了语料库语言学的建立。语料库语言学的出现对语言研究产生了巨大影响，“毫不夸张地说，语料库及语料库研究在过去几十年里给语言研究以及语言应用研究带来了一场革命性的变化”。［2］此外，语料库还广泛应用于机器翻译、自然语言处理和语言教学研究等领域。语料库应用于语言测试要追溯到上世纪90年代，Al derson（1996）首先大胆构想了语料库在语言测试开发、选材、编写、评分等各阶段中的潜能。［3］新托福考试最引人注目的变化是所用语料取自于真实学术语言环境的语料库。在我国，曾用强已设计出基于语料库的中国学生英语词汇能力诊断测试系统。［4］白雅利用CLEC（Chinese Learner English Corpus）语料库和BNC语料库对高考英语短文改错试题的真实性进行了验证。［5］邹申等以英语学习者语料库（CEM）和BNC语料库为参照，探讨了语料库在内容效度验证中的功能。［6］本文从语料库应用于语言测试的理论基础出发，探讨语料库在英语语言测试中的具体应用。

一 语料库在语言测试中的应用理论基础

上世纪90年代中后期，学者们才开始尝试在语言测试中运用语料库，虽起步较晚，但这两者的结合不是偶然的，它们的理论基础存在一些关联和交叉。

目前已经发展到第四代语料库——Web多媒体或多模态语料库。语料库根据研究目的和用途的不同可以有不同的分类的不同。不管语料库如何分类，它们都需具备一些共同特征：（1）语料库中存放的语言材料在语言实际使用中真实出现过。语料库中的语料来自生活中的自然语言，其容量远远超过以往传统方法收集的有限语料，涉及到了自然语言的方方面面，这无疑确保了它的真实性和可靠性。（2）语料库是承载语言知识的基础资源，但并不等于语言知识。语料库只是一种载体，不等于语言知识本身。（3）要想成为有用的资源，研究者需要对语料进行分析和加工处理。自然语言经过收集之后还不能算是“真正”的语料库语料，它还要经过分析和处理，才能用于研究。不同的语料库可能采取不同的标注赋码工具，旨在降低标注错误率。如今第四代Web或多模态语料库以互联网为基础，能更便捷地提供人们所需的语料，同时能及时补充纠正和更新升级语料，做到与时俱进。

语言测试从语言学、语言教学法和学习论取得科学内容，从心理测量学获得科学手段，语言测试是一门跨学科的综合性科学。［7］当今社会催生出各种各样的测试。语言测试有其目的和要求。Henning指出语言测试有多少种目的，就有多少种测试类别。［8］语言测试主要用途有：（1）评估教学的实际效果，并为改进教学中的问题提供参考。（2）为选拔人才提供依据。对于各种有关人的语言能力的假说，需要实证性数据的证实，语言测试在这方面可以为语言研究提供信息，发挥重要作用。（3）语言测试研究能够为第二语言习得研究提供更为可靠而有效的方法和手段。传统语言测试主要关注考试的信度和效度。信度是考试分数质量指标，一个完全可靠的分数应该没有任何测量误差。按照美国心理测量协会1985年的定义，效度是指根据考试分数所做出的推测或决策的有意义、适当、有用的程度，也就是必须要保证考试只测量了该能力，几乎不测量任何其它的东西。

由此可见，语料库与语言测试所具有的共性有：

（1）现代语料库容量超大，时效性较强。如此之大的语料来源（书面语料库和口语语料库），可以为不同规模、要求和目的的语言测试服务。加之，语料库是自然语言零零总总的集合，能够保证语言测试最大限度的真实性。

（2）语言研究者通过对语料库中语言现象的分析研究，可以验证二语习得发展过程中共有的规律，可以合理定位被测试者的外语水平，这些信息经反馈传达到语言测试设计开发者那里，为他们的素材选择提供了指导，能较大程度地保证合理的考试效度。

（3）语料库的构建是基于语言学理论上的，反过来这些理论要求也同样适用于语言测试。同时语料库的发展也将带动语言测试的发展，因为语料库或多或少能纠正和升级所储存的语料内容，而这又为语言测试的设计开发和评估量表等制作打下了基础。

二 语料库在英语语言测试中的应用

语料库研究方法在语言研究和自然语言处理等领域的成果较多，因此语料库运用到语言测试的成果也逐渐丰富。

（一）试题开发

语料库在测试开发的各阶段都发挥着较大作用，尤其在试题的选材、编写和校对方面可以为命题人员提供重要信息。［3］在试题选材上，传统做法是以教材为依据并以之前的考试资源为参照，设计者凭直觉和经验再做些修改或补充，由此造成某些试题项以讹传讹。这样做有个很大的弊端就是所测的语言知识可能是设计者杜撰的，跟自然语言使用或是语境脱节，使测试效度受到损害，因为试题的代表性和真实性是试题效度的重要保障。而语料库的出现为试题开发设计者提供了便利，他们可以通过语料库的各种检索快速地找到本试题所需要的真实语料（书面的或是口语的）。中国英语语言测试专家更要注意使用各种学习者语料库，因为它们能让设计者了解掌握学习者在二语习得过程中的难点和规律，这些重要信息在试题中都应有体现。此外，语料库不能自动生成试题，所以设计者还应会使用语料库辅助工具，来帮助设计基于语料库的篇章和句子层面的语言测试。

（二）考试大纲词汇表制订

词汇大纲的概念最初由Sinclair和Renouf提出，并由Willis给予了大纲性的论述。Willis认为词汇大纲应该注重以下几点：（1）语言的最基本词形；（2）词的中心用法；（3）词的最典型搭配。［9］考试大纲词汇表的作用不容置疑，它能指导试题开发者了解大纲内词汇和大纲外词汇，而以前的词汇表大多由相关领域专家根据自己的知识经验制订，带有较大的主观性和随意性，不能反映以上词汇大纲的三个重点内容。而依据语料库制订的考试大纲词汇表更加客观和可信，如Ball（2002）制订的商业英语考试词汇表。此外，研究者还可以根据自身需要选择语料库来制订考试词汇大纲表，如通过本族语语料库和学习者语料库来制订考研英语词汇表。

（三）自动评分系统开发

自动评分技术的研究始于上世纪60年代。近几十年来，随着计算机硬件和软件性能的快速提高，自然语言处理等技术获得了长足的发展，国外一批作文自动评分系统相继问世。如第一套作文自动评分系统PEG（Project Essay Grader）于1966年由美国杜克大学的Ellis Page等人开发；基于潜在语义分析的IEA（Intelligent Essay Assessor）由美国科罗拉多大学的Tho mas Landauer等学者开发；由美国教育考试服务中心（ETS）开发旨在评估GMAT考试作文质量的E－rater。［10］自动评分系统的原理是在对已进行过人工评分的大量样本的分析基础之上，找出可参照的语言特点，然后对其它作文评分。［3］现阶段，自动评分系统主要应用在写作部分，英语作文自动评分已在TOFEL和GRE考试评阅中使用。

在我国，自动评分技术研究取得了一定的突破，正逐渐缩短与英美国家的距离。梁茂成（2012）设计的自动评分系统的评分信度最高达到r＝0．83以上，作文评分系统的评分结果与人工评分的结果之间的吻合率高于ETS的E－rater，表明所设计的英语作文自动评分系统已达到可操作水平。同时，英汉互译自动评分系统的研发也取得了一定进步，秦颖和文秋芳探讨了在理论论证基础上如何借助NLP技术实现自动评分，并构建了学习者译文评分的理论框架，尝试和对比了n－gram模型，扩展了ngra m模型和线性回归模型。［11］自动评分系统开始涉及到传统意义上的主观题型，随着技术的逐渐成熟和系统的逐步完善，考试自动评分规模化指日可待。但是，自动评分系统的研发离不开各种语料库的使用，因为语料库中储存了历年考生的试题和答案，因而系统开发者要利用其进行试卷间的任务类型、难度、考生答题表现等诸方面的比较分析，以及与系统所用算法进行匹配。

三 结 语

语料库语言学的学科体系日渐成熟，语料库方法也广泛应用于语言研究、语言教学研究和机器翻译等领域。同时，在国外，语料库在语言测试中的应用研究方兴未艾，国内的相关研究也已起步。语言测试设计者们已把语料库作为试题开发和试题研究的重要手段和工具。语料库的三大优点可以使设计的试题内容更加接近自然语言使用情况，更加真实可靠。基于语料库的各种自动评分系统逐步得到完善，同时口语自动评分系统的开发潜力巨大。总之，语料库在语言测试研究和开发中的作用不容小视，语言测试研究者们应掌握相关技术，积极运用语料库来改进和完善我国的英语语言测试。

［1］ 杨惠中．语料库语言学导论［M］．上海：上海外语教育出版社，2002：33．

［2］ Hunston，S．Corpora in Applied Linguistics［M］．Cambridge：Cambridge University Press，2002：15．

［3］ 孔 文，邹 申．语料库在语言测试中的应用［J］．外语电化教学，2007（4）：47－51．

［4］ 杨惠中，卫乃兴．中国学习者英语口语语料库建设与研究［M］．上海：上海外语教育出版社，2005．

［5］ 白 雅．基于语料库方法的高考短文改错的真实性研究［D］．广东外语外贸大学，2005：6．

［6］ 邹 申，杨任明．语料库在试题设计和验证中的应用研究［J］．外语电化教学，2008（5）：10－15．

［7］ 杨惠中．语言测试与语言教学［J］．外语界，1999（1）：16．

［8］ Henning，G．A Guide to Language Testing：Developing，Evaluation，Research［M］．New Yor k：Newburg House，1987．

［9］ 权立宏．Power GREP在外语词汇教学中的应用——以数据驱动学习为理念［J］．山东外语教学，2010（1）：31－36．

［10］梁茂成．大规模考试英语作文的自动评分系统的研制［M］．北京：高等教育出版社，2012：6．

［11］秦 颖，文秋芳．大规模考试英汉互译的自动评分系统的研发与应用［M］．北京：高等教育出版社，2012：14－18．