基于语料库的“商务短语选择”测试项目质量分析

李延玉

（深圳职业技术学院 应用外国语学院，广东 深圳 518055）

基于语料库的“商务短语选择”测试项目质量分析

李延玉

（深圳职业技术学院 应用外国语学院，广东 深圳 518055）

以汇集全国国际商务英语考试（一级）历次考试（2007年4月至2014年5月）为样本，选取阅读模块中“商务短语选择”（BPMC）项目为例子，运用英语语料库和测试成绩分析等工具剖析“商务短语选择”项目命题质量和项目难度、区分度和信度。同时，结合命题和施考实践，探寻提高商务英语词汇测试质量的对策。

商务英语；商务短语；词汇搭配；项目质量

1 引 言

全国国际商务英语考试（CNBECT）是由商务部中国国际贸易学会组织的全国性商务英语考试，旨在提高我国涉外商务人员的英语水平和职业素质（全国国际商务英语考试大纲，2006）。该系列考试分为两个级别，其中商务英语考（一级）于2007年4月举行了首次考试，至今已经进行了12次考试，累计笔试考生数超过10万，采集考生有效信息两千多万条。如果我们能够对这些信息进行深度数据挖掘和分析，其研究成果将反拨作用于商务英语理论研究和教学实践。当然，这样的研究成果必将有助于提高CNBECT的考试质量。本研究以全国国际商务英语考试（一级）历次笔试（2007年4月至2014年5月）为样本，以“商务短语选择”（Business Phrases Multiple Choice, BPMC）项目为例子，以商务英语职业能力建构为视角，运用英语语料库和英语测试成绩分析等工具剖析“商务短语选择”项目的命题质量和项目难度、区分度和信度。同时，结合命题和施考的实践，提出改善“商务短语选择”项目测试质量的对策。

2 理论背景

本研究汲取了多个方面的理论研究成果，最密切相关的是两个领域：语料库语言学和英语测试理论。语料库语言学是随着语料库建设和应用实践发生和发展的。早在1959年伦敦大学学院Quirk教授等人开始建设英语用法调查语料库（Survey of English Usage，SEU）。SEU是最后一个手工语料库，在研究观念和方法上都进行了大胆创新[1]。20世纪60、70年代诞生了三大经典语料库：BROWN、LOB和LLC[2]。这三大语料库的建立标志着语料库研究进入电子语料库时代。它们的建立还为现代语料库研究的发展奠定了基础，标志着计算机语料库语言学（computer corpus linguistics）的开始[1]。20世纪80年代以来，陆续出现了一批新型电子语料库，其中最典型的是COBUILD、BNC和ICE等[3]。由于采用了更加先进的计算机技术，它们的检索统计能力更强，速度更快，容量也增大。在这些语料库建设中，借助计算机技术、统计和数学等领域的成果，有关语料标注和检索的方法有着迅速发展。同时，语料库应用到语言研究、外语教学、词典编撰和机器翻译等方面也有诸多尝试[3]。语言学本来就是实践性、应用性很强的一门学科，脱离了应用，坐而论道，也就失去了发展的基础和动力，将变成无本之木、无源之水[4]。

在英语测试理论上，CNBECT考试积极汲取了语言测试专家L.F. Bachman交际语言能力模式（communicative language ability model）中重要观点。该模式已经成为当今语言能力测试的重要理论依据之一。该模式包含三个组成部分：语言能力，策略能力和心理生理机制。其中语言能力又进一步细分为组织能力和语用能力，组织能力再分为语法能力和语篇能力。词汇同词法、句法和语音/字系一起被列在语法能力之下[5]。词汇能力是阅读能力的重要组成部分，它是一种隐性的理论假设，无法直接观察。我们只能通过观察学习者使用词汇能力的行为来判断词汇能力的水准。一般而言，词汇能力与阅读能力呈现正相关，词汇能力越强，阅读能力越强。结构主义/心理测量法（the structuralist-psychometric approach）以结构语言学为理论基础，强调不同的语言能力，比如语音、词法和词汇可以分别测试[6]。词汇测试，作为一项子项目是英语阅读能力重要和不可或缺的组成部分。CNBECT基于以上的理论考虑，在笔试阅读模块中设计了“商务短语选择”测试项目。

3 研究对象

测试首先需要建构所测试的能力。语言测试中的建构就是根据某种语言学理论，分解和重组出需要测试的某种能力，设计相应的考试题目，组织考生完成一些任务。通过考察考生在考试中完成这些任务的情况来推导（generalize）出考生在实际应用环境下的这方面能力[6]。建构商务英语阅读能力的关键是如何处理英语语言能力和商务背景知识的关系，或者说在大纲设计和具体题目设计上如何协调影响英语语言能力的那些因素和影响商务知识的那些因素。CNBECT注重考试项目或任务的真实性（authenticity）和语言知识与商务知识的互动性（interaction）。建构是抽象的，只能通过考纲和样题具体呈现出来。CNBECT在考纲中细化了语言能力模块的具体指标和商务知识模块所涵盖的范围。CNBECT（一级）考纲中规定的阅读能力要求见表1[7]。

上述阅读能力通过考生在55分钟内完成的具体任务表现出来（阅读模块要求见表2）[7]。考生的得分将用来推导出考生在真实商务英语阅读环境下的阅读能力，比如电商销售人员阅读英文报价单的能力。CNBECT要求词汇量达到4,500词，其中商务专业词汇1,500词左右。为此，CNBECT编写了词汇表。

表1 CNBECT（一级）阅读能力要求

表2 CNBECT（一级）阅读模块考试项目

CNBECT将“商务短语选择”项目设计为多项选择（MC）的客观题型。项目包括10道题目（item）题干是一个20词内的句子，通常为一句陈述（statement）。句子中间缺失一个单词或短语，设有4个备选项。被测词汇（正确选项）为商务活动中使用频率高的词汇。CNBECT（一级）样题中第21题如下：

21. Our company is going to _________ a new business this year.

A. make B. launch

C. forward D. manufacture

题目中被测词汇launch是一个使用频率较高的词（英国国家语料库显示为3078次），在题干to launch a new business 语境中考查其意义，即to launch a large and important activity, for example a military attack, means to start it. 开展（重大活动）；发起，发动（军事袭击等）（《柯林斯高阶英汉双解学习词典》，2011年）。此项意思在商务语境中频繁出现。CNBECT“商务短语选择”项目考查商务短语在商务语境中的使用，关注被测词汇的语义和语用，不同于Quirk、Bloomfield和Chomsky等语言学家的词组（phrase structure），也放弃了考查考生词汇广度、深度和强度的模式。

4 方法与步骤

为了剖析“商务短语选择”项目命题质量和项目难度、区分度和信度，笔者按照如下方法和步骤设计本研究：

4.1 选择语料库

考虑到语料库的规模、语料来源、语料时间跨度、专业特点和认可度等因素，笔者选用了美国当代英语语料库、英国国家语料库和香港金融服务语料库。英国杨百翰大学Mark Davies教授开发的语料库统一检索平台，整合了美国当代英语语料库、美国历史英语语料库、美国时代杂志语料库、英国国家语料库等语料库的资源（笔者通过注册获得了有限检索权限）。香港金融服务语料库具有专业特点，语料来自保险产品介绍、投资产品介绍、金融法规、新闻发布稿件等。该语料库是由香港理工大学专业交际英语研究中心（Research Centre for Professional Communication in English）开发，免费开放。语言测试专家Michael Nelson博士为了撰写论文自建了“商务英语语料库”（Business English Corpus；BEC），有一百万词。但是其质量与大小无法与上述三个语料库相比，没有被采用[8]。三个语料库的基本信息见表3。

4.2 检索被测词汇的词频

在上述三大语料库中检索被测词汇的词频，并制成Excel表单。

4.3 编制被测词汇的搭配

语料库语言学中的搭配（collocates）指“两个或两个以上的词在文本中短距离内共现（co-occurrence）”（Sinclair,1991）。分析历次考试试题的题干，比如：

23. Companies wishing to_________more money for development can sometimes issue new shares.

A. rise B. raise

C. increase D. attract

被测词汇“raise”（筹集，筹措）（《柯林斯高阶英汉双解学习词典》， 2011年）后面接“money”构成商务语境中常用的短语“raise money”（筹措资金）。“money”被编制为被测词汇“raise”的搭配。笔者并没有取“more”、“to”、“more money”或其他邻近词汇，这样可以更好地逼近“商务短语（business phrase）”的效果。

同时，笔者为了更大程度还原题干所构建的商务英语语境，在个别题目的搭配词选择和搭配条件设定时又做了适当放宽。比如：

25. Some terms of Incoterms are appropriate for all modes of _________; others may be appropriate only for one or two of them.

A. transit B. transaction

C. transshipment D. transport

被测词汇“transport”（运输；运送）（《柯林斯高阶英汉双解学习词典》， 2011年）前面接“mode of”构成商务语境中常用的短语“mode of transport”（运输方式）。在语料库中，笔者对该词汇的搭配严格设定了跨距为“L2R0”，以便在BNC和COCA中检索“mode of transport”出现的频率。显然，按照这样的检索条件在BNC中检索到36次中有可能包括“mode to transport”的搭配。笔者进一步查考文本（text），发现36次都是“mode of transport”。笔者设定的搭配词和跨距条件，能够比较好地逼近“商务短语”的效果。由于香港金融服务语料库可以按照短语检索，并不受到类似搭配和跨距的影响。

限于本文篇幅要求，笔者没有逐一列出CNBECT（一级）的120个被测词汇。仅以2007年4月考试的被测词汇为例，逐一列于表4。

4.4 检索搭配或短语

在三大语料库中检索搭配或短语（香港金融服务语料库中可以直接检索短语）出现的频次。检索内容代码见表5。

表3 三大语料库信息

表4 “商务短语选择”项目被测词汇与搭配

表5 语料库检索代码含义

4.5 计算项目的信度和题目的难度、区分度、信度

笔者采集了CNBECT的考试数据，通过SSPS 18软件计算出“商务短语选择”项目的整体信度和2010年5月考试“商务短语选择”项目每道题目的难度、区分度、信度，并与被测词汇及其搭配语料库检索结果进行比较。

5 结果与讨论

通过比较被测词汇和搭配语料库检索的结果与“商务短语选择”项目的整体信度和题目的难度、区分度、信度，笔者发现以下五个方面值得讨论：

5.1 绝大部分被测词汇及其搭配语料库频率比较高

笔者将120个被测词汇和它们的搭配词分别在BNC、COCA和HKFSC三个语料库中进行了检索，制作Excel表单，采用SSPS 18 进行了统计，结果见表6。

表6显示120个被测词汇在三个语料库中都能检索到；所编制的搭配词中，114个搭配词在BNC和COCA中能够检索到，有6个搭配词（WTO，L/C，T/T，C.V.，sight L/C，sight L/C）因为本身是或含有缩略词，在BNC和COCA中无法检索；120个搭配词在HKFS中能够检索到。120个被测词汇在BNC、COCA和HKFS中平均词频分别为62410.50、272791.22和6110.58，中位数分别为3661.00、13943.50和821.00，这表明命题组选择的词汇在商务环境中频繁使用。在BNC、COCA和HKFS中词频最高的词汇都是“to”，这显然是该词的自身特点决定的。

笔者发现120个编制的搭配词在BNC、COCA和HKFS中平均频率分别为186.96、511.22和104.25，中位数分别为25.50、53.00和2.00，表明命题组设计的题干和“商务短语”比较接近真实语境和使用现状。

5.2 “商务短语选择”项目整体信度高，与语料库检索结果相关度较高

笔者同时发现，CNBECT（一级）最近9次笔试“商务短语选择”项目得分（RSA21-30）对于笔试总分（TS）和阅读模块得分（R21-60）相关度很高，对阅读模块得分尤为显著。具体信息见表7。

“商务短语选择”项目得分相对于总分和阅读模块得分信度与上面5.1中统计的被测词汇及其搭配的语料库频率吻合度较高。这在一定程度上表明“商务短语选择”项目的被测词汇的选择和题干的编写质量较高，能够与其它项目共同测出考生的语言能力，具有较高的信度。

表6 被测词汇及其搭配词语料库检索结果统计

表7 “商务短语选择”项目信度

5.3 少数被测词汇及其搭配语料库频率比较低

笔者观察到表8中11个被测词汇的搭配词在三大语料库中检索的结果为0，其中包括effect shipment（装运）、documents against acceptance（承兑交单）、partial shipment（分批转运）、shipping advice（装船通知）等短语。这三个短语在我国的商务教材中出现频率并不低。出现这种差异是由于语料库语料来源所致，还是由于我们的商务教材脱离了实际？值得我们进一步研究。

5.4 偏难题目的难度、区分度、信度与语料库检索结果的相关度较高

以2010年5月笔试为例，题目中被测词clearance和instrument在三大语料库中词频比较高，属于常用的词汇，但是其搭配customs clearance和negotiable instrument在三个语料库中出现的频率都较低，在10次左右。具体信息见表9。

这与笔者计算出来的题目的难度与信度相吻合。这两个被测词汇所在的题目是10道题目中难度列入前三名，信度和区分度也较低。笔者认为短语customs clearance（结关）和negotiable instrument（流通票据）（《国际商务英语大词典》，冯祥春，2000年）专业性较强，考生未能掌握。此外，“product”所在题目的干扰项（production、produce、productivity）的干扰度高，误选的比例分别为30.84%、33.91%和11.96%，使得该题成为最难的题目。人们通常知道GDP，但考生没有掌握其全拼gross domestic product。2010年5月考试“商务短语选择”题目难度、信度和区分度具体信息见表10。

表8 三大语料库检索结果为零的搭配词

表9 两个被测词汇及其搭配语料库检索结果

表10 CNBECT201005“商务短语选择”题目难度、信度和区分度

5.5 英式英语和美式英语拼写的差异影响语料库频率

笔者发现由于英式英语和美式英语拼写的差异，三大语料库中“catalog”和“distribution center”等检索结果差异悬殊。比如，“catalog” 按照两种不同的拼写在三大语料库中检索的结果见表11。

表11 拼写不同对语料库检索的影响

上述数据也反映出三个语料库语料来源的差异，尤其是HKFSC中出现了英式英语拼写绝对优势的表象。CNBECT考试没有严格的英式或美式英语的倾向，笔者目前无法论证这种拼写差异是否会影响到考试的质量，但是上述的差异值得研究。

6 结 语

经过对CNBECT(一级)历年笔试“商务短语选择”项目试题和分数的分析，笔者认为该项目被测词汇选词质量较高，编写的题干能够构建比较好的商务语境。通过对考生的项目得分分析，笔者也发现该项目有着较高的信度。通过语料库检索结果与题目信度、难度和区分度比较分析发现二者有着较高的相关度。笔者建议命题组应尽快和充分利用语料库资源，检索拟被测词汇，辅助编写题干。中国国际贸易学会和考试中心应及时深度挖掘考试数据和分析试卷。如果考试中心能够将语料库检索分析同考试数据挖掘结合起来，其研究成果必将会推动和维持考试的科学可持续发展。

[1] 何中清，彭宣维．英语语料库研究综述：回顾、现状与展望[J]．外语教学，2011（1）．

[2] Kennedy G. An Introduction to Corpus Linguistics[M]. London: Longman, 1998．

[3] 严明．商务英语语料库开发与应用研究[M]．北京：中国商务出版社，2008．

[4] 杨惠中．语料库语言学的应用研究与贡献[J]．现代外语，2004（4）．

[5] Bachman L F. Fundamental Considerations in Language Testing[M]. Oxford：Oxford University Press, 1990．

[6] 邹申．语言测试[M]．上海：上海外语教育出版社，2005．

[7] 中国国际贸易学会商务专业培训考试办公室．全国国际商务英语考试（一级）大纲与复习指南[M]．北京：中国商务出版社，2007．

[8] Nelson M. A corpus-based study of business English and business English teaching materials[D]. University of Nottingham, 2000．

A Corpus-based Quality Analysis of CNBECT “BPMC” Items

LI Yanyu

（Shenzhen Polytechnic, Shenzhen, Guangdong, 518055, China）

China National Business English Certificate Test (CNBECT) is developed and administered by China Association of International Trade under the Ministry of Commerce. The present study, based on three well-known corpora, analyzes the “Business Phrases Multiple Choice” items in the CNBECT from April, 2007 to May, 2014, comparing the frequencies of the tested words and their collocates in the corpora with the items validity, difficulty and discrimination. And the suggestive measures are put forwarded to improve the items quality in CNBECT.

business English; business-related phrases; collocation; items quality

H319.1

A

1672-0318（2014）06-0050-07

10.13899/j.cnki.szptxb.2014·06, 008

2014-09-10

李延玉（1970-），男，副教授。主要研究方向：商务英语教学与测试。