学习者语料库分级方法研究：反思与启迪

王　丽　张立英

(1.西安外国语大学 经济金融学院，陕西 西安 710128； 2.上海交通大学 外国语学院，上海 200240；3.解放军外国语学院 英语系，河南 洛阳 471003)



学习者语料库分级方法研究：反思与启迪

王丽1,2张立英3

(1.西安外国语大学 经济金融学院，陕西 西安 710128； 2.上海交通大学 外国语学院，上海 200240；3.解放军外国语学院 英语系，河南 洛阳 471003)

本研究调查了国内外学习者语料库语言水平分级方法，结果表明，国内外重要的学习者语料库主要依靠“学习者背景”、“教师判断”、“测试成绩”以及“语言能力量表等级”这四种方法来区分语料库级别。本文通过对比分析不同分级方法的优势与不足，进一步探索了语言能力量表对教师自建语料库的启示，对于我国学习者语料库研究和二语教学都有一定的理论价值和现实意义。

学习者语料库；语言水平等级；语言能力量表

学习者语料库是按照一定的原则和设计标准，收集语言学习者各种书面语和口语的自然语料而建立起来的一种电子文本库。[1]自20世纪90年代以来，随着计算机技术的飞速发展，学习者语料库建设呈现蓬勃发展的趋势，出现了诸如ICLC，JPU，PELCRA，CLC等大型语料库。学习者语料库如实地记录了学习者语言输出的实际情况，在描述学习者中介语特征，揭示其发展规律等方面提供了客观、大量的数据，不仅极大地拓宽二语习得的研究视野，也为外语教学理论和实践提供重要的反馈和支撑。[2]

作为一种重要的数据资源，学习者语料库元数据信息的准确性直接影响相关研究的信度、效度以及研究结论的可推广性。其中，语料库建设者对学习者语言水平(language proficiency)的界定尤为关键，这是因为大多数应用语言学研究都是围绕学习者的语言水平而开展的，或者把它设为自变量，即研究对象分组的重要依据，或者设为因变量，用于衡量教学或实验效果。[3]遗憾的是，在学习者语料库被广泛用于二语习得研究、语言测试开发及教材编撰的大背景下，目前关于学习者语料库建设者如何区分学习者语言水平这一问题还尚未引起足够的关注。鉴于此，本文将主要探讨以下两个问题：国内外现有学习者语料库采用的分级方法有哪些？这些分级方法的优势与不足对于我国学习者语料库的开发和建设有何启发？在此基础上，笔者探讨了基于语言能力量表等级的语料库建库方法。

在学习者语料库研究方面，比利时Louvain大学英语语料库语言学研究中心(Centre for English Corpus Linguistics)一直走在该领域的前列，该中心收集并在其官网公布了世界各地颇具影响力的139个学习者语料库的基本信息，其中包括91个学习者书面语语料库，33个学习者口语语料库，12个口笔语语料库以及3个视频语料库(详情请见https://www.uclouvain.be/en-cecl-lcworld.html)。本文以Louvain大学官网列出的学习者语料库为主要研究对象，结合文献回顾、邮件采访语料库开发者的方法，调查了它们的语料等级划分方式。根据收集到的语料库信息，笔者将按照语料等级划分方式进行分类统计，分析描述各分类方法的特征，并在此基础上讨论对构建中国学习者语料库的启示。

一、学习者语料库语言水平分级方法

目前学习者语料库的分级方法可以分为四类：“学习者背景”、“教师判断”、“测试成绩”以及“量表等级”。根据其语料分级信息来源的不同，这四类方法又可以细分为十种具体的手段(见图1)。后文将对这些分级方法和手段进行简要的介绍。

图1　学习者语料库分级方法与手段

(一)基于学习者背景(learner background)的分级方法

本次调查显示，绝大多数学习者语料库都提供有关语料提供者(即学习者)的背景信息，并以此为基础来划分语料库的水平等级。学习者背景信息主要包括学习者在目标语国家经历(学习或工作)和受教育程度。这种方法的优势在于获取信息的便利性，但是也存在明显的局限性。例如，学习者在目标语国家的学习或工作经历并不足以代表其接触目标语的时间和强度，更遑论学习者的语言水平了。同样，以学习者受教育程度为语言水平划分标准也存在明显问题，不同的教育机构在区分学生水平或者评估学生能力的时候往往采用不同的标准。这一问题在语料库数据涉及不同国籍背景学习者时尤为突出。例如，对某些学校而言，必须要达到具体的水平才能晋升一个能力等级，而对另外一些学校而言，年级的变动完全是自然而然的事情。因此，基于学习者个人外部信息来判断语料所反映的语言水平很可能是不可靠的。

事实上，一些学者已经开始关注此类语料库分级方法的局限性。Tono指出，“基于学习者年龄或所在年级等信息无法确保语料提供者处于同等的语言水平”。[4]针对ICLE 语料库(International Corpus of Learner English)的实证研究也发现，日本学生的语言水平远远低于具有同样教育背景(即高校大三、大四的学生)的欧洲国家英语学习者，[1]进一步证明不同母语背景的同级别学习者在语言水平方面确实存在显著的差异。目前，ICLE建设者已将该语料库配套使用手册中对语料库级别的描述从高水平学习者调整为中级到高级的学习者。

(二)基于教师判断(teacher judgment)的分级方法

个别语料库(如French Interlanguage Database)采用了教师判断的方法来划分语料库等级。教师判断的手段包括对学生水平和学生语料(如课堂作业)等级水平的判断。前者的主要问题在于信息的不透明。例如，人们无法了解“该生处于中等水平”这样的论断代表何种水平，而且教师对学生语言水平的判断往往受到教师与学生的熟悉程度等因素的影响，很难做到客观准确。相比之下，教师判断学生文本的方法显然更加直观，但是由于不同年级的授课教师往往在严厉程度、评分标准制定等方面存在巨大差异，因此很可能将实际上处于同一等级的文本划分到不同等级之下，或者将不同等级的文本划归为同一等级，这些因素难免会降低后续研究的信度和效度。

(三)基于测试成绩(test score)的分级方法

第三种语料库分级方法涉及对测试成绩的使用。根据测试种类和成绩报道项的不同，这种方法又可以被细分为四种手段。其中，测试种类包括校本考试和专业语言测试机构开发的标准化考试；成绩报道项可以是总分(通常为考生听、说、读、写成绩的平均值)，也可以是学生写作或口语部分的分项分。从测试种类的角度来看，与校本考试相比，标准化考试从试题开发过程的专业性、成绩的可推广性以及测试内容、评分标准的透明度等方面都更加规范。从成绩报道的层面来看，考生的综合分由于受阅读、听力等技能水平的影响，很可能无法正确反映语料库中书面语语料或口语语料所处的水平等级。例如，相较于写作、口语这两种输出型技能，英语为外语的学习者往往在阅读、听力这两种输入型技能上得到更多的训练，因此，写作水平只处于初级阶段的学习者很可能会被归为中级甚至高级学习者。由此看来，使用标准化考试并报道考生语料来源项的单项成绩是该类方法中最为可靠的分级手段。

(四)基于语言能力量表等级(proficiency scale levels)的分级方法

语言能力量表，又称语言能力标准，是对外语学习者和使用者的外语能力从低到高的一系列描述。[5](P26-30)语言能力量表贯穿于外语教学诸环节之中，是外语教学目标或评价目标的参照或依据。通过与语言能力量表建立等级对应关系，不同测试之间可以实现相互对接，这样既方便了考试用户对测试结果的理解和使用，又有利于资格证书之间的相互认证。语言能力量表研究已经有60多年的历史，主要集中在北美、澳大利亚、欧洲等国家和地区，开发了诸如ILR (Interagency Language Roundtable)、CLB (Canadian Language Benchmarks)、ISLPR (International Second Language Proficiency Ratings)、ALTE (Association of Language Testers in Europe和CEFR(Common European Framework of Reference for Languages)等知名量表。其中，CEFR尤其在欧洲各国乃至世界范围内的语言教育和测试领域发挥着巨大的影响作用。该量表将语言学习者的外语应用能力分成六个等级(入门级、初级、中级、中高级、高级、精通级)，以“能做什么”(Can do)的能力水平描述，从所具有的语言交际能力、所掌握的语言知识和技能、所面对的语言交际场景和领域等方面，详细地描述了处于各个等级学习者的一系列典型语言行为表现。[6](P1-4)近年来，越来越多的考试机构(如剑桥大学考试中心、美国教育考试服务中心等)，包括雅思、托福等国际知名的大规模、高风险考试，纷纷开始寻求与CEFR建立对应关系，以期扩大它们的国际认可度。[7]

借鉴量表等级标准是近年来新兴的学习者语料库分级方法，也是语言测试与语料库研究领域紧密结合的产物。根据语料与量表等级描述语的对接方式，可以分为量表等级直接对接法和间接对接法。采用量表等级直接对接法时，语料库建设者需要邀请多位熟悉该量表等级描述语的专家，并在保证信度(如提供培训)的前提下，请专家评估语料库中的语料等级。Carlsen以ASK语料库和CEFR量表为例，详细地描述了这一方法的步骤和过程。[8]采用间接对接法的语料库的语料全部取自与量表对接的标准化测试，由于这些测试的分数段已经与量表中的各个级别建立了等级对应关系，因此可以间接地反映语料所处的量表等级。CLC语料库(the Cambridge Learner Corpus)中的语料全部来自剑桥大学考试中心开发的测试项目，是使用量表等级间接对接法的典型代表。

二、语言能力量表对我国语料库建设的启示

(一)现有语料库分级方法的优势与不足

Atkin et al.指出，语料库文本的采样可以分为内部标准(internal criteria)和外部标准(external criteria)两大类。[9]内部标准是根据文本内部的语言特征(如词汇、句法)、风格等因素界定的标准；外部标准则主要涉及非语言因素，包括学习者特征等。如上文所述，采用“学习者背景”等外部标准的语料库分级方法虽然方便易行，但是脱离了文本本身，因此无法确保其真实地反映语料本身所体现的学习者水平。相比之下，以文本或内部标准为导向的分级方法(如测试单项分)直接作用于语料，能够提供更加准确有效的信息。在此类分级方法中，以教师判断和校本测试成绩为基础的手段普遍存在评分标准不一致的问题。基于标准化测试单项成绩(写作或口语)以及语言能力量表等级的语料库无论从工具本身的效度还是分级标准等方面都更加专业、规范。以CEFR为例，基于量表等级的分级方法尤其具有以下三个核心优势。

第一，相较于将学习者语言水平区分为初级、中级、高级这三个等级的常规做法，CEFR将语言水平划分为六级，为开展更细致、更深入的研究提供了平台。第二，CEFR是一个跨语言量表(language neutral)，可以作为统一的能力标尺用于不同语言学习者语料库，为开展跨语言中介语研究等创造了有利条件。第三，CEFR直接对接法的操作时间不受时间和空间的限制，即便是已经开发完成的语料库，语料库建设者或研究人员仍然可以采用这种方法获取语料库等级信息；而间接对接法更加方便快捷，并提供诸如语体类型、话题范围、学习者的个体特征等重要信息。

需要指出的是，虽然以CEFR为评级标准的学习者语料库具有许多优势，但是语料库建设者在采用CEFR标准时应特别注意以下三点。首先，直接对接法非常耗时、费力，且语料库数据越大，其可操作性就越差。其次，目前一些语言测试虽然声称与CEFR对接成功，但却并未提供任何相关的研究信息，因此无法判断其是否遵循了科学的对接原则。因此，语料库建设者在采用间接对接法时，需要仔细评估语料来源测试的专业性。[10]最后，CEFR是通用外语领域的产物，并不能准确地描述专门用途外语的等级特点，因此不建议将其用于专门用途学习者语料库。

(二)对我国语料库建设的启示

1、我国主要学习者语料库分级方式

我国是一个外语学习大国，外语教学有其自身的特点，要了解和研究我国外语教学就需要建立自己的语料库，为外语教学和研究提供第一手真实、全面的语料。我国语料库研究从20世纪70年代末80年代初兴起，在吸收国外建库经验的基础上结合我国国情及外语教学实际对学习者语料库建设展开了卓有成效的探索，建成了一些较大型的外语学习者语料库，其中大多属于英语学习者语料库。[11]表1列出了目前我国主要的英语学习者语料库及其基本信息。

如表1所示，我国先后建成的学习者语料库主要依赖高风险标准化测试成绩来区分语料库等级。如CLEC的语料主要采集于全国大学英语四级考试的作文部分，[12] (P1-3)SWECCL中的部分语料采集于全国大学专业四级英语口语考试录音。[13]这种做法有两个好处：首先，相关测试的题型内容、评分标准等能够保持一致性和透明性，并配有专业人士监控测试的信度和效度，从而尽量保证测试成绩与学习者实际语言能力之间的正相关关系。另外，考试机构可以很方便地获取考试数据、考生背景以及考生成绩等信息，同时还可以依据分数信息采集处于不同成绩段的英语学习者语料扩大语料代表性。然而，需要指出的是，虽然测试文本对于描述学习者的语言习得特征具有一定参考价值，但是由于受考试语境限制，这些语料不能完全代表学习者的自然习得状态。我国外语学习者语料库需要第一手资料来保证语料的真实自然，从而更准确描述学习者的语言特征。这就需要一线外语教师参与到语料库的建设工作中来，而语言能力量表为科学开发与合并教师自建学习者语料库搭建了一个平台。

2、语言能力量表与教师小型语料库建设

从语料库分级方式来看，教师判断和量表等级是目前尚未引起我国学习者语料库建设者的关注。这两种方法的缺失反映了我国教师自建语料库发展较为缓慢且影响力低以及语言能力量表的重要性尚未引起广泛关注的现实。近年来，越来越多的学者开始呼吁一线外语教师参与到语料库建设中来，[14] [15]但是探讨的内容还集中在单个小型语料库的建设，关于如何整合这些语料资源这一话题还鲜有学者关注。基于此，笔者提出一个新的设想：结合教师判断与语言能力量表的分级方法，采用自下而上的方式建设学习者语料库。其基本理念是鼓励一线外语教师建立个人小型学习者语料库，将学生语料按照语言能力量表所提供的语言能力标准进行等级划分，同时使用统一的语料标注和赋码系统。这样既可以解决教师判断语料库等级主观性过强，评判标准千差万别等问题，还可为将来各库的有效合并创造必要条件。我国有人数最多的外语学习者(绝大多数为英语)，也拥有大量的外语教师。充分发挥广大基层外语教师的力量，将极大地提升我国学习者语料库的库容以及语料本身的真实性、代表性和多样性，更加充分地反映出学习者二语发展的特征和全貌。合并后的大型语料库不但能够进一步推动我国学习者语料库和语言教学研究，还将为自主开发适合我国外语学习实际情况的语言能力量表提供直接的数据支持，这无疑对我国外语教学一条龙建设具有重要的战略意义。

3、基于语言能力量表等级的小型语料库建设方法初探——以CEFR为例

如上文所述，目前世界范围内已经开发出多个语言能力量表，尽管他们的研制背景各不相同，但是都具有相似的结构，[16]如都以一定的语言学理论为基础构建描述框架，以短句的形式对语言能力进行定性描述等。以CEFR为例，该量表由56个分量表构成，包含听、说、读、写、译五个基本技能，并从词汇、语法、拼写等不同方面对学习者语言使用能力以“能做”描述语的形式进行了详细的描述。在以CEFR能力等级描述为基础建设教师自建小型语料库时，可以采取以下几个步骤：标准设定—标准培训—标准实施。

首先，由于语言能力量表往往包含不同的语言技能和描述维度，应组织专家学者选择最相关的能力分量表作为语言能力等级的评价标准。所选择的分量表必须与语料库语料类型和基本内容直接相关。例如，在建设书面语料库时可以参考CEFR中的下述几个分量表(页码以CEFR英文版为准[6])：

——总体笔头表达能力量表(第61页)

——报告和短文撰写能力量表(第62页)

——创作写作能力量表(第62页)

——词汇能力量表(第112页)

——词汇掌握程度量表(第112页)

——语法能力量表(第114页)

——拼写能力量表(第118页)

——连贯和衔接能力量表(第125页)

表2列出了“语法能力”分量表的具体内容，供读者参考。需要指出的是，由于CEFR是针对欧洲的外语学习者开发的，且在语言质量描述方面侧重口语技能，[17](P108-120)因此在选定分量表以后，还需确定诸如采用英文描述语还是中文描述语、是否需要适当修改描述语措辞、是否需要细分或调整等级排序等问题，力求使最终选择地等级标准适用于中国英语教学和测试环境，并且容易被广大基层教师理解和掌握。

表2　语法能力分量表

其次，在确定最终的等级描述语之后，需要对广大一线教师进行相关培训。培训内容应包括语料库建设方法和CEFR等级描述这两部分。培训应在语言教学单位和语言教育管理或权威部门的统一指导和部署下进行，需要语料库、语言测试、二语习得等领域专家学者的通力合作，是一项综合性很强的工作。在这个过程中，可以充分利用网络资源，采用在线培训等方式，从而节省高昂的人力资本。同时应适当加入评估方法，如邀请教师以CEFR标准评判一些范文的等级水平，来确定培训是否成功。为保证等级评价的效度和信度，可以采用同一篇语料由两名教师评判，有异议的语料交由第三方确认。教师评判语料的同时，也是对语料进行标注的过程，语料标注可以分为两部分，一部分涉及CEFR相关的变量，包括量表等级标注，一部分是语言特征变量标注，包括词频信息、超出CEFR相应等级词汇所占百分比、平均句长、词汇密度、难易度指标、词性赋码、拼写错误、语法错误等。

按照CEFR等级描述确定相关语料的等级是自上而下的方法，可以辅之以自下而上的方法，即将教师评定等级的语料收集起来，用语料库技术分析语料的语言特征，然后检验这些特征是否匹配CEFR描述语。自下而上的方法既可验证所评定的语料等级，又可提取相应等级的语言特征。这两种方法相辅相成，自上而下的方法依赖因教师对CEFR描述语的解读和语料评判，带有一定主观性，自下而上方法，注重大量数据的收集，可以通过统计手段克服教师评判带有的主观性，使之具有一定的客观性和概括性。

最后，在标准实施阶段，需要设立实时的帮助和反馈机制来处理教师在实际操作中所遇到的困难和问题。尤其需要关注的是无法纳入CEFR等级的语料，这些语料极有可能反映我国学生独特的中介语特征，是语言研究的宝贵资料，也是在我国自主开发外语语言能力等级量表的重要参考依据。

三、结语

学习者语料库已经成为当代语言学理论研究和应用研究不可或缺的基础资源，在最近二三十年间的发展尤为迅猛，世界各国纷纷建立起各种各样的学习者语料库，通过借鉴国外经验以及结合我国国情，国内学者也在学习者语料库建设方面开展了广泛的研究，并取得了丰硕成果。然而，在学习者语料库被广泛用于二语习得研究、语言测试开发及教材编撰的大背景下，目前关于学习者语料库建设者如何区分学习者语言水平这一问题还尚未引起足够的关注，这无疑将在很大程度上影响相关研究结论的信度、效度及可推广性。鉴于此，本文调查了国内外重要学习者语料库语言水平分级方法，结果表明，国内外重要的学习者语料库主要依靠“学习者背景”、“教师判断”、“测试成绩”以及“语言能力量表等级”这四种方法来区分语料库级别。其中，采用“学习者背景”等外部标准的分级方法虽然方便易行，但是却脱离了文本本身，无法有效反映语料水平。相比之下，语言能力量表作为一种新兴的语言水平分级方法，具有很强的专业性和规范性，能够为语料本身提供细化、科学的分级，因此值得进一步推广普及。

基于此，本文探讨了结合教师判断与语言能力量表的分级方法，采用自下而上的方式建设学习者语料库的可行性。其基本理念是鼓励一线外语教师以语言能力量表为基础建立个人小型学习者语料库的可行性。这样既可以解决教师判断主观性过强，评判标准千差万别等问题，还可为将来各库的有效合并创造必要条件。与此同时，充分发挥广大基层外语教师的力量将极大地提升我国学习者语料库的库容以及语料本身的真实性、代表性和多样性，从而为更全面地描述学习者的二语发展特征和全貌提供可能。合并后的大型语料库不但能够进一步推动语料库研究和语言教学的发展，还将为自主开发适合我国外语学习实际情况的语言能力量表提供直接的数据支持，这对我国外语教学研究一条龙建设也具有重要的战略意义。本文以CEFR为例，尝试性地探讨了在以语言能力量表等级描述为基础建设教师自建小型语料库的方法和步骤。需要指出的是，从标准设定到标准的培训与实施，需要众多语言教学单位、测试机构和语言教育管理部门的通力合作。因此，如何保证教师语料库建设既符合科学的原则，又满足实用的需求，这是综合性很强且十分艰巨的工作，任重而道远。

[1] Granger, S. Learner corpora in foreign language education[A]. In N. V. Deusen-Scholl & N. H. Hornberger (eds.). Encyclopedia of language and education second and foreign language education, 2ndEdition, Volume 4: Second and foreign language education. New York: Springer, 337-351, 2008.

[2] 孔文,邹申.语料库在语言测试中的应用[J].外语电化教学,2007,(3):47-51.

[3] 武和平,韩百敬.应用语言学与二语习得研究中“语言水平”的测量与界定—一项基于文献计量学的研究[J].山东外语教学,2010,(2):20-25.

[4] Tono, Y. Learner corpora: design, development and applications[A]. In P. Rayson, A. Wilson, T. McEnery, A. Hardie, & S. Khoja (ed.). Proceedings of the corpus linguistics 2001 conference, UCREL technical paper Number 13. Lancaster: Lancaster University, 800-809, 2003.

[5] Bachman, L. F. Fundamental considerations in language testing[M]. Oxford: Oxford University Press, 1990.

[6] Council of Europe. Common European framework of reference for language learning, teaching and assessment[M]. Cambridge: Cambridge University Press, 2001.

[7] Papageorgiou, S. Investigating the decision-making process of standard setting participants[J]. Language Testing, 2010, 27: 261-282.

[8] Carlsen, C. Proficiency level-a fuzzy variable in computer learner corpora[J]. Applied Linguistics, 2012, 33: 161-183.

[9] Atkin, S., J. Clear & N. Ostler. Corpus design criteria[J]. Literacy and linguistic computing, 1992, 7: 1-16.

[10] Figueras, N., B. North, S. Takala, N.Verhelst & P. V.Avermaet. Relating examinations to the Common European Framework: A manual[J]. Language Testing, 2005, 22: 261-279.

[11] 王立非,孙晓坤.国内外英语学习者语料库的发展:现状与方法[J].外语电化教学,2005,(10):19-24.

[12] 桂诗春,杨惠中.中国学习者英语语料库[M].上海:上海外语教育出版社,2003.

[13] 王立非,文秋芳.“中国学生英语口笔语语料库”的建设与研究评述[J].外语界,2007,(1),2005：22-28.

[14] 谢家成.个人英语教学语料库的运用[J].外语电化教学,2004,(4):34-36.

[15] 梁茂成.利用WordPilot在外语教学中自建小型语料库[J].外语电化教学,2003:42-45.

[16] 韩宝成,常海潮.中外外语能力标准对比研究[J].中国外语,2011,(4):39-54.

[17] North, B. The development of a common framework scale of language proficiency[M]. New York: Peter Lang, 2000.

责任编辑：周延云

Proficiency Assessment Approaches in L2 Learner Corpora: A Critical Evaluation

Wang Li1,2Zhang Liying3

(1. School of Finance and Economics, Xi'an International Studies University, Xi'an 710128, China; 2. College of Foreign Languages, Shanghai Jiao Tong University, Shanghai 200240, China; 3. English Department, PLA University of Foreign Languages, Luoyang 471003, China)

This paper presents a survey of the approaches adopted by current L2 learner corpora developers to determine language proficiency levels. Four major conventions for the assignment of proficiency levels emerged from the analysis, which were learner background, teacher judgment, test score and language proficiency scale. A critical evaluation of the strengths and weaknesses associated with each approach is presented. The paper goes on to consider the feasibility of using language proficiency scale as a common reference tool for proficiency level assignment in the compilation of school-based L2 learner corpora, which has broader theoretical and practical implications for corpus design as well as language teaching.

L2 learner corpora; language proficiency levels; language proficiency scale

2015-10-07

2015年教育部人文社会科学研究青年基金项目“中国大学生商务英语写作能力等级量表评价体系构建研究”(15YJC740084)

王丽(1980-)，女，重庆人，西安外国语大学经济金融学院讲师，上海交通大学外国语学院博士研究生，主要从事专门用途英语和语言测试研究。

H315

A

1672-335X(2016)02-0107-07