使用不同词表检验词汇复杂度测量方法信度和效度之比较

陆芸

（南京工业大学，江苏 南京 210009）

使用不同词表检验词汇复杂度测量方法信度和效度之比较

陆芸

（南京工业大学，江苏 南京 210009）

本文比较了使用N ation词表后检验词汇复杂度三种测量方法信度效度的结果是否与以往使用大纲词表检验结果一致，从而比较N ation词表和大纲词表的差异，发现N ation词表区分度更大，更适于研究二语学习者产出性文本。

词汇复杂度;N ation词表;大纲词表

1 引言

词汇复杂度是词汇丰富程度的一个重要指标，词汇复杂度从某种程度上可以反映词汇量的大小。测量词汇复杂度以Nation（1995）的词频分布（LFP）和Meara（2001）的泊松拟合法影响最为广泛，国内外学者对词汇的研究多会借助Nation等开发的Range软件和Meara等开发的P_Lex（如Espinosa 2005,鲍贵2010）；也有专门研究词汇复杂度测量方法的如（Nation 1995,Meara 2001,鲍贵2011，陆芸2012）。研究表明如何控制文本长度对词汇复杂度的影响是词汇复杂度测量的一大难题，LFP用截取等长度的方法来控制文本长度的影响，但是这容易造成因低频词聚集于某一段文本而使测量结果发生偏差的情况，P_Lex因计算概率较好地控制文本长度对词汇复杂度的影响，但P_Lex没有解决将段落内重复低频词视为不同低频词类的问题。因此陆芸等（2013）提出随机取样方法即随机截取相同长度文本n次，取平均值以减小误差，并将传统的类符型符比方法，随机取样方法和改进的P_Lex方法（解决了将段落内重复低频词视为不同低频词类的问题）集成在一起，开发了中国的词汇复杂度测量软件，使用根据大学英语大纲要求制定的词表验证其信度和效度。验证发现随机取样方法和改进的P_Lex方法更有信度和效度，尤其是随机取样方法可以针对较短的文本和比较不同长度的文本，更适用于测量二语学习者的产出性文本。使用大纲词表是考虑到使用的数据来源是中国二语学习者，中国词表可能更符合中国学生的学习规律。然而Range和P_Lex使用的词表都是Nation根据BNC语料库开发的词表。利用不同的词表是否具有相同的验证结果以及大纲词表和Nation词表有何差异成为本研究想要解决的问题。

2 研究设计

2.1 研究问题

本研究将Nation的词表按照自行开发的软件的要求进行编辑，并将之导入软件，计算使用Nation词表后三种方法的词汇复杂度值，并将其与以往使用大纲词表所得出的对应值进行比较，主要解决以下问题。

1）使用Nation词表检验信度，结果与使用大纲词表是否具有一致性？

2）使用Nation词表检验效度，结果与使用大纲词表是否具有一致性？

3）Nation词表和大纲词表有何差异？

2.2 数据收集和处理

为了便于比较两种词表的差异，本文所使用的数据与以往使用大纲词表检验词汇复杂度测量方法信度和效度是同一批数据。检验信度使用新概念英语第二册和第三册奇数编号的文本，共78篇。检验效度使用的是《英语专业语料库》（上海外语教育出版社，2008年版）2004年的英语专业八级作文，经过处理，96篇作文被用于研究。这些作文按照其分数分成高低作文水平组，经非参数检验，两组作文分数存在显著差异。

数据处理经过去标注、削尾（即将动词的屈折变化形式还原成动词原形）、文本清理和词汇复杂度测量几个阶段。

研究中使用了去标注软件(DetaggingTool)、线削尾处理软件（CST's Lemmatiser）、自行开发的词汇复杂度测量软件（LexicalSophistication）和统计软件SPSS13.0。

3 结果与讨论

3.1 信度一致性问题

信度一致性问题是通过78篇新概念英语文本进行折半信度分析来探讨的。78篇新概念英语的文本被依次重新编号，并根据新的编号分为奇数组和偶数组两组。这两组文本使用不同的词汇复杂度测量方法测量，其平均值如下。可以发现使用Nation词表测量后，两组词汇复杂度平均值没有太大差异，这和使用大纲词表的情况接近。但是使用Nation词表后，词汇复杂度值比使用大纲词表得到的对应值都要相对更高。

表1 使用Nation词表和大纲词表两组词汇复杂度均值

使用Nation词表后，Guttman折半系数分别为.781，.842和.655，分别大大高于使用大纲词表的系数.614,.699和.606。说明使用Nation词表后发现新概念英语两组文本间信度很高，两组文本来自同一个整体，也反映了三种测量方法是有信度的。从三种词汇复杂度测量方法比较来看，使用随机取样方法时折半系数最高，说明随机取样方法是较为可靠的方法。这些结果都和之前使用大纲词表得出的结果一致。

从两种词表比较来看，使用Nation词表后得出的值都要比使用大纲词表得出的相应值高。这是因为我们对低频词的不同操作定义造成的。使用大纲词表时，我们将不在中学词表中的词定义为低频词，而使用Nation词表时，将不在最常用的2000词词表中的词定义为低频词，测量软件就会取出不同低频词个数。从结果看，大纲词表中学词表中的一部分词已超出Nation的最常用和次常用词的范围。而既然使用Nation词表后信度更高，显然Nation词表中的常用词范围较为合理。

3.2 效度一致性问题

效度问题是通过将语料库中96篇专八作文的词汇复杂度值与其对应的作文分数进行相关分析来检验的。使用Nation词表后，使用三种词汇复杂度测量方法发现词汇复杂度和作文分数呈现低相关，词汇复杂度值可以区分高低作文水平组。这和许多研究者的发现都比较一致（如Engber1995，鲍贵2011）。而使用随机取样法得出的相关系数最高，使用传统方法相关系数最低，再一次证明了随机取样法的优势。这些都说明了以往使用大纲词表对三种方法信度效度检验的结论是具有普遍性的。

值得注意的是，以往使用大纲词表时，各种方法的相关系数和t值比较接近，区分度不高，而使用Nation词表后，相关系数和t值差异较明显，区分度较高。这说明将中学词表以外的词定义为低频词的标准对研究二语学习者产出性文本有些高了。

表2 使用不同词表词汇复杂度值与作文分数呈低相关

表3 使用不同词表高低作文水平组平均词汇复杂度值差异显著

3.3 Nation词表和大纲词表比较

Range的词表是Nation根据BNC语料库制定的，其中第一个基础词表包括最常用的约1,000个英语词簇(wordfamily),第二个基础词表包括次常用的约1,000个英语词簇。Nation(1997)认为，虽然一种语言的词汇是一个无限量,但并非所有的词都同样重要。衡量一个词的重要性，目前主要依据词在书面和口语文本中出现的频率，即词频。大学英语教学大纲(修订本)制定的词汇表规定了各级词表。邓昭春（2004）认为大纲词表规定了要求各级领会式掌握的单词数量和具体单词,相反，对复用式词汇只有数量上的要求。这无形中将大纲词表定位在对接受性词汇的掌握，降低了对共核词汇的复用要求。因此她建议编写出对我国大学生最具有复用意义的分类词族表。从这些学者的观点看，Nation的词表从制表原则上来讲要比大纲词表更具科学性和实际意义。

从实证研究看，使用Nation词表词汇复杂度值更高，区分度更大，说明Nation的分级词表在研究中更具有可操作性，更能反映英语学习者词汇产出的特点，英语学习者总是最容易掌握那些最重要，最高频的词汇。而大纲词汇规定的中学词汇表领会式掌握单词的数量超过了最常用2000词的数量，实际上对二语学习者产出性词汇量来讲要求偏高。因此使用大纲词表，将大纲词表中学词表以外的词定义为低频词来研究低水平英语学习者词汇掌握情况并不适合。也许借鉴国外词簇词频研究成果，结合我国英语教学实际，编写出对我国大学生最具有复用意义的分类词族表对我国英语教学和词汇研究将更有意义。

4 结束语

本文使用Nation词表对词汇复杂度测量方法信度和效度进行检验，发现其结果与以往使用大纲词表检验具有一致性。而使用Nation词表后，区分度更大。说明Nation词表和大纲词表相比更适合研究二语学习者产出性文本。也许今后可以借鉴国外词表制表原则，制定出更符合中国英语学习者学习特点的英语词表，更好地为国内英语教学和研究服务。

[1]Laufer,B.&Nation,P.Vocabulary size and use:lexi cal richness in L2 written production.[J].Applied Linguistics,1995,16:307-322.

[2]Meara,P.&Bell.H.P_Lex:A simple and effective way of describing the lexical characteristics of short L2texts.[J].Prospect,2001,16(3):323-337.

[3]Moreno Espinosa,S.,Fernandez Fontecha,A.and A gustin Llach,M.P.Can P_Lex accurately measure lex ical richness in the written production of young learners of EFL?[J]Porta Linguarum:Revista Internacional de Didactica de las Lenguas Extranjeras,2005,4:7-21.

[4]鲍贵．英语学习者语言复杂性变化对比研究[J]．现代外语，2010，(2)：166-176．

[5]鲍贵.英语学习者词汇复杂度的最新测量及验证[J]，山东外语教学,2011,（6）：44-52.

[6]陆芸.词汇丰富性测量方法及计算机程序开发：回顾与展望[J].南京工业大学学报,2012,(2)：104-108.

[7]Engber,C.A.The relationship of lexical proficiency to the quality of L2 compositions[J].Journal of Second Language Writing,1995,4:139-155.

[8]邓昭春.《大纲》词表的局限性与分类词族表的教学意义[J].中国大学教学,2004，（9）:45-48.

[9]Nation,P.&R.Waring.1997.Vocabulary size,textcoverage and word lists[A].Vocabulary:Description, Acquisition and Pedagogy[C].Schmitt,N.&M.McCarthy (Eds.),NewYork:Cambridge University Press.http: //www.132.208.224.131/ResearchWeb.

责任编辑：周哲良

H 313

A

1672-2094(2013)06-0066-03

2013-10-18

陆芸(1978-)，女，江苏太仓人，南京工业大学讲师，硕士。研究方向：应用语言学。