常新宇
文章以语言测试特别是外语测试期刊中的相关文献为依据,对英语语言测试的研究方法进行了分析和总结,整理发现语言测试研究方法的发展主要有准则参照测量、概化理论、项目反应理论、结构平衡模式以及定性研究等。很多语言测试研究都采用定性和定量相结合的研究方法,这两种方法的结合使用能更好地体现和解释语言测试的结果。
1 定量研究方法
常模参照测验,是指以学生团体测验的平均成绩作为参照标准,也即以个体的成绩与同一团体的平均成绩或常模相互比较,而确定其成绩的适当等级的评价方法。常模即团体测验的平均成绩。学生在团体中的位置就是以学生个体成绩与常模比较来确定的。该方法重在个人与个人之间的比较,主要用于选拔或编组、编班。
标准参照测量和常模参照测量是互补的。在标准参照测量中,测试结果是依据一个准则或能力范围,而不是其他考生的表现来解释的。其中,考试的设计、开发和分析不依靠于考生之间的差异或分数分布的一种常态。标准参照测验重视测量学生对某项技能的掌握情况,而不必考虑其他学生的表现。
项目反应理论也叫做潜在特性理论( latent trait theory ),它假设“一个受试者在某个测试题或测试项上的表现受测试项的难度和受试者的能力的影响”( Bachman, 1990)。它为人们研究测试项目的难度与受试者的能力之间的关系提供了理论依据,成为人们研究大规模标准化语言能力测试的主要理论。它的不同模式,如Rasch模式以及Rasch多面模式( Rasch multi-facet model),被广泛用在语言测试中调查多个测量面,尤其是评卷人和测试任务对考生的影响(Bachman, 2000)。
概化理论是种测试分析方法,旨在估计“不同的因素对测试分数的影响” ( Bachman, 1990: 187)。在概化理论的应用中,研究者们都非常仔细地说明可能影响考试成绩的各种因素,包括要测试的能力、测试方法、个人属性、以及其他随机因素。它的应用主要体现在口试和作文考试中评卷老师给分的一致性、试卷的考试项和语言的一致性等方面。
结构平衡模式使我们能够调查我们使用的测试方法的因素结构和这些因素之间的关系。此外,它还可以用来调查自变量和依变量之间的关系。结构平衡模式的应用分为五个步骤: 1)模式说明; 2)模式辨认; 3)参数估计; 4)测试模式资料的合适性; 5)模式的重新说明。这种模式在语言测试中应用主要体现在五个方面( Kunnan,1998): 一、研究测试的构想效度以及改进测试设计的两个方面: 构想的代表性和研究范围;二、研究测试行为或调查问卷的因素结构以便更好地了解考试所测试的能力; 三、研究外语或二语受试者的特点或背景(或外部)因素、应试技巧和测试行为之间的关系; 四、研究测试任务与测试行为之间的关系;五、研究受试者之间的差异。近几年应用结构平衡模式进行的语言测试研究也主要集中于以上五个方面。
2 定性研究方法
除了定量研究方法,定性研究方法也越来越多地用于语言测试的研究中。其中使用较多的方法包括专家判断、内省法和回顾法、观察法、问卷调查法、采访法、以及话语分析和会话分析法。Bachman( 2000)把近来语言测试中定性研究方法应用的特点归纳为三点: 一、定性研究不是一種单一的方法,人们经常同时用多种定性研究方法进行一项研究; 二、随着语言测试研究者在这方面的经验的增长,他们在不断地改进用来评估他们所作的观察的一致性和可重复性; 三、因为语言测试结果大多还是用定量的方法给予报告,所以还很有必要继续研究一种互补性地使用定量和定性研究方法的方法。
3 结语
统计分析是帮助研究者探索真实世界的手段之一,但它永远都只能间接地反映现实世界中的真实关系,有的时候还可能是歪曲的反映,因此对统计分析结果的解释必须结合专业知识,必须到真实的世界中去检验。我们注意到,越来越多的研究,在定量分析之后,还进行定性研究,很好地补充、论证甚至发展了定量研究的成果,是一种较为合理的研究方法。
(作者单位:兰州城市学院)