外语教学定量研究中的稳健性设计方法

林 艳，肖安风

(集美大学诚毅学院，福建厦门 361021)

外语教学定量研究中的稳健性设计方法

林 艳，肖安风

(集美大学诚毅学院，福建厦门 361021)

定量研究方法在我国外语教学和研究领域的应用日益广泛，但是，大部分外语教学研究人员还未注意到定量研究结果的不确定性可能对外语教学及学习策略产生的较大负面影响。针对这种情况，改变原有统计分析中一味追求最优结果的思路，在外语教学定量研究中引入稳健性设计方法，利用统计方法寻找最稳定的结果，通过分析各种因素的离散程度对结果的影响，从中找到影响最小的控制条件，使结果的稳定性大大提高。在外语教学定量研究中引入稳健性设计，可以有效提高研究结果的通用性和再现性，具有良好的理论价值和实践意义。

外语教学;定量研究;统计失误;稳健性设计

一、外语教学的定量研究

定性研究和定量研究是科学研究的两大类方法。定性研究通过观察、实验、理性思维等方法来进行判断、推理，大多通过文字展开论证;定量研究以实施过程中所获得的量化数据为基础，用数字来进行论证［1］。自19世纪起，人们逐渐意识到社会历史领域如同自然现象一样有着自身发展的客观规律，因此，当代社会科学向自然科学借鉴，在经济学、心理学、教育学、社会学、管理学等很多领域移植了定量研究的方法和技术，从一定的社会科学角度出发，应用定量研究的方法和技术，对社会现象或事物进行系统分析及解释，获得有关社会现象或事物的知识，解决一定的理论和现实问题［2］。

作为社会科学研究的一种，外语教学研究有其重要的功能和目的，并以客观性为立足的根基。近年来，定量研究方法在我国外语教学和研究领域的应用有很大进展，如有关英语能力考试的研究和实践促进了真正标准化考试的形成。此外，对学生外语学习情况的研究也有不俗的成绩［3］，从统计数据看，《外语教学与研究》2001年第2期发表的11篇论文中，60%左右属于定量研究。赵蔚彬对1995—2000年国内出版的十种外语类核心期刊进行了调查，发现均有相当数量的论文使用了统计手段，如《外语教学与研究》运用统计手段的文章达88篇、《现代外语》87篇、《外语与外语教学》53篇［4］。而且，外语教学定量研究文章占发表论文的比例还在不断增长，例如大学英语教学研讨会、英语教学国际研讨会等学术会议都欢迎“实证性的研究”［3］。这表明，我国的外语研究工作者已不再满足于对理论文献的单一介绍、分析或综述，也不满足于对外语教学状况的简单思辨式评说，而是力图通过科学实验、社会调查、自然观察等方法，采集第一手资料，用统计手段对原始数据进行归纳推理，进行由表及里、由具体到一般、由样本到总体的分析研究，以此探索外语习得和运用的模式，寻求外语教学规律，建立外语学习理论体系。

二、外语教学定量研究中的统计失误

然而，在定量研究方法运用日益广泛的同时，统计偏误成为比较常见的现象。定量实证研究的设计和操作过程较为复杂，而我国大部分从事外语教学研究的人员因受专业方向限制，数学基础比较薄弱或对统计手段不太熟悉，导致在具体应用中存在许多不足，例如在研究环节中容易发生统计失误而导致研究结论出现偏差甚至错误，这类现象对研究报告价值产生负面影响并极大地削弱了定量实证研究在促进外语教学发展上的重要功能。

此外，在外语教学研究中多采用常规的优化设计手段。这些手段的最大缺点是仅考虑对可控因素的名义值(平均值、中位数或众数)的组合进行优化，而未能限制因素偏差引起的结果离散程度。然而，外语教学研究的对象比较抽象，研究测量的对象和使用的工具又多为语言，语言自身的模糊特性，可能导致定量研究结果不够充分、明确，影响信度和效度。

以图1为例，在定量研究中采用统计分析的手段(如正交试验设计等)对参数进行优化，继而通过参数分析来得到最佳操作条件，假设在此最佳条件下，得到的结果均值为6。但是，由于在此条件下各种因素有可能承受较大干扰，得到的结果误差很大(如图1条件1所得曲线)，换而言之，优化结果的有效性大打折扣，最佳条件下所得结果反而不如非最佳条件(条件2)下得到的结果。相对于自然科学研究，对社会科学进行定量研究，因其量化过程的模糊现象，很容易出现图1所示的情况。

图1 统计分析过程的结果误差

改善这种情况的一种方法，是在统计分析过程中，提高参数控制和测量的精确性，减小可控因素的离散程度，这样就可以尽可能地保证结果的准确性，但对于外语教学这种抽象的研究，很明显无法采用精确的定量方法，需要寻找其他合适的解决途径。

三、基于田口方法的稳健性设计技术

目前广泛用于工业科技领域的稳健性设计，是一种科学、高效的工程化优化方法。稳健性是一种提高系统抗干扰能力的设计，在充分掌握社会需求的基础上，进行质量功能展开，再进行稳定性优化设计，包含系统设计、参数设计、容差设计，广泛采用数学优化及正交分析为核心的工程优化技术，达到设计出稳健产品的目的，最后应用质量损失函数及质量信噪比等对产品质量进行定量评审［5］。

基于田口方法的稳健性设计采用两步走的方法，首先进行减少波动的稳定设计，其次用调整因素调整系统偏差。这种方法与常用的实验设计方法有重要的区别，如图2所示:

图2 稳健性设计的两步法程序示意图

设输出特性值(如考试成绩)为y，目标值为M，选用的某参数为x，其波动范围为Δx，如果参数x取水平x1，由于波动 Δx引起y的波动为 Δy1。通过参数设计将x1移到x2，此时同样的波动范围Δx引起y的波动范围缩小成Δy2，由于非线性效应十分明显，所以Δy2＜Δy1。与此同时，y的目标值从M移到了M'，偏离量ΔM=M－M'，为使y保持比较稳定，而又不偏离目标值，这时可设法找一个易于调整的参数z，只要把z从z1调到z2，即可补偿偏移量ΔM，同时y值波动范围大大减小［6］。

以稳健性设计引用误差因素模拟干扰的影响，不仅考虑参数的名义值，更重要的是还考虑了各参数功能波动下的优化。田口方法提出了信噪比(SN比)的概念，它是衡量产品质量稳定性波动大小的指标［7］。稳健性分析过程是以SN比作为产品的稳健性的评价指标，采用统计技术进行分析，确定最佳水平组合，从而达到择优目的。信噪比值的极差(最大值与最小值之间的差值)越大，说明该因子对产品性能的影响水平就越高。

四、稳健性设计流程

针对目前外语教学定量研究中的不足，在外语教学统计分析过程中引入稳健性设计的思想，实施步骤如下:

首先，根据外语教学研究的基础理论，构建外语教学中的各可控因素(如教学方法、学习态度等)和质量特性(如课堂教学效果、口语能力、四级成绩等)的关系矩阵，同时，对各种语言形式描述的控制因素及质量特性量化，如图3所示:

图3 语言形式描述的控制因素及其质量特性量化

其次，用正交表安排试验方案，以误差因素模拟造成质量特性波动的各种干扰，采用田口方法计算SN比，以SN比作为衡量质量特性稳健性的指标，以灵敏度(S)作为平均性指标，通过对各种试验方案的统计分析，选取最佳水平，使得SN比达到最大，先得到一个稳定性最好的最佳水平的组合。

最后，选择灵敏度显著而SN比不显著的可控因素，通过调整该可控因素，进而找到抗干扰能力强、调整性好、性能稳定、可靠性高的最优设计方案。

五、应用实例——外语单词记忆方法的稳健性评价

(一)参数设置和模型建立

正如Harmer所说:“如果结构是语言的骨骼，词汇就是重要的器官和血肉”，词汇是语言系统里不可缺少的组成部分［8］。由于词汇量大小关系着外语学习的效率以及语言实际应用的水平，因此，在词汇学习过程中，如何引导大学生采取正确的学习策略，并对该策略的学习效果进行准确评价非常重要。基于这种考虑，笔者引入了稳健性设计的方法对词汇学习效果进行考察。

首先将学生分为含不同人数的实力相当的小组，然后安排多次试验，让分在不同小组的学生在规定的时间内记忆完全陌生的单词(每次试验均考察20个单词，而且试验组在记忆过程中须按要求运用语境策略，对照组则不采用语境策略进行词汇记忆)。接着，通过比较不同组别组员记忆给定单词的效果(以能否正确拼写单词、对词义是否掌握为判断标准)，来找到波动最小且单词记忆测试得分高的记忆组。本试验分两步进行:

第一步:比较不同分组情况的单词记忆波动情况及其平均值，计算SN比并选择合适的组使之最大化，这样即可最小化记忆效果的波动。

第二步:比较不同语境对各组组员单词记忆的影响状况，并选择平均值最大的情况。

模型:采用田口方法进行数据分析，其中信噪比SN比的计算方法如下［9］:

设有n个数据:y1，y2，y3，…，yn

总波动ST为:

用η表示的SN比由下式计算:

(二)试验设计及计算过程

影响记忆效果的可控因素是共同学习人数和语境策略。各因素水平的配置见表1。

表1 因素水平配置表

共进行10组试验，所测试的试验组及其测试结果见表2。

表2 试验组测试结果

由于数据测试结果的上限为20，将其进行转换，令y'=(20－y)/20，则表2结果转换为:

表3 试验组测试值转换结果

试验组 AB测试数据结果 ηy'6 3 2 0.25 0.15 0.1 0.25 0.25 0.45 0.25 0.2 0.55 0.55 0.3 0.15 0.25 0.9 0.55 0.2 0.05 0.85 0.4 0.25 0.3 0.35 0.75 0.5 0.05 0.95 0.75 0.3 0.05 0.7 0.6 0.3 0.1 0.55 0.25 0.45 0.1 0.75 0.25 0.15 0.1 0.76.85 0.39 7 4 1 0.5 0.6 0.45 0.35 0.5 0.45 0.35 0.7 0.45 0.1 0.55 0.5 0.2 0.45 0.25 0.4 0.6 0.05 0.2 0.2 0.25 0.6 0.35 0.5 0.3 0.3 0.45 0.4 0.6 0.4 0.8 0.45 0.65 0.2 0.4 0.8 0.4 0.35 0.2 0.05 0.75 0.45 0.45 0.4 0.25 0.5 0.35 0.5 0.65 0.3 0.35 0.7 0.15 0.45 6.86 0.42 8 4 2 0.45 0.5 0.25 0.45 0.7 0.4 0.45 0.7 0.3 0.35 0.65 0.35 0.25 0.35 0.4 0.35 0.55 0.15 0.35 0.55 0.45 0.45 0.6 0.5 0.25 0.45 0.3 0.5 0.45 0.4 0.55 0.4 0.55 0.3 0.5 0.45 0.7 0.45 0 0.55 0.8 0.65 0.3 0.3 0.45 0.1 0.6 0.45 0.45 0.65 0.2 0.25 0.25 0.3 6.83 0.43 9 5 1 0.8 0.5 0.6 0.75 0.55 0.45 0.6 0.65 0.5 0.65 0.7 0.4 0.7 0.45 0.45 0.75 0.65 0.35 0.5 0.2 0.65 0.65 0.3 0.5 0.45 0.4 0.9 0.25 0.4 0.5 0.8 0.85 0.7 0.4 0.4 0.2 0.95 0.35 0.6 0.55 0.05 0.85 0.7 0.45 0.45 0.3 0.95 0.4 0.5 0.45 0.45 0.9 0.4 0.65 0.4 0.5 0.15 4.84 0.54 10 5 2 0.55 0.75 0.5 0.3 0.65 0.05 0.45 0.35 0.55 0.25 0.6 0.65 0.8 0.3 0.35 0.6 0.65 0.35 0.5 0.35 0.4 0.55 0.3 0.1 0.55 0.15 0.7 0.1 0.1 0.2 0.65 0.7 0.5 0.3 0.3 0.2 0.65 0.6 0.2 0.25 0.2 0.45 0.65 0.15 0.35 0.05 0.45 0.5 0.45 0.35 0.05 0.65 0.5 0.45 0.2 0.1 0.15 6.96 0.40

表3中1号试验的SN比(η)计算如下:

SN比响应表和平均值分别见表4和表5。

表4 响应表(SN比)

在表4中，A1的SN比平均值计算如下:

表5 响应表(平均值)

在表5中，A1的平均值计算如下:

根据响应表中的结果，两步优化法可如下进行:(1)减小围绕平均值的波动(最大化SN比)。观察表5，因素A对数据结果有较大的影响，所以取A2以使SN比最大。(2)把平均值调整到目标值上。从表5中可以看出，因素B对平均值有较大的影响，而对SN比的影响较小，因此，在B因素中选取较大的2水平。

(三)优化组合结果分析

根据上节，优化的组合结果为A2B2，在该组合下，可以达到波动最小(即SN比最大)，而测试结果最佳的情况，在此情况下的SN比为7.08分贝，而平均成绩可达到12.2分。

若初始条件为A1B1(即单人组合，且无语境学习)，则获得的收益为:

7.08－4.02=3.06(dB)

通过优化条件与初始条件的比较，可知在两人组合且有语境学习的情况下，可以获得最佳的记忆效果，而且试验的再现性也最好。

六、稳健性设计方法在外语教学中应用的意义

在外语教学定量研究中引入稳健性设计的方法，改变原有统计分析中一味追求最优结果的思路，利用统计方法寻找最稳定的结果，通过分析各种因素的离散程度对结果的影响，从中找到影响最小的控制条件，使结果的稳定性大大提高，具有良好的理论价值和实践意义。

(1)稳健性设计方法具有通用性，小范围的试验结果即可顺利的推广使用，很适宜外语教学中的定点试验和推广。

(2)针对语言的模糊性质，采用稳健性设计，得到的结果再现性好，因而可以大大减少方法推广过程出现的不确定性问题，减少研发过程的人力和物力成本。

(3)利用稳健性设计提高研究结果的通用性、再现性是一套科学的参数设计方法和功能评价方法，对外语教学定量研究方法更是一种行之有效的补充。

［1］章礼霞.语言的模糊性质对社会科学定量型研究的影响［J］.合肥工业大学学报:社会科学版，2005，19(5):53－57.

［2］严辰松.定量型社会科学研究方法［M］.西安:西安交通大学出版社，2000.

［3］严辰松.谈语言学和应用语言学中的定量型研究方法［J］.解放军外国语学院学报，2001，24(5):4－6.

［4］赵蔚彬.十种外语类核心期刊(1995－2000)统计手段使用调查［J］.解放军外国语学院学报，2002，25(5):62－66.

［5］黄自兴.新产品开发的重要技术——稳健性设计技术［J］.化工进展，1990(1):49－54.

［6］曾凤章.稳健性设计［M］.北京:兵器工业出版社，1996.

［7］［日］田口玄一.开发、设计阶段的质量工程学［M］.北京:兵器工业出版社，1990.

［8］郭成芳.大学新生词汇量及词汇运用能力调查探究［J］.安徽农业大学学报:社会科学版，2006，15(1):135－139.

［9］吴玉印，吴以晴.田口式的稳健性设计［M］.北京:兵器工业出版社，1997.

Robust Design Methods in TEFL Quantitative Research

LIN Yan，XIAO An-feng
(Chengyi College，Jimei University，Xiamen 361021，China)

Although the application of quantitative methods in TEFL(teaching English as a foreign language)researches is more and more extensive，due attention has not been given to the negative impacts of ambiguous statistical results.In this study，a concept of robustness into TEFL quantitative research is introduced and an effective model to realize the robust design is presented accordingly.Instead of going after optimized results，robust design method aims at enhancing reliability of research results by analyzing the effects of statistical dispersion to detect controlled conditions with minimal negative feedback.Simulation results show that this model can effectively boost up the robustness of TEFL research，hence proving its theoretical and practical value.

TEFL;quantitative research;discrepancy between assumed and real data;robust design

G642.0

A

1674－8425(2012)04－0119－07

2012－03－04

福建省社会科学规划项目(2010C022);集美大学诚毅学院教育教学改革项目(JY10015)。

林艳(1979—)，女，硕士，讲师，研究方向:翻译、大学英语教学。

(责任编辑 魏艳君)