反馈方式对二语写作语言复杂度的影响*

山东大学外国语学院 白 云 韩佶颖 王俊菊

提 要： 本研究以自动评分系统反馈和范文反馈为例，探讨纠错反馈与非纠错反馈对大学生英语作文语言复杂度的影响。借助LCA、L2SCA和Coh-Metrix 3.0等在线分析器，对词汇复杂度和句法复杂度共10个代表性指标进行测量和分析。发现系统反馈能提高词汇复杂度但降低句法复杂度，而范文反馈对学生作文的词汇和句法复杂度均有显著的提升作用。由此可见，不同反馈方式对语言复杂度产生错综复杂的影响，相比而言范文反馈能促进文本质量在更多维度上的提升。

1. 引言

纠错反馈与非纠错反馈是二语写作领域的两大反馈类型。纠错反馈是对二语学习者写作文本中的语言错误所做出的回应(Bitchener & Storch, 2016)。近三十年来，随着计算机和自然语言技术的发展，计算机自动评分系统反馈作为一种典型的纠错反馈，备受关注。已有研究主要依据作文得分和错误分析，考察自动评分系统反馈(以下简称系统反馈)对文本特征、语法错误和学术词汇使用的影响(Chodorow et al., 2010; Long, 2013; Liao, 2016；胡学文，2015；周丽，2015；白云、王俊菊，2018；黄爱琼、张文霞，2018)。然而，由于反馈内容过于重视语法正确性等表层特征(Hyland & Hyland, 2006)，有学者认为系统反馈未必能有效提高文本质量和学生写作水平(Stevenson & Phakiti, 2014)。就纠错反馈是否有助于提高学习者写作水平这一基本议题，目前学界在理论和实证层面仍存在争议。有学者认为纠错反馈属于转瞬即逝的语言知识，不符合二语习得的自然顺序，很难内化为学习者的语言使用能力，因此有害无益(Truscott, 1996)。

鉴于此，学者开始关注范文和重述等非纠错反馈(如Yang & Zhang, 2010; Hanaoka & Izumi, 2012; Coyle & de Larios, 2014)。范文反馈指将本族语者所撰写的文章提供给学习者，以此作为接触、习得相关语言表达的通道，并提供解决问题的方案。在范文反馈中，学生完成初稿之后再看范文，并将自己所写的文章与范文进行对比，以解决写作中的问题，进而修改初稿。范文是根据当前写作任务的内容和体裁量身定制的佳作(Coyle & de Larios, 2014)，不仅是本族语者特定句子的范例，还提供了整个语篇的样本(Yang & Zhang, 2010)。此外，范文提高写作水平的有效性也得到诸如输出假设(Swain, 1998)和注意假设(Schmidt, 1990；2001)等经典理论的支持，因此范文反馈成为非纠错反馈的重要形式。当前，国外有关范文反馈的研究依然有限，国内相关研究更为匮乏。以往研究中多使用描述图片的任务(如Yang & Zhang, 2010； Hanaoka & Izumi, 2012)，近期才开始使用议论文等开放度更高的写作任务(Kang, 2020)。研究内容主要涉及范文反馈的有效性，其对学习者的注意和摄取的影响及影响因素，而范文反馈对文本质量的影响尚未引起足够的关注。

语言复杂度、语言准确度和语言流利度(Complexity, Accuracy and Fluency, CAF)是衡量文本质量的重要指标，其与二语写作质量、语言水平和语言发展过程的关系一直是二语写作研究的焦点。以往大量研究指出，反馈方式与语言准确度(如Coyle & de Larios, 2014； Bitchener & Storch, 2016； Liao, 2016；Boggs, 2019)和流利度(如Masatoshi & Roy, 2012)密切相关。就语言复杂度而言语言复杂度自动分析器的出现，打破了自动分析工具缺乏所造成的人工标注工作量大的研究瓶颈(陆小飞、许琪，2016)，近年来语言复杂度研究已渐成热点。但反馈方式等教学变量对其影响的研究相对较少，仅有个别学者做出初步探索(如Coyle & de Larios, 2014；龚伟等，2019)。本研究聚焦二语教学中的不同反馈方式对语言复杂度的影响，试图揭示反馈方式与文本质量的内在关系。

语言复杂度包括词汇复杂度和句法复杂度，是中国学生书面语产出的两大关键语言指标。词汇复杂度与句法复杂度能有效预测写作质量，同时受到语言水平、文体、语体、时间等变量的影响(Lu, 2011; Révész et al., 2017;郑咏滟，2018)。这意味着，对二语写作质量的评估，不仅可以依据传统研究中常常采用的教师主观评分，还可以从语言复杂度的具体指标进行客观测量；不仅可以凭借整体评分，还可以从词汇复杂度和句法复杂度切入做多维度的考察。这为探究反馈方式对写作语言质量的影响提供了新思路和更加客观细致的研究方法，也利于更深入地考察不同反馈方式对语言各个维度的错综复杂的影响，以提出对写作教学和研究更有针对性的建议。

综上，目前关于反馈方式对语言复杂度的影响尚存在较大研究空间。鉴于自动评分系统已逐渐应用于二语写作教学，范文反馈也经常用于教学实践，两者的效果有何差异，如何使反馈效果最大化？本研究以系统反馈和范文反馈为例，探究纠错反馈与非纠错反馈对学生作文语言复杂度的影响，具体研究问题如下：

(1) 系统反馈与范文反馈分别对作文的词汇复杂度有何影响？

(2) 两种反馈分别对作文的句法复杂度有何影响？

2. 研究设计

1) 研究对象

本研究的受试是山东省某教育部直属综合性大学非英语专业本科一年级学生。从两个平行班中随机选出60人，作为系统反馈组和范文反馈组参加本研究，每组30人。其中系统组的平均年龄为18.70岁，参加该校新生入学分级考试的平均成绩为70.30分，作文单项得分10.80；范文组的平均年龄18.85岁，入学考试平均成绩69.00分，作文得分10.60。两组的年龄、入学考试成绩和作文得分均无显著差异，故可认为是来自英语水平和写作水平相当的同一总体。

2) 数据收集

本研究所使用素材为两组学生的英语写作练习，数据分别来自反馈内容、作文修改记录、作文的初稿和终稿。写作任务要求就目前年轻人大多依赖父母来照看小孩这一社会现象发表自己的见解，阐明将来自己有孩子时会怎样做。长度要求为120—180词，作文题目自拟。之后要求学生根据自动评分系统的即时反馈和外教所写的范文，分别对作文初稿进行修改，所做的具体修改均被记录下来。

两组作文的布置、提交和修改均在网上进行。本研究使用的自动评分系统是批改网，布置写作任务时只规定提交的最后期限而不限定提交次数。学生在线提交初稿后，系统会即时给出分数和针对每句话的修改建议。学生对初稿修改后再提交，依次类推，经过多次修改直到对自己的作文满意为止。

范文反馈组的写作和修改也在线进行。不同于以往只提供一篇范文的研究，本研究提供两篇本族语者所写范文，一是为学生提供更多可借鉴的写作方案(Hanaoka, 2007)，二是解决学生无意中重复使用单一范文中的语言形式的问题(Kang, 2020)。首先请两位英语为本族语且教授大学英语写作的外教根据任务要求各撰写一篇范文，并确保范文的内容和文体恰当，且符合学生的年龄和二语水平。考虑到国外学者指出，议论文写作任务的范文最好能有不同观点供学生参考(Kang, 2020)，外教所撰写的两篇范文对给定题目持不同观点。学生在网上提交初稿后，发给他们打印好的两篇范文进行30分钟的阅读和比较，在范文上标记出自己认为有用的内容和语言形式，然后对初稿进行修改，并可以多次提交。

在收集数据前，受试进行一次写作练习，练习的要求和步骤与正式收集数据相同，但写作内容不同，以帮助受试熟悉在线写作的操作流程。

80例患者治愈75例,死亡5例,十二指肠漏5例,胃排空障碍5例,胸腔积液8例,切口感染2例,十二指肠漏患者中1例接受二次手术得到痊愈,剩余患者全部接受对症治疗得到痊愈。

3) 数据分析

本研究借助LCA、L2SCA和Coh-Metrix 3.0等在线分析器对文本语言复杂度进行分析，得出各指标的数据后，用SPSS和GPower软件进行分析。

将语言复杂度分为词汇复杂度和句法复杂度来考察(表1)。参照Lu(2012)的研究框架，词汇复杂度包括三方面，分别为词汇密度、词汇难度和词汇多样性。其中词汇密度指的是文本中实词所占的比重(LD)；词汇难度选取的指标是复杂实词数比例(LS1)；词汇多样性指标包括所有词汇的多样性和具体词类的多样性，选取了随机样本的平均类符数(NDWERZ)、校正的类符形符比(CTTR)和校正的动词多样性(CVV1)。以上指标均由词汇复杂度分析器(LCA)(Lu, 2012)生成。还采用文本词汇多样性测量(Measure of Textual Lexical Diversity, MTLD)(McCarthy & Jarvis, 2010)作为整体词汇多样性的指标。它使用数学公式对原始TTR数值进行转换来消除文本长度的影响，从而增强测量信度，由在线文本分析软件Coh-Metrix 3.0(McNamara et al., 2014)获得。

表1. 语言复杂度的分析框架

对句法复杂度的分析参照Révész, et al.(2017)的分类标准，包括四个维度： 总体复杂度、从属复杂度、短语复杂度和句法多样性。鉴于句法复杂度测量指标繁多，提供的信息可能重复(Norris & Ortega, 2009)，本研究从每个类别中选取一个代表性指标进行衡量。总体复杂度选取平均T单位长度(MLT),从属复杂度采用每个T单位的子句数量(C/T),均使用二语句法复杂度分析器(L2SCA)(陆小飞、许琪，2016)来测量。短语复杂度的衡量采用每个名词短语的修饰语数量(SYNNP)，句法多样性则采用句子结构的相似程度(SYNSTRUCTa)，即相似度指数越低，句子结构越多样(Révész et al., 2017)，这两项用Coh-Metrix 3.0 获得。

为确保分析的准确度，首先对作文中的连写句和缺乏动词的句子片段做必要更正，对句间空格做了必要调整。之后使用L2SCA和LCA软件的批量处理模式，输入受试初稿和终稿的文本，得到各指标的数据。由于Coh-Metrix3.0软件对拼写错误较为敏感，研究者对两组共120篇作文中的拼写错误进行手动修正后再分析，以便更准确地检测词汇和句法等深层语言特征。

对统计出的各维度数据，使用SPSS的Shapiro-Wilk方法检验，结果表明语言复杂度10个指标在两组各自的初稿和终稿中均呈正态分布，因此采用参数检验进行统计分析。首先采用配对样本t检验比较初、终稿在语言复杂度各维度是否存在显著差异，运用独立样本t检验比较两组终稿是否存在显著差异；然后用GPower软件计算效应量Cohen’s，并根据Cohen(1988)提出的Cohen’s标准(.20、.50、.80分别为小、中、大效应量)，考察不同反馈方式对语言复杂度产生的实际影响程度。

3. 结果与讨论

首先，运用配对样本t检验，对两组各自的初稿和终稿的词汇复杂度进行比较，以考察两种反馈方式对词汇复杂度的影响。第一，通过比较系统反馈组的初稿和终稿的词汇复杂度，结果(见表2)表明词汇密度和词汇多样性存在显著差异，而词汇难度上没有显著差异。

表2. 系统反馈组初终稿的词汇复杂度配对样本t检验结果

初稿的词汇密度显著高于终稿(=3.00,<.05, Cohen’s=.18)，说明修改后文本的实词所占比重显著降低。这可能是因为在反复修改不成功时，学生常采用回避策略，删除不准确的词语以提高分数。在词汇多样性维度，动词等某些具体词类的多样性有显著差异(=-3.38，<.01，Cohen’s=.31)，而整体词汇的多样性并无显著差异。与胡学文(2015)，黄爱琼、张文霞(2018)和龚伟等(2019)的结果相似，系统反馈有利于提升词汇多样性，具体如例1所示。

例1. 系统反馈组词汇复杂度相关的反馈和修改实例

第二，通过比较范文反馈组的初稿和终稿的词汇复杂度，发现词汇难度和词汇多样性两个维度存在显著性差异(如表3所示)。终稿的复杂实词数比例显著高于初稿(=-3.93,<.01,Cohen’s=.62)。考虑到词汇复杂度分析器中把首两千高频词以外的词定义为难词或复杂词，此差异说明学生参照范文修改后，使用了更多的低频词或难词。同时，范文反馈初、终稿在词汇多样性的所有指标均呈现显著差异，且效应量较大，说明学生参照范文反馈进行修改后，文本的词汇多样性亦有显著提升。相关研究(赵俊海、陈慧媛，2012)发现词汇多样性等语言精密性指标是学习者语言复杂度的积极表征。

表3. 范文反馈组初终稿的词汇复杂度配对样本t检验结果

产生上述差异的原因可能在于，阅读范文能激发学习者对语言形式的注意，敏锐地观察到自己的作文与范文间的差异，并模仿使用范文中的复杂词或难词来表达原来的意义，如例2中有学生自发注意到单词“overindulge”和“wellbeing”并应用于终稿。根据注意假设，培养修改能力的第一步就是要“注意”到文本中原本不突出的特征(Schmidt, 1990；Truscott, 1998)。学习者只有注意到某个特征，才有可能对其进行反思和分析。范文反馈激发了这种自发注意，而系统反馈组的学生更倾向于等待评分系统指出错误，再去做出相应的修改。正如Hyland和Hyland(2006)所指出，学生把系统反馈用于修改中，未必表明学生已经掌握了这个语言形式，也未必表明学生发展了自发注意、评价并改正文本错误的元语言能力。

例2. 范文反馈组词汇复杂度相关的反馈和修改实例

其次，使用独立样本t检验比较两组终稿在词汇复杂度各维度是否存在显著差异，以检验两种反馈方式对词汇复杂度的影响有何异同，结果见表4。范文组的复杂实词数比例LS1显著大于系统组(=-2.10,≤.05, Cohen’s=0.86)，且两组的实际差异也较大。这说明学生接受范文反馈后，在终稿中使用了更多的复杂实词，相应地其文本的词汇难度更高。这可能与纠错反馈与非纠错反馈引发学习者不同层面的注意有关。研究发现纠错反馈使学习者更多地注意到语法错误，范文反馈则引导学习者进行更深度处理，更有助于注意到词汇和语块(Hanaoka, 2007; Hanaoka & Izumi, 2012; Coyle & de Larios, 2014)。

表4. 系统反馈组和范文反馈组终稿的词汇复杂度独立样本t检验结果

2) 反馈方式对句法复杂度的影响

首先,使用配对样本t检验，对两组各自的初稿和终稿的句法复杂度进行比较，以考察两种反馈对句法复杂度的影响，结果见表5。

表5. 系统反馈组的句法复杂度配对样本t检验结果

对系统反馈组而言，终稿的平均T单位长度不升反降(=2.65,<.05,Cohen’s=.24)，这意味着修改后的总体复杂度降低。该结果与周丽(2015)不一致，即实验班经过在线写作平台一学年的学习，在句法各方面均有显著改善。其原因可能在于后测的地点、写作时间、题目等均与前测相同(周丽，2015)，频次作用对文本质量的提升(周丹丹，2011)亦不可忽视。

值得注意的是，初稿的相邻句子的句法相似度显著低于终稿(=-3.11,<.05, Cohen’s=1.26)。此指标通过比较相邻句的句法树的相似度来衡量句法多样性，所以该数值越低表明句法形式越多样，亦即初稿的句法反而比终稿更多样。修改后的句法多样性不升反降，这与反馈内容和修改过程密切相关。已有研究指出批改网“只提供动词的使用错误情况，对其他词类没有提供反馈; 在内容、衔接、篇章和结构方面仅有总体评价，没有针对性地提供详细的反馈和修改建议”(张荔、盛越，2015： 43)。加之修改时学生为了提高作文分数，对反馈指出有问题而自己又不会改的地方，采取回避策略，倾向于重复使用熟悉的形式，导致终稿的句法复杂度降低。

对范文反馈组而言，修改前后的总体复杂度和短语复杂度存在显著差异(见表6)。首先，初稿的平均T单位长度显著低于终稿(=-2.53,<.05,Cohen’s=.37)。相关研究(Lu, 2011)表明，平均T单位长度能有效区分二语水平，并随年级增长而递增，这表明修改后的总体复杂度显著提高(如例3)。

表6. 范文反馈组的句法复杂度配对样本t检验结果

其次，初稿的名词短语平均修饰语数量也显著低于终稿(=-3.56,<.01,Cohen’s=.34)，表明修改后文本的短语复杂度显著增强。Norris和Ortega(2009)发现，较高水平学习者的句法复杂度提升表现为复杂短语的使用。本研究的对象是大学生，这说明范文反馈可能对中高水平的二语学习者更有效，因其具备了较强的比较和习得能力，能意识到自我表达能力的局限，进而注意到相应的规范表达，并将其应用到自己的产出中。同时，近期研究表明语言水平较高的二语学习者的写作文本中，除了从属结构指标外，其他句法复杂度指标都相应提升(Ai & Lu, 2013; Bulté & Housen, 2014)；尤其是总体复杂度和短语复杂度与文本质量关系密切(Casal & Lee, 2019)，因此有理由相信范文反馈可显著提高大学生的写作文本质量。

例3. 范文反馈组句法复杂度相关的反馈和修改实例

例2和例3均显示，学生自发注意到范文中表达相似观点的词汇和句子并运用到修改中。根据输出假说，输出，即学习者产出语言的尝试，促进了学习者对所要学习的二语形式的注意，并注意到自己的表达方式和高水平写作者对相同意义的表达方式的差异(Swain, 1998)。“注意到差距”原则，强调了学习者对自己产出的中介语和作为输入的目标语的比较。再者，输出就其本质而言，激活了学习者的认知过程，如词汇的检索、语法的编码及写作过程中的监控等，学习者可能会敏锐地意识到其中介语的局限和问题，这改变了其对随后接受的输入的处理方式。因此，他们会特别注意到某些平时阅读时不太注意的表达或形式(Izumi, 2003)。范文反馈恰恰提供及时的输入，为学习者解决其中介语的问题提供可能。

最后，使用独立样本t检验，比较两组终稿的句法复杂度，发现没有显著的组间差异。原因可能是一次反馈和修改未必对文本产生显著的影响。今后可开展历时研究以进一步探讨不同反馈方式对句法复杂度的影响。

综观纠错反馈的过往研究，发现教师修正性反馈能显著提高词汇复杂度，但不能提升句子复杂度(李勇、邓红霞，2012)。本研究发现系统反馈作为一种纠错反馈，同样可以提高词汇复杂度，却降低了句子复杂度；而在线写作中同伴互评的研究表明，所有的句法复杂度指标变化均不显著，同伴反馈并未直接导致学生论文的句法复杂度提升(许春燕、张军，2018)。上述对三种纠错反馈方式的研究结果，部分地验证了国外学者(Truscott, 1996)关于纠错性反馈对学习者写作能力有负面影响的结论，至少在句子复杂度方面没有帮助；也说明系统反馈在词汇层面上对学习者帮助较大，可以部分地替代教师反馈，而在句法层面的促进作用不显著。

综上，从语言复杂度的视角来看，系统反馈和范文反馈是两种互补的反馈方式，起到相辅相成的作用。系统反馈指出语法层面的不足，但对原本正确的说法不能提供更为精准或恰当的建议；而范文反馈则可提供更地道的语言表达，以及学习者可以借鉴的结构和内容。由此推断，纠错反馈给学习者提供正确语言形式的同时，也将其注意力吸引到语言层面(Boggs, 2019)；而范文反馈以隐性(explicit)反馈的形式，将学习者的注意力更多地引向表达有困难的语言形式，更有利于发挥其主动领悟的能力。

4. 结论与启示

本研究以系统反馈和范文反馈为例，探讨了纠错反馈与非纠错反馈对大学生英语作文语言复杂度的影响，发现两种反馈方式终稿的词汇复杂度有显著性差异，其中范文组使用的词汇难度更高。同时，系统反馈能明显改变词汇密度和词汇多样性，却降低了总体复杂度和句法多样性；而范文组在词汇难度和词汇多样性两个维度均提升显著，在句法的总体复杂度和短语复杂度上亦有明显进步。由此可见，系统反馈和范文反馈对语言复杂度产生错综复杂的影响，两者各有所长，互为补充。

需要指出，范文反馈作为一种非纠错反馈方式，应被纳入到更深入的反馈研究中来。与系统反馈不同，范文反馈完全能够在学习者无意识状态下或者在显性知识缺失的情况下，引发其隐性知识体系的真正变化(韦晓保、施清波，2016)。通过范文反馈，学习者能自发注意到范文和初稿的差异，进行语言和内容的深层加工，进而模仿使用难度更高和更加多样化的词汇和句式。这种二语习得中的自发注意和领悟的过程，有利于培养和发挥学生的学习自主性。同时，范文反馈也会影响到学生的修改观念，即修改并不是单纯地改正错误，而是注意到与目标语差距并习得规范地道表达的过程；修改不仅关注语言表达的正误，还是对思辨能力的锻炼和提高。

实际教学中可将两种反馈方式结合使用，先范文反馈后系统反馈，有望取得更好的修改效果。学生完成初稿之后，先对照范文进行修改，自发注意到语言和内容的差异，包括因不会表达而只能回避的内容；范文在观点和论证方面亦有启发和示范作用，学生能在文章结构和逻辑论证方面受益，这一点系统反馈无法给予。形成第二稿后，再参照评分系统的即时反馈修改，通常会更加关注词汇和标点等语言形式。这种先内容后语言、先句法后词汇的修改流程，更有利于二语写作质量的提高和语言形式的习得，是可行且高效的反馈模式，这也正是反馈研究的实际意义所在。

本研究将范文反馈纳入研究范畴，为写作教学中的反馈策略和策略组合提供了更多选择。未来可对范文反馈进行更深入的研究，关注反馈引发的注意和自发注意与修改的关系；亦可关注不同二语水平学生的修改过程，考察反馈方式和二语水平对修改过程的交互影响。此外，由于本研究采用单一写作任务设计，研究结果的有效性及外推性可能存在一定局限，未来可使用多写作任务的历时研究设计，进一步探讨反馈方式对语言复杂度的长期影响。