外语教学中的作文自动评价系统研究述评*

王利娜

（上海健康医学院,上海 201318）

随着语言处理、信息提取等方面技术的不断进步，作文自动评价系统（Automated Writing Evaluation）得以开发应用。作文自动评价系统是一种计算机应用软件，能够自动生成作文评分，并且/或者在语言、内容、篇章结构、技术规范等方面对作文进行反馈。常见的作文自动评价系统有Criterion、MY Access!、句酷批改网、iWrite英语写作教学与评阅系统等。《大学英语教学指南（2020版）》指出：大学英语应大力推进最新信息技术与课程教学的融合……使学习者朝着主动学习、自主学习和个性化学习方向发展[1]。另外，近几年国内外很多高校采取线上线下相结合的教学方式，也使得作文自动评价系统的应用更加广泛。有关作文自动评价系统的理论和实证研究也成为近几年外语教学领域的研究热点。本文将从对作文自动评价系统的介绍及评价、教师和学习者对作文自动评价系统的态度调查研究、教师和学习者对作文自动评价系统的具体应用研究、基于作文自动评价系统的在线反馈有效性实证研究四个方面对外语教学中的作文自动评价系统研究进行述评。

一、作文自动评价系统的介绍及评价

目前国内外比较流行的作文自动评价系统有E-rater，Criterion，My Access!，句酷批改网，iWrite等。梁茂成和文秋芳（2007）介绍了国外三种作文自动评价系统：Project Essay Grade，Intelligent Essay Assessor和E-rater。Project Essay Grade重语言形式，擅长对语言质量的分析，但是对语言内容不做分析。Intelligent Essay Assessor重作文内容，擅长对作文内容质量的分析，但是不分析作文的语言质量，对篇章结构也不作分析。而E-rater既重语言形式和作文内容，又重篇章结构。其语言、内容和篇章结构三个模块与人工评分要素更为吻合，但是它对作文的内容质量分析存在不足，而对篇章结构的分析也拘泥于文本的表层特征，其对语言质量的分析也不够全面[2]。两位学者在分析这三种国外作文自动评价系统的长处和不足的基础上，提出了对我国自主开发作文自动评价系统的启示。王颖和李振阳（2012）介绍了E-rater,Criterion,My Access!三种作文自动评价系统，并对其进行了评价[3]。

二、教师和学习者对作文自动评价系统的态度调查研究

教师和学习者对作文自动评价系统的态度在一定程度上会影响到他们对作文自动评价系统的具体应用及其使用效果。已有研究表明，教师和学习者对作文自动评价系统的态度有很大不同。Lai（2010）调查了22名英语为外语的学习者对同伴反馈和My Access!反馈的态度，结果表明相较于作文自动评价系统，学习者更倾向于同伴反馈。在虚拟课堂中，学习者没有办法体会到人性化的教学。大多数学习者认为作文自动评价系统反馈过于笼统，无法据此作出修改，他们对作文自动评价系统做出的模糊的、固定的有时还是重复的反馈并不满意[4]。李奕华（2015）通过问卷调查发现学习者对句酷批改网的评分结果的满意度较低。学习者认为句酷批改网仅从语言上评价写作，无法评价内容的相关性和结构的合理性，并且关于写作的建议也比较空泛。但是，由于基于句酷批改网的线上反馈方式使学习者无需与教师面对面，这能够在一定程度上缓解他们的写作焦虑[5]。Li et al.（2015）就Criterion在教学中的应用对学习者和教师进行了访谈。教师肯定了此系统对学习者写作的积极作用。但是学习者中的观点却不一致，这与学习者的语言水平以及教师对作文自动评价系统的观点及具体使用相关[6]。也有研究表明学习者对作文自动评价系统持肯定态度。张珊珊和徐锦芬（2019）发现不同水平的学习者对句酷批改网提供的在线自动反馈是否有效态度不同，低水平组学习者感知有效性得分高于高水平组学习者的得分[7]。综上所述，教师和学习者对作文自动评价系统的接受度有所不同，对其是否能够有效促进外语教学也意见不一，这有待未来研究进一步考察。

三、教师和学习者对作文自动评价系统的具体应用研究

教师和学习者对作文自动评价系统的态度及其对教学技术的掌握程度在一定程度上会影响到他们在教学中对作文自动评价系统的具体应用。Chen &Cheng（2008）通过对教师和学习者的访谈，调查了台湾三个大学英语写作课堂上教师和学习者对My Access！的使用情况。他们发现学习者在初期的草稿和修改的过程中对作文自动评价系统的使用更为积极。但是，如果不对学习者使用My Access!加以辅助的话，会使学习者产生挫折感，并限制他们的写作学习[8]。另外，教师对作文自动评价系统的使用态度和技能，以及学习者的特点及写作学习的目标，也会影响到他们对作文自动评价系统的具体应用。卢鹿（2016）采用有声思维和回溯访谈的方法，研究了学习者基于句酷批改网的二语写作过程。研究发现学习者能够充分关注句酷批改网做出的自动反馈信息，学习者的作文修改过程经历了分析问题、修改语言和检验成效三个阶段[9]。Ranalli（2021）通过屏幕截图、刺激回忆以及访谈的方式调查了学习者使用Grammarly的参与度，以及学习者对其反馈的信任程度。结果发现，学习者更倾向于把Grammarly当成是校对工具而不是反馈工具[10]。这可能是因为该系统对大部分错误都给出了具体的修正方法，因此学习者几乎不需要再自行更正。而学习者对Grammarly的信任程度也决定了其对Grammarly反馈的参与度。

四、基于作文自动评价系统的在线反馈有效性实证研究

随着作文自动评价系统的应用越来越广泛，对其有效性的实证研究也不断涌现。Attali（2004）研究了Criterion提供的反馈是否有助于学习者后续作文的修改。结果表明学习者在一定程度上能够理解并关注到Criterion做出的反馈，并且在后续作文稿中纠正错误[11]。此研究将学习者提交作文稿的次数作为衡量学习者作文自动评价系统使用情况的指标。学习者作文稿提交的次数可以粗略估计学习者使用作文自动评价系统的频率，但是仅根据学习者作文稿提交次数判断学习者是否受益于作文自动评价系统是不准确的。Li et al.（2015）同样考察了Criterion在以英语为二语的写作教学中的使用情况。结果发现，Criterion可以促进学习者作文稿修订次数的增加，基于Criterion的反馈有助于提升初稿到终稿的准确性[6]。相较于Attali（2004）的研究，他们不但考察了学习者作文稿修订的次数，还把作文准确性也纳入统计，结果更加令人信服。

近些年来，国内学者对作文自动评价系统在我国英语写作教学中的效果也进行了探索。吕婷婷等（2015）研究了大学英语写作教学中数字化写作资源平台的作用。结果表明，这一平台的自动反馈能够促进学习者的英语写作学习。他们提出在产出性词汇的知识深度层面，需要加强对语境的智能化理解，并完善深层次的语义反馈[12]。李奕华（2015）以90名英语专业本科生为研究对象进行了实证研究。结果发现单纯的句酷批改网自动评分反馈对学习者整体写作水平提高的效果较小，教师干预下的句酷批改网自动评分反馈方式更能提高学习者的写作水平[5]。张华（2019）的研究同样证实了相较于在线自动反馈，人机多元反馈更有利于学习者写作质量的提高[13]。龚伟等（2019）分析了不同水平组学习者在32周的时间里在句酷批改网上的作文完成情况，发现基于句酷批改网的作文自动评价有利于学习者语言复杂性的发展，有无混合教师人工批阅对句法复杂性的影响大于词汇复杂性的影响[14]。张珊珊和徐锦芬（2019）研究了句酷批改网对不同水平学习者写作的影响，结果发现在线自动反馈影响写作过程，促进多稿多改，但是仅对低水平学习者有帮助，而高水平学习者的写作水平并无提高。张亚和赵永刚（2020）的实证研究发现句酷批改网反馈能够显著提升学习者的英语写作水平，但句酷批改网组写作水平的提升幅度小于教师口头反馈组，大于教师书面反馈组。但是，各组之间的差异并不显著。句酷批改网对学习者写作词汇句法维度的提升效果最好[15]。由此可见，目前为止对于外语写作教学过程中基于作文自动评价系统的线上反馈是否能够有效促进外语写作教学还没有形成定论。

结语

本文从对作文自动评价系统的介绍及评价、教师和学习者对作文自动评价系统的态度调查研究、教师和学习者对作文自动评价系统的具体应用研究以及基于作文自动评价系统的在线反馈有效性实证研究四个方面对外语教学中的作文自动评价系统研究进行了述评。研究发现，教师和学习者对作文自动评价系统的接受度有所不同，对其是否能够有效促进外语教学的效果也意见不一。教师和学习者对待作文自动评价系统的态度在一定程度上会影响到教学中对作文自动评价系统的具体应用以及线上反馈的效果。另外，由于作文自动评价系统技术和设计本身具有局限性，语言教师需要更加批判性地认识到，作文自动评价系统的实施需要经过深思熟虑的教学设计。如何有效实施基于作文自动评价系统的线上反馈是实现作文自动评价系统促进学习者写作水平提升的关键之所在。但是，目前针对外语教学过程中基于作文自动评价系统的线上反馈是否能够有效促进外语教学尚未形成定论。基于作文自动评价系统的大学英语写作教学在线反馈的最优模式也有待进一步挖掘。