作文自动评价系统在大学英语写作教学中的实证研究

李霞+钟兰凤

[摘要]作文批改与反馈是英语写作教学的重要一环对提升学生的大学英语写作水平的作用不可低估，以教育部高等学校大学外语教学指导委员会《大学英语教学指南》（征求意见稿）中有关教学模式改革的相关精神为指导，以基于语料库和云计算的句酷批改网为例，通过实证研究探讨自动评价系统在大学英语写作教学中的有效性。研究发现。批改网反馈及时能提高写作反馈成效，减轻教师作文评阅压力，激发学生自主写作热情，提升其写作水平，这是改进现有英语写作教学模式的有效手段。但研究也显示该系统存在一些不足，还需要不断更新与完善，在此基础上为作文自动评价系统的改善提出了一些建议。

[关键词] 自动评价系统；大学英语写作；批改网；反馈；语料库

[中图分类号]G642.4[文献标识码]A[文章编号]10054634（2017）01005705

0引言

近年来我国高校不断扩招，学生人数众多，师资紧张，作为基础课的大学英语普遍采用大班化教学模式，根据国家教育指导委员会2008年的调查，常规本科生与教师的比例为148∶1[1]。大学英语教师面对庞大学生群体，对学生作文评阅存在任务重、效率低、反馈不及时、主观性强等诸多问题。张雪梅认为由于反馈质量及针对性不强等问题，我国二语写作普遍存在着费时、低效的现象[2]。

教育部高等学校大学外语教学指导委员会在《大学英语教学指南》（征求意见稿）（以下简称《指南》）为大学英语写作教学模式改革指明了方向。《指南》[3]指出“大学英语应大力推进最新信息技术与课程教学的融合，继续发挥现代教育技术，特别是信息技术在外语教学中的重要作用。大学英语教师要与时俱进……在具体的课堂教学设计与实施过程中，融入并合理使用信息技术元素”。作文自动批改系统（automated essay scoring，AES）通过人工智能、网络技术及语料库技术对作文进行自动评价，其发展为基于计算机和网络技术的教学模式改革提供了新的视角。在国外，这种系统已在托福、GMAT、TWE等重大考试的写作评估中广泛使用。国内学者也陆续重视此系统的研究，并自主研发出了一些写作智能反馈平台。如句酷批改网、冰果英语智能作文评阅系统等。

由于计算机自动评价系统在我国投入使用的时间不长，对这些平台的使用效果，国内目前还缺乏系统性研究。本研究拟尝试在《指南》指导下，利用计算机和网络技术，以笔者执教的学生为实验对象，对作文自动批改系统在大学英语写作教学模式改革中的效果及影响进行深入探析。

1文献综述

1.1国外自动评价系统

所谓作文自动评价系统（AES），就是利用计算机和网络技术对作文进行评估与评价。国外的作文自动评价系统比国内起步早。美国杜克大学于1966年开发出第一套作文自动评价系统PEG（project essay grader）。此后，人们采用统计、自然语言处理及人工智能等方面的最新成果，使该项技术得到了长足发展。目前在国外投入使用且比较成熟稳定的自动评价系统除PEG外，还有IEA （intelligent essay assessor）、 Erater（electronic essay rater）、 IntelliMetricTM、Holt Online Essay Scoring等。PEG比较注重语言形式，IEA则注重作文内容，而Erater既重形式又重内容[4]。IntelliMetricTM、Holt Online Essay Scoring更为先进，能从写作的各个角度，如遣词造句、内容体裁、语体语法、组织结构以及写作格式等分析学生的错误。然而以上评价系统均为英语为母语的学生而设计，对于我国二语习得者，国外现有的研究成果不一定适用，因此将开发符合中国国情的作文自动批改系统提上日程。

1.2国内自动评价系统

国内关于计算机自动评价系统的研究起步较晚，但也取得了一定的成绩。如梁茂成教授团队研发的“大规模考试英语作文自动评价系统”于2005年申请了国家专利，得到了许多知名学者的肯定。有些企业也开发了此类軟件，如句酷批改网及冰果英语智能作文评阅系统。冰果侧重作文整体评价，不指出文章的细节错误，只给出最后得分和评语。目前，国内多所高校正推广使用基于语料库和云计算的句酷批改网（the pigai system），它是一种以SAAS（软件即服务）的方式为教师和英语学习者提供英语作文网上智能批改的系统，具有反馈及时、按句点评、抄袭检测、提供进度报告等优点。

1.3反馈理论

Ur[5]认为反馈在教学环境里通常指为了改进、提高学生的学习效果而对其某一学习任务完成情况发回的信息。在写作领域，反馈是读者向作者提供修改作文的信息。有效的写作反馈能帮助学生发现自己写作中的盲点及不足，促使其对作品进行反省和改进，最终提高写作水平。

国内外学者从不同角度对反馈进行了大量调查研究。根据反馈的来源，反馈可分为教师反馈、同伴反馈以及计算机反馈。有些学者对教师反馈进行了深入探索，相关研究发现教师反馈对学生英语写作水平的提高起着重要的促进作用[67]。同伴反馈与英语写作有着正相关的关系，能够校正学生写作动机，培养批判性思维及分析技能，转变写作态度，提高读者意识，形成学习社群[89]。然而，也有研究者对同伴反馈提出了质疑，认为由于自身水平的限制，学生对作文表层语法等方面的修改较多，而对深层篇章结构等方面关注较少，因而很少能提供高质量的反馈[10]。

随着科学技术的发展及计算机的普及，教育技术迅猛发展，计算机在语言教学中的作用日益增大。研究者顺应此趋势，提出了网络反馈方法。从网络资源利用、网络背景下的师生互动和写作软件开发应用等方面探讨了网络反馈对写作能力培养的重要作用[1113]。然而，目前国内对作文自动评价系统在大学英语写作教学中的实证研究还不多，且缺乏系统性。

2研究设计

2.1研究问题

本研究关注以句酷批改网（以下简称批改网）为代表的作文自动评价系统对提高大学生英语写作水平的有效性。具体探讨以下问题。

1） 与传统教师人工反馈模式相比，批改网提供的反馈是否能更有效地促进学生英语写作能力的提高？

2） 批改网是否能更好地培养学生写作兴趣和自主写作意识？

3） 学生对批改网应用于大学英语写作教学的态度和评价如何？

2.2研究对象

参与本次实证研究的对象是江苏省某重点院校非英语专业大一学生，共计118人，由两个不同的平行班组成。随机抽取一个班为实验班（60人），教师通过批改网来辅助写作教学；另外一个为对照班（58人），教师使用传统书面反馈模式指导学生英语写作。本研究对这两个班进行持续两学期的比较性研究。为避免影响实验的效度，学生并不知晓其正在参加教学方法实验。

2.3研究方法及工具

本研究采用定量与定性研究相结合的方法。定量研究包括采用SPSS22.0对两个班学生实验前后英语写作成绩以及问卷调查的封闭式问题进行统计，使用独立样本t检验分析检测两班是否存在显著性差异。利用Wordsmith6.0软件统计实验班与对照班后测作文语料；定性研究主要以教师平日观察记录以及问卷调查中开放式问题回答分析展开，以便进一步检验实验结果。本研究所应用的在线写作批改平台为比较成熟稳定的句酷批改网，其评价与人工评价基本一致率达到91.55%[14]。批改网使用流程见图1。

2.4研究过程

本研究分为以下3个阶段。

1） 实验前。选取笔者所带的两个班作为实验班和对照班。在开学初对实验班学生进行了批改网使用培训，以避免学生因不会使用该系统而影响其写作质量。

2） 实验中。本实验为期2个学期，共30周。实验班和对照班由同一教师任课，课程设置、使用教材及教学进度一致。每完成一个课程单元则布置一篇与课文主题相关的作文。实验班学生利用批改网写作，根据系统反馈自行修改作文，修改次數不受限制。对照班则采取传统的人工评阅方式进行批改，教师鼓励学生根据反馈进行自我修改。

3） 实验后。收集并对比实验班和对照班的写作后测成绩，并将其与前测成绩进行对比分析，统计实验班与对照班后测作文语料信息，同时对学生进行问卷调查。

3结果与讨论

通过两学期的教学实验，笔者利用SPSS22. 0对实验班与对照班的前测和后测写作成绩开展独立样本t检验，使用Wordsmith6.0软件统计实验班与对照班后测作文语料信息，结合问卷调查结果进行分析讨论。

3.1实验前作文成绩分析

实验前，本研究对两班作文成绩进行了独立样本t检验，结果如表1所示。

3.2实验后作文成绩分析

实验后，本研究对两班作文后测成绩进行了独立样本t检验，结果如表2所示。

3.3实验后作文语料分析

作文质量不能仅考察写作成绩，还应从诸如作文字数、词汇丰富度、句子长度等方面进行综合考察。表3是利用Wordsmith6.0软件得出的实验班与对照班后测作文语料统计信息。

从表3可以看出，实验班作文语料的库容量、形符、类符、标准化类符形符比、平均词长、平均句长等指标均比对照班作文语料大。实验班的库容量为13 654，而对照班为10 845，王初明等[15]认为作文的长度可以作为写作质量的一个指标。全国大学英语四六级考试作文在字数上的不同要求也反映了作文长度是评价写作能力的标准之一。标准化类符形符比可以用来反映词汇的丰富程度，比值越大，用词变化量越大。实验班的标准化类符形符比（35.17）大于对照班的数值（33.54），因此，实验班的学生用词变化更大。平均词长和平均句长能部分反映词汇及句子的复杂度。从表3的数据来看，对照班学生所写作文单词和句子较实验班来说都相对简单。

综上可见，实验班通过使用批改网，其在作文分数、作文长度、词汇使用、句子长度等方面均比对照班占优势。

3.4学生调查问卷及结果分析

为进一步检验实验数据结果，了解学生对自动批改系统的态度和看法，笔者在实验结束后对实验组的60名学生进行了问卷调查。60份回收问卷全部有效。问卷主要围绕以下两点展开：（1）实验班学生使用批改网后，学生的写作能力、写作兴趣及自主写作意识是否有变化？（2）实验班学生对批改网的评价如何？

第一，多数学生对于使用批改网进行在线写作持积极肯定态度，认为自动批改调动了他们的自主学习积极性，激发了写作信心和兴趣。仅有5%左右的学生反对使用该系统。83.3%的学生写作愿望加强。70%的学生认为在批改网的帮助下语言错误数量减少。75%的学生认为作文内容及词汇比以前更丰富。81.7%的学生认为总体写作水平有了一定提高，这一点与本研究的实验结果一致。

第二，大部分被试学生认为批改网有如下优点。（1）评阅迅速及时，给出客观翔实的评价报告，比教师批阅效率高。在线提交作文之后，系统会立即作出评价，给出分数，自动识别诸如拼写、词汇、搭配、语法等常见错误，给出修改建议并提供相关扩展训练、搭配推荐、参考例句等，学生能随时根据评价对作文进行多次修改，提高分数；（2）提供大量详实可靠的写作语料，帮助学生提高自主学习能力。60%的学生会利用批改网中的语料库检索功能进行例句、语块、搭配、语段、知识点、同题材作文等检索。学生在真实的语言使用实例中自我发现、自我思考、探索语言规律，在语料驱动的学习模式（datadriven learning）下，提高自主学习能力；（3）档案系统高效方便。批改网为学生提供个人学习档案及学习日志，其提交的作文成绩轨迹及评价报告均保留在电子档案里。这对学生了解自身学习过程，掌握学习情况，进行反思非常有帮助；（4）师生交流更顺畅。教师可在“我的网站”上传各种写作资料供学生学习。学生也可将自己遇到的问题发到批改网上的BBS交流平台，与教师或其他学生一起探讨。62%的学生喜欢这种师生、生生间的交流。

第三，学生也指出了批改网在实际使用中存在的一些问题。（1）评语过于机械化且不够具体。这个结果和一些研究者的发现一致[1617]。句酷网注重对学生作文的拼写、词汇及句法等方面的评价，对于写作的篇章结构、思想内容、逻辑、衔接与连贯性、批评性思维能力等方面反馈的意见较少，这也反映出计算机评价的一大缺陷，即在技术层面上没能像人一样去“欣赏”一篇文章[18]；（2）批改网能指出一些语法结构错误以及学生常犯的“中式英语”，但未给出确切修改意见，学生有时无法自己更正，需要教师给出具体反馈；（3）准确性有待提高。有些学生认为批改网不能准确评价作文的体裁，如学生将作文体裁写错，但仍可能得到较高分数。有些按句点评并未读完整个句子，武断地评价句子错误。因此对于批改网给出的作文分数不可盲目推崇，需客观看待。

4结束语

作文自动评价系统是信息时代下英语教学与计算机技术相结合的产物。它的兴起极大地提高了作文批改效率，减轻了教师工作量，为学生提供了丰富的学习资源培养其自主学习能力，符合以学生为中心的教学理念。同时它可收集大量教学数据，详细记录学生个人学习档案，为英语教学、管理与研究提供了充足的资源。作为一种新型的在线英语作文评阅系统，批改网有利于促进外语教学朝着信息化、个性化和自主化方向发展，为大学英语写作教学改革提供了一个全新的视角，一定程度上代表了英语教学未来多模态的发展趋势，有着广阔的发展前景。但系统本身也存在一定的缺陷，如评语过于泛化、不能从批叛性思维等深层角度培养学生的写作能力等。“把教育技术引入传统课堂并不是一个简单的工具运用问题，而是牵扯到教与学方方面面的系统性变革[16]”。因此，在大学英语写作教学中应构建多元反馈机制，将自动评价反馈与教师反馈、同伴反馈相结合，以弥补单一反馈模式的不足。同时，批改网应大量搜集广大师生使用者的反馈意见，及时更新语料库，并与语言学家、教育学家共同协作，充分利用人工智能技术，进一步提高批改网的信度、效度、智能性和可操作性，使其在大学英语写作教学中发挥更长远的功效。

本文以批改網为例，探讨了作文自动批改系统在大学英语写作教学中的应用及效果，由于条件的限制，本研究尚存在一些局限性。第一，实验工具只选用了目前被一些高校广泛使用的句酷批改网，得出的结论并不一定适用于其他作文自动评价系统；第二，调查的范围较小。笔者只选取自己所带的两个班级来进行实验，学生样本数量小且研究周期比较短。因此实验结果的普遍性有待进一步做大规模的实证性研究。

英语写作是促进学生英语综合应用能力发展的有效途径，有利于培养学习者创新和批判性思维、跨文化交流等素养，充分体现了英语的工具性及人文性，是大学英语教学的重难点。笔者希望相关研究能成为打破英语写作教学瓶颈的一个新的突破口，更好地推动我国大学英语教学改革。

参考文献

[1] 王海啸.大学英语教师与教学情况调查分析[J].外语界，2009（4）：613.

[2]张雪梅.大学英语写作教学现状之调查[J].外语界，2006（5）：2832.

[3]中华人民共和国教育部高等学校大学英语外语教学指导委员会.大学英语教学指南（征求意见稿）[EB/OL].（20150506）[20160522].http：//wyx.zzia.edu.cn/s/11/t/333/c7/c3/info51139.htm.

[4]梁茂成，文秋芳.国外作文自动评分系统评述及启示[J].外语电化教学，2007（5）：1824.

[5]Ur P A. Course in language teaching practice and theory [M].Cambridge：Cambridge University Press，1996：242294.

[6]Chandler J. The efficacy of various kinds of error feedback for improvement in the accuracy and fluency of L2 student writing[J].Journal of Second Language Writing，2003，12 （3）：267296.

[7]刘浩.交互性英语课堂教师反馈研究——以“个性化英语学习”课程为个案[D].天津：南开大学，2015.

[8]Paulus T. The effect of peer and teacher feedback on student writing[J].Journal of Second Language Writing，1999，8（3）：265289.

[9]蔡基刚.中国大学生英语写作在线同伴反馈和教师反馈对比研究[J].外语界，2011（2）：6572.

[10]Leki I. Coaching from the margins：issues in written response// Kroll B. Second language writing： research insights for the classroom[C].Cambridge：Cambridge University Press，1990：5768.

[11]Warschauer M. Networking into academic discourse [J].Journal of English for Academic Purposes， 2002（1）：4558.

[12]蒋学清，蔡静，唐锦兰.探析自动作文评价系统对大学生英语写作能力发展的影响[J].山东外语教学，2011 （6）：3643.

[13]王颖，李振阳.国外二语写作中电子反馈模式的研究评述[J].外语电化教学，2012 （146）：1116.

[14]張跃.设计产品一定要遵循两个“凡是”[EB/OL].（20110731）[20160522].http：//www.csdn.net/article/20110731/302431.html.

[15]王初明，牛瑞英，郑小湘.以写促学——项英语写作教学改革的试验[J].外语教学与研究，2000 （3）：207212.

[16]唐锦兰，吴一安.在线英语写作自动评价系统应用研究述评[J].外语教学与研究，2011（2）：273282.

[17]石晓玲.在线写作自动评估系统在大学英语写作教学中的应用研究[J].现代教育技术，2012（10）：6771.

[18]Page E B. Project essay grade：PEG//Shermis M D， Burstein J C.Automated essay scoring：a cross-disciplinary perspective[C]. Mahwah.NJ：Lawrence Erhaum Associates，2003：4354.

AbstractFeedback plays a crucial role in English writing teaching. Its importance to help improve students′ writing skills cannot be underestimated. This study， with the guidance of College English Teaching guide （draft version） formulated by ELT Advisory Board under the Ministry Education， attempts to take pigai System as an example to explore effectiveness of applying AES to EFL writing teaching. The result indicates that AES not only helps to relieve the heavy burden of college English teachers， but also has a positive effect on enhancing students′ writing competence and stimulates students′ autonomous writing enthusiasm. It is an effective method for improving the teaching mode of English writing.Some deficiencies of such AES system， however， are also revealed in the study and thus some suggestions were put forward.

KeywordsAES；EFL writing；the pigai system；feedback；corpus