在线写作自动评改系统在大学英语写作教学中的应用研究

[摘要]作文批改与反馈是英语写作教学的一个重要环节，对提高学生的英语写作能力有着不可低估的作用。将在线写作自动评改系统与课堂教学整合是英语写作教学改革的重要途径。本研究以句酷批改网为例，以学生的作文样本为研究语料，以问卷调查和访谈等为研究手段，着重探析了在线写作自动评改系统的有效性，并提出应增强在线自动评改系统的智能性及构建多元写作反馈机制。

[关键词]在线写作自动评改系统：英语写作教学；反馈

[中图分类号]G40-057 [文献标识码]A [论文编号]1009-8097（2012）10-0067-05

一、引言

作文批改与反馈（feedback）是英语写作教学的一个重要环节，其目的是向写作者提供修改作文的信息，使其明白自己作文的“组织逻辑性不强”，或“内容发展不够”，或“用词和时态等错误”。这些信息有的是针对学习者作文表层错误的纠错性反馈（corrective feedback）；有的是面向作文语篇层面（如内容和组织结构）的反馈；评语和评分也是信息反馈的重要方面。有研究表明，学生依据反馈信息对作文进行修改，是第二写作过程，对提高学生的语言能力有着极重要的作用例。

传统反馈多以纸质形式呈现，很多教师由于教学任务繁重，对学生的作文批改常常流于形式，给学生的反馈非常有限；大部分学生无法从教师提供的反馈中看到自己作文中实际存在的问题，更遑论进行第二写作过程。

随着现代教育技术的发展，人们对利用网络平台提升学生的写作兴趣、写作方法以及写作应用能力等进行了有益的教学实验和探索。例如，郭晓英研究了博客环境下写作能力的培养模式，而张文霞等、杨永林介绍了清华大学外语系研发的“易得”写作软件的理论背景、技术探索和系统设计过程。但对利用在线写作评改系统加强英语作文反馈的研究还不多见。

二、在线写作自动评改系统的技术特点及其应用

1.技术特点

所谓自动写作评改系统（Automated Essay Scoring，AES），就是利用计算机技术对作文进行评估与评分。该方向的研究至今已历时近四十年，在此过程中，采用了统计、自然语言处理及人工智能等方面的最新成果，并于1999年进入实际应用阶段。自动作文评改系统的研究与应用在国内外已成为计算机辅助外语写作教学的热点。

国外研发成功并投入使用的自动评改系统有十余种，其中最具代表性的是EG（Project Essay Grade）、IEA（IntelligentEssay Assessor）和E-rater。它们各具特色，PEG重语言形式，IEA重作文内容，E-rater则既重形式又重内容，但这些自动评改系统多应用于以英语为母语的写作评估与反馈中，对中国学生的英文写作适用性不太强。

目前在国内多所高校推广使用的句酷批改网（http：//www.pigai.org，以下简称批改网）是一种网上智能批改系统，以SAAS（软件即服务）的方式为教师和英语学习者提供英语作文的在线自动批改服务，旨在为学生提供一个写作环境，给出实时评分与诊断性反馈，激发学生积极修改作文，不断提高写作能力；同时还能减轻教师的作文批改工作量，并帮助教师更加直观地了解学生的英文写作水平。

句酷批改网具有以下特点：

（1）使用便捷

教师登录批改网，布置作文，写明要求，系统生成作文号；学生获得作文号后，在学生帐户页面搜索作文号，找到教师布置的作文题目进行写作并提交；

（2）反馈及时

系统对学生作文进行分析，自动识别词汇、搭配、语法等常见错误，实时给出修改建议和分数。

（3）按句点评

系统除了指出作文每一句中存在的拼写、语法、词汇、搭配错误外，还分析错误类型，为学生用户提供特定知识点的扩展训练、搭配推荐、参考例句等，为学生提供全面的写作指导，帮助学生自主学习。

（4）抄袭检测

句酷批改网在学生提交作文后，以句子为单位，查验该作文是否与本班其他同学作文有内容重复、与本校学生作文是否有重复、与语料库是否有重复、与互联网网页内容是否有重复，并提供重复度指标供教师参考。

（5）进度报告

进步报告记录了一个学校、一个班级或某个具体学生写作能力的成长过程。该报告有利于学校和老师掌握学校、班级学生总体薄弱点和个体薄弱点，了解各知识点掌握程度的变化趋势，为学校和教师进行英语教学的安排提供数据支持。

2.在英语写作教学中的应用

自2011年下半年以来，批改网在我校英语教学中得到推广使用。在使用过程中，教师和学生发现，批改网确实具有上述优点，但也发现了一些问题（如批改网评分与教师评分很多时候不一致）。因此，有必要对以批改网代表的在线写作自动评价系统做一番研究，分析其在英文写作教学中的适切性与局限性，以便使教师和学生更科学合理地使用该工具。

三、在线写作自动评改系统的有效性研究

1.研究问题

本研究旨在探讨以批改网为代表的在线写作自动评改系统对提高学生英语写作能力的有效性。鉴于此，具体研究问题为：（1）大学一年级学生英文写作中主要存在什么问题？（2）作为一种在线自动评改系统，批改网能否帮助学生提高英语写作水平？在哪一方面对学生帮助最大？（3）人工批改与在线工具批改具有什么明显差异？（4）批改网在作文评改与反馈方面还存在哪些局限性？如何改进？

2.研究对象

为了客观、准确地反映实际情况，本研究在抽取研究对象时，考虑了专业特点、学生的写作能力、在线写作经历等因素，选取了英语专业本科一年级两个自然班（27人+28人）以及非英语专业本科一年级3个自然班（33人+35人+38人），共161人。这些学生都必须每周在线提交一篇作文，并由批改网提供反馈意见与评分。

3.研究工具

针对研究问题，本研究采用了作文样本分析、问卷调查、访谈等研究工具。

（1）作文样本（writing samples）。对每个自然班采用随机抽样的方式选取作文各5篇，总共25篇，由批改网与任课教师分别批改，对比分析两者在批改形式、批改侧重点、批改结果、评语、分数等几个方面的异同点。

（2）问卷调查（questionnaire）。学生在进行了为期10周的批改网写作训练后做了该项问卷调查。该问卷共有30题，主要涵盖4个方面的内容：①对英文写作目的、英文写作中包含的重要因素以及自己英文写作水平的总体认知；②对自己作文中的错误如何纠正的看法；③使用批改网的具体情况；④对批改网的评价以及使用批改网后的效果。

（3）访谈（interview）。本研究还分别对教师和学生进行了半结构访谈（semi-structured interview），更深入地了解教师和学生对批改网的评价以及在使用过程中出现的问题。接受访谈的教师为4位任课教师：学生为每个班的批改网系统中记载的成绩好、中、差各2名学生，共10名学生。

4.研究结果

（1）问卷调查的结果。

1）学生对自己英语写作水平的认知。在152份有效问卷中，大多数学生认为自己的英语写作水平一般或较差；在被问及到作文中的主要问题时，学生的回答较为多样：42.7%的学生认为是思想表达不清，37.5%的学生认为是前后不连贯，整体性差；63.2%的学生认为是用词不当或词汇单调；67.1%的学生认为是语法错误多，56.6%的学生认为是句型单一（见表1）。多数学生认为自己在词汇、语法、句型方面有待提高。

2）对自己作文中的错误如何纠正的看法。

在回答喜欢老师面批还是书面批改时，152份有效问卷中，绝大多数学生喜欢教师个别式面批；而在教师书面批改中，59.9%的学生喜欢教师详细评点语法及用词上的错误，喜欢教师“标出错处、留待学生改正”的只占21.1%；只有少数学生喜欢教师“简单谈谈大体印象”这种方式或“只写出分数或等级”（见表2）。

3）学生使用批改网的情况。

大多数学生（86.8%）很希望并很有信心（78.3%）能通过使用批改网提高自己的英语写作水平，对此有很大的期待；但很多学生（65.1%）只是在老师要求时才使用批改网写作文；一些学生（47.4%）会根据批改网提供的点评重新修改自己的作文直至得到满意的分数。

4）学生对批改网的评价及使用的效果。

从表3可以看出，被试学生认为，批改网最大的优势是批改及时，其次是能很快获知自己作文的分数。“按句点评”也被很多学生认为是批改网较大的优势，但对“提供同义词、扩大了词汇量”和“提供评语，能了解作文的每一项情况”，不赞同的学生数明显上升。

被试学生认为，批改网最大的问题是提供的词汇和语法方面的反馈较多，但关于作文的思想内容、逻辑性和连贯性以及篇章结构方面提供的反馈较少。

从表4可以看出，近一半左右（48%）的学生对使用批改网持非常喜欢和比较喜欢的态度；一些学生（36.2%）会根据批改网提供的点评意见反复修改自己的作文，直至满意的分数；批改网对学生作文中的词汇和语法帮助最大。

（2）作文样本分析结果。

为了更深入地了解批改网的优点与不足，我们对人工批改与网络批改进行了定量和定性分析。

首先，我们按错误类型对25份作文样本进行了统计，具体包括以下几个参数：1）思想内容（主题是否明确、有新意；文章是否跑题）；2）篇章结构（内容是否分引言、正文和结尾，是否分段论述，是否有中心思想句和主题句）；3）连贯性（段落是否衔接良好）；4）语法（主谓一致、名词单复数、动词时态、冠词等）；5）句型（句子的结构是否正确）；6）词法（用词是否正确、贴切，搭配是否合理）；7）写作常规（大小写、标点符号、拼写等）。根据的错误性质不同，这些参数予以不同的加权，有的1个错是1个百分点：1=1%，有的是3个错算1个百分点：3=1%。统计结果见表5。

其次，我们还对作文样本做了详细的定性分析，其结果发现：1）批改网给出的反馈信息多为提示性的，内容比较宽泛，不够具体；而教师给出的反馈信息则比较直观明了。大多教师不仅划出作文中的错误，还给出了修改建议，或直接修改错误点；2）批改网提供大量近义词辨析，而教师评改则较少提供类似信息；3）批改网大多不改变学生作文中的原有句型，而教师评改则更加灵活。

例如，针对学生作文中的错误句“In China，English is took to be a foreigh language which many student choosed to learn”，两者的反馈信息各有侧重（见表6）

5.分析与讨论

从上述研究结果可以看出，绝大多数学生喜欢教师个别式面批，或详细评点语法及用词上的错误，但一般情况下，由于教师教学工作量大，难以满足每个学生的这一需求。批改网能充分满足学生个性化评改和反馈的需求，并在词汇、语法层面给予学生比较充分的评改与反馈，因此，大多数学生喜欢使用批改网，并会根据批改网的点评意见反复修改自己的作文，直至得到满意的分数。这对提高学生的写作能力起到了积极的作用，因为过程写作理论认为，写作过程是非直线性的。一篇结构完整、表达清楚、读者易懂的作品最终得以完成，需要经过反复思考，反复修改。

然而，目前自动写作评改系统对学生作文的评价主要集中在词汇层面和部分较为成熟的语法分析。由此，自动写作评改系统的评分只是对作文中语言使用的一个大概的评估，无法准确地评估作文的内在质量，如写作的流畅性、句子结构的复杂度、文章的措辞、内部的逻辑性与关联性等，因而也就无法全面评估学生的英文写作水平。

针对这一问题，可采取以下两种方法弥补其不足。

第一，信息技术人员与应用语言学家共同努力，提升在线自动评改系统的信度。充分利用人工智能技术，尤其是自然语言处理及智能语言辅导技术，构建新的写作自动评改系统模型（见图4），使之不仅能提供每篇作文的总分，还能提供写作内容、篇章结构、语体、词汇、语法及格式规范的各单项分及个性化反馈，更多关注对文章思想内容的评估。

第二，在大学英语写作教学中构建多元反馈机制。建立一种融教师反馈、自动评改工具反馈及利用网络平台的同伴反馈（peerfeedback，即同学间互相评改作文）的多元反馈机制，以弥补单一反馈模式的不足。有研究表明，同伴反馈能（1）增强学生的读者意识；（2）提高学生学习和掌握英语写作技巧的积极性；（3）提高学生的文章质量意识：（4）明显提高学生作文内容和语言质量；（5）帮助学生形成英语学习社群。利用网络平台进行同伴反馈是较好的弥补手段。

四、结语

在线写作自动评改系统的实时反馈有效激发了学生的写作兴趣，增加了作文的修改频次，达到了以评促学的目的，凸现了过程写作学习法的重要性。由于系统自身的技术特点，在词汇和语法层面给予学生的帮助较大，但在篇章结构、内容逻辑性和连贯性层面的优势并不明显。因此，既要增强评改系统的智能性；也要补充其他反馈手段，以弥补其不足。

本研究时间短，调查范围也有限，因此具有一定的局限性。后续研究将扩大研究范围，更深入地探讨在线自动评改系统在写作教学中的应用效果及对学生写作能力的影响。

基金项目：本文为江苏省教育厅2012年度高校哲学社会科学研究基金项目‘‘基于网络平台的人际互动与话语结构研究”（编号2012SJB740024）、江苏省现代教育技术研究2012年度重点课题"Blackboard网络课程管理系统支持下的整合型外语教学研究”（编号2012-R-21572）、南通大学2011年度教学研究课题“基于Blackboard网络平台的《综合英语》立体式教学的行动研究”（编号2011826）的阶段性研究成果。

作者简介：石晓玲，南通大学外国语学院副教授、硕士生导师。研究方向：语言与文化，应用语言学，计算机辅助外语教学。

收稿日期：2012年5月21日

编辑：李婷