自动作文评分系统应用于大学英语写作教学的调查分析

钟建玲，李 勇

(1.华南农业大学 外国语学院，广东 广州 510642；2.广西大学 外国语学院，广西 南宁 530004)



自动作文评分系统应用于大学英语写作教学的调查分析

钟建玲1，李 勇2

(1.华南农业大学 外国语学院，广东 广州 510642；2.广西大学 外国语学院，广西 南宁 530004)

本研究主要针对非英语专业学生，通过问卷调查和访谈，了解他们对英语自动作文评分系统的使用情况及满意度。研究结果表明，学生普遍对该评分系统比较满意。自动评分系统可以有效增加学生修改作文的频次，但对作文的思想内容、结构方面的反馈有待完善。教师应加强引导，建立多元反馈机制，以充分发挥人工评改和智能评改的优势，促进学生写作兴趣和能力的提高。

大学英语写作；自动作文评分系统；调查分析

一、自动作文评分系统简介和研究问题

《大学英语课程教学要求》明确要求，在大学英语教学中使用信息技术提高教学效果，使英语教学不受时间和地点的限制，朝着个性化、自主式学习方向发展。随着计算机和互联网技术的不断发展和普及，教育信息技术已经广泛应用于高校英语教学，在国内外，自动作文评改系统的研究与应用也成为计算机辅助外语写作教学的热点。

自动作文评分就是利用计算机技术对作文进行评估与记分(Shermis & Burstein 2003 )。该方向的研究至今已历时近40年，在此过程中，采用了统计、自然语言处理及人工智能等方面的最新成果(Dikli 2006 )，并于1999年进人实际应用阶段(Kukich 2000 )。自动评分系统具有可靠性、客观性、经济性、即时性、互动性等优点，因此，被越来越广泛地应用于写作教学领域。目前国外比较成熟的自动作文评分系统有Project Essay Grade (PEG)、Intelligent Essay Assessor (IEA)、Electronic EssayRater (E-rater) 、IntellMi etricTM和Bayesian Essay Test Scoring system(BETSY)和Larkey的系统。国内最早涉足自动作文评分领域的是梁茂成(2005),其研究方向是中国学生英语作文的自动评分。[1]据笔者所知，目前在国内使用的作文自动评分系统主要有“冰果英语智能作文评阅系统”和 “句酷批改网”( pigai．org)。那么，在实际英语写作教学中，学生对于应用自动作文评分系统评价如何? 自动作文评分系统能否实现以上的写作教学理念？带着这些问题，笔者对句酷批改网的应用情况做了一次调查研究。

本研究主要针对以下三个问题：(1)大学生英语写作中的主要问题；(2)学生对批改网应用于大学英语写作教学的态度和评价；(3)批改网在作文评改与反馈方面的优点和不足。

二、研究方法

(一)研究对象 参加本次试验的对象是笔者执教的2011级、大学二年级的非英语专业学生，共有60人，由两个小自然班组成。该班学生经过一年多的大学英语学习，已掌握了基本的英语段落展开方式和作文的组织结构。由于本学期要参加四级英语考试，学生有大量习作的需求。

(二)研究工具——句酷自动作文评分系统 本次调查主要针对句酷作文自动评分系统(http://www.pigai.org，以下简称批改网)进行。据报告，批改网是目前中国最大的英语写作平台，已经有超过1000所高校在使用该系统。根据批改网的介绍，与传统人工批改方式相比，句酷批改网有以下特色：(1)简单错误自动批改；(2)重复错误只改一次；(3)作文分数立等可得；(4)按句点评一目了然。句酷批改网能指出作文每一句中存在的拼写、语法、词汇、搭配错误，并一一给出修改建议，作文存在的错误一目了然。批改网还为学生用户提供特定知识点的扩展训练、搭配推荐、参考例句等，为学生提供全面的写作指导，帮助学生自主学习。除此之外，句酷还有检测抄袭的功能和提供进步报告，详细记录每个学校、每个班级每个学生写作能力的提升过程，有助于老师掌握学生总体薄弱点，为及时调整教学计划提供依据。[2]

(三)数据收集 本研究历时一个学期，研究数据来自两个方面。第一，实验前、后的学生调查问卷。问卷在参照已有的相关论述和调查问卷[3-4]的基础上，结合自身教学实践设计而成。2份问卷都分别由10个封闭性问题组成，均为多项选择题形式，要求学生根据自己的意愿做出选择。前期调查主要包括4个方面的内容：(1)关于英文写作目的、态度、包含的重要因素以及对自己英文写作水平的总体认知；(2)对教师已批改过作文的反馈；(3)对原有英语写作教学方式的看法；(4)对应用自动作文评分系统的效果预期。后期调查问卷目的在于了解在应用自动作文评分系统之后，学生写作能力和兴趣方面的变化以及学生对系统使用方面的评价和反馈等等。

具体调查时间分别是 2012 年 9 月和2013 年 6 月，发放问卷是在课堂上进行的，并当场收回。发出问卷 59 份，回收 59 份，合格率为100%。收集的数据以百分比的形式呈现，具体见表1和表2。第二，访谈(interview)。本研究还和学生进行了半结构访谈(semi-structured interview)，目的在于进一步了解系统使用方面的具体情况。接受访谈的学生为在批改网系统中记载的成绩好、中、差各5名学生，共15名学生。

三、结果和讨论

(一)前期问卷调查的结果 调查结果表明，学生的写作动机不强。84.2%的同学的写作目的是为了通过考试或完成学业。除了老师布置的作业之外，只有9.1%的同学会进行每月一次的写作练习, 进行2周一次的或一周一次的练习的比例为12.7%，大部分同学(72.7%)没有进行过写作练习。74.5%的同学表示在作文发下来之后，会阅读老师的评语，但不重写。只有20%的同学会在阅读反馈后重写一次。5.5%的同学选择了“不阅读反馈，也不重写”。这意味着，这部分同学只是仅仅把写作当成一次作业来完成。

表1

写作中最重要的因素是什么？对此，同学们的选择各有不同。63.7%的同学认为词汇和语法最重要；40%的同学认为是篇章内容；另有43.6%的同学认为是篇章的组织结构。54.5%的同学认为词汇缺乏是他们写作过程中的主要困难，而36.4%的同学则认为是句子表达不清，10.9%的同学认为自己写作时语法混乱；30.9%的同学认为自己在文章内容方面不足，而还有21.8%的同学则认为自己组织表达上有困难。由此看出，词汇、语法、句型是多数学生写作中的主要障碍，绝大部分学生(83.7%)认为自己英语写作水平一般或较差。

(2)对目前写作教学的看法及对自动作文评分系统的使用预期。67.5%的同学认为目前的写作教学对自己提高写作能力帮助有限，7.3%的同学认为没有帮助。对于自动作文评分系统能否帮助他们提高写作能力，较多的同学持怀疑态度，8%的同学表示信心一般，9.1%的同学觉得没有信心，选择“非常有信心”或“较有信心”的同学比例总共32.4%。由此看来，从一开始及在后续的教学中，英语老师就需要不断地向学生积极宣传自动作文评分系统的优点，让更多的学生接受作文评分系统并从中受益。

(二)后期问卷调查结果 数据显示，相比于之前的数据，选择“阅读反馈，不重写“的学生比例从74.5%下降到了49.1%，“阅读反馈，并重写”的比例从20%上升到了41.8%。“不阅读反馈，也不重写”的比例下降为0%。这真是令人惊喜的一个变化，证明了自动评改系统的实时反馈确实在一定程度上增加了学生修改作文的频次，达到了以评促学的目的，凸现了过程写作学习法的重要性。至于系统能否提升学生英语写作的兴趣，12.7%的同学认为有较大的提升。超过一半的同学(56.4%)的学生则认为提升较小。因此，怎样才能更好地利用系统提高学生的写作能力还有待更多的老师继续摸索。

表2

基于计算机网络的写作教学模式：78.1%的同学认为在词汇和语法方面对自己语言能力的提高最大，27.3%的同学认为在篇章语言和语言结构方面对自己帮助较大。对于问题“你喜欢自动作文评分系统中的给出的哪部分反馈？”， 41.8%的同学选择了词汇，60%的同学选择了语法，选择篇章结构方面的同学只有7.3%， 18.2%的同学选择了组织结构。10.9%的同学认为该系统非常好或和很好，认为较好的同学达到了41.8%。

(三)访谈结果及分析 访谈主要在学期结束前2周，课间或其他时间进行。访谈问题：(1)你在应用英语自动作文评分系统的过程中碰到哪些困难？(2) 你喜欢英语自动作文评分系统的哪些方面，有哪些不足?(3)你认为有了批改网，是不是就不需要老师再评改学生作文了？ (4)对于更好地发挥英语自动作文评分系统的作用，你有哪些建议？

在15名参加访谈的学生中，8名学生对批改网表示很满意或较满意，认可以上提到的那些关于批改网的优点。4名同学认为系统一般，还存在着很多缺陷。3名同学认为不好。

学生针对问题(1)的回答大概可以分成两类情形，一是因电脑操作技术或系统方面造成的困难。如“打字有困难，比写要慢，面对电脑不知道该怎么写”；“把握不住什么时候该打空格或经常忘打标点符号”；“忘记密码”等等。二是因为系统本身存在的缺陷导致的问题。问题主要集中在以下几个方面：(1)有时候系统指出语法有误，但并不能说明错在哪里，比较纠结。不如老师修改的那样，反馈准确。(2)有些修改并非完全准确，给出的解释又乱又不全面；(3)对文章结构和内容不太注重，无法判断；(4)有时感觉评语千篇一律，死板或不可信；(4)对部分句子的解释不明不白，有些又太多都看不过来。

与多项选择题中反映出来的情况一致，学生普遍表示喜欢系统的以下方面： (1)操作简单，反馈及时；(2)喜欢词汇和短语部分，可以促进自己多学习使用高级词汇或短语；(3)喜欢语法纠正部分。因为有时自己并不能看出错在哪里。系统指出来后就可以认真校对。(4)练习机会很多而且自己可以把握练习时间。在网上，不但可以练习任课老师布置的作文，还可以根据自己的兴趣练习批改网上其他老师布置的作文题目。

少数同学认为：(1)这个系统没有什么让他们喜欢的：评分有些生硬，评析不清楚，对提高自己写作用处不大；(2)有时候根据意见进行改正，改后分数更低了，比较打击信心和兴趣。也有同学反映，部分指出来的中式英语并不准确。这也反映出，为了降低批改网上不恰当的点评对学生带来的不良影响，教师有必要经常抽查系统上作文的批改情况，添加人工批阅意见，以解决学生们的困惑。

所有受访同学认为，教师的反馈还是必不可少。有同学说，“每次好像不管我怎么写，系统给出来的分数都比较高，但是总觉得这分数不那么可信。如果是老师改的话，可能没有这么高的分数。” 学生普遍认为，对于系统的反馈自己不太能理解或对于自己的修改恰当与否，自己无法确定，类似这样的情形还是要老师批改过心里才踏实。

针对问题(4)，同学们积极建言，主要包括以下方面：(1)中式英语给出建议；(2)修改后增加词汇、语法、句法、文章结构各方面的综合评分和分析；(3)能了解所有学生的平均成绩，从而知道自己的成绩在整个班级所处的位置；(4)建立基于主题的语料库，提供好词好句、优秀范文或判分例文，以便对比自己的作文质量；(5)对系统的使用不要做硬性的要求；让学生自主使用可能更好地发挥系统的作用；(6)希望对文章修改次数不要做统计；(7)让学生两周或3周写一篇题目自定的文章；(8)建立奖励机制，对优秀作文或好词好句进行积分嘉奖以激发学生习作的积极性。

从以上结果可以看出，学生普遍接受在大学英语写作教学中应用作文自动评分系统，这也大大缓解了教师的作文批改负担。由于在辨别单词、语法和标点错误方面,系统的准确性高于人工评判，因此，此类错误可以放手交给系统处理,这样教师就可以将更多的精力用于指导作文思想内容和遣词造句等系统目前仍然比较薄弱的处理环节。更重要的是，系统的使用有助于培养学生的自主写作能力。它不但解决了教师欲布置大量练习却无力批改的难题，还能对学生的写作学习进行过程性诊断，帮助发展对学习过程的自我监控、调整和评估能力，提高自主学习能力,从而更好地实现“促学评价”(assessment for learning)的目标。[5]

其次，由于系统自身的技术特点，在词汇和语法层面给予学生的帮助较大，但在篇章结构、内容逻辑性和连贯性方面存在不足。[6]因此，只有增强评改系统的智能性并努力补充其他反馈手段才能弥补其不足。

最后，针对学生在系统使用过程当中出现的种种问题，提出以下整改建议：(1)根据收集上来的反馈和建议，信息技术人员与应用语言学家共同努力，及时进行语料库的更新，不断提高评改系统的信度和智能性。[4]

(2)必须加强教师的引导。引导可以从以下几方面进行：A. 引导学生更客观地看待自动作文评改系统。机器毕竟不是人脑，指望自动评改系统能像教师一样做出反馈，显然是不现实的。但是，系统的优势也是显而易见的，充分发挥这些优势，使其为我所用，这样收获更大。B. 努力提高学生的自觉写作意识，让他们认识到写作能力的提高不是一蹴而就的，平时一定要注重语言积累，勤于练笔，反复修改，比较揣摩才能进步更快。C.写作策略的引导。大部分学生没有自我纠错的意识，写作策略较差。老师可以让学生课后互评作文，加强协作学习意识。

(3) 加强师生交流，深入了解学生。在系统使用过程中，由于系统不够完善或学生自身的因素，学生必然会碰到这样那样的问题。因此，最好建立畅通的师生交流渠道。否则学生的困惑或问题长期不能得到解答就会失去进一步写作或修改作文的兴趣。在系统的环境下，如何有效维持学生写作动机和兴趣，依然是教师必须探索的问题。

(4)建立多元反馈机制以弥补单一反馈模式的不足。在新建的多元反馈机制中，可以有效地集教师反馈、自动评改工具反馈及利用网络平台的同伴反馈(peer feedback，即同学间互相评改作文)为一体。

国家中长期教育改革和发展规划纲要》(2010-2020年) 专辟一章强调信息技术在教学中的应用，指出“信息技术对教育发展具有革命性影响，必须予以高度重视。[7]长期以来，由于写作训练不足，反馈不及时，学生对写作认识的不足和积极性的欠缺等因素，学生写作水平提高缓慢。写作自动评价系统的应用无疑较好地体现了过程写作法的教学理念，在这一系统下，学生多写多修改成为了可能，大大激发了他们的主观能动性和写作热情。但正如王守仁教授指出的那样，“基于计算机和课堂的新教学模式能否成功，在很大程度上取决于教师能否将教学软件的使用与课堂教学有机地结合起来。”[8]通过本次研究，笔者了解到了一些关于句酷批改网使用的具体情况。不足之处是，本次研究时间短，调查的范围较小，存在着一定的局限性。而且，写作自动评价系统应用于高校写作教学仍然处于起步阶段，怎样才能将智能评改与人工评改有效结合，最终达到提高学生学生能力的目的，还有待更多的老师在实践中不断摸索。

[1]陈潇潇,葛诗利.自动作文评分研究综述[J].解放军外国语学院学报，2008，(5).

[2]http://baike.so.com/doc/5383391.html

[3]陈芸.大学英语写作教学中应用自动作文评分系统的调查分析[J].语文学刊(外语教育与教学)，2011，(11).

[4]石晓玲.在线写作自动评改系统在大学英语写作教学中的应用研究——以句酷批改网为例[J].现代教育技术，2012，(10).

[5]蒋学清, 蔡静,唐锦兰.探析自动作文评价系统对大学生英语写作能力发展的影响[J].山东外语教学,2011,(6).

[6]葛诗利,陈潇潇.大学英语作文自动评分研究中的问题及对策[J].山东外语教学，2009，(3).

[7]教育部．国家中长期教育改革和发展规划纲要( 2010-2020)[Z].2010.

[8]王守仁． 进一步推进和实施大学英语教学改革———关于《大学英语课程教学要求( 试行) 》的修订[J]．中国外语，2008，(1)．

责任编辑 付友华

H319

A

1003-8078(2014)04-0167-04

2014-03-11

10.3969/j.issn.1003-8078.2014.04.51

钟建玲(1973-)，女，华南农业大学外国语学院讲师，硕士；李勇(1973-)，男，广西大学外国语学院讲师，硕士。

华南农业大学2012年教改课题，课题编号：JG12091。