两种在线英语写作测评系统的反馈成效性对比研究

黄 瑞

(洛阳理工学院外国语学院，河南洛阳471023)

两种在线英语写作测评系统的反馈成效性对比研究

黄 瑞

(洛阳理工学院外国语学院，河南洛阳471023)

通过问卷调查、访谈、对作文分数的统计学分析以及批改样本分析，就批改网和外教社课程中心作文批改系统在反馈内容、侧重点、效果以及学生评价等方面的情况进行对比研究，多角度剖析两种在线写作测评系统的成效性。分析了两种在线写作反馈方式各自的优缺点，给出了提高其成效性的一些建议。在大学英语写作教学中，若能使写作测评系统的在线反馈、基于系统平台的同伴反馈、教师反馈相辅相成，形成一个动态的多元综合评价系统，将提高作文教学的效率，弥补单一反馈的不足。

在线写作测评系统；写作反馈；形成性评价；终结性评价

写作教学中的反馈是指读者对作者的评价，目的是为作者修改文章提供信息[1]。按照反馈形式划分，主要包括关注写作结果的终结性反馈、关注写作过程的形成性反馈以及反映学生现有写作能力的诊断性反馈[2]。按照反馈内容划分，主要有直接反馈、间接反馈、纠错性反馈和非纠错性反馈[3]。按照反馈来源划分，主要有教师反馈、同伴反馈和电子反馈等。近年来，在互联网信息技术迅速发展的浪潮下，各种在线英语写作自动测评系统层出不穷，相关研究随之涌现。有的研究在线写作测评系统的技术特点[4，5]；有的研究批改网使用与培养学生自主学习能力的关系[6]；有的研究以实验前后测试成绩、百词错误率、文章长度变化为依据，检验在线写作测评系统能否使写作水平显著提高[7]；有的以社会文化活动理论为框架，研究如何搭建写作过程模型[8]。笔者将就批改网(www.pigai.org)、外教社课程中心(course.sflep.com)作文批改系统的优缺点以及在线测评系统与教师反馈的差异进行对比研究。

一、 研究设计

(一) 研究问题

本研究旨在探讨批改网和外教社课程中心两种在线写作测评系统对提高英语写作能力的成效性。具体研究以下问题：① 两种在线写作测评系统的一致性如何？② 两种反馈形式各有哪些优缺点？针对其局限，有何改进措施？③ 在线测评系统与教师反馈有哪些差异？

(二)研究对象

本研究选取某高校同一教学年级的3个合班的159名非英语专业大一学生为研究对象。笔者随机将学生分为实验组A、实验组B和对照组C，每组53人，进行了为期1学年的教学实验。实验组A的初稿采用批改网反馈，修改稿由教师反馈；实验组B的初稿采用外教社课程中心作文批改系统反馈，修改稿由教师反馈。对照组C的初稿和修改稿均采用教师反馈方式。所有学生1学年内需提交10篇作文，均为大学英语四级考试模拟作文题，要求也与四级考试相同。

(三)研究工具

本研究采用问卷调查、访谈、作文样本分析等研究方法收集分析数据。① 问卷调查针对实验组A、实验组B的学生，内容包括对两种写作测评系统的使用体验和优缺点评价、反馈结果接纳态度等。选择题采用李克特量表(Likert Scale)形式，问答题是开放性的。② 本研究对5名不同教龄的大学英语教师和10名学生(A组3名，B组3名，C组4名)进行了半结构式访谈，以深入了解师生对写作测评系统的评价和教学中可能出现的问题。③ 本研究以抽样方式选取了10篇作文样本，提交给教师、两种在线测评系统分别评阅，分析3种反馈方式在批改成绩、评语、内容等方面的异同。

二、 研究结果与讨论

(一)两种在线作文测评系统的评分相关度分析

批改网基于语料库和云计算，将英语作文和语料库进行对比分析，在线即时给出作文分数、评语、按句点评，具有相似性检测功能。外教社课程中心作文批改系统可对作文进行自动打分及点评，支持雷同检测。

为检测两种测评系统作文总体评分的相关度及其是否达到显著性水平，本研究采取了以下步骤：将159名学生撰写的同一命题作文，分别提交两种作文测评系统，得出两组总体评分；去除因抄袭得零分的3名学生的无效分数后，再将156名学生的两组分数分别输入SPSS 17.0系统，用斯皮尔曼相关分析计算出两种系统评分的相关系数。结果如表1所示。

表1 两种在线作文测评系统评分的斯皮尔曼相关系数表

注:**意即按双尾检验,其显著性水平为0.01.

结果显示，显著性p=0.000<0.01，说明该相关系数具有统计学意义。批改网和外教社课程中心评分的斯皮尔曼相关系数为0.514，0.5≤∣r∣<0.8，属于显著(中度)相关，说明两者在评判作文时评分还是比较趋于一致的。

(二)学生对两种在线写作测评系统的评价

本研究对实验组A、实验组B的学生进行了问卷调查，旨在统计学生对两种在线写作测评系统优缺点的评价及其对反馈结果的接纳程度，以期为在线写作测评系统的有效利用提供启示。调查对象当场提交了问卷，回收率100%。

针对问卷中“外教社课程中心的在线作文反馈的优缺点有哪些”这一问题，学生认为其优点主要有两个方面：① 整体思路总结得不错，优缺点都罗列了，提出的建议很好。② 评价中肯，反馈迅速，效率很高。学生认为其缺点有以下方面：① 在反馈形式方面，超过半数的学生认为其批改不够细致，有的学生认为该作文测评系统只给出分数和笼统的总体评价，对认识习作中出现的错误、提高写作水平帮助不大。② 在评语内容方面，35%的学生认为，该系统没有具体修改意见，无法获悉作文哪里有误以及错误类型；17%的学生认为评价过于宽泛，固定模式批改，评语太机械；有的学生认为评语只注重形式，不注重内容，忽视了作文的思想性。③ 在对反馈结果的接纳程度方面，12%的学生认为批改结果不够准确，不公平；有的学生反映，修改稿若字数增加，分数一般就会提高，而内容修改却显得影响不大，怀疑网络批改的准确性。

针对问卷中“批改网作文在线反馈效果的优缺点有哪些”这一问题，学生认为其优点主要有两个方面：① 在反馈形式方面，67%的学生认为批改网反馈细致、实用，能指出很多不足；标点、大小写、词汇、语法等错误都能指出，并提出修改意见；针对词汇和语法的错误警示明确；网站设计人性化，便于修改和记录，避免以后出现类似错误。② 在反馈内容方面，学生认为利用该系统的学习提示、推荐表达、词汇辨析等功能，可学到很多新单词和常用搭配，便于积累词汇量；批改较为全面，既指出了作文的不足，又指出了长处；19%的学生提到，喜欢批改网的“推荐表达”功能，其有助于将朴实无华的句子修改得地道、出彩。学生认为其缺点有以下四个方面：① 在反馈内容方面，13%的学生认为修改意见有时看不懂，所提问题找不到具体位置，不明白哪里不恰当。② 在对反馈结果的接纳程度方面，6%的学生认为评价结果不准确，一些正确的句子会被判为语句错误或中式英语。③ 在分数方面，3%的学生认为，有时根据意见提交修改稿后，分数反而更低。④ 在网站设置方面，有学生认为修改不够方便，需要重写再提交，若能在个别处直接修改就好了；网站经常很卡，有时多次提交不上，显示系统繁忙。

(三)作文反馈样本对比分析

外教社课程中心网站对于作文的反馈包括作文得分、作文统计(包括平均句长、句子数量、拼写错误数目、四六级词汇数量)和系统评价等内容，没有逐句分析，只有整体概括性评价，提交次数有限，属于关注写作结果的终结性反馈。批改网提供错误提示、推荐表达、词汇辨析及扩展短语，允许无限次提交和批改，属于关注写作过程的形成性反馈。实验选用的教师反馈是访谈中多数教师习惯采取的“直接错误纠正反馈”方式，并给出评语。笔者从10篇作文样本中抽取一篇题为“The Importance of Oral English”的作文，由批改网、外教社课程中心、教师反馈分别给出总体评价，结果如表2所示。

表2 批改网、外教社课程中心和教师对同一样本的总体评价

从表2可以看出，无论是批改网还是外教社课程中心，都给出了涵盖词汇、句法、衔接与连贯等方面的全方位评价，并且都包含肯定性评语，这与石晓玲[4]提出的写作测评系统评价集中于词汇和语法层面，无法准确评估作文内部逻辑性与关联性，以及陈凤[9]提出的测评系统较少涉及篇章结构和连贯性方面的研究结论明显不同。这说明在线作文测评系统的反馈功能智能化日渐改善，准确度不断提升，作文分析趋于全面化、系统化。然而，与教师反馈相比，两种在线反馈系统均未涉及逻辑是否合理、论据是否充分。在线写作测评系统毕竟是机器反馈，对于灵活而不断发展的语言文字，必然有无法识别的遗漏，其定位还应是辅助教学。正如蒋艳[5]所指出的，在写作教学中，教师仍应是主导。就分数而言，两种在线测评系统所给分数恰巧相同，均为67分，而教师反馈则给了等级分数“A-”，因教师顾虑低分可能会打击学生的自信心和积极性。

除给出总体评分和评语外，批改网还有一个按句点评功能。这篇题目为“The Importance of Oral English”的作文，由批改网反馈和由教师反馈的实际内容，如表3所示。

表3 批改网按句分析与教师反馈样本对比

续表

作文原句批改网反馈内容教师反馈内容⑨Butinfact,spokenEnglishisnotdiffcultanditisveryimportantinourlife.[词语错误]请检查diffcult,确认拼写正确[标点警示]英文标点符号之后通常须加空格[推荐表达]very:morethan[近义词表达学习]infact的同义表达有inreality/actually/virtually[推荐表达]very:overwhelmingly/intensely/exceedingly/extremely 建议把下画线部分改为thatdifficult⑩Sowhynot?[句子错误]本句语法不规范,请检查[句子错误]请检查句中谓语动词[句子警示]英文标点符号之前无须空格[推荐表达]so:therefore/thus/consequently/accordingly/asaresult/forthatreason/hence/that'swhy 下画线部分句子成分不全,建议后接trytoim-proveyouroralEnglish?

由表3可见，批改网反馈内容比教师反馈更为丰富，然而经逐条分析可知，其部分修改建议的准确性和意义有待商榷。如句 ① “拓展辨析”中“people”与“person”的区别，笔者认为可有可无，因为学生并未用错。句 ② “搭配错误”一项，错误原因不是“behave 一般是不及物动词”，而是语义错误。“behave oneself”作为一个固定短语，含义是“使行为规矩”，与原文语境不符，应改为“express oneself”，意为“表达自己的观点”。句 ② “拓展辨析”提到“use … language”的出现次数，与润色文章无关，属于无用信息。“推荐表达”里的“utilise”，意为“利用”，若替换原文“use”，搭配“different languages”并不恰当。句 ④ 批改网“推荐表达”中“help：do sb a favor”这一用法往往以人为主语，而非以物为主语。显然原文主语“it”指代的是“oral English”，使用该推荐表达不合适。“very”作为一般强调用词，改为推荐的语气较强的“more than”不妥。最后一个分句逻辑混乱，语义模糊，批改网未能识别。句 ⑤ “拓展辨析”里提到“use…talk”在语料库中出现41次，并不能证明该用法是否准确和恰当，事实上该用法并不地道。另外，句 ⑤ 中的“meet with England”虽无语法错误，但有语义偏差，应改为英国人“an Englishman”。句 ⑥ 中的“writing English”有语义错误，但未被指出，应改为“written English”。批改网多次未能识别语义错误，这与蒋艳[5]指出的批改网无法判断内容错误的结论一致。句 ⑧ “推荐表达”中“not actually into the way … are”句型若替代“not like oral English”不恰当，尤其是“the way … are”这部分，可改为“Some students are not actually into oral English”。“because”一词的“推荐表达”内容丰富，有助于词汇拓展，但并非全都适合替换原句。最后一小分句用词不当，且有歧义，批改网未能判别出来。句 ⑨ “推荐表达”仍提出用“more than”替换“very”，与前几处出现“very”时的提示相同，显得非常机械。

教师书面反馈采取直接错误纠正形式，和批改网的“警示”“提示”“推荐”相比，显得直截了当，浅显易懂；批改网指出问题但并未直接给出正确形式，在促进学生积极思考、自主修改、推动其自主学习能力发展方面有积极意义。在访谈中，受访教师被问及为何多采取直接错误纠正的反馈形式时，其中的4名教师谈到如果使用间接反馈，则担心学生不能理解。比如只标明错误位置，会担心学生能否看出错误，附上文字解释又过于繁琐，使用错误代码唯恐基础较差的学生看不懂，干脆直接在原文纠正。根据对10名学生代表的访谈，多数学生表示教师反馈必不可少，教师反馈侧重语言形式和内容，兼顾逻辑和思想性。他们还肯定了教师采用的简单明了的作文反馈形式，即直接错误纠正反馈，并表示非常信赖教师反馈。

三、结 语

总体来看，与外教社课程中心的终结性反馈相比，批改网作为关注写作过程的形成性反馈更受学生青睐。两者在批改总分上显著(中度)相关，比较趋于一致。外教社课程中心作文反馈内容只有笼统的总体评分和评语，未能提供针对具体错误的修改意见，是其最大的不足。批改网反馈内容详细，却常出现谬误，例如语义错误有时判别不出；拓展辨析功能提供的信息有时显得多余；推荐表达提供的近义词和句型，可丰富学生词汇量，拓宽知识面，但未必顺应原文语境，不适合替换原有词汇。然而，瑕不掩瑜，批改网细致的按句点评、中肯的修改意见、丰富的词汇句型拓展，使其能为写作教学起到较好的辅助作用。

如何弥补批改网的不足，使之更好地辅助写作教学呢？批改网本身具有学习功能，通过每则评语下面有针对反馈内容的“报错”键，用户提交的反馈意见可被上报并记录在系统里，避免以后出现类似的批改错误。教师可在线通过“点评”功能对习作分句点评，指出批改网未发现的错误、修正不恰当的批改建议。但大学英语教师工作量巨大，若逐一核对批改网按句点评的正确性，将错误上报批改网，并在线点评，则比传统书面反馈更为费时耗力，违背了使用批改网的初衷。因此，笔者建议批改网增设“提问”功能，即让学生对批改网评语有异议或不理解的情况进行标注，发出提问信息，使同学和老师可以在线看到，同学之间可进行同伴反馈互助，提供同伴互助者可给予平时成绩加分。若仍不能解决，可标注疑难问题，在批改网上发消息给教师，由教师用在线反馈的方式解答。这样一来，多角色参与到作文动态评价当中，创建了多元的最近发展区，提供了多元的进步空间[10]，学生的主体性将进一步发挥，作文反馈效果会进一步增强。

在大学英语写作教学中，若能使自动评改系统、基于系统平台的同伴反馈、教师反馈相辅相成，形成一个动态的多元的综合评价系统，将提高作文教学的效率，弥补单一反馈的不足。

[1] Claudia L. A Design for a Process-approach Writing Course[J]. English Teaching Forum, 1990(1): 10-12.

[2] 王淑雯.如何利用Writing Roadmap 2.0进行在线英语写作反馈[J].现代教育技术,2011(3):76-81.

[3] 李竞.英语写作教学中教师书面反馈效果的案例研究[J].外语界,2013(2):87-95.

[4] 石晓玲.在线写作自动评改系统在大学英语写作教学中的应用研究——以句酷批改网为例[J].现代教育技术,2012(10):67-71.

[5] 蒋艳.中国英语写作教学智能导师系统:成就与挑战——以句酷批改网为例[J].电化教育研究, 2013(7):76-81.

[6] 颜李萍.大学生英语写作能力培养探讨——基于手机移动网络与句酷批改网[J].重庆科技学院学报(社会科学版),2015(2):119-124.

[7] 刘荣君,张虹,王娜.信息技术支持的大学生英语写作能力培养的实证研究[J].电化教育研究,2014(5):83-86.

[8] 卢鹿.基于自动评价系统的第二写作过程研究[J].外语界, 2016(2):88-96.

[9] 陈凤.一项关于句酷批改网在大学英语写作教学中的应用研究[J].东华理工大学学报(社会科学版),2014(6):173-177.

[10] 邵春燕.社会文化视角下英语专业写作教学的多角色参与模式[J].外语界,2016(2):79-87.

(责任编辑 王治涛)

A Comparative Research on the Efficacy of Feedback Given by Two Online Essay Evaluation System

HUANG Rui

(School of Foreign Languages, Luoyang Institute of Science & Technology, Luoyang 471023, China)

This paper, by adopting questionnaire surveys, interviews, statistical analysis of writing scores and sample analysis of feedback, conducts a multi-angle analysis of the efficacy of two online essay evaluation systems in comparison to pigai.org with course.sflep.com in terms of contents, emphases, effectiveness and students′ evaluation. The paper puts forward some suggestions for raising the efficacy of online essay evaluation systems after analyzing the merits and shortcomings of the feedback collected from the two essay evaluation systems. During the process of teaching college English writing, the efficiency of English writing teaching can be upgraded and the insufficient feedback from a single source can be compensated in case that a dynamic multi-evaluation system is formed and that the online feedback retrieved from the automatic essay evaluation system can complement one another to the peer feedback of online platform and to the teachers′ feedback.

online essay evaluation system; writing feedback; formative assessment; summative assessment

2017-03-28

黄 瑞(1984-),女,河南洛阳人,硕士,讲师,主要从事外语教学法和应用语言学研究.

河南省教育厅人文社会科学研究青年项目“英文写作动态评价中不同反馈方式对学习者影响的对比研究”(编号:2016-QN-154)、洛阳理工学院校内青年基金项目“基于支架理论的英语写作动态评价中在线自动评价系统与同伴反馈对比研究”(编号:2013QR04)的部分成果.

10.3969/j.issn.1674-5035.2017.04.004

H085

A

1674-5035(2017)04-0018-07