句酷自动评分系统在大学英语写作中的应用研究

何小翠

（西南石油大学外国语学院， 四川 成都 615000）

一、引言

对于英语学习者而言，写作是一种综合的产出能力，是词汇、句法、篇章结构、修辞手法等语言能力综合运用的体现。因此，英语写作教学要求学习者必须进行写作训练，以达到熟能生巧的目的。然而，传授写作理论——范文分析——模仿训练——教师评析——学习者得到反馈，在这种传统的英语写作教学模式下，由于教学班级六七十人，教师课时有限，课堂内容繁多，课后需要一周左右的时间，学习者才[1]能得到反馈，因而削减了学习者的积极性。至于反馈的内容，多为分数及少量语法纠正，且具有很强的主观性。于是，实时有效的自动评分系统在大学英语写作中的运用，不失为一个良好的解决办法。

结合国外自动评分系统的发展，其中最具代表性的是PEG比较注重语言形式，IEA注重作文内容，而E-rater既注重形式又注重内容。但是大多数自动评分系统只针对英语作为母语的作文评分，涉及英语作为外语的作文评分系统并不多见。至此，北京词网科技有限公司开发了句酷批改网，由于更符合中国英语学习者的实际情况，即在国内高校得到广泛的使用。它是基于语料库和云计算的英语作文自动批改在线服务，通过计算学生作文和标准语料库之间的距离，即时生成学生作文的得分和评语及内容分析结果，帮助学生通过自助练习以提升写作能力。它既能激发学生修改英语作文的积极性，又能减轻教师的作文批改工作量，帮助教师更加直观地了解学生的英文写作水平。

二、研究设计

（一）研究问题

本研究探究句酷批改网在大学英语写作教学中的应用效果，具体的研究问题是：

对比句酷批改网评阅和教师评阅作文的分数，分析句酷批改网的测试信度和效度；句酷批改网在学生写作训练中的应用效果，具体体现在哪些方面；该系统的运用价值和局限性。

（二）研究对象

本研究选取某大学英语专业的5名学生参与，进行多个案实证研究。共布置5次写作任务，要求这些学生按时完成，并提交句酷批改网评阅。

2.研究工具

本研究使用的工具有两个：SPSS和样本分析。

（1）SPSS。运用SPSS 16.0版进行信度分析。将批改网的评分设为第一组分数，将教师评阅的分数设为第二组分数，计算两组数据的克隆巴赫系数，以求得句酷网的可信度。并运用t检验检测两组数据的差异性。

（2）样本分析。笔者对多个案样本的评阅反馈，进行描述性分析，一为求得句酷批改网的评阅效度，二为分析其反馈的侧重点，以试探究句酷批改网对学习者写作能力的促进方面。

三、研究结果

（一）SPSS计算结果

以下表格3.1为句酷网对5位同学每次写作的评分，以及教师所给的对应分数。

表3.1

首先通过SPSS的信度分析，所得克隆巴赫系数为0.624。表明分数较一致，即句酷网所评分可信度较高。其次,通过对比可看出，批改网的评分均略高于教师所给评分。

（二）个案样本分析

在教师界面中，首先可看到句酷网就单篇作文所给总分，以及所有参加同学中的分数排名，最高分以及最低分，并就词汇、句子、篇章结构及内容相关而言，有彩色柱状图表示该同学在这四方面的写作表现能力，其擅长之处或薄弱点一目了然。接着会对该同学的写作做出总体的评价，评价内容也多围绕词汇量，学术词汇、从句的使用，以及语篇的衔接等方面。如下图3.1所示：

其次，句酷网逐句对写作进行批改，会出现批改提示、搭配学习或其他的提示，就如图3.2中3.3处，所给“批改提示”trend和direction这类，学生可点击链接查看相关资料。另外，教师可选择句子后点左键，添加教师的批改意见，则显示为“教师点评”。

四、分析与讨论

（一）反馈理论

自从20世纪六七十年代，过程写作法应用到二语写作教学中以来，反馈就成为写作教学的重要组成部分。在写作教学中，它向写作者反馈作文修改的信息，例如：拼写错误、时态错误、内容不充分、逻辑性不强等等。既包括作文表层纠错性反馈，又包括作文语篇层面的反馈。评语和评分也是信息反馈的重要方面。根据反馈，学生可对作文进行修改，以促进学生写作水平的提高。

（二）分析讨论

通过SPSS计算，批改样本的初步分析，笔者认为句酷批改网的确具有一定的测试信度和效度，值得被肯定和推广运用，但是它依然存在着一些不足之处。以下为具体举例分析;（1）Nowadays,education in one of the most important part of sociaty,which is experienced by everybody.此句摘自学生通过句酷网的写作训练（以下不再说明）。句酷网所给批改为：

【名词错误】请检查one of..part，注意名次数的一致性。并给出好评、报错、删除三个选择。的确，此处的part应为复数。

【词语错误】请检查sociaty，确认拼写错误。的确，此处为拼写错误，应该为society。由此句批改网所给批改信息，可以看出句酷网能够就语法或拼写错误，作出正确与及时的批改。

（2）At the same time,our country attachses great importance to education.句酷网所给批改为：

【词语错误】请检查attachses，确认拼写正确。此处为拼写错误，应改为attaches。

【句子警示】请检查句中谓语动词。此处句酷网所给批改信息不明确，疑似误评。

【批改提示】country表示“国家”。注意与state的区别。给出nation，state和country的区别链接。

（3）In ancient times,literatis tested for an official postion,gotten education from themselves.句酷网所给批改为：

【词语错误】请检查literatis,确认拼写正确。此处应改为literati,literatus的复数。

【批改提示】注意official与officious的区别。此处其实为学生的用词不当，通过讨论，学生此处本意是想表达一官半职，因为词汇的匮乏，所以用成了中式英语，official position，官方的职位。由此可见，句酷网的批改略显机械。而且原文中postion的拼写错误，句酷网并未给出批改意见。

【搭配学习】动名搭配get…education在教材中出现过1611次。此处句酷网所给批改意见，并无实质性的用处，而且原文中的gotten的拼写错误，句酷网也并未给出批改意见。

由此可以看出：句酷批改网是以句子为单位，评论其长短句式变化，着重评价文中词汇和语法的使用；从学习的角度，提出改进的意见：使用高级词汇、注意单词拼写以及同义词辨析。在此条件下，学生可以及时的对写作进行多次修改，一方面学生可以避免低级错误以获得更高的分数，增强学生进行写作训练的积极性，另一方面也符合过程写作理论：写作过程是非直线性的，没有反复思考和修改不可能有好的作文。

但是，句酷批改网对学生作文的评价主要集中在词汇和常见短语搭配上，与此同时，它对作文的思想内容、逻辑性以及篇章结构方面，给的反馈较少，且多为提示性的，较宽泛，不够具体，更不是明确的修改结果。而且，并不能完全地发现作文中的错误，有些批改只是机械地给出辨析，并没有参考价值。因此，批改网无法准确地评估作文的内在质量。

五、结论

总的来说，句酷批改网可以及时对写作进行批改，对常见拼写错误和搭配问题能做出正确的批改。它帮助减轻老师的工作量，提高写作教学的效率，同时调动学生的主观能动性，提升学生的自主学习能力。另外，它有助培养学生对习作进行多次修改的习惯，激发学生修改作文的热情和对写作的兴趣。与此同时，句酷批改网的局限性也不容忽视，首先，国内英语写作教学的机辅条件尚不成熟，学生对在线写作的接受程度也不是很高，这要求政府及学校逐步完善学校计算机硬件设施的配备，提早至中学甚至更早，便训练学生进行在线写作。此外，句酷批改网就批改效度而言，还需要在语篇结构、修辞手法、语言的得体性等方面得到增强，提高句酷批改的灵活度。

[1]陈成辉.基于语料库和云计算技术的写作自动批阅系统评介——以句酷批改网为例[J].江苏科技信息:信息技术,2012，（6）.

[2]陈 凤.一项关于句酷批改网在大学英语写作教学中的应用研究[J].东华理工大学学报:社会科学版,2014，（6）.

[3]陈 芸.大学英语写作教学中应用自动作文评分系统的调查分析[J].语文学刊:外语教育教学,2011，（11）.

[4]葛诗利,陈潇潇.大学英语作文自动评分研究中的问题及对策[J].山东外语教学,2009，（3）.

[5]顾成华,王 丽.基于句酷批改网的大学英语写作教学实证研究[J].扬州大学学报:高教研究版,2012，（4）.

[6]何旭良.句酷批改网英语作文评分的信度和效度研究[J].现代教育技术,2013，（5）.

[7]李 玲.大学英语写作教师反馈与在线批改反馈对比研究[J].中国电力教育,2014，（11）.

[8]梁茂成,文秋芳.国外作文自动评分系统评述及启示[J].外语电化教学,2007，（5）.

[9]刘 剑.自动批改软件在大学英语写作教学中的应用[J].河南工程学院学报:社会科学版,2013，（12）.

[10]毛世花,陈晓丽.E-rater和句酷的对比研究及对提高大学生英语作文水平的启示[J].高等函授学报:哲学社会科学版,2012，（5）.

[11]倪颖颖,文卫霞.网络英语写作教学模式述评及探索——句酷批改网的引入[J].鸡西大学学报,2014，（9）.

[12]石晓玲.在线写作自动评改系统在大学英语写作教学中的应用研究——以句酷批改网为例[J].现代教育技术,2012，（10）.

[13]唐锦兰,吴一安.在线英语写作自动评价系统应用研究述评[J].外语教学与研究:外国语文双月刊,2011，（3）.

[14]张双祥.大学英语写作教学中在线写作自动评价系统应用研究[J].当代教育理论与实践,2014，（11）.