句酷评价手段影响大学生英语写作的实证研究

邹玉梅，江　翠

(江西师范大学 外国语学院，江西 南昌　330022)

句酷评价手段影响大学生英语写作的实证研究

邹玉梅，江翠

(江西师范大学 外国语学院，江西 南昌330022)

摘要：句酷批改网是一个用计算机自动批改英语作文的在线系统。随着现代技术的发展以及大学英语课程要求对基于计算机英语教学的重视，在线写作已广泛地运用于大学英语教学中，国内外也出现了各种作文自动评分系统。拟先介绍“句酷批改网”的在线写作系统，以江西省某高校三个班的学生使用句酷批改网的情况进行实证分析，进而讨论该评价手段对大学生英语写作的影响。

关键词：句酷批改网；在线评价；英语写作；教师反馈

作者简介：邹玉梅，硕士，讲师，江西师范大学。研究方向：二语习得。 曹书，讲师，牡丹江师范学院应用英语学院。研究方向：经济法学和法律翻译。

江翠，硕士，江西师范大学。研究方向：二语习得。

基金项目：2015年江西师范大学研究生创新基金课题“形成性评价在英语在线写作中的运用”(编号：YJS2015051)。

文章编号：1672-6758(2015)11-0101-4

中图分类号：H319

文献标识码：标识码：A

Abstract：Juku Correcting Network is an online system to correct English compositions automatically. With the development of modern technology and the college English curriculum requirements on the attention of computer-based English teaching, online writing has been widely used in college English teaching, various automatic scoring system has also emerged home and abroad. This study will introduce the online writing system of “Juku Correcting System” and conduct empirical analysis based on three-class students’ situation of using Juku correcting network in Jiangxi province, and then discuss the impact of this evaluation methods on college students’ English writing.

写作能力是语言发展的一个重要组成部分，外语写作能力表现为个人使用语言进行交际的能力，即“用移动而又恰当的句法来系统地阐述一系列逻辑思想。(转引自栾新华，2012 ，Gaudiani,1981)英语写作旨在考查学习者的语言输出能力，其中包括词汇的使用情况、词组搭配、表达连贯、谋篇布局等方面的技能，是对学习者语言综合能力的考量。“句酷批改网”主要利用现有的语料库，对学生的作文从词汇、搭配、拼写、表达、标点等多方面给出批阅建议，并及时生成作文分数。

国外代表性的作文自动评分系统主要有PEG(Project Essay Grade)、IEA(Intelligent Essay Assessor)和E—rater 。(梁茂成等，2007)梁茂成(2005)构建的中国学生英语作文自动评分模型综合了上述三个主流英语作文自动评分系统的优点, 从语言、内容和结构三个方面衡量作文质量。国内则有“大规模考试英语作文自动评分系统”，“《新视野大学英语》作文自动评分系统”“冰果英语智能作文评阅系统”以及北京辞网科技推出的“句酷批改网”。(王晓丰，2014)国内目前运用较多的智能作文评改和网络写作教学方式主要有博客、清华大学的“易得”，以及国内多所高校推广使用的“句酷批改网”。(陈凤，2014)

一句酷评价介绍

“句酷批改网”以下简称“句酷”是一款基于云计算的英语作文自动批改在线服务，通过计算学生作文和标准语料库之间的距离，即时生成学生作文的得分和语言及内容分析结果，体验网址http:// www.pigai.org. 句酷批改网是一个机改英语作文的在线系统。“句酷批改网”的原理是通过对比学生作文和标准语料库之间的距离，并通过一定的算法将之映射成分数和点评。(倪颖颖，2014) 就像医生使用CT机一样，教师可以用批改网自动扫描学生作文的各种参数，进而做出更精准更客观的判断和点评。(摘自批改网)

1.数据分析。

系统会统计出几个作文号下学生作文中用到的各类词性的使用比例、频次、百分比；目前各类词性包括：动词、名词、形容词、代词、介词、副词、连词和标点符号。用户可以通过对作文号中出现的各种词性比例把控文章的问题及了解学生写作练习时较常用到的哪种词性，以及这些词性具体是以哪种形式出现在学生的作文中的。下面将以2014级应用英语班25名同学的作文how I deal with stress(2015年专四大作文题目)为例进行分析，如图1所示。

图1　学生作文词频分布比对(%)

2.数据比对。

用户可以将单篇作文与全部作文中的各类数据进行对比。目前数据对比支持：单词统计比对、词性分布比对、搭配统计比对、句长分布比对、动词频次比对。也可以进行两个学生之间的比对。通过对比，能够帮助学习者直观地了解到自己同别人的差距或者优势，从而对自己的学习进行更有效的把控，如图2所示。

图2　学号82522114001学生的作文搭配统计比对(%)

3.错误分析。

句酷在线批改基于现有的语料，从句子层面对学生的作文逐句进行分析评阅，主要从句子规范、搭配以及词性错误的角度进行分析，如图3所示。

图3　学生作文错误分析

4.维度分析。

句酷系统从评判学生作文的192个测评维度中挑选出几个大维度(可定制)，比如“类符形符比”“拼写正确率”“平均词长”“平均句长”“从句总数”，并列出学生在各个维度上的测量值，为分析作文提供数据参考。通过作文数据在各个维度的不同表现，可以明确作文的薄弱点所在，并且可以对学习的整体情况进行把控，如图4所示。

图4　学生作文句长分布比对(%)HT〗

二研究设计

1.研究问题。

本研究是探讨“句酷批改网”这种在线评价手段对大学生英语写作的影响。具体的研究问题是：(1)学生是否接受“句酷批改网”的作文批改方式，是否乐意继续使用“句酷批改网”完成写作任务；(2)“句酷批改网”对学生的写作有什么影响；(3)学生对“句酷”评价提供的反馈态度怎样。

2.研究对象。

本研究选取了江西省某高校2014级商务英语(1),(2)班及应用英语班共117名学生为期13周的作文，受试按照教师布置的作文每周完成一篇，提交句酷批改网在线评阅，生成评阅成绩。本研究受试为第一次使用“句酷”进行作文写作，每周输入作文号，即可搜到教师布置的作文及其写作要求，学生在线完成写作任务，及时提交，生成作文成绩及批改意见，学生可根据批阅意见进行修改后再次提交，生成新的作文成绩。教师每周会记录学生的在线写作表现，并纳入综合英语平时成绩的考评中。

3.问卷调查。

为了了解学生使用“句酷”的情况，学生是否乐意继续使用“句酷”及其“句酷”对学生作文写作的影响等问题，我们对100名受试者进行了问卷调查(参考了陈慰的问卷，见附件1)，(陈慰，2013)根据该研究的需要，选择了问卷中的八道选择题。其中1—2题主要调查学生对句酷作文批改方式的态度如何，是否愿意继续使用句酷批改网进行在线写作；3—5题是了解句酷评价手段对学生英语写作的影响；6—8题是为了调查学生对句酷评价反馈的态度。问卷设计采用五级量表，从完全同意到完全不同意。

本研究共发出100份问卷，收回有效问卷96份。运用SPSS16.0对96份问卷进行频率分析，得出分析结果。

三研究结果与分析

1.学生对“句酷批改网”作文批改方式的态度。

96名研究对象的问卷调查结果(表1)表明，学生对句酷评价手段持积极的态度，81%的受访者喜欢使用“句酷”作文的批改方式，67%的学生认为句酷批改网的批改方式对自己的作文有影响。

2.句酷评价手段对学生写作的影响。

从表2的数据可以看出，句酷评价手段对学生的作文有积极的影响，58(60.5%)名学生觉得句酷评价方式使写作更有趣了。51(54%)名学生认为句酷使写作更省时省力了，56(58.3%)名学生在句酷的帮助下，作文分数有了明显的提高。

表1　学生对作文批改方式的态度 人数(百分比%)

表2　句酷评价手段对学生写作的影响 人数(百分比%)

3.学生对句酷评价反馈的态度。

从表3的数据可以看出，大部分学生对句酷评价反馈持积极态度，77(80.2%)名学生会根据句酷的批阅意见重新修改作文，57(59.3%)名学生对句酷提供的作文反馈都能很好地理解，44(45.8%)名学生会对不理解的评语不予理会，仅根据评阅意见进行修改。

表3　学生对句酷评价反馈的态度 人数(百分比%)

4.句酷评价手段存在的问题。

从问卷数据的结果显示，绝大多数学生对句酷的作文批阅方式持肯定的态度，且认为对自己的作文写作有一定的影响，但仍有17(17.8%)名学生认为不清楚或者是不同意句酷的作文批阅方式。对于句酷的反馈，39名(40.7%)学生不清楚或者不能很好地理解句酷给出的反馈意见，44名(45.8%)学生不予理会，学生仍然缺乏自主学习的意识。同时也要看到句酷网的局限性：对于写作的篇章结构，思想内容，逻辑性和连贯性还是无法做到准确评估(杨莉，2015)。

四结论

就写作教学而言，在我国各级英语教学中，教师作文批改负担重，很难保证每个学生都能得到教师及时有效地反馈。(栾新华，2012)在大学英语写作教学中引入“句酷批改”在线写作和批阅平台，极大地减轻了英语教师课后作业的批改量，且句酷反馈及时，学生可根据反馈进行修改后再次提交。句酷批改平台方便教师管理班级，掌握学生写作进度，通过该系统创建班级，输入学生学号，教师还可以在线选择作文题，参阅平行高校的写作题，资源共享。句酷批改网是辅助教师批改英语作文的在线服务系统，能够有效减轻教师批改英语作文的工作量，提高学生的英语写作能力。但句酷也有其自身的局限，如不能对文章进行通篇把握，作者的写作思想等不能有效捕捉。以下是清华大学深度使用句酷批改网的案例：

清华大学使用句酷的案例可以给我们有效使用句酷提供很多的启示，在句酷使用过程中，教师应介入在线批阅情况，鼓励学生多次提交，多次修改，在过程中进步成长，并且鼓励学生自评及互评，让学生学会反思自身的写作情况，同时通过批阅其他同学的作文提高自身的作文质量。

参考文献

[1]陈凤.一项关于句酷批改网在大学英语写作中的应用研究[J]. 东华理工大学学报(社会科学版)，2014(2).

[2]陈慰. 基于自动评分系统的大学英语作文反馈研究——以句酷批改网为例 [D].重庆大学，2013.

[3]葛诗利，陈潇潇.大学英语作文自动评分研究中的问题及对策[J]. 山东外语教学，2009(3) .

[4]葛诗利，陈潇潇.中国ESL学习者自动作文评分探索[J]. 外语界，2007(5).

[5]顾成华，王丽. 基于句酷批改网的大学英语；写作教学实证研究 [J].扬州大学学报(高教研究所)，2012(4).

[6]梁茂成，文秋芳.国外作文自动评分系统评述及启示[J]. 外语电化教学，2007(117).

[7]梁茂成.中国学生英语作文自动评分模型的构建[D] .南京:南京大学,2005.

[8]刘永厚.英语专业写作小组同伴反馈和教师反馈效果研究 [J]. 外语界，2015(1).

[9]栾新华.在线写作自动评价系统对大学生英语写作能力的影响 [D].延边大学，2012.

[10]倪颖颖，文卫霞.网络英语写作教学模式述评及探索—句酷批改网的引入 [J]. 鸡西大学学报，2014(9).

[11]王金铨，文秋芳.国内外机器自动评分系统评述——兼论对中国学生翻译自动评分系统的启示 [J]. 外国语，2010(1).

[12]杨莉.基于语料库的大学英语写作教学研究——以句酷批改网为例[J].语言文字探索，2015年3月下半月.

[13]杨晓琼，戴运财. 基于批改网的大学英语自主写作教学模式实践研究[J].外语电化教学，2015(162).

[14]张双祥.大学英语写作教学中在线写作自动评价系统应用研究 [J].当代教育理论与实践，2014(11).

[15]张荔，盛越.自动作文评阅系统反馈效果个案研究[J].外语电化教学，2015(163).

The Empirical Study of the Impact of Juku Evaluation Means on College Students’ English Writing

Zou Yumei, Jiang Cui

(School of Foreign Languages Jiangxi Normal University，Nanchang, Jiangxi 330022，China)

Key words：Juku Correcting Network;online evaluation; English writing; teacher’s feedback

Class No.:H319Document Mark：A

(责任编辑：郑英玲)

韩竹林，讲师，牡丹江师范学院应用英语学院。研究方向：翻译学和英语教学。

柳溪萌，助教，牡丹江师范学院应用英语学院。研究方向：国际商务和商务英语。