自动评分系统对高职高专写作教学的效果研究

林静

（泰州职业技术学院 基础科学部，江苏 泰州 225300）



自动评分系统对高职高专写作教学的效果研究

林静

（泰州职业技术学院 基础科学部，江苏 泰州 225300）

摘要：本研究分析了句酷批改网对高职高专写作教学的影响及效果，比较在线反馈与教师反馈在培养学生写作能力方面的异同。研究结果显示，在线反馈对高职高专英语教学产生了一定的影响，能激发学生的学习动机和学习兴趣；在线反馈的显著性差异主要体现在高、中水平的学生身上。

关键词：写作教学；在线反馈；教师反馈

高职高专英语教学中，写作有其特殊的地位。《高职高专教育英语课程教学基本要求》明确指出：英语教学要“注重培养实际使用语言的技能”［1］。这里所说的技能就是培养学生利用英语语言知识进行交际的能力。在英语语言学习的四大技能中，写作一直以来都是英语综合运用能力的体现，并且是一个复杂的过程，“在这一过程中，学生始终是学习的主体，提高其写作方面的自我认知水平并进行有效修改的一个关键保障就是对他们所写内容的反馈”［2］。二十世纪七十年代以来，随着过程教学法的产生，反馈在英语写作中的作用与日俱增。“反馈是读者向作者的输入，它的功能是向作者提供修改作文的信息”［3］。而在高职高专英语教学中落后的教学方法往往遏制了学生英语水平的提高。高职高专英语教学往往是大班授课，以笔者所在学校为例，授课班级少则数十人，多则上百人，每个教师每学期至少要教3～4个班级；此外，高职高专的英语课程属于基础课，课时较少，学生要在规定的时间内掌握听、说、读、写四大技能，不论对教师还是学生都是极大的难题。就写作学习而言，因教师的负担重，难以及时有效地对学生进行反馈，所以学生写作水平提高缓慢，有时甚至挫伤学生的写作积极性。目前写作的反馈方式除了教师反馈外，关于同伴反馈的研究也较多。但由于学习者自身英语水平和写作水平的不同，同伴反馈在实际运用中总会有不尽人意的地方。计算机科学和网络技术的发展不断挑战大学英语教学模式，而基于写作教学就出现了自动作文评分系统，因而，随着信息技术的进步及发展，利用计算机对大学英语作文进行评分和反馈已经成为未来反馈研究的新的方向和趋势。

1　研究综述

从上世纪60年代起，国外研究者就开始研究写作自动评价系统，到目前大致可分为三个阶段：一是上世纪60年代，由美国杜克大学开发的PEG（Project Essay Grader）；二是上世纪90年代，美国的ETS和科罗拉多大学分别研制出的E-rater （Electronic Essay Rater）和IEA（Intelligent Essay Assessor）；第三阶段出现在本世纪初，主要的评价系统有My Access，Criterion，Hot Online Essay Scoring和Writing Roadmap。

在国外，在线自动评价系统的研究以美国为首，研究方向主要有两个：一是研究在线评价系统与写作成绩的关系；二是研究在线评价系统在写作课的应用。前者的代表人物有Elliot&Mikulas和Shermis。Elliot&Mikulas的研究发现自动评价系统My Access对学生写作成绩的提高有积极的影响［4］，但在研究中没有对照组，因而实验结果缺乏可信度；Shermis用随机抽样的方式对来自同一个班级的实验组和对照组的学生进行比对研究，实验结果显示两组学生没有差异［5］。此外，Vantage Learning和White分别利用My Access和Writing Roadmap 2.0对学生进行研究，研究结果都显示了利用在线评价系统的确能提高学生的写作成绩［6-7］。对在线评价系统在写作课的应用方面的研究较少，主要有Attali，Hoon，Waeschauer&Grimes，他们的研究都显示学生对利用自动评价系统进行修改的次数较少［8-10］。

相比国外，国内对在线自动评价系统的研究刚起步，文秋芳对国外的PEG、IEA和E-rater进行了比较分析后认为PEG重语言形式，IEA重作文内容，E-rater既重形式又重内容，同时她还探讨了国外在线自动评价系统对国内教学的启示［11-12］。王颖综述了在二语写作中运用计算机反馈，但并未探讨自动评分系统对学生写作的影响［13］；王淑雯也只是系统介绍了Writing Roadmap 2.0在大学英语教学中的运用，分析了该系统的优势和存在的问题［14］。

综上所述，我们不难发现：在实验中，研究背景、研究对象以及研究方法的不同都会影响实验的结论。此外，我们也发现，目前国内外的研究对象大多是本科生，同时上述评分系统都是英文反馈，针对英语基础薄弱的高职高专的学生并不适用。目前很多国内高校开始采用由北京词网科技有限公司开发的句酷批改网（www.pigai.org），该系统能从内容、结构、词语、语法等方面对学生作文进行诊断性反馈分析，并通过与语料库比对给出实时评分，此外学生还可根据修改建议自主修改，多次提交。鉴于批改网的优越性及广泛使用性，本文试图在高职高专类非英语专业学生中研究基于批改网的在线反馈和教师反馈对高职类学生写作课堂及学习效果的影响差异。

2　研究设计

2.1研究问题

本研究采用对比方法，比较在线反馈和教师反馈在培养学生写作能力方面的异同，分析其产生的原因。具体研究以下两个问题：

（1）在线反馈和教师反馈对提高学生的写作能力会产生什么样的影响？为什么会有这些影响？

（2）何种层次的学生（高、中、低水平）受在线反馈的影响更为显著？原因是什么？

2.2研究对象及过程

受试者是江苏省某职业技术学院15级药学专业两个班的109名学生。该专业学生在入校时进行过分级考试，分为A级，B级和C级。实验对象是B级的两个班的学生。实验前对两班学生进行了前测，其中一个班级定为控制班（CC），另一个班是实验班（EC）。控制班有54名学生（男生10人、女生44人），其中江苏37人，其余学生分别来自甘肃（6人），内蒙古（2人），四川（5人），广东（1人），安徽（2人）和山西（1人）；实验班有55名学生（男生17人，女生38人），其中36人来自江苏，其余包括甘肃9人，内蒙古2人，四川4人，广东1人，安徽2人以及山西1人。

实验班的学生在开展在线反馈之前，进行了为期3周的培训，熟悉句酷批改网的使用方法，了解写作中常见错误类型以及相应的写作技巧。之后是持续12周的训练过程，每两周完成一次练习。在两周中，学生可根据修改意见反复修改提交。学生提交作文后，教师及时查阅并进行相关的记录，每次写作任务结束前教师在课堂统一对学生的作文进行详细讲解，并要求学生再次进行修改。最终，每个作文题学生都要经历写作——在线反馈——修改（可进行多次）——教师评价——再次修改五个过程。

与实验班学生相比，控制班学生的培训过程减少了熟悉句酷批改网的使用方法。从第四周开始，进入到教师反馈阶段。学生完成作文后交给教师，教师给学生标出错误类型，然后将一稿发给学生要求根据反馈意见进行修改，学生修改完毕，教师批阅二稿，标出没有正确修改的部分，然后将二稿返还给学生，教师统计学生的典型错误在班级进行详细讲解后，学生再次修改。所以控制班学生经历写作——教师反馈——修改——教师反馈——再次修改五个过程。

12周的训练过程中，学生共完成6篇文章的写作，实验结束后，对学生进行了后测。

2.3研究工具

本研究的使用工具主要包括测试、问卷以及访谈。实验班和控制班学生前测和后测的成绩、以及问卷调查的数据分别运用SPSS19.0软件进行了分析。

（1）前测和后测。在实验开始前，笔者所在院校的教师根据学生的水平选择了两个难度相当的作文题。为了保证数据的准确性，在实验之前两篇作文都在100名学生中进行测试，保证题目的难易程度相当。前测是为了了解实验班和控制班学生的写作水平是否一致，而后测是为了验证经过实验，两班学生的写作水平能否提高。两篇作文的总分都是20分。

（2）问卷调查。实验班和控制班的学生在参与本学期的实验后都填写了一份问卷。问卷的设计参考邵名莉［14］以及林静［1］实验中问卷的内容，并结合本研究的实际情况修改。问卷由13个李克特五分量表式问题组成，涉及学生的学习动机和自主学习等方面的内容。

（3）访谈。在实验末，研究者根据后测成绩从两班各抽6名学生参加访谈，分别代表高、中、低水平的学生，要求学生根据实际情况回答。为了避免被访谈者之间相互影响，研究者对每名学生进行单独访谈，整个访谈过程进行了录音并整理成文字。

3　结果与讨论

3.1在线反馈能提高学生的写作能力

在前测中，实验班和控制班的均分分别为9.82和9.83，p值为0.984（见表1），前测成绩的分析显示实验班和控制班学生的英语水平在实验前无差异，而在后测中，两班学生的成绩有了明显的提高，均分分别是14.18和12.74，实验班成绩提高幅度大于控制班，并且两班成绩差异显著（p=0.005＜0.05）。

表1　实验班（EC）和控制班（EC）前测、后测成绩比对

3.2在线反馈能激发学生的学习动机

问卷调查中的1～6项（见表2）涉及本学期在两班学生中开展不同的写作教学模式能否激发学生的英语学习动机。通过比对1～5题的数据，我们得出结论，与教师反馈的课堂模式相比，在线反馈能更大地激发学生的学习动机（p＜0.05）。在实验班的课堂中，学生根据批改网的反馈信息进行在线修改的过程中消除了紧张感，在不断提交作文的过程中，看到成绩的曲线变化有成就感和满足感，提高了写作的兴趣。问卷调查中第6题主要了解学生是否能按照批改意见进行修改，数据显示两班学生平均值较低，无明显差异（p＞0.05），通过访谈了解到，高职高专学生的写作能力和写作信心普遍较低，同时在线反馈有时候提供的信息较笼统，很多无法理解。

表2　实验班（EC）和控制班（EC）学习动机比对

通过对学生自主学习能力的分析显示（见表3），实验班中的学生养成了积极主动探究问题的习惯（题目7），并且能在课后利用网络等资源解决写作过程中碰到的问题（题目12）。然而分析也显示，批改网对学生自主能力的提高有其局限性，与教师反馈的模式相比，学生的修改仍然停留在表层，如词汇和语法（题目8、9），而对于句型结构以及篇章修改的能力显示不足（p值分别是0.177和0.269）。而针对最后一个题目的分析显示，学生无论对教师反馈或批改网的反馈意见并不能区分是否正确，因而有些错误不能进行修改，这一结论和上表中题目6的分析结论是一致的。

表3　实验班（EC）和控制班（EC）自主学习能力比对

续表

3.3在线反馈对高、中水平学生的影响较大

为了了解两种反馈方式对不同层次的学生会产生什么样的影响，研究者根据后测成绩从两班各挑选6名学生分别代表高、中、低水平的学生，通过访谈，发现高、中水平的学生更喜欢在线反馈的写作模式，这类学生的学习基础较好，他们认为教师反馈不如在线反馈及时，通过在线提交能立刻知道分数以及一些修改意见，同时他们的自觉性也较高，愿意反复提交文章，把写作当成游戏，不断挑战，直至达到自己满意的分数。而低水平学生只能修改词汇部分错误，并且最初对写作平台有新鲜感，因而积极性较高，但随着任务的增多，包括看到写作的成绩总是在低分徘徊，学生渐渐失去兴趣，每次写作文都变成了应付任务。所以这类学生往往更喜欢教师反馈的写作模式，认为教师能当面指出错误，包括如何去修改，并且教师的反馈更清晰明了。

4　结论与启示

（1）与教师反馈相比，在线反馈能提高学生的写作能力，学生修改文章的次数远远大于教师反馈的写作模式。在线反馈给学生提供了一个相对私密的交际空间，避免教师当面指正错误所带来的尴尬，同时它的及时性也是教师反馈所不能比拟的，学生可在短时间内多次提交、多次修改，这种便捷友好的交际模式能有助于学生克服写作带来的焦虑感，同时也增强了学生的写作信心。此外，学生利用在线反馈能减少词汇和语法方面的错误，而在句型结构以及语篇等方面的修改与教师反馈差异不大。

（2）在线反馈的显著性差异主要体现在高、中水平的学生身上。写作是一项具有挑战的任务，作文质量的高低不仅取决于学生的基本功，还要求学生有足够的耐心和责任感。高、中水平的学生语言基础较好，更愿意完成有挑战的任务，他们的学习动机和学习目标更加明确，在不需要教师监管的情况下能认真完成任务。而低水平学生首先缺乏学习的自觉性，在没有教师批改的情况下，他们更容易懈怠，再加上基础薄弱，所以写作的热情和积极性都较低。

本研究的结论显示，在线反馈是一种有效的学习模式，可在高职类学校推广。但在使用过程中，教师要充分考虑高职学生的特点，不能完全放手，要加强对学生的监督和检查，因而教师可将在线反馈和教师反馈有机地结合起来，既能减轻教师的负担，同时也能提高学生的学习效率。此外在写作教学中应对低水平学生进行更多的干预，降低学生的焦虑感，提高学习兴趣。但由于本研究的数据来源于同一所学校的受试学生，样本量偏小，同时实验的周期相对较短，今后可延长实验周期，扩大实验范围，更好地发挥在线反馈在高职高专教学中的应用。

参考文献：

［1］林静.同伴评价在高职高专翻译教学中的效果研究［J］.南京工业职业技术学院学报，2015（1）：46-50.

［2］王淑雯.利用自动评分系统进行在线英语写作反馈［J］.成人教育，2011（8）：115-116.

［3］Keh，Claudia L.Feedback in the writing process：a model and methods for implementation［J］.English Language Teachers Journal，1990，44（4）：294-304.

［4］Elliot，S&C.Mikulas.The impact of My access！used on student writing performance：A technology overview and four studies［C］//Paper presented at the annual meeting of national council on measurement in education.San Diego，CA.America，April 2004.

［5］Sherimis M.，J.Burstein&L，Bliss.The impact of automated essay scoring on high stakes writing assessment. ［C］//Paper presented at the annual meeting of national council on measurement in education.San Diego. CA.America，April 2004.

［6］Vantage Learning.MY access！efficacy report［EB/OL］. （2010-08-08）［2016-02-06］.http：//www.vantagelearning.com/school/research/myaccess.htmal.

［7］White，L.，N.Hixson，J.D’Brot&J，et al.Impact of writing roadmap 2.0 on WESTNET2 online writing assessment scores［EB/OL］.（2010-09-20）［2015-02-06］. http：//wvde.state.wv.us./oaa/pd/research/Research% 20Brief%20-%20WRM2.0%lmpact%20FINAL% 2001.27.10.pdf（accessed 20/09/2010）.

［8］Attali，Y.Expolring the feedback and revision feature of criterion［C］//Paper presented at the annual meeting of national council on measurement in education.San

Diego，CA.America，April 2004.

［9］Hoon，T.Online automated essay assessment：Potentials for writing development［EB/OL］.（2010-08-09）［2016-02-06］.http：//ausweb.scu.edu.au/aw06/papers/ referred/tan3/paper.html（accessed09/08/2010）.

［10］Waeschauer，M&D Grimes.Automated writing assessment in classroom.An International Journal，2008（3）：22-36.

［11］梁茂成，文秋芳.国外作文自动评分系统评述及启示［J］.外语电化教育，2007（5）：18-24.

［12］梁茂成.中国学生英语作文自动评分模型的构建［M］.北京：外语教学与研究出版社，2010.

［13］王颖.二语写作中的反馈研究述评［J］.山东大学学报，2007（5）：48-52.

［14］邵名莉.同伴评价在英语专业写作教学中的运用研究［J］.外语教学理论与实践，2009，（2）：47-53.

（责任编辑杨荔晴）

中图分类号：G642

文献标志码：A

文章编号：1671-0142（2016）03-0008-04

作者简介：林静（1975-），女，江苏无锡人，副教授.

基金项目：江苏省教育厅2015年高等教育教改研究课题（2015JSJG605，课题负责人：李红梅）；泰州职业技术学院2015年度科研项目（TZYKY-15-18，项目主持人：林静）.

A Study of Online Feedback on Students’Writing Teaching at Higher Vocational Colleges

LIN Jing
（Taizhou Polytechnic College，Taizhou Jiangsu 225300，China）

Abstract:ract:The essay analyzes the effect of writing feedback provided by JUKU.It discusses the similarities and differences between online feedback and teacher feedback.As has been turned out，online feedback teaching mode does not only have positive impact on students’writing teaching at higher vocational colleges，but also helps to motivate students and foster their autonomous learning.The high and intermediate achievers are significantly affected by the implementation of online feedback.

Key words:ds:writing teaching；online feedback；teacher feedback