基于英语写作自动评价系统的评价模式在低水平学生英语写作中的实证研究

王康妮+曾美婷

【摘要】本研究分别将基于写作自动评价系统的评价模式、基于写作自动评价系统的评价与教师评价的混合评价模式和基于写作自动评价系统的评价与同伴互评混合评价模式应用于低水平学生英语写作中。结果显示，三个班学生的作文成绩都有明显提高，但是三个班的进步值不存在显著差异，这说明基于写作自动评价系统的评价模式能促进低年级学生的作文水平。

【关键词】英语写作自动评价系统 低水平学生 人工评价

一、研究背景

在我国现阶段的大学英语写作教学中，因为教师教学科研任务重，每次批改作文需要很长的时间，因而无法及时给学生提供反馈，从而使部分学生对写作产生消极态度，同时，这也导致教师少布置作文，学生没得到足够写作训练。学生的消极态度和写作训练的不足极大影响了学生写作水平的提高。大学英语教学积极响应《大学英语课程教学要求》中提倡应用现代信息技术，特别是网络技术为支撑，旨在让教与学不受时间和地点的限制，朝着个性化和自主学习的方向发展的教学模式的要求，运用计算机多媒体技术于教学中。英语写作自动评价系统（以下简称系统），一项基于信息技术的标准化评价工具，也被引入英语写作教学中，成为英语写作改革的一个重要切入点。自动评价系统能提高批阅速度，及时给学生反馈，让学生得到更多写作训练，进而提高学生的英语写作水平，但其亦有局限性：主要关注作文的形式方面如单词拼写和语法错误等，却甚少关注内容和组织方面。基于此，部分研究者建议系统评价应与人工评价相结合，使其更好地达到提高学生写作水平的目的。

目前，国内已有部分研究者尝试将基于系统的评价与人工评价的混合评价模式应用于写作课堂中，发现混合评价模式比单独的人工评价更能提高学生写作水平。然而，鉴于系统评价能够提高学生写作水平，因其局限性，才进而提出系统评价与人工评价相结合的混合评价模式，因此，后续研究应该把基于系统的评价与人工评价混合评价模式和基于系统的评价模式进行比较，但目前却鲜少有这方面的尝试。故本研究分别将基于系统的评价模式、基于系统的评价与教师评价混合评价模式和基于系统的评价与同伴互评混合评价模式应用于低水平学生英语写作中，希望能为这一领域的研究提供思路。

二、研究设计

1.研究问题。本实验将三种评价模式应用于教学中，并研究：（1）三种评价模式对促进低水平学生写作水平是否不同？（2）学生对这三种评价模式的态度如何？

2.研究对象。来自某院校三个非英语专业班级共107学生参与本次实验，这些学生已经完成为期一个学期的大学英语学习。

3.研究工具。本研究采用问卷调查和前、后测英语写作成绩的统计学分析，问卷调查在实验后在三个班进行，包含四个维度：学生（1）是否满意本班实行的评价模式；（2）是否会认真阅读评价并修改；（3）是否认为现行评价模式能促进写作水平；（4）是否满意实行的评价模式的反馈速度。前、后测英语写作成绩来自学生在实验前和实验后的限时命题写作的初稿。为确保作文难度一致，作文体裁皆为议论文。每份作文最终得分取自两位教师评分的平均值。

实验采用采用的自动评价系统是冰果英语智能评阅系统，该系统目前被国内多所高校使用。

4.研究方法与步骤。在实验班A班和B班中，A班使用基于系统的评价与教师评价混合评价模式，系统先对作文初稿进行评价，学生根据评价做出修改后提交教师，教师评价后学生再修改、定稿并上交。B班采用基于系统的评价与同伴互评混合评价模式，同样先让系统对初稿进行评价，区别在于学生修改初稿后交与同伴，同伴根据教师提供的同伴互评标准进行修改、反馈，学生在同伴提供的反馈基础上，再次进行修改定稿并上交。在实验前，教师先提供互评标准并对学生进行培训。前两次的同伴互评在课堂上进行，教师在旁边给予指导。由于培训的缘故，实验班第一学期布置3篇作文，第二学期增加到4篇。对照班C采用基于系统的评价模式，使用系统对作文进行评改，对照班每个学期布置6篇作文。

5.研究结果和分析。结果分析与讨论。前测结果显示三个班学生成绩有显著性差异（P=0.003<0.05），说明实验组和对照组在实验前英语写作能力有差异。SPSS计算出三个班学生前测的平均成绩如表1所示。由于前测成绩有显著性差异，我们将三个班实验后的进步值进行比较，以观察实验方法和对照方法对学生写作能力发展的影响。通过对三个班学生进步值的比较，发现他们的进步值没有显著性差异（P=0.077>0.05），结果如表2所示，实验A班和B班分别提高了2.3289分和2.1324分，对照班C班提高了1.5600分，说明三种评价模式都有助于低水平学生写作能力的发展，都对学生的写作起促进作用。

表1 实验组和对照组平均成绩比较（前测）

小班 人数 平均数 标准差

实验组A班 38 7.5132 1.53115

实验组B班 34 8.7059 1.69275

对照组C班 35 8.5543 1.50555

表2 实验组和对照组进步值比较

小班 人数 平均数 标准差

实验组A班 38 2.3289 2.12856

实验组B班 34 2.1324 1.31027

对照组C班 35 1.5600 1.94516

实验后的问卷调查结果显示，A 班有68.42%对现行评价模式满意，B班有62.86%，C班最低，只有56.25%。其中A 班有高达65.79%学生认为现行评价模式能促进写作水平，而B班和C班分别只有51.43%和50.00%。然而当问到对反馈速度的满意度，对照C班显示最高的满意度，有84.38%表示满意，而A班和B班只有65.79%和51.43%。反馈速度也进而影响学生对反馈内容的阅读以及对作文的修改。C班有65.63%的学生会经常阅读反馈并有53.13%的同学表示会根据评价修改。A班则有60.53%的学生阅读作文的反馈，只有42.11%的学生会经常修改；B班最低，只有51.43%的同学会阅读反馈并有37.14%的同学会修改。

从实验结果可以看出，基于写作自动评价系统的评价模式、基于写作自动评价系统的评价与教师评价混合评价模式和基于写作自动评价系统的评价与同伴互评混合评价模式都能促进低水平学生写作水平的发展，实验班学生写作成绩的进步值高于对照班，但是他们之间的进步值没有形成显著差异，这主要是系统的特点导致的。系统评价的最大特点是关注作文的形式方面如单词拼写和语法错误等，却甚少关注内容和组织方面。参与实验的学生都是大一学生，他们的英语水平还比较低，作文中充斥着高频率的词汇和语法方面的错误，系统能够提供比教师更详细更准确的语法和拼写反馈，帮助学生极大地减少作文的错误，明显提高作文的质量。同时，对照班学生比实验班学生多将近一倍的写作练习，使得对照班学生可以多次操练，多次修改，因而他们的作文在词汇和语法方面都比实验班得到更大进步。然而，仔细阅读学生的作文，就会发现对照班学生在内容和组织方面基本没有取得进步，这是系统很少在这些方面给予有效反馈导致的。因而，虽然实验班在词汇、语法、内容和结构方面都取得有进步，但是对照班在词汇和语法方面的巨大进步弥补了在内容和结构方面的不足，使得实验班和对照班的进步值没有显著差异。

从上面的分析不难看出，基于系统的评价模式对低年级学生的写作更有帮助，但对高年级学生写作水平是否提高还有待斟酌。这和周颖[8]和鲁艳辉等[9]的发现相吻合。低年级学生作文充斥着大量的语法和词汇错误，系统在这方面能够提供比人工更准确更强大的支持，因而基于系统的评价模式和基于系统的评价与人工评价混合评价模式一样能促进低年级学生的作文水平。然而随着学习不断积累，学生作文中的语法和拼写错误逐渐减少，如何把观点和内容更好地呈现给读者成为他们面临的主要问题，系统却很难在这些方面提供有效的反馈，这时过于依赖系统评价反而会限制学生作文水平的提高，人工评价介入成为必要。

现代化信息技术评价工具应用于英语写作教学中是一个不可避免的趋势，如何根据学生写作特点，发挥系统评价的优点并且避免其缺点，使系统能有效地为教学服务需要我们教师和研究者不断地探讨和实践，我们相信，通过一线教师和研究者的不懈努力，一定能找出一个让教师和学生都受益的模式。

参考文献：

[1]教育部高等教育司.大学英语课程教学要求[M].上海：上海外语教育出版社，2007：5.

[2]Attali，Y.Exploring the feedback and revision Features of Criterion[C].Paper Presented at the Meeting of the National Council on Measurement in Education （NCME），San Diego，CA.2004.

[3]Shermis，M.J.，Burstein，J.C.& Bliss.L.The impact of automated essay scoring on high stakes writing assessments[R].Paper presented at the Annual Meeting of the National Council on Measurement in Education，San Diego，CA.2004.

[4]Chen，C.F.E.& Cheng，W.Y.Beyond the Design of Automated Writing Evaluation：Pedagogical Practices and Perceived Learning Effectiveness in EFL Writing Classes.Language learning & technology.2008（2），94-112.

[5]唐锦兰.写作自动评价系统在大学英语教学中的应用研究[J].外语教学理论与实践，2014（1）：49-57.

[6]冰果英语智能作文评阅系统http：//write.bingoenglish.com/.

[7]蒋学清，蔡静，唐锦兰.探析自动作文评价系统对大学生英语写作能力发展的影响[J].山东外语教学，2011（6）：36-43.

[8]周颖.在线形成性评价工具在英语写作中的应用——困难及对策探究[J].现代教育技术，2011（9）：88-93.

[9]鲁艳辉，谭福民，彭舜.智能写作评分系统在大学英语写作中的实证研究[J].现代教育技术，2010（6）：56-58.

【基金项目】该文为2012年海南医学院教学改革项目（HYP201208）“英语作文自动评价后人工跟进评价的研究”部分研究成果。