自动作文评分系统对大学生英语写作能力的影响实证研究

宋毅宁

[摘 要]将自动作文评分系统与写作教学进行整合是大学英语教学改革的一大着力点与突破口，通过实证研究探讨以批改网为代表的本土化自动作文评分系统对大学生写作能力的影响。教学实验结果表明，该系统不仅能从整体上提高大学生的写作水平，还能对除篇章结构之外的三个分项维度产生积极影响，尤其是词汇和句子的分项成绩提高极为显著，而其影响程度与大学生的英语水平成负相关。

[关键词]自动作文评分系统;大学英语写作教学;写作能力;实证研究

[中图分类号] H319 [文献标识码] A [文章编号] 2095-3437（2019）10-0132-03

大学英语作为大学生的一门必修基础课程是我国高等教育的一个重要组成部分，随着“互联网+”理念的深入人心和人工智能及云技术的普及，传统的大学英语教学模式已越来越无法适应和满足“数字化原生代”学生的学习需求。在英语听、说、读、写、译五项基本技能中，写作存在的问题尤为突出。很多院校不仅没有开设独立的写作课，没有专门的写作教材，缺乏开展写作训练的软硬件条件，师生比例也极为悬殊。教师教学任务过于繁重必然会导致写作训练不足。教师反馈不及时、不充分等问题，会挫伤学生的写作积极性，影响学生写作能力的发展。国家教育部2007年公布的《大学英语课程教学要求（试行）》中明确提出高等学校应当充分利用多媒体、网络技术发展带来的契机，改进原来的以教师讲授为主的单一课堂教学模式。新的教学模式应以现代信息技术特别是网络技术为支撑，使英语教学朝着个性化学习、不受时间和地点限制的学习、主动学习的方向发展。

在大数据时代的背景下，将现代信息技术与写作教学进行有机整合成为大学英语教学改革的着力点和突破口， 将自动作文评分系统融入写作教学成为新的研究趋势。

一、自动作文评分系统概述

自动作文评分系统 （Automated Essay Scoring System， AESS）是建立在建构主义理论、形成性评价理论和过程写作法理论之上的利用计算机技术对作文进行评估和计分的系统 （Shermis & Burstein， 2003）。国外自动作文评分系统的发展主要经历了两个阶段：第一阶段从20世纪60年代到20世纪末，主要用于大规模水平考试的作文评分，典型代表有Page Essay Grade （PEG），Intelligent Essay Assessor （IEA），Electronic Essay Rater （E-rater），Criterion，Intellimetric，Bayesian Essay Test Scoring System （BETSS）等。第二階段始于21世纪初，自动作文评分系统被逐渐应用于课程的形成性评价之中，除了自动评分之外，还具备了对作文进行错误分析﹑维度分析﹑个性化反馈﹑写作辅助等功能，主要代表有My Access！， Criterion， Writing Roadmap （WRM）等（唐锦兰、吴一安，2012）。

国外的自动作文评分系统主要针对英语本族语使用者，并不适用于以英语为外语的学习者。近几年来以梁茂成（2005），李亚男（2006），曹亦薇、杨晨（2007），葛诗利、陈潇潇（2007），蒋学清、蔡静、唐锦兰（2011）等为代表的国内学者对自动作文评分系统进行了研究，部分学者甚至对研制适合于中国英语学习者实际情况的自动作文评分系统进行了有益的尝试。目前国内自主研发的本土化自动作文评分系统主要有高等教育出版社和清华大学开发的体验英语写作教学资源平台，北京词网科技有限公司开发的批改网，杭州增慧网络科技有限公司旗下的冰果网等。

本研究所依托的自动作文评分系统批改网基于语料库语言学、人工智能和计算机云技术，其运作理念是将作文从词汇、句子、篇章结构、内容相关四个维度与批改网建立的英语本族语语料库做对比，通过一定的算法形成分数和评语。在学生界面上，学生提交作文后系统会给出整体评分、分项评分、综合评语、按句点评和详尽的体检报告。除了完成教师发布的写作任务外，学生还可以进行作文自测，参与作文PK，登录写作联盟、写作论坛等板块进行自主学习。在教师界面上，教师可以进行班级管理，发布写作任务。写作任务完成后可以得到包括分数分布、错误统计、数据比对、维度分析、薄弱点分析等的诊断报告，还可以推荐优秀作文供学生学习鉴赏。学生提交的作文达到一定数量后教师还可以开通个人网站，上传各类写作资源供学生浏览下载。

二、研究设计

（一）研究目的和研究问题

本研究是将自动作文评分系统融入大学英语写作教学的一项实证研究，具体研究问题包括：自动作文评分系统在写作教学中的应用对大学生的整体写作能力有何影响？自动作文评分系统在写作教学中的应用对大学生的分项写作能力有何影响？自动作文评分系统在写作教学中的应用对不同英语水平的大学生在写作能力上的影响有何差异？

（二）研究对象

本研究的研究对象是华北地区某高校非英语专业一年级随机抽样的某个自然班的38名学生，其中男生24人，女生14人。为了探究自动作文评分系统对不同水平的大学生的影响，研究者依据学生的高考英语成绩、大学英语一次期末考试成绩及一次英语写作测验成绩这3项成绩均值，进一步将该班学生按英语水平分为高、中、低3组，其中高分组12人，中分组13人，低分组13人。该班学生由研究者本人授课，教学实验历时5个月。

（三）研究的方法和工具

根据研究问题的实际情况，本研究主要采用了基于教学实验的量化研究方法，主要的研究工具包括在批改网上完成的实验的前后两次测试成绩和数据分析软件SPSS17.0。

（四）数据收集

本次教学实验采用量化研究中的准实验研究设计，共分为以下3个阶段。

1.前测阶段

在师生注册并生成班级信息之后，研究者组织学生在计算机房进行了本次实验的前测。要求学生以My View on Online Shopping为题在40分钟内完成一篇120至150词的议论文，满分15分，打分公式为大学英语四级打分公式。同时教师开启相似度检验，禁止粘贴、百宝箱、显示排名等功能。

2.实验阶段

实验期间研究者每3到4周向参与实验的学生发布一次写作任务，作文题目都是从学生正在学习的《新标准大学英语2》中每单元的主题提炼而来，写作要求与前测保持一致，限期1周完成。

正式写作前，研究者在课堂上组织学生进行写前准备，采用头脑风暴、提问法、拟提纲等方法帮助学生积极投入写作活动。正式写作时，学生可根据系统提供的反馈信息反复修改并多次提交。研究者在作文提交时间截止后登录批改网查看提交情况，适当添加人工评阅意见，并根据系统提供的诊断报告对作文整体情况进行讲评。

3.后测阶段

4次写作练习结束后，在计算机房进行了本次实验的后测，要求学生在40分钟内就“Never go out there to see what happens，go out there to make something happen.”这句名言展开论述，具体写作要求仍然与前测保持一致。为了减少多次写作练习后学生写作成绩自然提高所造成的影响，后测的作文难度要稍大于前测的。

三、研究结果及其分析

（一）自动作文评分系统的应用对大学生整体和分项的写作能力的影响

批改网评分采用整体评分和分项评分相结合的混合评分方法，分项评分分别从词汇﹑句子﹑篇章结构﹑内容相关4个维度来进行，各个维度的得分加权后构成整体评分。为了回答前2个研究问题，研究者运用SPSS17.0对实验数据进行描述性统计分析和独立样本T检验，纵向比较实验前后测的总分及各维度分数。

由表2数据可知，参与实验的学生后测成绩均值比前测提高了1.316，达到了统计意义上的非常显著性差异（P<.01），这说明自动作文评分系统融入教学有效提高了大学生的整体写作水平。

表3数据显示，4个分项维度中有3个维度的前后测结果达到了统计学意义上的非常显著性差异（P<.01），其中成绩提高幅度最大的是句子层面，其次是词汇层面、内容相关层面，篇章结构层面不但没有提高反而出现了小幅下降。

据研究者分析，学生在句子和词汇层面的显著进步主要是由于以下几方面的原因：一是系统自带语法和词汇检测功能，在按句点评中会通过各类标签有针对性地指出句子中的语法错误、拼写错误、标点符号错误、中式英语等，以便于学生在修改过程中有的放矢、稳步提高，也会鞭策学生在写作中更加注意表层语言的精准表达。二是学生在批改网写作时可借助系统自带的类似在线词典的“百宝箱”功能查看单词拼写、释义、同义词、例句等，这种方便快捷的写作辅助工具对于单词量匮乏且没有养成查阅纸质词典习惯的学生大有裨益。

研究数据中令研究者颇为讶异的是学生在内容相关维度取得了极高的分数，有些甚至达到了满分。研究者尝试联系批改网的技术人员以了解该项维度的评分机制，但相关人员以内部机密为由未能予以确切说明。研究者转而从其他功能着手分析，发现批改网于2016年下半年新增了跑题检验功能，该功能是通过关键词匹配法，抽取教师上传范文中或者相同题目下学生作文中的关键词，计算出与学生作文中的关键词的匹配度，从而判断作文有没有跑题。跑题与内容相关是一组相反的概念，据研究者推测内容相关维度极有可能是遵循同样的原理，但仅凭关键词来判断作文内容是否切题未免有失偏颇，该项评判标准的信度和效度尚待科学验证。

篇章结构层面是4个维度中唯一不升反降的，虽然其下降幅度没有达到显著水平（P>.01），但也说明了自动评分系统在提高学生谋篇布局能力上的不足。一方面，批改网对作文的反馈重于遣词造句方面，对篇章结构的反馈极少且十分宽泛;另一方面，后测作文在难度上要稍高于前几次，这导致很多学生作文结构松散，条理不清，分数偏低。

（二）自动作文评分系统的应用对不同英语水平的大学生写作能力的影响

为了进一步判定自动作文评分系统对英语水平高、中、低3组的影响程度，研究者运用SPSS17.0分别对这3组的前后测成绩进行独立样本T检验。

表4数据说明，这3组的后测成绩与前测成绩相比均有不同程度的提高，其中低分组在3个组中进步最大，后测比前测均值高出1.577，达到统计学意义上的非常显著（P<.01）;中分组进步幅度次之，均值提高了1.346，达到了非常显著性差异（P<.01）;高分组后测比前测均值只高出0.625，虽然进步幅度达到了显著性差异（P<.05），但在3个组中差异最小。由此可以得出初步结论，自动作文评分系统应用于写作教学对不同英语水平大学生的写作能力都有积极影响，写作成绩提高幅度低分组>中分组>高分组，这说明其影响程度与大学生的英语水平呈负相关。究其原因，研究者认为主要是由于低分组学生在词汇和句子层面犯的错误较多，易于被系统识别反馈，从而做出有效修改;而高分组学生的表层语言错误较少，作文思想内容和篇章结构本身就难以在短期内提高，系统提供的帮助也较少。而且低分组学生往往字迹潦草，卷面凌乱，在线写作则能有效规避此类问题引起的失分。

四、结语

本研究是对自动作文评分系统介入大学英语写作教学进行的初步探索。与以往偏重于组间对比实验的研究不同的是，本研究着重探讨系统对学生分项写作能力的影响以及对不同英语水平学生影响的差异，这也是本研究的创新之处。在量化研究基础上，本研究发现该系统能从整体和分项维度上提高大学生的写作水平，尤其是在词汇和句子维度提高显著，而对学生的影响程度与其英语水平成负相关。由于研究周期较短，实验对象数量较少，本研究还存在许多有待完善的地方。如何將该研究继续向纵深推进，建立一个个性化、智能化、交互式、数字化的写作平台，最终服务于提升大学生写作兴趣和写作水平的终极目标将是研究者下一步的研究课题。

[ 参 考 文 献 ]

[1] 吴一安，唐锦兰.融入自动评价系统的英语写作实验教学对高校英语教师的影响研究[J]. 外语电化教学，2012（2）：3-10.

[2] 梁茂成. 中国学生英语作文自动评分模型的构建[M]. 北京： 外语教学与研究出版社，2011.

[3] 梁茂成，文秋芳. 国外作文自动评分系统评述及启示[J]. 外语电化教学，2007（5）： 18-24.

[4] 李亚男. 汉语作为第二语言测试的作文自动评分研究[D]. 北京：北京语言大学， 2006.

[5] 曹亦薇，杨晨. 使用潜语义分析的汉语作文自动评分研究[J]. 考试研究，2007（1）：63-71.

[6] 葛诗利，陈潇潇. 国外自动作文评分技术研究[J].外语电化教学， 2007（5）：25-29.

[7] 蒋学清，蔡静，唐锦兰. 探析自动作文评价系统对大学生英语写作能力发展的影响[J]. 山东外语教学，2011（6）： 36-43.

[8] 莫函蓓. 新媒体时代大学生应用写作行为的嬗变及策略[J].大学教育，2017（6）： 103-104+108.

[9] 孙宏兵. 动态评价理论在非专业大学英语写作教学中的应用[J]. 大学教育，2018（4）： 100-101+118.

[责任编辑：庞丹丹]