大数据背景下商务英语写作人工与机器评分的实证研究

刘宁

摘要随着大数据发展的瞬息万变，基于语料库的写作软件已经开始颠覆了传统写作的教学模式。本研究的重点是一种通用的作文自动评分系统，叫作“作文自动评分”（Automated Essay Scoring，简写AES），它是基于语料库进行写作的机器评分，已经被国内众多高校采用。本研究将侧重于商务英语写作教学中教师评分与机器反馈的比较，同时，详细分析了国内外关于AES的一些研究，目的是调查高职院校商务英语写作课使用AES评分错误与教师评分错误是否存在差异，是否会呈现具体差异；学生对教师评分使用AES的态度和意见。

关键词 大数据 商务英语写作 机器评分

中图分类号：G642.47文献标识码：ADOI：10.16400/j.cnki.kjdk.2021.17.013

An Empirical Study on Manual and Machine Scoring of Business English Writing in the Context of Big Data

LIU Ning

（Guangzhou City Construction College， Guangzhou， Guangdong 510925）

AbstractWith the rapid development of big data， corpus based writing software has begun to subvert the traditional teaching mode of writing. The focus of this study is a general composition automatic scoring system， called "automated essay scoring" （abbreviated AES）， which is a corpus based machine scoring system and has been adopted by many domestic universities. This study will focus on the comparison of teacher scoring and machine feedback in Business English writing teaching. Meanwhile， it analyzes some domestic and foreign studies on AES in detail. The purpose is toinvestigate whetherthereis anydifferencebetween the errorsofAESscoring andteacherscoringinBusiness English writing class in higher vocational colleges， and whether there will be specific differences； Students’ attitudes and opinions on the use of AES in teacher scoring.

Keywordsbig data； business English writing； machine scoring

寫作是将交际能力和语言知识与某些文化维度、认知和知识社会学相结合的过程。[1]商务英语专业作为高职院校的一门常见专业，是专业英语的一种，它要求学生能够掌握接近于以英语为母语的人的英语书面和口头技能进行商务和外贸工作。商务英语写作作为专业基础课之一，其写作形式和表达方式具有独特的特点，其教学方法提出了有别于普通写作课更高的要求。学生需要能够独立处理各种外贸突发事件相关的函电，处理外贸订单和发货等工作。在真实的商务和外贸场景中，商务英语写作将是与同事和客户沟通的一种极其重要的手段。如何引导学生掌握商务英语写作的专业格式和表达方式，以及学会避免写作中因文化差异引起的一些误解，是商务英语写作课程教学的重点。高职院校商务英语专业的大部分学生对自己的专业充满热情，但是由于学生英语基础薄弱，他们尤其害怕做英语写作任务，往往选择被动地对待写作。同时，教师有批改作文的压力，评价反馈时差大。

1理论基础

1.1自动作文评分（AES）

自动作文评分（AES）是一个大规模的基于语料库的计算机化系统，可以立即纠正所写的文章，提供即时反馈，并对反馈进行分类。AES是指通过计算机评分产生的书写反馈，是一种根据人工智能、正常语言模块、语言处理和计算机技术相关语义分析产生评分的评分工具。[1]一个完善的AES系统可以为大规模评分提供许多好处，如特异性、写作质量的提高、可管理性、一致性、评分报告和评分速度；节省成本，操作方便。[2]作为我国语言智力评估关键技术和应用的代表，Pigai被广泛应用于大学、高职院校、中小学等教育机构。Pigai的处理原理是比较学生作文与标准语料库之间的距离，通过一定的算法以数字和注释的形式计算错误。该技术已获得国内发明专利（专利号：ZL2012 10049982.4）。根据Pigai （www. com）主页上的数据，AES已对超过5亿篇文章进行了评分，采用AES机器评分法、教师修正评分法和同伴评分法三种方式进行评价。

1.2商务英语写作教学的理论框架

过程教学法是一种以学生为中心，教师辅助的教学方法。在商务英语写作中，由于商务英语的词汇和句型比普通英语知识更难，学生的学习要求需要教师的帮助来提高。过程写作法可以让学生在不断深入挖掘写作问题的同时，提高英语思维能力和写作能力。写作过程和写作内容一样重要，写作的有效性取决于写作的过程。注意写作过程可以帮助学生养成自我纠错的写作习惯，遵循语言习得的规律。一篇好的作文是在写作的过程中产生的，这意味着错误是不断被修改的。教师对写作过程进行指导，学生合作完成任务；过程教学法将在今后的写作教学中发挥重要作用。[3]

1.3 AES评分的研究背景

AES的实施可以是一种有效的辅助教学方式，根据对比初步数据与教师单独的评价指导相比，AES可以提高写作能力。[4]AES评阅的处理速度取决于AES服务器与语料库的接触频率，在网上提交论文时，分数反馈的时间大约是2分钟，这是一个令人印象深刻的原始处理速度。AES评分服务器每秒可以处理三篇论文；教师评分的校正水平高于AES评分。[5]另外，从整个作文的反馈及其性质来看，AES的评分与教师的评分相同或更高。即时反馈和评分一致性是AES评分相对于人工评分的两个优点；AES评分反馈的准确性和有效性并不总是能令人满意的。[6]从表1国内关于AES评分的研究示例可以看出，AES评分应用在大学英语课程应用较多。在寻找前人研究的过程中，以商务英语课程为基础的AES研究较少。尽管AES评分有其优点，但AES评分存在的缺点是AES技术的一个真正的困境。AES的准确性和流畅性似乎是该系统的代表性特征；相反，AES评分不能评价文章的结构和内容是否与主题相关，因为它不能具有与人类相同的思维方式。AES系统可以与文章的长度密切相关，而不是提供有效的修辞控制的内容；AES的算法需要比现有的更关注重要的语言标记，以确保AES评分适合于分析评分，从而使语法特征和用法的评分更加可靠。[7]教师在课堂AES整合中起着核心作用，评价AES的属性或考虑AES体系对学生写作的影响应考虑教学环境；为保证AES的有效性，教师应考虑教学方法，AES评分的使用应与教师的写作指导相结合。AES得分出现低于老师评分，由AES和教师评分呈现出显著差异的详细得分，这些发现表明，教师老师评分的得分高于AES得分。[8]崔总结了在英语写作中实施AES评分的三点。首先，教师需要对AES评分持开放的态度，技術的更新会为教学带来方便；其次，教师积极引导学生也是很重要的，教师应鼓励学生在写作中使用AES评分；再次，教师需要熟练掌握AES评分的具体功能，教师可以参与其他教师的培训或学习。[9]AES评分数据库可以连续积累简单的表达方式和句型，但商务英语写作的表达是基于真实的商务情境，这是AES评分的难点。另一方面，中国与其他国家的文化差异和表达方式的不同是ASE在处理商务交际写作时遇到的两个障碍，错误的信息或不一致的表达会引起沟通者之间的误解和矛盾，会影响商务活动的正常进行。

2研究设计

2.1研究问题

（1）AES系统评分中的作文错误与商务英语写作老师评分中的作文错误是否有区别？如果有，这些错误之间的具体区别是什么？

（2）使用AES评分法的商务英语学生和使用传统的教师评分法的商务英语学生对AES评分的态度和观点是怎样的？

2.2研究对象

本研究选取了我国某高职院校商务英语专业的一年级学生160名，均有十年英语学习经验。参与者的平均年龄约为19岁，英语水平为中级英语学习者。老师会根据分班测试的结果将受试者分成两组，实验组80人，对照组80人。实验组选择AES作为计算机写作辅助评分，对照组选择传统论文写作和教师评分。两组商务英语写作的授课老师是一样的，教学内容和教学过程的设计也是一样的。

2.3实验过程

实验组和对照组的教学过程和教学内容会保持一致，之后进行语言分班测试、写作测试和问卷调查。参与者将参加英语统一分班考试，并根据分班考试安排上课。为保证分班英语考试的效度和信度，教师将选择中国权威的国家英语考试作为考试内容，如2018年大学英语四级考试真题。在写作测试后，所有研究对象将会填写一份问卷。

在商务英语写作课上，实验组将使用AES作为每一篇写作和评分工具，对照组将使用传统的纸笔写作和老师评分的方式。在10周的商务英语写作教学后，将进行写作测试。在本研究的写作测试之初，教师将设计一个常见的商务情境，用过程写作的方法学习如何在现实生活和商务世界的正式场合维护个人和集体利益进行投诉。老师将用一篇新闻作为导入，一位消费者花了66万元买了一辆梅赛德斯-奔驰，不幸的是，汽车发动机出现了漏油现象。老师将介绍商务情境下的投诉信的例子，并分析其格式和有用的表达。最后，老师将安排本研究商务情境下投诉信的写作测试，写作背景如下。

你是蓝天公司的市场部经理周晓娜，你的公司收到一批500箱黄色纯棉t恤的货物，但货物上有各种不同的污渍。经你方详细检查，损坏是由于卖方的不当包装造成，你方损失惨重。现写一封120到150字的投诉信给快乐服装公司的销售经理凯西·格林，要求对方调查此事，并尽快解决这起事故。

实验组将使用AES系统- pigai进行数字化写作。在写作过程中，参与者不能使用AES的修改工具，写作完成后立即提交。教师登录AES导出作文错误分析的原始数据。对照组采用传统的纸笔方式进行写作测试，由老师对作文进行评分，并对错误和分数进行分类和分析。写作测试完成后，参与者将回答一份问卷。自变量为AES系统评分中的作文错误和商务英语写作教师评分中的作文错误，因变量为这两种评分方法的差异。研究测试后，教师将收集160篇商务英语写作的论文修改错误并进行分析，80篇论文采用AES分析功能进行评分，80篇作文将由教师评分。同时，问卷调查采用问卷星（https：//www.wjx.cn/）进行，使用SPSS进行频率分析，总结实验组和对照组对AES和传统写作的看法和意见。

3结果与分析

根据评分数据比较结果（表2），AES评分是高于教师评分，两种方法之间是具备相关性的。根据问卷的结果，可以预期AES的优点是评分速度快，评分和更正错误会在几秒钟内呈现出来。学生可以根据这样的优势及时对写作进行批改，并在批改过程中加强写作。教师评分让学生在写作的真实环境中得到批改，但批改的时间无疑是不可能在几秒钟内做到的，这被称为教师评分的最大困难。

通过对AES和教师评分的误差分析，得出教师评分和AES评分之间的相关性和差异；具体评分细节分析结果如表3所示，表3中列出的错误类型是商务英语写作纠正中常见的错误评分维度。

从调查问卷的分析结果可得知，实验组对AES持积极态度，AES可以在几秒钟内完成作文评分，89%的被试表示AES加强了商务英语写作的个人积极意愿，78%的被试更喜欢AES的纠正功能，他们可以多次纠正写作以获得高分。对照组对老师的评分有积极的态度，教师评分可能可以激发81%的参与者对商务英语写作的兴趣，80%的参与者可能已经很好地掌握了商务英语写作的格式。因此，采取AES与教师评分相结合的教学方式是比较妥当的（表4）。

4結论

AES不能代替教师，它是教师的“智能助手”。根据前人的研究综述，可以预计AES的错误可能与教师评分的错误有显著差异。在商务英语写作课程中，当使用AES进行论文修改时，教师需要结合自己的反馈来调整机器反馈。AES的优点是毋庸置疑的，但是由于商务英语课程的特殊性，教师需要对机器评测进行一些纠错和指导。AES评分是一个“冰冷的”人机互动的过程，当AES结束评分时，错误只会以字母的形式显示在计算机屏幕上，并要求学生修改，不需要沟通。教师评分是老师和学生在课堂上面对面、融入感情的交流，教师反馈的鼓励词可以帮助学生提高商务英语写作的有效性。在进一步的研究中，本研究将继续对写作课的观察，融合了学生写作态度的写作也是商务英语写作教学的重要组成部分。

参考文献

[1]Stevenson，M. A critical interpretative synthesis： The integration of automatedwritingevaluationintoclassroomwritinginstruction[J]. Computers and Composition，2016（42）：1-16.

[2]Elliot， N.， & Williamson， D. M. Assessing writing special issue： Assessing writing with automated scoring systems[J].Assessing Writing，2013（18）：1-6.

[3]Graham， S.， & Sandmel， K.The process writing approach： A metaanalysis [J]. The Journal of Educational Research， 2011 （104）： 396-407.

[4]Palermo，C.，& Thomson， M. M. Teacher implementation of self-regulated strategy development with an automated writing evaluation system： Effects on the argumentative writing performance of middle school students[J].Contemporary Educational Psychology，2018（54）： 255-270.

[5]Shermis，M.D.，Mzumara， H.R.，Olson， J.， &Harrington，S.On-line grading of student essays： PEG goes on the world wide web[J].Assessment & Evaluation in Higher Education， 2001（26）： 247-259.

[6]Liu， S.， & Kunnan， A. J. Investigating the application of automated writing evaluation to Chinese undergraduate English majors： A case study of Write To Learn[J].Calico Journal，2016（33）：71.

[7]Weigle，S.C.Englishlanguagelearnersandautomatedscoringofes- says： Critical considerations[J].Assessing Writing， 2013（18）： 85-99.

[8]Stevenson， M. A critical interpretative synthesis： The integration of automated writing evaluation into classroom writing instruction[J]. Computers and Composition，2016（42）：1-16.

[9]Choi，J.The impactofautomated essay scoring（AES）forimproving english language learner’s essay writing[J].ProQuest Dissertations Publishing，2010.

[10]江颖，金跃强，王茜.大数据方法对非英语专业学生英语写作动机及水平的影响研究——以“句酷批改网”为例[J].当代教育理论与实践，2019，011（002）：142-146.

[11]钟歆.基于作文自动评分系统的高职学生英语写作自我效能感研究[J].长沙通信职业技术学院学报，2017，016（004）：64-67

[12]陈艳.句酷批改网对不同水平高职英语学习者写作能力的影响研究[J].长沙航空职业技术学院学报，2017，017（004）：34-39.

[13]李霞，钟兰凤.作文自动评价系统在大学英语写作教学中的实证研究——以句酷批改网为例[J].教学研究，2017，040（001）：57-61.