智能评阅背景下英语议论文元话语策略及评分相关度研究——以冰果系统为例

缪素琴

（上海应用技术学院 外国语学院，上海 201418）

一、引言

随着英语作文智能评阅的不断普及，我们迫切需要对智能评阅背景下学生的写作策略和智能评阅的信度展开研究。智能评阅代替人工评阅是否会影响学生的读者意识？评阅系统是否会考虑语篇构建的重要因素即元话语的使用？从冰果作文系统任意选取各个分数段的英语议论文191篇作为研究文本，探索智能评阅背景下学生的元话语使用策略、元话语与系统评分的相关性以及学生写作中存在的问题，为智能评阅背景下的英语写作教学提供参考意见，策应当前学术英语教学改革，同时为改进智能评阅系统提供实证性的经验。

二、元话语概念分殊

元话语（metadiscourse）概念是由Harris于1959年提出的。此后，Williams（1981），Vanda Kopple（1985），Crismore（1989），Hyland（2000，2002，2005），Hyland 和 Tse（2004）等进一步发展了这一概念。Hyland（1998：437-438）认为，元话语指的是话语的组织、作者对话语内容的看法、预测读者态度等体现篇章各种特征的一套机制。议论文通常包含丰富的元话语手段。因此，元话语是否运用恰当直接影响议论文的质量。

Vande Kopple（1985）把元话语分为篇章元话语和人际元话语，篇章元话语又分为篇章连接词语（text connectives）、语码注解词（code glosses）、效度标示词（validity markers）、信息来源标示词（narrators）；人际元话语分为言外之力标示词（illocution markers）、态度标示词（attitude markers）和读者作者沟通标示 词（commentaries）（Hyland，2005：32）。 随着研究范围的扩大及研究的深入，篇章元话语和人际元话语二分法的不足之处日趋明显。Hyland和Tse （2004）认为，把元话语分为引导式（interactive）和互动式（interactional）两类更能反映元话语的本质特征。Hyland本人用这一分类模式分析讨论了英语非母语的硕博研究生毕业论文中的英语元话语使用情况。本研究采用Hyland和Tse的分类模式，该划分模式如表1所示（Hyland & Tse，2004：169）。

表1 Hyland和 Tse的元话语分类

该元话语分类模式将元话语分为引导式元话语和互动式元话语。引导式元话语的功能是引导读者读完整篇文章，包括用来组织、构建篇章内容的过渡标记和框架标记、表文内信息的回指标记、表文外信息的言据标记、解释概念的语码注释语等。引导式元话语体现了作者对读者知识的评估，并引导读者按照作者的意图去理解文本的内容。互动式元话语功能是实现读者与作者之间的互动，包括表达作者对命题不确定性的模糊语、增强命题确定性的增强语、表达作者对命题态度的态度标记、作者以第一人称出现在篇章中的自称语、作者把读者牵涉到篇章中的介入标记。这些手段的运用表达了作者对命题的评估，体现了作者和读者的亲疏关系以及读者的参与程度。

三、研究文本说明

研究文本是冰果作文评阅系统中随机选取的191篇文章，总字数33 467，平均篇长175.22字。3篇议论文均不人为设置平均分，备注提示全部为作文成绩作为期末总评成绩依据之一，字数下限120。表2显示，选取的文章平均分布在各个分数段，鉴于分数段头尾文章数目较少的实际情况，该两个分数段所选文章数相应较少。研究文本的议论文总篇数达191篇，是同类非英语专业大学生议论文元话语实证研究方面文本规模较大的一次研究，此外是同类研究中首次采用智能作文评阅系统中的大学生英语议论文作为研究文本。

表2 各分数段的作文篇目数量

表3 元话语频数统计表

四、统计结果与讨论

由于元话语的使用分类很大程度上取决于语境，因此，本研究采用计算机为辅、人工手段为主的统计方法。我们在阅读、仔细推敲每篇文章的基础上，确定文章中的元话语身份，然后按照表1中的十类元话语标记进行分类统计（统计时排除了拼写错误的元话语标记，如latter写作later；in fact 写作in the fact；As is known to all写作As is konwn to all等）。统计过程中曾得到Hyland的指导。以下是191篇学生议论文中十类元话语的统计与分析。 表3中的元话语频数通过以下公式的转换，得出每10 000字元话语频率统计表（表4）。

表4 元话语频率统计表 （每10 000字为单位）

Hyland（2004）考察了英语非母语的香港学生的240篇硕博士论文中的元话语使用情况，他的统计结果是引导式元话语的频率为239.8/万字，互动式元话语的频率为225.0/万字。 表4显示，本研究对象的元话语使用频率大大超过了香港学生硕博士论文中的元话语频率，其中互动式元话语是香港学生硕博论文的两倍之多。元话语使用过多（约11.43个单词中就有一个元话语标记）是否有滥用现象呢？

在引导式元话语标记中，过渡标记和框架标记占据的比例高达92.94%。其中，过渡标记频数为715，占总体引导式元话语频数的67.33%，而同样具有篇章组织功能的框架标记频数为272，只占总体引导式元话语标记频数的25.61%。过渡标记频数是框架标记频数的2.6倍多。大量使用元话语过渡标记的主要原因是议论文的文体要求所致，即讲道理、论是非。特别是正反观点的议论文需要阐述正反两方面的观点，提出自己的观点并说明理据等。因此，作者往往运用像but，although，however，and，while，so，because等 连 词。但是，过渡标记频率高同时也说明学生不擅长运用结构复杂的长句，这是写作能力欠缺的表现。另一方面，框架标记的频率偏低，说明研究对象可能不擅长使用框架标记语，也有可能不愿意花费精力来提供清晰的文章脉络。语料文本显示：低分段文章中框架标记的运用不仅不足而且也比较单一，往往局限在 first(ly)，second(ly)，third(ly)等几个词。

另外，在引导式元话语标记中，回指标记、言据标记和语码注释语三者相加的比例只占所有引导式元话语标记的7.06%。我们认为，习作篇幅较短的特点是回指标记频数少的主要原因；其次，大学生议论文习作往往讨论日常生活中人们熟悉的话题，基本没有需要解释的复杂概念，语码注释语的频率13.15应该属于正常现象。但是，言据标记的频率只有3.88，就议论文摆事实、讲道理的文体而言，这微小的数目显得很不相称，说明学生读者意识薄弱，也说明学生缺乏引经据典的说服能力。

研究文本中互动式元话语标记的运用有以下几项显著特点：首先，介入标记的频数为662，占互动元话语频数1 865的35.50%。研究文本显示学生大量使用包含听话者在内的we，our，us （不包含自称语）以及第二人称的you，your。我们随机选取了其中60篇文章对这五个标记的频数进行了统计，结果高达203个，占该文本介入标记249的81.53%。过多使用这五个介入标记，使文章趋向口语化，严重影响文章质量。以该60篇文本为例，使用这五个人称介入标记的每篇平均数为：得分80分以上的2.79，70分段的3.71，60分段的3.5，50分段的2.93，40分段的5.33。这些数据表明：写作能力较差的学生往往过度使用这五个人称介入标记。其次，模糊语的频数为424，占互动元话语频数1 865的22.73%，其频率为每万字126.69，说明学生在发表自己议论时能做到慎言慎行，尽量让读者接受自己的观点；另一方面，不同于提供客观信息的科研论文，由于我们的研究文本是议论文习作，是发表自己的意见，运用数量较多的模糊语是论说的需要。再者，增强语频数紧随模糊语之后，频率达每万字115.34，大大高于香港硕博论文每万字34.1。其原因是虽两种文体都属于论说文，但两者的论说内容大相径庭：硕博论文必须对论说的内容负文责，而本研究语料仅是学生习作，作者可以无所顾忌地对命题内容发表自己的见解，这两项数据的差异进一步说明了习作中句子长度和硕博论文中句子长度的差异。

五、元话语与冰果评分的关联度

本课题还对冰果作文评阅系统的评分机制与元话语数量之间的关联度进行了研究。我们将研究文本中的三篇作文（共191篇）编号为4221，4772，5360按照分数段的平均分进行了线性回归分析，计算出它们中相应的均篇引导式元话语数量和互动式元话语数量，然后生成平均分与元话语使用数量散点图（见图 1，2，3）。

图1 4221分段平均分（90分段～50分段）与元话语数量关系散点图

以上三个散点图显示，引导式元话语数量与平均分之间存在较强的相关关系，随着均篇引导式元话语数量的上升，平均分也呈上升趋势，所有均篇引导式元话语的数据点基本上落在回归直线附近。R2分别为0.872 3，0.843，0.819，说明平均分的变化可以解释80%以上引导式元话语的变化，即学生作文得分与引导式元话语使用的数量存在高度正相关关系。图中的▲代表均篇互动式元话语，综合三个图表中均篇互动式元话语分布情况说明：互动式元话语数量与作文得分之间没有内在联系。这说明冰果作文评阅系统在给分时只考虑学生引导式元话语使用的数量。

图2 4772分段平均分（90分段～50分段）与元话语数量关系散点图

图3 5360分段平均分（80分段～50分段）与元话语数量关系散点图

六、结语

智能评阅背景下写作者考虑的是机器评阅而不是社会人，写作者的读者意识有所削弱。第一，组织话语的时候节省话语组织的成本，拒绝提供清晰思路的框架；第二，言据标记运用不足，每万字中只出现3.88，议论文缺乏说服力。另外，学生对议论文文体风格缺乏正确的认识，表现在过量使用第一、二人称介入标记（不包含自称语），导致正式文体的议论文变成了口语体；存在大量短句，文章质量受损。在当前学术英语为导向的教学理念背景下，提高大学生议论文写作能力理应成为提升学术写作能力的先导。

针对学生议论文写作中存在的问题，我们要采取相应的教学策略。第一，教师应该强调议论文必须有清晰的脉络和框架，同时教授框架标记的正确运用以及多样化地运用框架标记；第二，教师应该引导学生广泛阅读，拓宽知识面，积累素材，同时加强议论文引经据典写作技巧的训练；第三，引导学生正确认识议论文的文体风格，避免用日常言谈口语体来代替书面语体；第四，教师应该加强复合句在写作教学中的地位，培养学生运用长句的能力；第五，教师不能完全依赖智能评阅系统，应该适当穿插人工评阅，以便及时掌握学生的能力缺陷，调整教学策略。

冰果作文评阅系统的评分机制仅与引导式元话语相关联，而不考虑互动式元话语的使用。不可否认，互动式元话语是议论文的重要构建因素，评阅作文时忽视互动式元话语运用会有损评阅信度。在同一批作业中的写作练习，冰果软件对于学生的互相抄袭无法识别，在这方面该系统需要改进。

[1] Crismore, A. & R. Farnsworth. Mr. Darwin and His Readers： Exploring Interpersonal Metadiscourse as a Dimension of Ethos[J].Rhetoric Review, 1989, (1).

[2] Hyland, K. Authority and Invisibility： Authorial Identity in Academic Writing[J]. Journal of Pragmatics, 2002, (8).

[3] Hyland, K. Disciplinary Discourses: Social Interactions in Academic Writing[M]. London： Longman, 2000.

[4] Hyland, K. Disciplinary Interactions： Metadiscourse in L2 Postgraduate Writing[J]. Journal of Second Language Writing, 2004, (13).

[5] Hyland, K. Metadiscourse[M]. Beijing： Foreign Language Teaching and Research Press, 2005.

[6] Hyland, K. Persuasion and Context： the Pragmatics of Academic Metadiscourse[J]. Journal of Pragmatics, 1998, (30).

[7] Hyland, K. & P. Tse. Metadiscourse in Academic Writing： A Reappraisal[J]. Applied Linguistics, 2004, (2).

[8] Vande Kopple, W. Some Exploratory Discourse on Metadiscourse[J]. College Composition and Communication, 1985, (36).

[9] Williams, J. Style: Ten Lessons in Clarity and Grace[M]. Boston： Scott Foresman, 1981.