理工科大学生学术英语口语非言语特征研究

臧悦　刘芹

摘要：基于自建多模態学术英语口语语料库，运用多模态互动分析方法，对中国理工科大学生学术英语口语中的非言语特征进行研究，重点分析非言语模态结构配置、模态特征和模态协同。结果显示：目光交流和声调为高强度模态，与主模态为补缺关系；手势、面部表情、身体移动和头部活动为次要模态，其中手势与主模态成强化关系，其他模态与主模态成交叠关系。学生在学术英语口语表达中倾向于运用目光交流和声调变换构成非言语交际，也有意识使用手势强化表达内容，但存在语气平淡、表情不自然、身体僵硬、缺乏情感等情况。

关键词：多模态；学术英语口语；理工科大学生；非言语特征

中图分类号：H 311     文献标志码：A     文章编号：1009?895X（2023）01?0001?07

DOI：10.13256/j.cnki.jusst.sse.2023.01.001

Nonverbal Characteristics in Academic Spoken English among Chinese Science and Engineering Majors?From a Multimodal Perspective

ZANG Yue，LIU Qin

（ CollegeofForeign Languages， University ofShanghaifor Science and Technology， Shanghai 200093， China）

Abstract：Based  on  the  self-built  Multimodal  Corpus  of  Academic  Spoken  English，  nonverbal characteristics of Chinese science and engineering majors are studied by using multimodal interaction analysis method，  focusing on nonverbal modal configuration， modal  features and modal coordination. Results show that eye contact and intonation are high-intensity modes， which are complimentary to the main mode. Gesture， facial expression， body movement and head movement are secondary modes， among which gesture  strengthens the main mode and the other modes overlap with the main mode. Chinese science and engineering majors tend to form nonverbal communication through intonation and eye contact， and  consciously use  gestures to  strengthen  spoken  English  expression， but  certain  cases  of flat tone， unnatural facial expressions， rigid body movements and lack of emotion could be found.

Keywords ：multimodality； academic  spoken  English； Chinese  science  and  engineering  majors；nonverbal characteristics

当前我国“新工科”建设要求人才培养与国际接轨，亟需能够运用英语开展学术交流和从事相关工作的专业人才。近年来，国内高校日益重视学术英语教学，聚焦于学术英语读写能力的研究较多，如顾钧仪[1]、王华[2]、朱效慧等[3]，而关注学术英语口语能力的较少。王华等[4]的相关研究表明，学生认为参加学术英语口语小组活动、在班级内作学术英语口头报告等具有很大困难。因此，有必要对高校中人数众多的理工科大学生学术英语口语展开研究。本文以第二作者主持的国家社科基金中自建的多模态学术英语口语语料库为研究对象，旨在厘清理工科大学生进行学术英语口语表达时的非言语特征，以期帮助他们提高学术英语口语能力。

一、多模态视角下的非言语特征

Samovar 将非言语交际定义为在特定交际环境中除了语言交际之外的，交际各方认为有信息的因素，这些因素可以是人为的，也可以是交际环境中产生的[5]。Ross 认为非言语交际行为传达的信息占整个交际活动的65%，远大于言语交际行为[6]。而随着现代技术发展，多种模态共同参与了人类交际活动，如音乐、图像、图标等，可见非言语交际在交际活动中的重要性。继张德禄提出多模态话语分析理论框架[7]之后，涌现出许多基于多模态理论的研究，大部分将非言语特征视为多模态理论中的一部分。例如：孙志楠提出可以将多模态理论应用于大学英语口语教学[8]；唐嘉梨利用参与者的体势语研究了动态视频中的模态协同[9]；孙鑫等提出多模态分析方法可以全面描述教师的言语和非言语特征，并从口语、书面语和非语言行为方面对一名英语教师90分钟课程的教学支架进行多模态分析，发现其使用大量非言语行为来辅助言语行为[10]。然而，鲜有运用多模态理论探讨特定群体或特定体裁非言语特征的研究。

二、研究设计

（一）研究问题

（1）理工科大学生学术英语口语非言语模态结构如何？各模态有什么特征？

（2）不同年级与不同性别学生在非言语模态使用方面存在什么差异？

（3）理工科大学生学术英语口语的模态协同方式如何？

（二）研究对象

本研究的研究对象为中国理工科大学生，采用的语料为多模态学术英语口语语料库（Multimodal Corpus  of Academic  Spoken  English，  MUCASE ）。该语料来源于国家社科基金项目“中国理工科大学生学术英语泛在学习模式构建研究”（项目编号：19BYY232），包含用 Elan 6.2软件进行多模态标注的100个学术英语口语视频。学术口语的定义是用正式语言口头汇报专业学习和研究的内容。这些视频来自上海某高校的100名理工科专业学生，涵盖机械、土木工程、电气工程、能源动力等专业，分为两类。第一类为一年级学生在 PPT 辅助下用学术语言进行关于小组研究的英文汇报，例如：网络工程专业的学生汇报了区块链的现状、特点及发展前景；热能专业的学生汇报了涡轮式喷射引擎的构造、工作原理、优点和局限性。第二类为二年级学生在没有 PPT 辅助的情况下进行关于自身专业的英文汇报，例如：通信工程专业的学生阐述了该专业的重要性、课程内容及就业前景；电子信息专业的学生介绍了该专业的研究方向、未来前景及自身的学习感受。此100个视频的每个视频时长为3～6分钟，按年级包含25个一年级学生视频和75个二年级学生视频，按性别包含56个男生视频和44个女生视频，合计时长为399分13秒。

（三）研究方法

1.语料库标注

本文采用的标注框架是刘芹、潘鸣威结合大学生英语口语输出特点设计的多模态英语口语语料标注体系[11]，分为言语和非言语两大类。每个视频在标注时分为6种模态，即声调（intonation）、目光交流（ eye contact）、手势（gesture）、身体移动（body movement）、面部表情（facial expression）和头部活动（head）。在实际标注时，每种模态又进行细分。标注软件 Elan 6.2的标注界面，能清晰展示不同的模态层级，以及不同模态下具体的模态活动，界面同时展示各具体模态发生的时间和时长等（见图1）。

2.多模态互动分析

多模态互动分析是多模态研究的重要方法之一，其分析的对象是社会交际活动，因而具有现实意义。本研究中大学生进行的学术英语口语输出可以对应现实情境里的交际活动，例如在班级课堂上或是国际会议上用英语介绍自己的专业或某一领域的成果等。张德禄、王正[12]提出的多模态互动分析基本框架从文化语境、情景语境、互动话语、模态和媒介五个方面分析互动活动。他们对大学英语课堂进行多模态互动分析后发现：教师在朗读和讲解时的模态资源配置为教科书和口语是主模态，因为这两种模态缺一不可，且都为高强度模态；其他模态可有可无，为次模态。教师在教学活动时应突出一种高强度模态，避免频繁改变模态结构配置，分散学生注意力，影响教学效果。多模态互动分析研究的重点问题之一是多种模态的特征及其它们之间的关系，这种关系由模态密度和模态资源配置来体现。模态密度能够展现交际者交际过程中各种模态所占的比重，而模态结构配置能够展现各种模态的重要性和关系，以及各种模态如何协作完成交际活动。本研究尝试将多模态互动分析方法应用于中国理工科大学生的学术英语口语教学，探讨其非言语特征。

3.数据统计

模态密度可以体现为模态强度和模态复杂度两种形式。模态强度指的是一种模态在互动中的重要性或权重。本研究的模态强度表现为每种模态的时长占视频总时长的比例。模态复杂度指活动者进行活动时使用的模态数量，模态数量越高，模态复杂度就越高。本研究提取 MUCASE 中全部学术英语口语多模态标注文件的各个具体模态时长，并作统计分析。

三、结果及讨论

（一）非言语模态特点

本研究统计了6种模态各自的总时长以及所有视频的总时长，并计算出6种模态各自占总时长的比例。结果显示，目光交流和声调的模态密度占比远高于其他模态，分别为38%和37%；接下来是手势模态，占比20%；另外3种模态中，面部表情占比3%，头部活动和身体移动各占比1%。可以推断，学术英语口语的非言语模态资源配置中目光交流和声调为高强度模态，是学术口语必需的模态；其次是手势模态；头部活动、身体活动和面部表情对于学术口语并非必須，但参与者仍在使用。因此，本研究重点分析目光交流和声调两种模态。

1.目光交流

本研究中的目光交流模态分为看手稿（ look atdraft）、看向观众（ with  audience）、看辅助 PPT （ look at PPT ）、抬头看（look up ）、向下看（ look down）和眨眼（blink）。统计目光交流模态中不同目光交流活动的时长占比可知：学生看向 PPT 的时间最长（占比66%）；其次是看向手稿（17%）和与观众目光交流（13%）；抬头看和向下看的时间占比较小（分别为3%和1%）；没有眨眼的情况发生。在有 PPT 辅助的情况下，学生倾向于机械地朗读 PPT 上的文字；而没有 PPT 辅助时，学生也会朗读预先准备的手稿。这时他们的声调大多是平调，因而呈现的学术英语口语语气平淡，没有重点，缺乏感情。而交际过程中最重要的部分，与观众目光交流的占比却很小，且为数不多的目光交流时间也仅出现在开头的问候或结尾的感谢中。笔者推测，学生由于紧张，迫切地想完成任务，害怕出现忘词的情况，因而过于依赖 PPT 和手稿等工具，导致看向辅助工具的时长过多，忽略与观众的目光交流。影响学术英语口语非言语特征的因素有演讲内容的难度、学生的个性与性别、外界环境等。为了解影响目光交流模态的具体原因，笔者对个别学生进行了访谈。目光交流时间过少的学生表示，除了上述原因，虽然他们能够意识到与观众目光交流的重要性，但他们对自己的英语口语感到不自信，担心演讲内容不够充实，害怕忘词的情况出现。目光交流时间较多的学生同样表示：目光交流对学术英语口语不可或缺，与观众目光交流可以提高学术英语口语的质量，帮助观众更好地理解内容；成绩的压力也使他们努力背诵口语内容，减少看手稿的频率。

2.声调

声调作为伴语言特征，和身体特征一起起着辅助语言的作用，从而完成社会交际活动。本研究中，声调模态分为声调（ R ）、降调（ F ）、平调（ L ）、升降调（ RF ）和降升调（ FR ）。统计声调模态中不同声调的时长占比可知：使用最多的声调模态是平调（62%）；紧接着是升降调和降升调，分别为15%和13%；占比最小的是升调和降调，分别为7%和3%。笔者发现，内容在很大程度上影响学术英语口语的声调模态。在陈述过渡句和转折句时，学生倾向于用升降调吸引观众注意并表达重点。例如“At this time we need a green environmental pro- tection， clean renewable energy to stand out.”一句，学生对时间状语“at this time ”使用升调，试图吸引观众的注意，接着对“clean renewable energy to  stand out ”使用降调，起到强调的作用，突出清洁能源的重要性，便于展开后面的论证。在陈述展示类内容，例如调研活动步骤等时，学生倾向于使用平调。而对于学术英语口语里的问句，学生有意识地对选择疑问句使用降调，而对于一般疑问句却忽略使用升调，比如说到“Is the charging rate of solar  charger faster than that of ordinary battery charger？”一句。笔者推测，这是由于句子字数过长，学生会忘记此句的重点，从而倾向于将每个词都读成平调，忽略声调的变换。

3.其他模态的特点

手势分为移动左手（ move left hand）、移动右手（ move  right  hand）、移动双手 （ move both hands）、把左手放在胸前（ put left hand on the chest）、把右手放在胸前（ put right hand on the chest）、把双手放在胸前 （ put both hands on the chest）、挥手（ wave hands）和不断摆动双手（constantly shake hands）。统计手势模态中不同手势时间占比情况可知：不断摆动双手的手势时间占比最大（39%）；其次是移动右手（21%）；而移动双手、移动左手和将双手放于胸前的时间占比较小，分别为15%、14%和11%；其余手势很少发生。内容也是手势模态的影响因素之一。进一步分析视频，发现有学生在汇报全程仅有两次手势，有的学生手势频次虽然很高，但均为无效手势，如推眼镜、拨头发等，这表现出他们表达学术英语口语时的紧张和不安。也有的学生有意识地利用手势，配合 PPT 来辅助自己的口语输出，比如在介绍重要概念时，他们会在陈述时移动左手指向 PPT ，引导观众注意图片上的内容。在遇到忘词或单词难读等停顿情况时，有些学生会配上用单手在胸前划圈的手势帮助表达口语内容。有些学生进行学术英语口语表达时，绝大部分时间都在不断地晃动双手，这是一种缓解紧张的下意识行为。虽然幅度较小的晃动双手手势并不影响口语输出的质量，但如果幅度较大、频率较高则会影响口语表达效果，带给观众不佳的体验。关于其他三种模态，许多学生没有表情或面部表情不自然，也有学生在一些引入概念的问句处皱眉，比如会通过问“What is the blockchain？”为下文新概念的引入作铺垫。关于头部活动，学生多在意识到自己说错并想要更正时，会用到摇头的头部活动，而点头多发生在难读的句子的停顿处。最后，大部分学生没有身体动作，为数不多的身体动作发生在开头的问候和结尾的感谢部分。笔者对手势较少的学生进行访谈，有些学生表示是由于紧张，有些学生表示没有意识到手势可以帮助学术英语口语表达。手势较多的学生表示，在强调重点内容、引入重要概念时，手势可以帮助内容的表达，使观众更好地理解内容，但在紧张或忘词造成的停顿时还是存在许多下意识的无效手势，它们可能会影响学术英语口语的整体质量。

（二）差异性分析

本研究首先计算出每位学生6种模态的模态强度，即每一模态的时长占视频总时长的比例，再运用 SPSS 26.0对100名学生6种模态的模态强度进行描述性统计，见表1。只有目光交流模态的偏度（ skewness）和峰度（ kurtosis）在?2和+2之间，符合正态分布，数据统计方法见 Bachman[13]。因此采用獨立样本 t 检验方法进行目光交流模态的年级和性别差异分析，用 Mann-Whitney U 检验方法进行其他5种模态的年级和性别差异分析。

1.年级差异分析

MUCASE 包含25个一年级学生视频和75个二年级学生视频。对比分析结果显示，一年级和二年级学生的6种模态密度均不存在显著差异（ p>0.050）。笔者认为原因如下： （1）虽然二年级学生比一年级学生多学习一年的英语课程，但他们的学术英语口语非言语交际能力并没有显著提高；（2）学生进行学术英语口语活动时，有无 PPT 的辅助对他们的非言语特征并无显著影响。

2.性别差异分析

MUCASE 包含56个男生视频和44个女生视频。对比结果显示，男女学生进行学术英语口语表达时，面部表情和目光交流模态有显著差异（ p1=0.014， t1（98）=?2.0， p2=0.047， t2（98）=2.1），其他4种模态均不存在显著差异（ p>0.050）。因此，本研究进一步分析男女学生面部表情和目光交流两种模态下的具体动作。

面部表情分为微笑（ smile）和皱眉（brow）。先对面部表情下两个具体表情的模态强度进行描述性统计，通过倾斜度和峰值可知数据呈现正态分布，因此采用独立样本 t 检验方法检验男女学生在具体表情的使用上是否存在显著差异。结果显示，在进行学术英语口语表达时，男女生微笑和皱眉的模态强度均显示显著差异（ p1<0.001， t1（98）=?4.9， p2=0.046， t2（98）=2.0）。描述性数据显示，女生微笑的模态强度比男生高，而男生皱眉的模态强度比女生高。

对具体的目光交流动作模态进行描述性统计可知，与观众目光交流和看 PPT 这两个动作的数据呈现正态分布，其他4种动作模态的数据不显示正态分布，因此利用独立样本 t 检验方法检验这两个动作的性别差异，用 Mann-Whitney U 检验方法检验目光交流模态其他4种动作模态的性别差异。结果显示，男女生只有在看 PPT 这一个动作上呈现显著差异（t（98）=?2.2， p =0.029）。且描述性数据显示，女生看向 PPT 的时间长于男生。观察具体视频，发现女生倾向于借助 PPT 上的内容进行学术口语表达，而男生则倾向于借助手稿，忽略对多媒体的使用。

（三）模态协同

张德禄等将模态之间的关系分为互补关系与非互补关系[14]。互补关系中通常一种模态为基本模态，另一种起补充作用。这种补充可以是强化也可以是补缺，前者指一种或多种形式强化作为基本交际形式的模态，而后者指两种模态缺一不可。非互补关系表示一种模态对另一种模态的表现没有大的贡献，但仍然作为一种模态出现。非互补关系一般表现为交叠和语境交互。交叠指两种或多种模态同时出现，但它们之间并没有相互强化关系。语境交互指模态与语境之间的关系，可以是消极的也可以是积极的。由于学术口语的进程由学生的口语交际进程控制，所以言语模态在研究学术口语活动模态协同时不可或缺。本研究的模态协同部分从言语模态和非言语模态入手，探讨非言语模态如何与其他模态协同，结果见表2。

表2显示，学生进行学术口语输出时，声调、目光交流和手势模态与主模态的关系为互补，声调和目光交流模态表现为补缺，手势模态表现为强化。这是因为声调和目光交流模态为高强度模态，对于主模态来说非常重要。声调模态有着辅助口语、表达情感、强调重点的作用；而目光交流模态起着辅助口语、给予提示、吸引观众注意的作用。手势模态为次要模态，可以辅助并组织口语活动，强调内容重点并吸引观众注意。头部活动、面部表情和身体活动模态与主模态关系为非互补关系，表现为交叠关系。它们在学术英语口语中占比较小，但仍然以模态形式出现，都起着辅助口语表达的作用。

四、结论

本文基于多模态学术英语口语语料库，运用多模态互动分析方法，探讨理工科大学生学术英语口语中的非言语特征。研究发现，目光交流和声调为高强度模态，与主模态为补缺关系。学生进行学术英语口语表达时，目光交流模态中看向 PPT 的时间占比最大，其次是看向手稿和与观众目光交流，抬头看和向下看的时间占比较小。声调模态中，使用最多的是平调，接着是升降调和降升调，升调和降调使用较少。手势、面部表情、身体移动和头部活动为次要模态，其中手势与主模态成强化关系，其他模态与主模态成交叠关系。不同年级的学生在非言语特征上并不存在显著差异。女生微笑的模态强度比男生高，而男生皱眉的模态强度比女生高，且女生更倾向于使用 PPT 进行学术英语口语表达。学生有意识地使用手势和辅助工具，如指向PPT 这类动作等强化口语，但仍然存在面部表情不自然、身体僵硬等问题。

Morell[15]对国际会议发言进行多模态分析，发现： （1）在发言中有意识地增加模态数量并将其结合能够提高发言的质量；（ 2）恰当利用视觉辅助工具可以弥补言语上的缺陷；（ 3）优秀的学术发言者倾向于使用交叠的多种模态传达具体的信息。在进行学术英语口语表达时，理工科大学生应有意识地增加模态数量，例如增加手势、身体语言模态，同时学会将手势等模态与多媒体辅助工具结合来帮助表达口语内容。

在学术英语口语教学方面，建议教师在课堂上让学生观摩高质量的国际学术发言并设计相应的课堂讨论，同时实施动态评估，通过不断介入提高学生的非言语交际能力。

王华等[4认为学术英语口语能力的核心是语言知识、学术背景知识和策略能力。本研究言语模态中的学术口语部分可以对应语言知识，非言语模态可以对应策略能力中的非语言策略。因此研究结果一定程度上体现了学生的学术英语口语能力。笔者希望藉此为提高理工科大学生学术英语口语能力提供借鉴。

本文研究了理工科大学生学术英语口语的非言语特征，但样本只涉及一所高校，代表性有限。在未来研究中，笔者将扩大语料库库容，在更广泛的层面上开展研究。

参考文献：

[1]   顾钧仪.学术英语阅读行为研究：影响因素及作用机制[J].外语电化教学， 2020（6）：92?98.

[2]   王華.语料库驱动的学术英语写作教学模式探索?以摘要写作为例[J].外语学刊 ， 2020（1）：49?55.

[3]   朱效慧， 袁欣.活动理论视角下的学术英语写作教学研究[J].外语界， 2018（1）：71?78;87.

[4]   王华， 金艳.学术英语口语特征描述：以中国英语能力等级量表为例[J].北京第二外国语学院学报， 2020，42（5）： 18?31.

[5]   SAMOVAR L A. Communication between Cultures [M].Beijing： Foreign  Language  Teaching  and  Research Press， 2000.

[6]   ROSS R S. Speech Communication： Fundamentals andPractice [M]. Englewood  Cliffs： Prentice  Hall， Inc. ，1974.

[7]   张德禄.多模态话语分析综合理论框架探索[J].中国外语， 2009，6（1）：24?30.

[8]   孙志楠.多模态话语理论在大学英语教学中的应用[J].教育探索， 2011（8）：45?46.

[9]   唐嘉梨.动态多模态话语的模态协同研究?以视频演讲为例[J].湘潭大学学报（哲学社会科学版）， 2021，45（4）： 187?192.

[10]  孙鑫 ， 王平平 ， 洪雅妮.内容语言融合型课堂中教师支架多模态研究[J].中国外语， 2021，18（1）：63?71.

[11]  刘芹 ， 潘鸣威.理工科大学生学术英语口语多模态语料库构建研究[J].现代教育技术， 2010，20（4）：69?72;119.

[12]  张德禄， 王正.多模态互动分析框架探索[J].中国外语， 2016，13（2）：54?61.

[13]  BACHMAN  L  F. Statistical  Analyses  for  LanguageAssessment  [M]. Cambridge： Cambridge  UniversityPress， 2004.

[14]  张德禄， 王璐.多模态话语模态的协同及在外语教学中的体现[J].外语学刊， 2010（2）：97?102.

[15]  MORELL   T.   International   conference   paperpresentations： A  multimodal  analysis  to  determine effectiveness[J]. English  for  Specific  Purposes， 2015，10（37）： 137?150.

（编辑：朱渭波）