基于ELAN 的英语微课多模态话语分析

王 曼 周 杰

微课（Microlecture）指运用信息技术，按照认知规律，呈现碎片化学习内容、过程及扩展素材的结构化数字资源（廖德辉2022）。微课因教学时间较短、主题突出、内容具体、移动学习等特点有别于传统、单一的教学模式，发展成一种新型的学习模式和教学资源。

随着信息技术的发展和电子媒介的广泛使用，单一模态的语言已经不能满足目前信息高速流通的需求，话语分析呈现出从单模态向多模态发展的趋势。微课具有声音、图像和文字的多种呈现方式，包含文字、图像等符号系统，是多模态话语的典型代表。通过对英语微课的多模态话语分析，不仅可以了解语言系统在意义建构和传播过程中发挥的作用，而且能够了解图像和文字等符号模态在英语教学中产生的作用（吴婷2017），从而协同不同模态构建高水平的教学设计，提高英语教学的质量和效果。有鉴于此，以多模态话语分析理论为基础，借助ELAN 多模态分析软件，以英语微课为个案语料，对其进行定量和定性分析，以期为英语教师有效使用多模态进行英语教学提供借鉴，从而提高英语教学效果。

一、文献综述

近年来，国内学者对多模态话语分析理论及多模态化在英语教学中的应用作了广泛研究。顾曰国（2007）对多媒体学习和多模态学习这两个概念进行了初步解读。张德禄（2009a）基于系统功能语言学理论，探究了多模态话语在现代媒体技术条件下对英语教学的作用。张德禄和王璐（2010）探讨了在大学英语课堂中，各种不同模态是如何相互协同，共同完成教学目标的。马利芳（2016）研究了多模态话语框架下的教学模式。以上学者的研究大多为定性研究，而定量研究较少。因此，本研究以多模态话语分析理论为基础，借助ELAN 多模态分析软件，对英语微课优秀作品Emoji &Emotions 进行定量和定性分析，为英语微课教学设计提供一定的借鉴。

二、理论基础

话语具有多种模式形态，只使用一种模态的话语叫作单模态话语，如使用听觉模态收听新闻广播和使用视觉模态阅读小说；同时使用两种或两种以上模态的话语叫作多模态话语，如使用可视电话进行交际（朱永生2007）。

韩礼德（Halliday）的系统功能语言学理论为多模态话语分析提供了理论框架，该框架主要由五个层面系统组成，包括文化层面、语境层面、意义层面、形式层面和媒体层面（Martin 1992）。文化层面指包含作为文化的主要存在形式的意识形态和作为话语模式的选择潜势的体裁或称体裁结构潜势；语境层面包括由话语范围、话语基调和话语方式组成的语境构型；意义层面包含由几个部分组成的话语意义及概念意义、人际意义和谋篇意义；形式层面指实现意义的不同形式系统；媒体层面指话语最终在物质世界表现的物质形式，包括语言的和非语言的两大类（张德禄2009b）。

根据韩礼德的系统功能语言学理论，张德禄（2009b）提出了多模态话语分析综合理论框架，该框架包括文化层面、语境层面、内容层面和表达层面。文化层面是使多模态交际成为可能的关键层面，包括意识形态和体裁；在语境层面，交际要受到语境因素的制约；内容的意义层面包括受话语范围、话语基调和话语方式决定的概念意义、人际意义和谋篇意义，在内容的形式层面，不同模态的形式特征相互关联，共同体现话语意义；表达层面包含语言和非语言两类媒体（张德禄2009b）。

三、研究设计

（一）研究问题

主要研究以下4 个问题：（1）英语微课中主要运用了哪些模态？（2）英语微课中运用的不同模态呈现什么特征？（3）各模态之间如何协同配合运用于英语教学？（4）英语微课中的多模态使用范式对英语微课和英语教学设计有何启发?

（二）研究对象

研究语料为全国职业院校外语微课优秀作品，其标题为Emoji &Emotions，时长7 分28 秒。该英语微课主题选自《21 世纪实用英语综合教程》第一册第八单元课文Learning to learn。

（三）研究方法和工具

根据张德禄（2009b）提出的多模态话语分析综合理论框架，多模态话语媒体系统包含语言媒体和非语言媒体。语言媒体包括伴语言和纯语言两类；非语言媒体包括身体性和非身体性两类。其中，每类语言符号还可进一步细分（见表1）。本研究使用表1 框架为多模态分析框架对该英语微课进行标注和分析。

表1：英语微课多模态分析框架

研究工具为ELAN 6.3。ELAN 是由马普心理语言学研究所（荷兰奈梅亨市）的布里吉特·黑尔维希（Brigit Hellwig）设计开发的一款多模态话语分析软件。该软件精确到0.01 秒，通过对视频或者音频进行多层级同步标注，分析说话人的话语内容、语音语调、面部表情、唇形、肩部和手的动作等（王立非、文艳2008）。

（四）研究步骤

首先，将获奖的英语微课视频导入ELAN 6.3；其次，根据英语微课多模态分析框架（见表1），在ELAN 6.3 中使用“类型”添加新的层类型和使用“层”添加新层，并对该英语微课视频进行标注；最后，收集标注数据并对其进行统计和分析。

（五）数据收集和统计

通过对该英语微课进行多模态定义和标注，得到各层级的分布数据（见下页表2）

表2：各层级分布数据表

由表2 可知，该英语微课运用了听觉模态、视觉模态和动作模态。在各模态的层级中，所标注的比例不同：（1）在音调层，主要使用降调，辅以升调和升降调；（2）在声音层，主要使用教师语言；（3）在工具层，PPT 使用比例最大，同时伴有视频和图片；（4）在动作（移动）层，主要为向左移动、坐下和展示；（5）在面容层，主要使用面部表情；（6）在肢体层，主要使用手势，同时伴有点头、摇头、转头、手势+点头、转头+手势和转头+点头。

四、结果与分析

（一）英语微课多模态教学分析

下面主要从听觉模态、视觉模态和动作模态对该英语微课中教师的多模态运用进行研究和分析。

1.听觉模态

获奖的英语微课采取脱口秀节目的形式，由两位英语教师作节目主持人。在纯语言的听觉模态中，教师语言占33.79%。该英语微课中使用教师语言的部分为两位教师首先通过有声语言介绍本次微课的主题，其次引出多样化表达情绪的方法这一教学重点，最后对微课作出总结，并鼓励学生进行面对面交流，表达自己的情绪。在整个教学过程中，教师语言主要作为辅助手段。

在伴语言的听觉模态中，教师的话语主要采用降调（33.05%），同时伴有升调（5.40%）。在语法上，降调多与陈述句相匹配，而升调常用于疑问句中。教师通过陈述句描述和陈述事实，使用疑问句向学生提问、表述问题，皆在引出和获取信息。例如，在该英语微课中，教师A 使用疑问句“Kathy，do you know what emoji is?”向教师B 提问，教师B 则用陈述句回答emoji 的定义。两位教师通过一问一答的方式，介绍emoji 的定义和表达情绪的用法，从而引出本次英语微课的主题。

2.视觉模态

在视觉模态中，教师采取了PPT、视频和图片三种手段，其中，主要使用了PPT（35.04%）。在该英语微课中，教学重点和难点是通过PPT 演示的方法展开。在整个教学过程中，通过使用PPT 演示，不仅让学生直观、系统地了解了情绪的分类和各种情绪的不同表达方式，而且使教学重点和难点更加清晰易懂，从而提高了英语教学效率。

在该英语微课中，两位教师引出本次微课主题后，采取了播放视频（采访现场）的方式，由记者（教师）随机采访学生有关表情的问题。借助此方式，可以补充和深化主题，给学生营造轻松的学习氛围，将枯燥的语言知识学习变得生动、有趣。

此外，图片的广泛使用也是英语微课的特点之一。在教师讲解概念和知识点时，微课中同步显示相关图片，使学生能够直观、迅速地了解教师话语的意义。例如，在教师讲解不同表情表达不同的情绪时，该英语微课中呈现了相对应的表情图片。采取这样的方法，不仅让学生迅速明白了教师的话语和意图，而且使枯燥的知识讲解变得丰富、有趣。

3.动作模态

在非语言的动作模态中，教师使用的肢体动作最多，其次为面容和动作（移动）。在整个教学过程中，教师主要使用手势（7.93%）。因为一种模态不足以表达清楚交际者的意义，所以交际者使用另一模态进行强化、补充、调节、协同，达到更加充分，或者尽量充分表达意义，让听话者理解话语的目的（张德禄2009b）。在整个教学过程中，教师语言是主要的形式，手势的使用对教师语言起强化作用。

由于该英语微课为情景式，除了手势外，还伴有面容（表情）、手势+点头、转头+手势和转头+点头。两位教师通过肢体动作积极互动，让现场气氛活跃，营造了轻松、愉悦的学习氛围。

（二）分阶段多模态协同教学分析

从上述分析内容可知，在该英语微课中，两位教师采用了听觉模态、视觉模态和动作模态三种模态，帮助学生更好地掌握知识，实现教学目标。下面对教师在不同教学阶段如何协同使用三种模态进行教学作分析。

要分析该英语微课，可将整个教学过程分为五个阶段：（1）导入：00 分00 秒—00 分52 秒；（2）介绍主题：00 分53 秒—03 分45 秒；（3）引出教学重点：03 分46 秒—04 分15 秒；（4）讲解教学重难点：04 分16 秒—06 分50 秒；（5）总结：06 分51 秒—07 分28 秒。

以介绍主题阶段作为个例进行分析。在介绍主题阶段，两位教师借助声音、音调、面容、肢体、图片和视频进行交互。例如，教师B 回答教师A 的问题：“Sure！Emojis are visual and affective symbols to express our feelings and emotions.For example，a crying face means sad；a cake means best wishes to you，or a red heart means I love you.”教师B 转头面向学生（动作模态），解释emoji 的定义（听觉模态），同时左手向前抖动三次并由身体前方移动到胸口（动作模态）。教师B 列举哭脸表情例子（听觉模态），屏幕右上角出现哭脸表情图片（视觉模态），同时转头（动作模态），手指弯曲从脸部上方移动到下方（动作模态）；用升调列举蛋糕表情例子（听觉模态），同时屏幕右上角出现蛋糕表情图片（视觉模态），手指伸开放在胸前（动作模态）；使用降调列举爱心表情例子（听觉模态），同时屏幕右上角出现爱心表情图片（视觉模态），转头看着教师A 并用两只手做出爱心动作（动作模态）。

在该阶段，两位教师运用了听觉模态、视觉模态和动作模态，实现了跨模态意义协作。教师语言是主要交互形式，借助疑问句（升调）和陈述句（降调）获取、陈述和凸显信息，同时伴有肢体动作，对教师语言起强化作用。在列举表情例子时，屏幕右上角同步出现了相对应的表情图片，这是视觉模态对声音表达意义的扩充。在整个教学过程中，教师面带微笑，与听觉和视觉模态同时出现，呈现交叠状态。

五、对英语微课和英语教学设计的建议

由上述内容可知，该英语微课成为优秀作品的原因之一是其合理、恰当、协同地使用了听觉模态、视觉模态和动作模态，实现了跨模态意义协作及采用了情景教学法和角色扮演法等教学方法。具体表现为：该英语微课采取脱口秀的拍摄手法，将人物活动轨迹巧妙编排到英语教学内容中，使学习内容剧情化、学习情境场景化。

目前，在英语教学中，一部分英语微课的教学形式主要是简单地将教学重难点录制成视频或者对整个教学过程进行录像，便于后续播放。这样的微课设计一般较为生硬，缺乏多样性、丰富性、思辨性和时代性。因此，对英语微课教学设计给出以下建议：（1）在教学方法上，教师应综合采用多种教学方法，如情景教学法和角色扮演法，将教学知识点转化为故事或者剧本，以生动、有趣的采访和讲故事等手段突破教学重难点，增强学生对教学知识点的吸收和把握。（2）教师在合适的时机出现在英语微课中，通过纯语言、伴语言和非语言互相协同融合的教学方式，进一步凸显话语模态，拉近与学生的距离，实现跨模态意义协作。（3）根据具体的教学内容运用不同的语音语调、表情和手势等，并适时借助PPT 演示、图片和视频等手段，将枯燥的语言知识学习变得生动、有趣，营造轻松、愉悦的学习氛围，从而提高英语教学的效率和效果。（4）根据英语微课的主题，选择恰当的时政素材，自然融入课程思政内容，赋予英语教学内容思辨性和时代性，实现立德树人的育人目标。

六、结论

基于多模态话语分析理论，借助ELAN 多模态分析软件，选择2021 年全国职业院校外语微课活动中获全国一等奖的英语微课为个案语料，对其进行定量和定性分析。研究发现：（1）在该英语微课中，教师运用了听觉模态、视觉模态和动作模态；（2）听觉模态以教师语言为主；视觉模态采用PPT演示的手段；动作模态多为肢体动作；（3）在该英语微课的不同阶段，教师实现了跨模态意义协作，各模态之间呈现出强化、扩充和交叠的关系。

在该英语微课中，教师在教学过程中的多模态使用范式为英语微课设计和英语教学设计提供了一定的借鉴，值得推广和学习。在英语微课中合理、恰当、协同使用多种模态能够丰富英语教学，营造轻松、融洽的学习氛围，从而提高英语教学效果。此外，本研究还借助ELAN 多模态话语分析软件分析英语微课中的多模态话语，在一定程度上证明了在英语教学中媒介技术（ELAN）应用的可行性。