基于外语微课的多模态话语分析

陈小近

(浙江金融职业学院,浙江杭州 310018)

随着当代信息技术的发展和电子媒介的使用，以话语为基础的沟通方式也逐渐由单模态到多模态方向转变。因此，传统的话语分析方法可能无法满足新时代的要求，而多模态话语分析的视角则应运而生了。多模态话语分析起源于韩礼得的系统功能语言学和Kress & Van Leeuwen的视觉语法等理论。国内学者主要有胡壮麟对多模态话语进行系统的分析和研究和张德禄的多模态话语分析框架。

而教师课堂话语分析则是典型的动态化多模态话语分析方法，因为教师的课堂教学涉及多种模态类型。尽管也有不少学者通过多模态的视角研究课堂话语，但是很少研究会涉及课堂内的所有话语模态。而且涉及到课堂教学的研究较少，且定性分析较少，而通过一定语料进行的定性定量分析则更不多见。大部分的研究还处在对不同的模态进行科学的分类，而不是研究不同模态之间的协调和配合。鉴于这样的背景，有必要对课堂多模态话语的视觉听觉模态之间的协调配合进行定性定量研究。

1 外语微课话语的模态类型及语言符号层次分析

本研究依托张德禄的多模态话语分析框架，以中国外语微课大赛中获得一等奖的微课作为课堂话语的研究语料，通过统计和分析，从定量方面，研究教师课堂多模态话语在微课视频的结构和制作环节中的语篇类型、层次结构和模态特征，应用多模态语篇分析的理论框架，分析整理不同模态之间的概念、组篇和互动意义，以此探究模态的特征和协同方式，为教师制作和使用多模态和信息技术提供借鉴，从而协调微课制作过程中不同模态的合作，提高微课的制作效果。

1.1 微课堂多模态类型和层次分析

多模态话语涉及话语交际的途径、多种模态和符号媒介几个因素。 交际途径主要有视觉、听觉、触觉等，符号媒介包括各类多媒体设备，符号媒介包括语言以及体势语、图像、声音等伴语言。就微课程中的教师课堂话语而言，研究发现，教师除了使用语言模态，还大量使用了其他模态形式，如PPT的大量使用和身体语言对抽象概念进行解释。而类似于图像、文本、表格和图标这类模态与身体语言，如手势、面部表情、姿态一起构成视觉模态。而教师的讲解类语言和视频音频模态则都属于视听模态。结合多模态话语分析理论和张德禄的多模态理论分析框架，微课视频中出现的所有模态可以做以下层次划分：

图1 视觉模态构成图

图2 听觉模态构成图

因此，从上图1、图2中，我们可以将多模态微课中的符号资源进行分类和解析，因为在PPT中，声音模态和图片模态在视频中是同时出现和被听到的，所以可以是嵌入视频的图片和声音。在被分析的微课视频中，很多都是教师用特定的教学软件自制的微课，所以在视频的组织形式上，教师出镜的情况反而不是很多。因此，在对出现的模态进行标记的过程中，教师的身体动作，面部表情这些涉及到教师多模态话语的因素将不占主导。

1.2 微课堂多模态元素的相互关系

不同的模态之间在意义表达层面上是如何相互交流，并构成意义，首先要弄清楚的是不同模态之间互补或非互补的关系。互补关系是指当某一个单一模态无法全面表达意义时，则需要其他模态进行补充。而互补模态则可以分为强化与非强化。强化关系可以理解为，一种模态是作为主要的沟通方式，而其他一种或多种模态则是作为补充。因此强化关系可以分为强调、主要和次要以及延伸。如喜剧表演舞台是作为背景信息出现的，而身体与肢体语言则是作为语言的补偿，而语言与动作或表演是主要模态与次要模态的关系。而非强化关系通常也有三种，分别是合作、联合和交叉。而模态之间的非互补关系则是指第二种模态在意义表达上并不承担大部分责任，但是仍有存在的必要。而非互补模态则分为重叠，包含和情境交流。重叠是指一种或多种模态同时出现，但并不是强化的关系。当演说者说到相关内容时，PPT也出现，就是重叠。而在意义表达上并不对意义的构建产生新的意义，只是给出更具体的信息叫做包含关系。而在情境交流中，情境只是被动参与交流而不是主动参与意义的构建。

因此，所有的语言和非语言都可以表达意义，作为语言不仅仅纯粹的语言本身还包括伴语言，伴语言包括语音语调或是语速。而非语言因素则包括手势，头部移动，面部表情和姿态。甚至还包括非语言因素如工具和环境。

2 多模态微课研究设计

2.1 微课及微课设计

信息技术时代的到来，使得教学的形态发生了剧烈的变化，翻转课堂、微课程等教学方式应运而生。翻转课堂是以微课程、微课视频为基础和载体的，按照教学实践要求和课程标准，教师在教学过程中就某个知识点、重难点或某个教学环节而开展的教学过程。而外语学习过程中微课的引入是必要且关键的内容，也是今后外语课堂或课程改革的核心。首先，微课程将过去的第二课堂或者自主学习平台通过新的方式整合，提升学习的效率和学生学习的主动性；同时，就大学英语的课堂而言，班级庞大，课时有限，一直都是存在的问题，而语言学习时间是非常重要的；因此，微课程的存在可以解决这一问题，学生可以在基本课时以外，有多余的时间可以进行语言的练习，并且通过微课程，完成一系列有针对性的，定制好的任务。

2.2 研究对象和内容

研究语料为中国外语微课网上获得一等奖的微课视频，课程和设计具备代表性和示范性。这些微课视频设计英语口语、写作、英语文化、商务英语、中国文化、英文俗语等内容，在课程设计、内容组织、课件选择、语言的选取上，这些微课都具备较高的设计水准和较好教学效果。在课件的制作手法上，软件和硬件的使用比较基础，但是在课堂设计上具有代表性和示范性。

本研究主要关注以下几个问题：一是这些优秀外语微课包括哪些类型多模态话语因素？二是哪些多模态话语资源对微课的质量起到了决定因素？三是微课中的多模态话语呈现何种特点？本研究结合张德禄( 2010) 的多模态话语模态的协同及在外语教学中的体现和多模态话语理论与媒体技术在外语教学中的应用( 2009)；张德禄将多模态类型分为语言和非语言两大类。语言包括教师的口头语言、PPT 或纸质教材呈现的文字语言和伴语言；伴语言包括升调、降调、字体形状及大小等特征。在这个框架中，语言和图画作为交际模态共有意识形态、体裁、语域和话语意义四个层面。在意义和表达层面，图片是视觉语法，语言则是词汇语法。

3 微课作品的多模态话语分析

3.1 文字模态及意义构建

文字模态文字模态一般情况下分为以下几种：标题式文字模态，提纲式文字模态，文本类文字模态，过渡或提示型文字模态。在微课课件中，单纯的文字模态会具有不同的作用，对意义的构建都起到了至关重要的作用，有时候文字呈现方式的简单差异对意义的生成或对语言知识的输入的作用是巨大的。因此，在对文字模态进行设计的时候，要关照到这种差异，并且对此类模态进行一定程度的调整或协同，就能极大提升教学的效果。

从这几组微课的文字模态中可以看出，纯文字模态也可以有各种变化，微课视频中有一种一页一句话的文字模态，出现这样的模态主要是为了提升学生的注意力，为即将到来的下一个章节的内容提供过渡。这样的模态能产生较好的互动效果，引发学生的思考，大量的页面留白能给学生较大的视觉冲击，内容虽少，但输入效果精炼。提纲式的文字效果图较为简练，将文字模态以非常规的方式内嵌在背景画布中，关注协调性和整体感，起到了突出和强化的作用。还有通过字体大小产生变化的文字模态，用字体的大小或排列来表现思维的层次和内容的重要性，让学生知道在进行信息输入时的着重信息的主次和取舍。用颜色的变化来产生差异的文字模态，可以突出强化关键信息，提升整体课件内容的互动感，这一操作十分简单，但效果明显。

3.2 图文模态的形态和意义构建

纯粹的图片模态在微课设计中并不常见，大多数情况下，都是图片模态和文字模态的结合，差别在于图片是处于核心地位的模态还是文字处于核心地位。图文模态的搭配灵活性强，变化较多，在构建意义，构建文化语境以及情境语境方面也起到了核心的作用。图片模态和文字模态的结合使课件的生动性、易理解性、直观性瞬间有了大幅度的提升，配上微课精心设计的演示功能，语言输入的效率瞬间提升。图片模态在多模态的协调配合中，一般构成文化或情境语境，形成视觉语法，文字模态则完成语言的信息输入，或是补充、解释、说明，搭建语言学习的基础和内核，和图片模态一起完成意义的构建。

在以文字模态为核心的模态组合中，图片模态的存在主要是为了作为演示背景，或者作为强化凸显文字内容，或者作为均等的信息输入元素共同建构意义。这样的多模态组合多用来解释概念，对具体教学内容进行陈述，或具体章节进行详细拓展，也有大量提纲式内容。所有以上情境中，文字都是作为主导模态，对意义的构建起到推介、推动、解构甚至融合的作用，而图片模态的作用在这种多模态组合中多半起到补充或强化的作用，有些情境语境中，只是起到背景的作用。而在图片模态为主的模态组合中，图片模态是信息构建的主体，文字知识起到补充说明的作用。在提纲式多模态组合中，图片的存在地位显著，主要是使信息接受者对信息的输入内容有整体的把握，通常图片模态处在核心位置，且内容契合度高。还有一些模态组合中，图片模态就是语言，就是信息输入的内容，这些模态多存在对视觉要求比较高的模态。

3.3 视频与视听模态的形态和意义构建

视频与视听模态也是外语微课设计的一个主要构成和展现形式。虽然在这些微课的多种模态中，视频模态所占比重并不大，但是在整体设计中，视频或视听模态起到的是画龙点睛的作用。常见的听觉模态是切换背景音以及课件演示时候的背景音乐或听觉模态的素材，使用频率也比较高。而微课的单纯视频模态多半以简短的小视频为主，与课件信息主体相关，或着重或强调说明相关教学信息。而且视频通常简短，且配上文字图片或者是解说，微课视频的主导形式。

微课设计最主要的功能主要是视觉模态，尤其是换页效果和旋转效果这些细节，以非常简单的操作具备flash动画的效果。因此，在课件设计上，需要首先处理好课程内容的逻辑流程，在制作具体内容的时候，注意所有元素的搭配，形成层次感，元素的位置要具备一定的逻辑性，且要有一定的设计感。在使用PPT的动画功能的时候，一定要做好设计，否则这一动画效果就很难达到预期效果。在视频框的周围配上可以旋转的文字内容，可以达到配合完美的视觉效果，这样的视频多模态的搭配，能形成简单的动画效果。而文字模态与视频模态则是互补的关系，共同构成了flash动画才能达成的多模态效果。图片与文字的搭配，并且配上谈话框，加上淡入淡出与换页效果，简单的动画模式也可以实现。

3.4 非语言模态及意义构建

教师的言语模态在微课中的表现主要是讲解和背景音，具有同质性。而在教师的非语言模态方面，教师的表情，语速，手势语状态，都以拉近与学生距离为主。这说明教师很注重与学生的沟通质量和教学效果，这些非语言模态体现了人际意义。在伴语言模态的使用上，教师多用降调强调重点内容，而几位教师教师降调的调用频率基本保持一致。手势作为很重要的非语言模态，教师在微课的过程中也是频繁使用的，有一位老师将手势的运用作为微课素材展现的一个环节，体现的是话语的语篇意义和概念意义。但其他教师的手势语主要是为了引起学生注意、降低学习难度或者强调重点信息，主要体现了语言模态的人际意义，提升了学生对意义的获取能力。

4 结 语

综上所述，外语微课设计实际上构成了一种新的多模态表达方式，很多多模态的参与方式实际构成了一个独立的符号层，并且构成了整体课件的语篇框架。它是语篇体裁的“体现样式”，对意义建构起着十分关键的杠杆和调节作用。微课的精心设计与教学环境、教师角色一起构成了意义表达的完整语类。无论处在什么样的教学环境和学生的学习需求，学生对多模态课件普遍持肯定的态度。因此，好的课件设计和工具是具有普遍与刚性需求的，人类对某些工具有一定的依赖性。微课设计上的优势和对外语课程的辅助性，是具备非常大的优势的。因此微课设计不仅要充分显示社会符号的多模态性的形式功能，更要在语篇构建，意义的再生成，文化语境和情境语境的再现方面显示出独特的作用。完整和精心的课件设计不仅能提升语言课堂语言信息输入的效率，并且还能满足学习者思维层次的需求，从而真正体现多模态输入工具的价值。