大学英语课堂中PPT课件的多模态性研究

王 馨

(东北农业大学，黑龙江哈尔滨 150030)

一、多模态理论

多模态理论(Multi-modal)主要来源于韩礼德创立的系统功能语言学，同时又吸收了皮尔斯等人的符号学理论中的媒介、对象、解释三位一体等理念。对于多模态理论语言学家们给出了不同的定义。Kress和Van Leeuwen(2001)指出模态可以定义为参与交际的所有渠道和媒介，除了传统的语言符号，它还包括图像、颜色、音乐、技术等符号系统。各种符号资源(如有声语言、形象、声音、设计、动作等)共同参与日常的人际交往活动中，形成了多模态交流。李战子(2003)认为多模态指的是除了文本之外，还带有图像、图表等的符号话语，或者说任何由一种以上的符号编码实现意义的文本。顾日国(2007)认为模态指人类通过感官(如视觉、听觉)跟外部环境(如人、机器、物体、动物等)之间的互动方式。朱永生(2007)认为模态指交流的渠道和媒介，包括语言、技术、图像、颜色、音乐等符号系统。生命体与周围环境进行信息交换的界面和路径有五种感知通道:视觉、听觉、嗅觉、触觉和味觉。这五种感知引发出五种交际模态:视觉模态、听觉模态、嗅觉模态、触觉模态和味觉模态。这里的模态是指交际的渠道和媒介，包括字符、绘图、声音等符号系统。综上所述，多模态是指在交际中涉及多种感知模态或由一种以上符号系统共同编码构建整体意义进行交际。交际中要表达的意义要求不同的模态搭配参与，根据交际的概念意义、人际意义和谋篇意义对声音、语言、图像、动画等模态进行选择。如何将多种媒体和多种模态结合起来是现代语言学研究需要解决的问题。多模态理论将意义构建的媒介从单维的语言符号扩展到多维的包括各种能传达意义的多模态符号。这些早期的研究者为多模态理论的发展奠定了基础，也为我们探讨模态与媒体的关系提供了理论支持。

二、模态与媒体的关系

多模态理论由五个层面构成:文化层面、语境层面、意义层面、形式层面和媒体层面。本文重点研究媒体层面里包含的非语言形式。多模态话语中涉及的非语言和辅助语言特征在以往的话语分析研究中都被当做表达意义的辅助系统，而在多模态话语分析的研究中这些特征被作为意义的表达模态得到了充分的重视。非语言和辅助语言在一种模态无法完成交际的情况下进行补充、调节、协同和强化等作用，便达到了多种模态共同完成语义表达的交际行为。认知语言学认为:认知与语言的发展脱离不开人的感官对外界事物的感知，人的大脑和感官的运作及其运作环境直接影响到认知与思维，因为客观事物只有被感知才具有意义，而语言与认知受生理感知功能的影响。人们传统中认为图像、颜色和动作等非语言形式在多模态理论的发展中不再处于辅助地位，它们正同文字符号一起形成一种更为宽泛的符号资源，共同参与意义构建。从媒体的角度讲，各种不同的非语言媒体，特别是现代技术媒体，为话语交际提供了大量新的可选择的方式。将图像、视频等传达多种模态信息的方式应用到外语教学中已经成为外语教学的发展方向，多模态化教学也已经成为一种新的教学模式。

在交际过程中运用不同的模态可以完成不同的交际效果。比如，文字形式利用视觉模态可以被长期保存，弥补了口头表达的暂时性和不可保存性;在嘈杂的环境中可以选择借用图像、手势等帮助完成意义传达。胡壮麟(2007)认为模态和媒体的关系归根结底是话语和技术的关系，两者存在着内在的联系。张德禄(2009)认为模态和媒体是形式和实体的关系。不同的模态要求选择不同的媒体来完成交际。不同的媒体为交际中模态的选择和搭配提供了可参考的依据。

三、PPT课件多模态化特征

PPT(Power Point)从多模态理论建构体系的媒体层面通过声音、图像、文字、动画等方式演示教学文稿，成为高校英语教学的重要多媒体手段之一。它可以将声音、文字和图片同时传递给学生，积极地参与意义与认知的建构过程，实现语言符号的多模态输入。

(一)快速、清晰、表现力强

PPT课件可将大量文字集中于一个文本并可以反复使用，任意调换文字位置以达到不同侧重点的效果。PPT的优势在于可将文本进行颜色、大小、字体、段落编排等手段处理，突出重点难点，将信息直观化和形象化地呈现在屏幕上，缩短教学时间，提高教学效果。在黑板上进行绘制表格和图画对教师的绘画技能要求很高且费时费力，PPT的图片插入和绘制图表功能解决了这个难题，教学内容变得多彩而丰富。

(二)多维媒体、多种变化

按照媒体的维度分类:口语、书面语等线性媒体属于一维媒体;平面的图形和表格属于二维媒体;立体图形诸如房屋设计图属于三维媒体;动态的图片录像等属于四维媒体。不同的维度对符号有不同的识别度，维度越高对语言符号的外延意义和内蕴意义的呈现力越强。PPT可以将这四种维度一一呈现出来，利用不断变化的形式刺激学生的听觉视觉，激发学生的学习兴趣和热情。与单一枯燥的板书相比，PPT能选择搭配适当的图片来增强视觉效果，挑选对应的音效增强听觉冲击力。

(三)超链接功能

PPT的超链接功能不仅可以实现幻灯片与幻灯片之间的转换，还可以任意自由地进行幻灯片与外界文件及程序之间的转换、幻灯片与网络资源之间的转换，在格式、文档、时间、空间、文化上实现了跨越式连接。这种多维跨越式连接为学生提供了接受最新信息的平台，实现了网络资源共享，有助于扩展学生的视野和思维。

(四)快捷、方便、便于加工

PPT课件的显著优势在于操作方便，它的文件播放可以设置为手动或自动、连续或间断、链接或超链接、鼠控或遥控。教师在课堂的任意位置任意时间都可以完成这些操作，做到图像声音与授课内容同步进行，有效实现对输入信息的强化，从而改进语言习得效果。

四、大学英语课堂中PPT课件的多模态性研究

(一)PPT课件的视觉模态

PPT课件在视觉模态上分为四个类别:1.文字类型(图1)。2.图像类型(图2)。3.图表类型(图3)。4.文字+图像/文字 +图表类型(图4，图5)。每个类别都有其不同的侧重点，满足了不同的阅读需求。文字模态在字形、字号、颜色和风格上的变化效果能够突出语篇文本的重点难点;动态文字、艺术字更能将单一枯燥的文本信息生动传神地表达出来。图像模态可以表征人物、地点和事件之间的交际关系或概念关系，图像中的元素可以更深刻地吸引观看者的注意力。不同的人观看图片会产生不同的关注点和认知结果，这是因为观看者与图片中的世界产生互动，由于认知结构和认知能力不同结果会构建出不同的符号意义，这就给图片观看者广阔的想象空间，无限放大了图片的认知效果。图表模态将对象属性用统计的数据直观、可视化地表现出来，是对知识挖掘和信息直观生动感受起关键作用的一种图形结构。在对所表达内容的梳理和传达上图表以其独特的结构形式得到了广泛的应用。图片或图表加上文字说明将图像符号与意义符号更好地整合在一起，使其互为补充，相辅相成。

图1

图2

图3

图4

图5

例如，在讲授《新视野大学英语》第四册读写教程第二单元Charlie Chaplin(查理 卓别林)时，可以用文字模态列出本课学习目标、计划学时、课文进度等内容，让学生在总体上了解课程安排，做到心中有数。借助图片模态介绍相关背景知识:卓别林和他最后一任妻子(Oona O’Neill)，卓别林有着复杂而传奇的爱情经历，他一生结婚四次，最后一任妻子同他有着37岁的年龄差距。当学生从课文中了解到这样的信息一定对他的这位妻子非常好奇，在课程导入这个环节向学生展示两人的照片并就两人关系进行提问会激发学生的阅读兴趣。

(二)PPT课件的听觉模态

PPT的声音模态大致分为两类:录音讲解和音乐效果。叙述性语篇侧重情感的抒发和情节的陈述，例如《新视野大学英语》读写第三册unit 5 Graceful Hands(优雅的双手)讲述了护士和垂死病人之间的感人故事。这一类型语篇适合以播放课文录音的形式进行讲授，先让学生对整个故事情节有所了解，伴随着朗诵者舒缓带有感情的讲述，学生能深深地感受到作者与即将离世的克拉克夫人在生命的最后时期产生的相互信任。文章最后一句才表明克拉克夫人的身份——从教30余年的钢琴教师，此时若能配以钢琴曲，背景音乐的播放可以起到缓解疲劳的效果，从而间接地起到了强化输入信息的作用。

听觉模态受着音响度、声调、语调、音速等因素的影响，教学中主要方式之一的讲授法是教师通过口头语言向学生传授知识，响度和语调等因素完全由讲授者的声音条件决定。PPT课件可以弥补个体差异的随意性，在声音的属性设置上尽力满足听者对录音的各种需求。这种以声波的形式传出的信息作用于学生的听觉中枢，是一种仅次于视觉的接受语言的能力，可以激发学生的兴趣，渲染课堂气氛。

(三)PPT课件的视听模态

视听模态是视觉模态和听觉模态的结合，也可称做视频模态。常见的视频有影像视频和动画视频，其优势是将抽象化的概念以具体形象的动态图片展现出来，动作化的信息内容具有更大的被视觉器官感知和捕捉的可能性。以《新视野大学英语》读写教程第三册unit 6 How to Prepare for Earthquakes(如何预防地震)为例，尽管课文中详细讲解了预防地震的常规知识和防御措施，如何将理论应用于实践真正掌握在地震中选取路线逃生是从字面上学不到的。教师可以通过选取唐山地震、汶川地震的视频让学生产生预防地震十分重要的意识，更可搜集与地震自救、地震躲避相关的科普宣传视频来帮助学生真正掌握预防地震的方法，更完整地理解课文内容。

五、结语

PPT课件运用的是视觉模态与听觉模态的协作，视觉模态和听觉模态起到相互强化、相互补充的作用，这种多模态协作会收到更好的教学效果。课堂中使用PPT课件的多种模态可以丰富课堂内容。文字解释可以帮助学生理解知识内容;图像可以直观吸引学生注意。学生通过调动各个器官参与课堂学习实现主动学习，从视觉、听觉、触觉、语感等方面全面接受语言知识。只要对图片、视频、音频材料进行恰当的选择与运用，教师和媒体通过图像、声音等共同创造语言意义，就能为学生创造出真实的语境，PPT课件的多模态性在英语课堂中将得到更加充分的发挥和利用。

［1］ 赵艳芳.认知语言学概论［M］.上海:上海外语教育出版社，2001:26.

［2］ 顾日国.多媒体、多模态学习剖析［J］.外语电化教学，2007(2):3-12.

［3］ 胡壮麟.社会符号学研究中的多模态化［J］.语言教学与研究，2007(1):2-8.

［4］ 李战子.多模式话语的社会符号学分析［J］.外语研究，2003(5):1.

［5］ 张德禄.多模态话语分析综合理论框架探索［J］.中国外语，2009(6):5-10.

［6］ 朱永生.多模态话语分析的理论基础与研究方法［J］.外语学刊，2007(5):10-18.