视觉语法框架下英语听说教材多模态研究

刘 燕

（山西大学商务学院外语系，山西 太原 030031）

一、引言

大学英语听说课程教学中，传统的单模态教学资源已远远不能满足信息爆炸时代的学习需求，不利于提高学生的多模态识读能力。听说教学资源的多模态特性日益凸显，各种符号系统与文字一起共同完成学生学习的意义构建。多模态话语分析（Multimodal Discourse Analysis）借鉴系统功能语言学中元功能、语境等思想及社会符号学理论，对语言之外的模态及各种模态之间的相互关系进行分析。视觉语法便是具体分析视觉元素在意义构建过程中的理论框架。本研究以视觉语法为框架，对现行大学英语听说教材进行多模态话语分析，为听说课程的多模态教学设计提出可行性建议，并指出多模态资源的选择原则。

二、理论基础

（一）多模态与多模态话语分析 “多模态”（multimodality）是一个跨学科的概念，在西方的研究中涉及到语言学、社会学、认知心理学、医学、计算机等多种领域，在国内，也已成为近年来的研究热点，但主要集中在介绍、述评及应用研究方面。顾曰国（2015）曾指出，mode，modality，module 三个术语均可用汉语“模态”一词来对应翻译。其中mode 这一概念与本文中所涉及的modality 最为接近也最易混淆。以Halliday 为代表的系统功能语言学重视语言的语境，认为人们是用语言来做事，而这种“做事”正是通过对语言方式（mode）的选择来实现意义。 Kress（2009）将这一术语拓展到各种能够产生意义的符号系统。如图像、音乐、颜色、手势等。而modality 更强调人在处理符号信息时多种感官系统的调用。相对于传统话语分析（Discourse Analysis），多模态话语分析（Multimodal Discourse Analysis）对语言之外的多种符号系统进行系统研究。其理论基础主要建立在系统功能语言学及社会符号学上。

（二）视觉语法、听觉语法 多模态话语分析（MDA）旨在研究各种表意元素是如何协同来构建完整语篇或完成交际任务的，它同样以功能语言学中的三大元功能（metafunctions）理论为切入点，认为其他符号资源也可以对应实现概念、人际及语篇功能。Kress（1996，2006）在他所提出的视觉语法（Visual Grammar）中用再现意义（representational meaning）、互动意义（interactive meaning）、构图意义（compositional meaning）来对应图像等符号系统元功能的实现。听觉语法与视觉语法极为类似，同样认为声音符号系统也可对应体现概念、人际、语篇功能。比如通过音量的不同级别（亲密、个体、非正式、正式及公共场合）等来实现人际功能如观点、社会身份差距等。

三、大学英语听说教材的多模态话语分析

随着技术及网络的发展，现行的大学英语听说教材多模态特性越来越明显，然而在具体的课堂教学中仍是以老师播放音频视频，学生做题，然后老师讲解这样的传统方式为主，课堂效率低，教学效果差。究其原因，很大程度上是由于教材的多模态特性没有得到很好的体现和应用。《新视野大学英语视听说教程》是国内大部分高校听说课程所使用的教材，以此教材为例，对其进行多模态话语分析，有助于构建听说课程的多模态教学模式。

（一）与传统单模态教材内容对比 首先，从模态运用对比来看，20世纪末所使用的英语听说教材中主要出现一种视觉模态，二级模态形式主要体现在文字及少量图像上；而现行的听说教材则以视觉、听觉模态共同为主导，二级模态形式有图像、声音、文字等多方面。从文字与图像使用比例来看，传统教材中每单元中图像所占比例极少，不足半幅页面，且主要出现在页面顶端或左面。也就是说，传统教材中语言模态的密集度要比多模态教材高很多。现行的多模态教材更加注重视觉听觉模态之间的协同与转换，以此来达到提高学生多模态识读能力的目的。

其次，从图像类型来分析，Jones（2006）把图像分为三种类型：及物性图像（Experientially-oriented visuals）：主要包括照片、表格等；人际性图像（Interpersonally-oriented visuals）：主要包括动画等；语篇性图像（Textually-oriented visuals）：主要包括商标、图标、按钮图示等。传统教材仅使用图示图标等来实现语篇功能，而现行多模态教材则在此基础上更多地使用照片、表格来实现概念功能，使用动画音频视频等来实现人际功能。这种差别的原因在于多模态教材更加注重语言的交互性。

另外，在色彩的选择和应用上二者也存在巨大差距。多模态教材的色彩运用更加突出醒目，丰富多样。综合上述分析，随着科技网络等的发展及新形势下大学英语教学改革的要求，多模态化的英语听说教材应运而生，从而满足学生新的学习需求。

（二）现行大学英语听说教材中视觉图像元功能的体现 根据Kress（1996，2006）的视觉语法，视觉符号的元功能体现是一个极为庞杂的体系，篇幅有限，不可能一一分析。现以《新视野大学英语视听说教程》第二册中的一些图像为例来进行分析。

首先，视觉图像的再现意义（representational meaning）又可分为叙述再现（narrative representation）和概念再现（conceptual representation）（张敬源，2012）。两者之间最大的不同在于有没有在图像元素之间由斜线构成的矢量。在第一单元的part 1中，正文之前的插图显示为两张乐器的照片，一张为小提琴，另一张为萨克斯。作为一个整体的图像可以被看作是没有矢量的概念过程。由于图中的乐器象征音乐从而使读者联想到这个单元的主题，说明图像中的参与者“是什么或意味着什么”，显然应该属于概念再现中的象征过程（symbolic process）。象征过程根据图像涉及到的参与者的数量又分为象征暗示（symbolic suggestive）和象征属性（symbolic attribute），此图由于只有一个参与者，应属于象征暗示。这样，图像的象征意义通过减少细节及环境的强调得以实现，音乐的主题便建立起来。

其次，互动意义（interactive meaning）的实现通过三方面的要素：接触（contact），社会距离（social distance）和态度（attitude）。其中，最直接的要素是接触，它是指图像观看者与参与者之间的一种关系，主要通过目光注视来实现。我们同样以上面插图为例，图像中没有眼神目光注视，所以应属于一种信息的提供（offer），而非索取（demand）。最后，构图意义（compositional meaning）的实现主要依赖三种资源，即信息值（information value），显著性（salience）和取景（framing）。其中，信息值主要考虑的是图像中元素的位置安排如何体现元素的重要地位。显著性主要依赖视觉来判断元素间重要性的次序，这种判断相对来讲比较主观。构图意义不仅局限于图像本身，还涉及到图像、视频等与文字之间的关系，如在第一单元中，图像位于页面正中，这样图像的信息值和显著性通过位置和大小直观地显现出来，从而强调了本单元的主题。

四、大学英语听说教学的多模态启示

（一）大学英语听说教学中的多模态资源选择

1.不同模态之间的关系

综合研究大学英语听说课程中的所有模态，发现各种模态之间的关系可以总结为主次关系和并列关系。主次关系意味着所有模态均服务于主要模态，次要模态的作用是支持、辅助主要模态。英语听说课程不同于其他英语课程，仅仅依靠阅读教材不能提高学生的理解力。因此，听说课程中为学生提供主要知识来源的为文字模态和听觉模态。其他模态作为补充，是表达意义的工具，而不是课程的主要内容。并列关系意味着各种模态之间是互动与合作的。在语言交际与教学过程中，单一模态是无法完整地构建意义的，多种模态的协同操作是教学的有效途径。也就是说，图像、音乐、视频等多种模态的相互配合能够提高课堂效率。

2.多模态资源的选择标准

在大学听说英语课程中选择多模态资源需遵循一定原则，按照教学目标来进行选择可达到事半功倍的效果。随机盲目的选择只能降低效率。结合上述分析，多模态资源的选择需遵循以下原则：1）多模态的使用需提供补充信息：在课堂教学的设计过程中，其他模态的使用可用来强化或补充完整地意义构建。如PPT 的使用，其内容应该是听说练习的延伸，对听说训练的背景介绍或对训练要点的总结。2）多模态的选择应该帮助教师吸引学生注意力：传统听说课堂耗时长，练习形式单一，学生容易感到疲惫乏味。生动幽默的图像视频等多模态资源显然更能激发学生的兴趣。3）多模态的选择应该使学习材料更容易被理解吸收：单模态的语言教材太过抽象概括，学生听起来晦涩难懂，动态图、情境图、相关视频等可使得听力资料简单化。

（二）大学英语听说教学多模态设计原则 根据上述分析，结合对学生的访谈及问卷调查发现多模态系统从多方面来讲非常适合运用到大学英语听说教学中。然而，在现行的多模态听说教学方法中仍存在缺点和不足之处。比如过多使用多模态资源会分散学生注意力，弱化学习过程。通过对《新视野大学英语视听说教程》的多模态话语分析发现，多模态资源协同作用来实现符号系统的再现意义、互动意义及构图意义。

由此可以给出大学英语听说教学多模态设计方面的一些建议：1）多模态应该被引入大学英语听说课堂；2）文字模态及听觉模态应被强化，因为其传递学生学习的最重要信息；3）社会背景及跨文化知识有助于提高学生的听说综合技能；4）视频、网络、PPT 等多媒体辅助手段能够提供适当的补充信息，但教师要控制把握好这些手段的使用；5）教材内容相对有限，课堂中应增加更多额外相关的听说训练；6）教师应协调掌控除教材内容之外的其他多模态资源，如教师话语、手势等，提示学生更多关注各种多模态符号来获取更多有用信息，提高多元识读能力。

结语

结合对英语听说教材的多模态话语分析，得出了大学英语听说教学的多模态设计启示及多模态资源的选择标准，以此来促进课堂教学。在选择多模态资源的时候，文化、语境、内容等也是必要的要素，从而决定哪些模态是主要模态，语言模态和非语言模态之间的关系如何等。今后的研究还可以更为全面深入，如结合教师课堂话语、身体语言等进行多模态话语分析，为多模态听说教学模式提供更可靠理据。