从视觉语法角度解读外语教学中的知识可视化设计

■

/无锡城市职业技术学院

一、前言

目前，可视化设计已被广泛应用于医学、计算机科学、物理学等众多领域。从照相、幻灯、无声电影等到有声电影及广播录音技术，新媒体、新技术迅猛发展，使得教学中的图形、图像、视频等视觉符号的获取变得非常容易，视听教学亦呈现出知识可视化趋势。但是，知识可视化设计与外语教学相结合的研究现阶段仍不多见，因此这一话题吸引了不少专家学者的目光。

得益于多模态、多媒体技术的广泛应用，多模态话语分析引起了尤以功能语言学家为主的国内外学者们浓厚的兴趣。Kress & Leeuwen(1996，2001)将功能语法的三大元功能延伸到视觉交际模态中，构建了视觉语法；van Leeuwen(1999,2005)和Jewitt(2001)进而将多模态话语分析延伸到人类学、心理治疗以及影视作品等领域。另外，O’Halloran(2004a,2005)、Bateman ( 2008)等也基于系统功能理论推动了多模态话语分析的应用。国内学者，譬如李战子、朱永生、胡壮麟、张德禄等，创造性地探讨过多模态话语分析的理论框架。

然而一些相关研究更注重在教学中的发展前景，却忽视了多模态在外语教学情境中的具体作用(Terry D.Royce,2013)，缺少一定的理据，应基于系统功能理论的多模态话语分析来进一步明确意义建构。同时对视觉元素的强调远没有达到“知识可视化”的程度，也没有达到“知识传播和更新”的广度。那么在外语教学中，知识可视化设计应怎样进行意义建构以确保学生的语言学习效果，便成了迫切需要解决的问题。

二、理论基础

(一)多模态

“模态”的概念非常复杂，Kress & Leeuwen认为，“多模态就是运用几种符号学模态，或综合使用若干符号学模态来强化同种意义的表达，或行使补充功能，或进行有层次排序”(Kress & Leeuwen 2001：20)。O’Hailoran将多模态定义为“综合语言、视觉图象、其他符号资源、构建纸质、数字媒体和日常生活文本、事物、事件的理论分析与实践”(O’Hailoran 2008：231)。Forceville(2009a:22)把模态简要定义为“利用具体的感知过程可阐释的符号系统”。与人的感官联系起来模态可细分为图画或视觉模态等五种模态。由于很难对模态进行穷尽性分类，为了便于研究，Forceville(ibid.:23)把模态细分为图像符号、书面符号等九类。知识可视化设计涉及到多种模态符号，体现了多模态意义的构建和理解，调动了人的多重感官来实现符号信息之间的有效互动。图像和语言在语篇中的结合比这两种符号单独使用更能够构建整体意义。视觉表征可以辅助语言更好的实现功能要求(Leo Roehrich,2013)。

(二)视觉语法

视觉语法的提出主要基于韩礼德提出的语言的三大元功能思想，分别是概念功能，人际功能和语篇功能。人际功能描述了讲话人试图将什么样的意义传达给听话人，听话人又是如何理解的。语篇功能关注的是信息是如何的，也就是文本是怎样组织并传达信息的。概念功能描述了语言中的主题或场景，在语言与现实世界的互动过程中，语言是如何表达概念的 (Bloor & Bloor,2004; Halliday,1994; Martin & Rose,2007)。元功能思想将语言视为一种社会符号，然而“系统功能语法不只是语言符号系统的语法，也是可以描述和解释所有社会符号系统的语法”(辛志英、黄国文2010：2)。这也就表明了语言只是人类众多交际符号中的一种。

Kress & Leeuwen基于系统功能理论，将元功能思想延伸到视觉模式，构建了视觉语法，将图像也看作社会符号，从多模态角度对意义构建提出独特见解，创建了以再现意义、互动意义和构成意义为基本内容来分析视觉图像的语法框架，为多模态话语分析提供了理论依据和分析方法。Kress & Leeuwen 认为:“正如语言的语法决定词如何组成小句、句子和语篇，视觉语法解释描绘的人物、地点和事物如何组成不同复杂程度的视觉的陈述。”在视觉语法中，与语言概念功能对应的是图像的再现意义，它解释了意义参与者与过程之间的关系，通过分析图像中描述的对象的结构关系是属于叙事还是概念过程来看图像如何体现再现意义。与语言人际功能对应的是图像的互动意义，解释图像如何同观看者产生互动。通过接触、社会距离、态度和情态四个方面分析图像如何体现互动意义。与语言语篇功能对应的是图像的构图意义，分析图像中元素如何通过构图表达意义

三、外语教学中知识可视化设计的多模态话语分析

很多不同的学术研究都着眼于大量的非语言元素交流，例如建筑，韵律和图像 (Bednarek & Martin,2008; Cheong,2011,O’Halloran,2011; O’Toole,2004)。知识可视化设计通过各个部分组成的整体来向学习者传播所要表达的知识意义。下面以多模态外语教学材料How a sewing machine works?为例，探讨知识可视化设计中的图像如何像语言一样体现其元功能并构建意义的。该材料配有文本显示、同步解说和How a sewing machine works?的动态图。

(一)再现意义

再现意义由叙事和概念两种结构组成。二者的区别在于图像中是否存在元素间斜线构成的矢量。矢量只在叙事图像中存在，概念图像中没有矢量。基于此How a sewing machine works属于叙事结构。Kress & Leeuwen基于Halliday概念功能中的六大过程提出了三类主要过程，分别为动作过程、反映过程、言语和心理过程。在动作过程中，发出矢量的参与者是sewing machine的梭芯，矢量指向的目标是使用缝纫机的人，展示sewing machine是如何工作的。当操作工人抬起头，将目光转向观众也就是学生时，形成了反应过程。言语和心理过程中的矢量主要由操作工人和对话泡连接而成，对话泡的内容是通过出现的关键字词来直接体现。该图像中的参与者和目标与功能语法中的物质过程相似，前者是借助矢量将参与者和目标连接起来，而物质过程常是通过动态动词来说明施动者与目标间发生的事件。

(二)互动意义

互动意义借助了系统功能语法中的人际关系，关注的是图像制作者、图像所呈现的世界与图像观看者之间的关系，同时表达图像观看者对表征事物应持的态度。构成互动意义的因素有接触、社会距离、态度关系和情态。(Kress & Leeuwen,2006)

由于该材料中图像的参与者是无生命、无感情的事物，它与图像的观看者也就是学生间只形成间接接触，学生作为接触的主体，只提供没有索取。“提供”和“索取”与功能语法中“给予”和“求取”的概念相似(胡壮麟等2005：115)。在系统功能语法中，“‘给予’意味着‘请求接受’；‘求取’意味着‘请求给予’。讲话者不但自己做事，同时还要求听话者做事’”。同理，视觉语法中的“提供”意味着“索取”，“索取”隐含着“提供”。(张敬源，2012)图像镜头取景框架的大小影响到图像参与者与观看者之间的亲疏关系。为了与学生建立一种亲近关系，该动态图没有选用远景的方式，而是通过特写来表现缝纫机中梭芯的工作原理。情态是指某种图像表达手段的使用程度。功能语法中的情态可以通过小句从主客观两个角度来表达，视觉情态的主客观取向可根据图像参与者的属性进行判断。由于该材料中图像参与者为无生命的物，所以为客观取向。Kress & Leeuwen 还从色彩饱和度、色彩区分度、色彩调协度、语境化、再现、深度、照明和亮度等八个视觉标记，探讨了图像中情态的现实主义量值高低。

(三)构图意义

图像的构图意义与语篇功能相对应，将图像整合来再现意义整体。Kress & Leeuwen 指出构图意义的实现需要信息值、显著性和取景。信息值是通过元素在构图中的放置位置来实现的。元素在图中的位置( 左右、中间、边缘、上下) 赋予它们不同的信息值。材料中的图像属于左右分布，在 Kress & Leeuwen 看来，放置在左边的信息是已知信息，右边的是新信息。与语篇功能中信息单位的构成形式相近，Halliday曾表示“‘已知信息+新信息’是最常见的信息单位结构”(胡壮麟等2005：173)。显著性是指图像中的元素吸引观看者注意力的不同程度。通过被放置的位置、前景或背景、相对尺寸、色调值的对比( 或色彩) 、鲜明度的不同程度等来实现。

四、结语

基于韩礼德系统功能语法中的三大元功能，通过借鉴 Kress & Leeuwen的视觉语法理论框，对外语教学中的知识可视化设计进行多模态话语分析。通过对图像的再现、互动、构图意义的分析，探讨知识可视化设计中的图像如何像语言一样体现其元功能并辅助外语教学。可以看出知识可视化设计在再现意义、互动意义和构图意义上可以使异族文化的情境、实景、实物及其他图示信息具象化，还可以通过动画、视频(讲座、教学录像、配音科教、风光片、电影等)手段使话语语境真实呈现，提高了教师的教学质量和学生的学习效率。

从视觉语法的角度可以看出，如果要充分发挥知识可视化的功能，其实对各个要素的设计要求较高，也不是所有的知识类型都适合可视化。同时可视化表征工具的选择，学习者的识图能力等都会对教学效果有所影响，实际操作上对教师的能力要求也比较高。但不可否认的是，如果有系统功能语法元功能和视觉语法作参考，对外语教学的指导意义是十分重大的。