外语课堂多模态语篇设计及其功能理据探究

吴利琴

（安徽财经大学 外国语学院，安徽 蚌埠 233030）

一、引言

外语课堂多模态语篇设计离不开教学设计（instructional design）。所谓教学设计，是指“系统性、反思性过程，把学习与教学原则转换成教学材料、教学活动、信息资源和信息评估等计划的过程”（Smith&Ragan，1993/1999：2），是“教育家在特定环境下为特定学习者决定最佳学习方法的过程”（IEEE，2001：1），是“践行创造教育经历，使得知识和技巧习得的效率更高，效果更有效、更引人入胜”（Merril et al，1996）。

由于多话语的出现，设计被赋予新的意义，表示“有意识选择模态和模式来表现现实”的过程，是制造语篇和识读语篇的过程，是利用可利用的资源进行社会交际的过程（张德禄，2011）。制造语篇和阅读语篇的过程都是设计的过程，这两个过程在很大意义上颠覆了写作和书本统治时代的社会和符号的安排。现在是新的影像和屏幕时代。现在的主要媒体是屏幕，从小型游戏机，移动电话、个人电脑，到电视、视频。过去，书本和页面是写作的场地，写作逻辑构成了页面和书本的顺序；现在，屏幕是影像的场地，影像逻辑构成了屏幕的顺序和布局（Kress，2004）。

国内外众多的语言学研究表明：系统功能语言学是多模态语篇设计的理论基础（Halliday，1978，1985/1994；Halliday & Matthiessen，2004；Bateman，2011；朱永生，2007）。从Saussure的“语言是社会事实”到Halliday的“语言是社会符号”（胡壮麟，2007），再到Bateman（2011）的多模态和体裁，都留下系统功能语言学的烙印。诸多学者（Kress et al.，1997；Baldry & Thibault，2006；Matthiessen，2007；Royce，2007）认为，所有的符号模态都能表达概念意义、人际意义和语篇意义，都有元功能特征（杨信彰，2009）。

二、外语课堂多模态语篇设计

随着社会的进步和科学技术的发展，外语课堂教学不再以单模态语篇形式呈现，而是以多模态语篇形式呈现。生物学家的研究成果告诉我们，人类在演化过程中获得的视觉、听觉、嗅觉、味觉、触觉等5种不同的感知通道（sensory channel）衍生了视觉模态（visual modality）、听觉模态（auditive modality）、触觉模态（tactile modality）、嗅觉模态（olfacotry modality）和味觉模态（gustatory modality）等5种交际模态（朱永生，2007）。与外语课堂语篇教学联系紧密的是视觉、听觉和动觉①Howard Gardner在《智力架构：多元智能理论》一书中指出，活动（如舞蹈、动手术）需要极大的动觉智慧：用身体创造（或做）东西。20世纪40年代，Margaret H’Doubler提出了动觉学习，并将动觉学习定义为通过运动和舞蹈表达意义的人体能力。动觉学习（也称触觉学习）是一种学习方式，这种学习方式要求学生不仅仅要听老师讲课，或观看老师示范，还要亲身参与。（kinesthetic）/触觉模态。

我们在对外语课堂多模态语篇设计时，首先对外语课堂的各种模态以及语篇给予定义。“模态（modality）是可对比和对立的符号系统”（Scollon& Levine，2004），指交流的渠道和媒介，包括语言、技术、图象、颜色、音乐等符号系统（朱永生，2007）。语篇不仅仅指书面语或口语，它是情景语境中起作用的任何一个语言实例（Halliday，1985：10）。多模态语篇指使用多符号（multi-semiotic）模态，如语言、图片、布局、色彩、排版等，且这些模态共同制造语篇意义。所有意义制造的活动，如早期的拼写，课堂的互动，以及科研论文等，都是多模态，因为它们使用的交际模态不止一个（Kress，1997；Kress and van Leeuwen，2001；Lemke，1998）。

我们认为听觉、动觉/触觉中的语篇表达媒介在课堂教学中起着不可忽视的作用。视觉模态涉及的符号系统有课本、网上材料、录像、图片、文字等；听觉模态涉及的内容有听录音、收音机、电视、老师授课、有声读物等；动觉/触觉模态主要指学生亲身体验老师这个角色，自己动脑筋备课、做PPT，对自己的上课内容进行评价等。传统的教学法以授课和讨论为主，语篇设计较单一，着重听觉刺激。现在我们认识到视、听、动觉/触觉在教学中的重要性，语篇设计以多模态为背景。

我们以《高级英语》课堂教学为例。我们使用的教材是李观仪主编的《新编英语教程》第6册。根据这门课程特点和教学要求，我们选择以教材为主线，以视觉影像、网络、图片素材、音频、视频素材等媒体为辅线的国学知识②国学知识博大精深，内容广泛，既有传统的历史文化与学术，也有现代的文化和学术。《高级英语》课堂主要涉及的国学知识有传统的哲学、文学、礼俗学、伦理学等。进 《高级英语》课堂的教学，选择的体裁包括诗歌、散文、小说等。这么做的主要原因是：1）我们认为教材并不是权威，不要照本宣科③Kress&Van Leeuven(2001:51)提出了五个主要的教学目标：（1）把教材看做权威，照本宣科；（2）把教学看做知识传授，设法帮助学生理解；（3）把教学看做一种程序，帮助学生掌握技能；（4）把教学看做一种经历，让学生参与实践；（5）把教学看做一种手段，帮学生发展表意资源（见张德禄，2011）。。外语课堂除了规定的印刷、录音、影像等制品（教材）外，还要根据课程所需，有选择性地补充一些与课文有关的不同体裁的视、听、动觉/触觉模态语篇教学材料。2）在我国整体国力得到大幅度提升的今天，在英语课上适量地增加一些用英语表达的国学知识，使英语专业学生热爱优秀的中国传统文化，具有中西方文化情怀。通过这样的语篇设计，加强学生对中国传统文化的认知、理解、传承、创新和输出。

《高级英语》多模态语篇设计内容包括：表达语篇的媒介、模态的3个形式、与不同模态对应的3个元功能。通过对《高级英语》课程的观摩教学，以及视频教学过程的反复观看，我们发现，使用的模态不同，语篇表达媒介就不同，它们的概念功能、人际功能和语篇功能也有所不同（见表1）。

表1 《高级英语》多模态语篇设计

一学期结束后的学生问卷调查表明：国学知识进《高级英语》课堂的多模态语篇设计很大程度上提高了学生的学习兴趣、学习主动性，尤其是在教师的角色扮演、自己动手做PPT、对自己的授课结果进行互相评估和自我评估方面，95%以上的学生认为受益匪浅。这种多模态语篇设计不仅有助于他们对书本知识和国学知识的掌握，还培养了他们的合作精神、发现问题和解决问题的能力、独立思考、以及创新能力等。学生的双语知识和人文素质得到了很大程度的提升。

在一学期的实验中，视、听、动觉/触觉模态和语篇表达媒介之间相互作用，贯穿于整个外语课堂教学。正如系统功能语言学（Halliday，1978）中的语言描述的中心是在语言功能上，而不是形式上，更多的注意力是在制品（artifact）上，而不是在只带有狭义解释的语言的语篇上。“多模态和社会符号方法通过社交的使用，从刚开始的视觉交流、手势、行为，发展成相互关联的或部分关联的符号系统，其发展方式和语言一样”（Kress，Jewitt，Ogborn and Tsatsarelis，2001：44）。

三、相关功能理据

外语课多模态语篇设计的功能观是以系统功能语言学为基础。Halliday受导师Firth的系统观念的影响，认为语言是社会符号系统，是迫于语言系统必须为之服务的特别功能的压力进化而来。Halliday创造的系统功能语言学认为，所有的语言都有元功能的属性，即概念、人际和语篇功能。除了Halliday的系统功能语言学，还有其他系统功能理论，它们都对外语课堂多模态语篇设计有很大影响。

（一）Martinec的运动的衔接

基于Halliday&Hasan（1976）、Hasan（1989）以及Martin （1992）的语言研究，Radan Martinec（1998：161-180）认为：系列运动 （stretches of movement）可以被视作是由连词（conjunction）、成分衔接（componential cohesion）和指称（reference）等衔接资源粘合起来的一个整体。这样一个衔接整体或许可被称作运动语篇（action text）。在系统功能符号语言学（systemic-functional semiotics）里，符号系统（无论是行为系统 、语言系统、图像系统，音乐系统、还是符号体系间的系统）围绕三个不同意义构建，即概念意义、互动意义和语篇意义。概念意义用来构建和分析我们对世界的经验和基本逻辑关系；互动意义把各种行为进行分类，相互作用者之间通过这些行为相互联系，并对行为或者整个语篇作出判断；语篇意义指符号学模式（semiotic modes）用各种手段生产出一个衔接的语篇，而不是一个随机的行为集合。这三个元功能之间相互独立，相互联系，它们被塑造成若干套特征或体系，这些特征或体系代表着有意义的选择，并连接成网络。

在语篇元功能里，衔接是语篇意义资源。在语言系统内可以通过连接词、词汇衔接、指称、替代、省略等实现语篇的衔接。衔接原理也适用于运动的衔接。连接系统表明整体运动中的衔接关系，它们是参与者、过程和环境的布局。成分关系和指称勾勒出连接各个运动部分的关系，即参与者之间的关系，或者过程之间的关系，或者环境之间的关系。运动中的连接关系具有时间性 （temporal）和比较性（comparative）。时间关系使运动按照连续性和同时性互相关联，要么是一个接一个的运动，要么是同时运动。比较关系使运动按照相似和对比互相关联，要么是相似运动，要么是沿着某个明确的方向相互之间的对比运动。运动的连接关系可以是并列、从属关系。成分之间的关系有重复（参与者、过程，或者环境重复）、上下义关系、部分-整体关系、同义关系、反义关系等。指称关系涉及到连续提到的参与者或者环境的身份关系，或者部分提到的参与者或者环境的身份关系。

在多层面的衔接里，运动段（phrase）的细节分析很重要，这个运动段类似一段语篇，在经验意义、人际意义和语篇意义上达到一致。我们在分析“某人步行”这个运动时，其细节程度分析就低于把这个运动作为连续的“左腿向前运动”^“右腿向前运动”的细节程度分析。Martinec（1998：161-180）认为，衔接是多层面的，细节分析程度对衔接分析至关重要，因为它决定着每种情况下分析单位的内容，也决定着参与者、过程、环境的内容，以及由衔接关系带来的结构问题。

Martinec的运动的衔接，以及Martinec（2005）的多模态话题研究、Martinec&Salway（2005）的影像-语篇关系研究使我们对不同模态的元功能有了新的认识和理解。如对动觉/触觉模态的元功能在外语课多模态语篇设计中的体现和理解。

（二）Royce的符际互补

Royce以1993年3月27日的经济学人杂志里刊登的一篇题为 “仍需攀登的山脉”（Mountains still to climb）的文章为例，提出了符际互补理论。视觉模式和言语模式同时出现在以页面为基础的多模态语篇中时，产生一个语义间互补的语篇现象，这个关系可以称作符际互补（intersemiotic complementarity）。

Royce的符际互补审视了言语和视觉交流模式在一个语篇范围内意义的表达方式上互补的命题，符际互补是通过各自模式所特有的语言和视觉手段实现。如阅读（观看）一个视觉材料同时涉及三个互动成分：概念成分、人际成分和语篇成分。这三个成分分别是被表征的参与者（represented participants），互动的参与者（interactive participants）和视觉连贯的结构成分（coherent structural elements）。被表征的参与者指的是所有实际出现在视觉材料中的成分或实体，无论是有生命的，还是无生命的，它们都表征着所示的情况、当前的世界观或世界存在的状态。互动参与者指的是在阅读一个视觉材料过程中相互作用的参与者们。一个是美术设计者或绘画者，另外一个是读者或观看者，这代表着观看者和视觉材料之间的社会关系（Royce，2007：66-67）。结合Kress&van Leeuwen（1990：16–18）的视觉图像，Royce认为，除上述两类参与者外，还有视觉构图（visual compositional）功能，这对应着Halliday的语篇功能。视觉构图指的是视觉材料或语篇的布局给人以结构上连贯的感觉。这些布局成分是被表征成分和互动成分的有机结合，也表征了一个依赖于特定文化和意识形态的世界观的构建，而这个世界观是美术设计者或绘画者在那个时刻和那个语境想要表达的内容。

Royce（2007：103）发现，符际互补可能通过下列中的一个或者多个特征发生：1）通过符际语义关系，两个模式的概念意义在词汇-语义方面相互关联时：重复、同义关系、反义关系、上下义关系、部分-整体关系、搭配；2）通过符际语言的强化（reinforcement of address）以及通过符际态度的一致或不一致（情态modality）关系，两个模式的人际意义相互关联时；3）通过信息值、凸显、视觉框架、视觉同义关系和潜在的阅读路径等不同的构图关系，构图意义得以整合（integrated）时。图像-文字的元功能接口，阐释了多模态语篇的概念功能、互动功能和构图功能。

(三）Kress&van Leeuwen的视觉语法

在 Halliday的系统功能语言学的基础上，Kress&van Leeuwen（1996：2）创建了视觉设计语法（grammar of visual design）。他们认为视觉设计语法和语法一样都超出正确性的形式规则，是一种表示经验模式的手段，它使人类能够建立一个现实画面，去理解他们周围世界和内心世界所发生的一切。概念功能、人际功能和语篇功能适用于所有的符号模式。

视觉显示具有和其他交流制品一样功能要求的主题，这样的制品有三个元功能域的意义管理。如一张照片可以同时代表正发生的事情，对观看者的人际吸引力（当照片中的人物“走出”画面直视着观看者时）；受到语篇布局影响，视觉凸显、位置、题材等使得组合成分中的某些事物更为突显，而另外一些事物又不凸显。视觉制品中的各种意义类型都有明确的语法，这样的视觉设计语法承担一个特别的任务，即这些语法需要设计出各种详细的选择系统，用来表明从其元功能里选择出来的各种抽象意义的范围。

像语言结构一样，视觉结构指向特定的经验解释和社会互动。多模态语篇以不同模式传递信息，这些模式包括视觉影像、图案元素、书面语以及其他的符号资源（Jewitt&Kress，2003），其中书面语模式和图案模式受不同逻辑学的支配。书面语篇受时间逻辑或时间序列支配；而视觉影像受空间逻辑、组织安排和同时性支配（Kress，2003）。书面语中，意义来自时间序列中的位置，而视觉影像中的意义来自空间关系或视觉语法 （Kress&van Leeuwen，1996）。

任何一个符号模式都必须能够表征人类所经历世界的各个层面。换句话说，就是必须能够表征在表征系统以外的世界里的物体和物体之间的关系（Kress&van Leeuwen，1996：42）。

在概念元功能里，视觉信息被分解为若干成分，类似把语言小句分成过程、过程中的参与者、过程中的事件发生环境；可视化配置的分类类似于语法配置的功能语言学解释中的分类，但又有不同之处。特别值得一提的是，他们对“叙事（narrational）”视觉和“概念（conceptional）”视觉进行了定义。前者从视觉描述行为 （Kress&van Leeuwen，1996：73-75）， 后者描述了分类或分析 （Kress&van Leeuwen，1996：88-89;107）。这种分解视觉被众多学者采用，如 Baldry&Thibault（2006：122）的“视觉及物框架”（visual transitivity frames）、Royce（2007：73）的 “视觉信息成分”（visual message elements—VME’s）等。

就人际元功能而言，Kress&van Leeuwen提出了评价材料和观众之间相互关系的视觉材料的若干可能性。视觉属性可以用来构建特别的人际关系，诸如相对影响力、参与程度和吸引力等。如视觉中所描述的人的凝视方向（看观众或扭头看别处），或者摄影机的相对角度、坡度（往上看、往下看）。这些隐含意义的诸多方面一直以来都是理论和实践的焦点。除此之外，与听觉有关的有声音和其他符号间的情感和意义的交流。与动觉/触觉有关的有互相作用的社会距离意义；身体在空间的移动交流；对行为或语篇的判断等。

语篇元功能是Kress&van Leeuwen理论中最重要的内容。意义制造（meaning-making）的各种资源推动组织原则，这些原则相互关联，随时用来分析页面的构图（compostition），为分析一个符号产品内的材料组合 （如一个页面）提供工具。Kress& van Leeuwen提出的语篇元功能内的意义制造潜势（meaning-making potential）有三个领域，即信息值（information value），凸显 （salience）和 框架（framing）。

信息值有中心构图 （centered compositions）和边缘构图（polarized compositions）之分。高凸显通常配有一个或者多个感知特征。高程度框架指的是在视觉加工品中所描述的一个成分和另外其他视觉成分之间的最大限度的分离。“已知”、“新”、“理想”和“真实”这些术语用来区分在某些构图条件下一个视觉加工品的特别空间区域。Kress&van Leeuwen提出了8种构图结构的可能。把所有的组合放在一起，就产生那种所需的视觉语法（visual grammar），类似语言单位的普通开发（Bateman，2011：38-45）。

以多模态形式表现大纲是后现代状态的表现，这个表现重视视觉文化，“使得本身不可视化的东西呈可视化的倾向……”（Mirzoeff，1999：5）。Kress&van Leeuwen（1996）的视觉影像语言学研究为视觉模态在教学中的重要地位打下基础。

四、结语

21世纪的外语课堂教学正在发生巨大的变化，使用易于意义表达的（诸如视觉、听觉和动觉）多模态的数字工具，使得语篇的使用和创作又有了新的方法 （Kress，1999;2003;New London Group，1996）。多模态语篇设计的探讨离不开系统功能理论的探讨。论文所涉及的功能理论也只是冰山一角，还有诸多多模态制品的功能研究没有提及，如O’Toole（1994）的有关语言意义和其符号模式之间关系的艺术语言学研究，以及O’Halloran（2004c）、Kaltenbacher（2004）等学者对现代系统功能领域的各种多模态制品的研究。

[1]Baldry，A.and P.Thibault.Multimodal Transcription and TextAnalysis：A Multimedia Toolkitand Coursebook with Associated On-Line Courses[M]. London and Oakville：Equinox，2006

[2]Bateman，John A.Multimodality and Genre：A Foundation for the Systematic Analysis of Multimodal Documents[M].Palgrave Macmillan， 2011

[3]Halliday，M.A.K.Language as a Social Semiotic [M].London：Edward Arnold，1978

[4]Halliday，M.A.K.An Introduction to Functional Grammar[M].London：Edward Arnold，1985/1994（2nd ed.）/2004（by Halliday&Matthiessen）.

[5]Halliday，M.A.K.& Hasan，R.Cohesion in English[M].London：Longman，1976

[6]Hasan，R.The Texture of a Text[A].In M.A.K. Halliday&R.Hasan，Language，Context and Text [C].London：Oxford University Press，1989：70-96

[7]IEEE.Reference Guide for Instructional Design and Development，available online at www.ieee. org.，2001

[8]Jewitt，C.，& Kress，G.R. （eds.）.Multimodal Literacy[C].New York：Peter Lang，2003

[9Kaltenbacher，M.Perspectives on Multimodality：from the Early Beginnings to the State of the Art [J].Information Design Journal，2004，12（3）：190-207

[10]Kress，G.R.Reading Images：Multimodality，Representation and New Media.A paper presented at Expert Forum for Knowledge Presentation，2004

[11]Kress，G.R.Issues for a Working Agenda in Literacy[A].In O’Brien，T.（ed.）.Language and. Literacies [C].San Francisco： Jossey Bass Publishers，1999

[12]Kress，G.R.Literacy in the New Media Age[M]. London：Routledge，2003

[13]Kress，G.R.Before Writing：Rethinking the Paths to Literacy[M].London：Routledge，1997

[14]Kress，G.R.，Leite-García and T.van Leeuwen. Discourse Semiotics [A].In Teun A.van Dijk（（ed.）.Discourse as Structure and Process[C]. New York：Sage Publications，1997

[15]Kress，G.R.，&van Leeuwen，T.Reading Images [M].Geelong，Victoria：Deakin University Press，1990

[16]Kress，G.R.&van Leeuwen，T.Reading Images：The Grammar Of Visual Design [M].London：Routledge，1996

[17]Kress，G.R.& Van Leeuwen，T.Multimodal Discourse：The Modes and Media of Contemporary Communication[M].London：Arnold，2001

[18]Kress，G.R.，Jewitt，C.，Ogborn，J.&Tsatsarelis，C.MultimodalTeaching and Learning： The Rhetoric of the Science Classroom[M].London：Continuum，2001

[19]Lemke，Jay.Multiplying Meaning：Visual and Verbal Semiotics in Scientific Text[A].In J.Martin and R.Veel（eds.）.Reading Science：Critical and Functional Perspectives on Discourses of Science [C].London：Routledge.1998：87-113

[20]Martin，J.R.English Text：System and Structure [M].Amsterdam：Benjamins，1992

[21]Martinec，Radan. Cohesion in Action [J]. Semiotica.1998，120（1-2）：161-180

[22]Martinec，Radan.Topics in Multimodality[A].In J. Webster，R.Hasan，and C.M.Matthiessen（eds.）. Continuing Discourse on Language：A Functional Perspective（Vol.1）[C].London and New York：Equinox：2005：157-181

[23]Martinec，Radan&Andrew Salway.A System for Image-Text Relations in New（and Old）Media[J]. Visual Communication.2005，4（3），337-371

[24]Matthiessen，C. The Multimodal Page： A Systemic Functional Exploration[A].In T.Royce and W.Bowcher （eds.）.New Directions in the Analysis of Multimodal Discourse[C].New Jersey and London：Lawrence Erlbaum Associates，2007

[25]Merrill，M.D.，Drake，L.，Lacy，M.J.，Pratt，J.，& ID2_Research_Group. Reclaiming Instructional Design[J].Educational Technology，1996：36（5）：5-7

[26]Mirzoeff，N.An Introduction to Visual Culture [M].London：Routledge，1999

[27]O’Halloran，Kay L.（eds.）.Multimodal Discourse Analysis：Systemic-Functional Perspectives[C]. London：Continuum （Open Linguistics Series），2004c

[28]O’Toole，M.The Language of Displayed Art[M]. London：Leicester University Press，1994

[29]Royce，T. Intersemiotic Complementarity： A Framework for Multimodal Discourse Analysis[A]. In Royce，T.and W.Bowcher（eds.）.New Directions in the Analysis of Multimodal Discourse[C].New Jersey and London： Lawrence Erlbaum Associates，2007

[30]Scollon，Ron & Levine，Philip. Multimodal Discourse Analysis as the Confluence of Discourse and Technology[M].Washington DC.：Georgetown University Press，2004

[31]Smith，P.L.&Ragan，T.J.Instructional Design [M].New York：Macmillan，1993/1999（edition by Wiley&Sons）

[32]The New London Group.A Pedagogy of Multiliteracies： Designing Social Futures[J]. Harvard Educational Review，Spring，1996，66（1）：60-92

[33]胡壮麟.社会符号学研究中的多模态化[J].语言教学与研究，2007，（1）：1-10

[34]杨信彰.多模态语篇分析与系统功能语言学[J].外语教学，2009，（4）：11-14

[35]张德禄.多模态外语教学的设计与模态调用初探[J].中国外语，2011，（3）：48-75

[36]朱永生.多模态话语分析的理论基础与研究方法[J].外语学刊，2007，（5）：82-86