人-机-人交流中符号模态选择及其意义整合——以多模态语篇博客网页分析为例*

白美娴

(西南大学 外国语学院，重庆 400715)

一、引 言

“多模态”(multimodality)一词由来已久，从20世纪90年代开始得到语言学界越来越多的关注。目前，不同的语言学家对“模态”(mode)的界定各有不同。Matthiessen(2007)主张从媒介和渠道两方面对模态进行研究；Bernsen(2006)认为模态是人与人，人与机器之间在一些媒介的作用下交流信息的模式或方式；朱永生(2007)指出模态指交流的渠道和媒介，包括语言、技术、图像、颜色、音乐等等符号系统；顾曰国(2007)认为模态指人类通过感官(如视觉、听觉) 跟外部环境(如人、机器、物体、动物等)之间的互动方式。关于“多模态”，Kress & van Leeuwen(1996)指出多模态是几种符号模态的同时使用；李战子(2003)认为多模态指的是“除了文本之外，还带有图像，图表等的符号话语，或者说任何由一种以上的符号编码实现意义的文本”；曾蕾(2006)主张“超出文字语言符号以上的多种符号语篇”即为多模态话语；朱永生(2007)则指出，判断多模态的标准是看涉及模态种类的多少，如电脑上网时，用眼睛看文字和图像，用耳朵听声音；有些语篇虽然仅涉及一种感官系统，但如果包含两个或以上的符号系统也应看作是多模态，如连环画，虽然只涉及视觉模态，但既有文字也有图画，也应视为多模态语篇。为了避免模态在概念上的混淆，本文使用“符号模态”一词来代替模态，意在强调模态和符号资源的紧密联系。

近些年来，随着计算机和国际互联网的广泛使用以及多媒体技术的迅猛发展，信息的多媒介化变得更加丰富多彩，出现了音频、视频、三维动画等多种交流形式。图像、动画、图表、颜色、声音、编排等手段大大丰富了语义表达的形式，使意义的表达形式呈现多元化，打破了常规媒介的单一性。语言学家们开始关注并研究在人与人直面交流，人—机—人的交流中除语言之外，其他用于交流的符号模态是如何结合来传递意义，并以此达到互动交流。作为一种新兴的网络信息表达方式及网络时代知识传播和管理的新途径，博客被誉为继E-mail、BBS、ICQ之后的第四种网络交流方式。它为每个人提供了一个发布信息、交流知识的传播平台，是博主发表言论和表达个人思想的网络虚拟空间，其主要内容是网络日志。使用者可以很方便的选择使用文字、影音或图片链接起自己个性化的网络世界与外界进行互动交流。因此，博客可以说是多模态展现的最佳平台之一。本文结合系统功能语言学理论，主要从博客网页设计角度分析符号模态选择以及不同模态之间表达意义的整合在体现语言的三大元功能(Halliday, 2000)中的重要性，并提出以博客为网络平台的人—机—人交流的互动模式。

二、网页多模态语篇及其分析的理论基础

在对博客网页分析前，首先介绍网页多模态语篇。网页可以描述为交流的多模态工具, 它最大特色是一种脱离了常规文本的超文本。Chiew(2004)认为超文本实现了单个或多个符号资源的结合。通过图像、颜色、音频等符号模态结合可以实现不同类型的网页。由互相开放的网络通过各种链接而形成的信息组合的超文本，具有多方位、动态性、多线性的特征。这些特征决定了在接触网页时，人—机—人之间必定存在一种互动关系。关于网页设计者、网页和网页访问者的互动关系， Aarseth(1997)曾做过研究。我们认为，以网络为媒介的电子多模态语篇是动态的，使用者通过网络可以取得即时或延时的人际互动和交流。

多模态语篇研究者(如Kress, 2001)认为，所有的符号模态像语言一样在社会使用过程中会形成社会资源模态。胡壮麟(2007)指出，所有符号模态有潜势发展成产生意义的互相连接的可供选择的网络。Kress & van Leeuwen(1996)则认为，系统功能语言学关于语言元功能的理论也可以扩展至其他的符号系统，换句话说，其他的符号系统可认为是按照概念功能、人际功能和语篇功能这三大元功能来组织并生成意义。Halliday(1978)突出强调选择在意义生成中的重要性；Victor Li Fei(2007)认为系统功能语言学是有关选择的理论，系统网络为符号资源提供许多的选择。那么，和语言一样，其他符号资源在生成意义时，也会面临可供选择的系统网络；毫无疑问，选择是任何符号资源生成过程中的重要环节。Baldry(2000)也提出对每种符号资源的选择及其意义整合对实现三大元功能的重要性。

以系统功能语言学的语言元功能理论为基础，社会符号学研究者(如Kress等, 1997)确立了阐释多模态语篇的总体框架：(1)表征和交流与参与者社会关系相关的方面；(2)交流和表征交流者希望交流的时间、事态和直觉；(3)信息产生必须具有关联性。也就是说，语篇不但要有内部的粘联连贯，而且与语境也得有粘联性。那么，从网页设计的层面来看，与三大元功能相对应的条件是：(1)从社会符号学角度分析网页中表达的事态；(2)解读网页内容与浏览者间的社会关系；(3)各种符号间的衔接与连贯关系(叶起昌，2006)。Thibault(2000)建议最好把系统功能语言学中的元功能看做是为分析整个篇章的概念、人际、逻辑、结构等方面的整合原则。这也正是本文分析博客网页所采用的原则。

三、博客网页中符号模态选择、模态间意义整合以及人—机—人交流互动

1.博客网页设计者符号模态选择及意义整合分析

博客网页的设计者包括博客网页开发者和博客拥有者。首先，博客网页开发者面对众多的符号资源，需要选择输入符号模态构建博客网页的大致框架结构；其次，个人博客的拥有者需要输入符号模态来填充框架，这样才构成完整意义的博客。

鉴于目前大部分博客网页主要是以图像和语言(由文字或声音表达实现)两大类符号构成，本文将主要讨论它们之间的意义整合关系。下面将分析博客网页设计中模态符号选择及其意义整合在体现三大元功能中的作用。

(1)符号模态选择与事态表达。众所周知，博客网页是人们个性化思想、个人生活记录的私人空间和大众空间的结合体，具有开放性、个人化、互动性等特征。这些特征决定了它作为网络语篇，需要结合多种符号模态来展示和表达自身并达到传递意义和交流互动的目的。在众多的符号模态中，以两种感官模态为主：(a)视觉模态，如文字、图像、版面结构、颜色等；(b)听觉模态，如音频等。根据各种符号模态的特点，博主可选择适宜的符号模态来布置博客网页，通常选择能够承载大量信息的符号模态来表达事态，如文字(日志)和图片。日志表达易于理解，选择图片可以加强或补充文字意义。博主在日志中描述某一事物或事件时，若配上相关的图片，那么文字表达意义将会更易于理解，加深浏览者的印象。因此，博主选择一定的图像和文字，两者互相加强或补充等来达到概念意义的整合，继而表达事态。

(2)符号模态选择与博主、访问者之间关系建立。在构建个人博客风格，展示自己的个性化页面过程中，博主需要选择匹配的符号模态，如页面整体色调选择、播放音乐类型选择、文字字体选择以及图像选择(包括静态和动态图片)等。可以说，网页中的每一部分都是博主选择的结果，是自身个性化的展示。在人际关系功能中，选择的符号模态不同，与外界交流的效果肯定存有殊异。比如在网页背景图案选择中，可以选择颜色绚丽动感图案背景来表达个人的乐观、活泼、热情等特点；相反地，也可选择颜色素雅、图案简单了然来传递自己的个人特质信息，这样可吸引有相同个性类型的访问者。博客网页内选择的语言和图像可表达态度一致或相异，以制造和谐、幽默、挑衅等环境效果，从而达到语言和图像之间的意义整合。通过这些环境效果可以达到抒发感情、激发访问者兴趣、吸引访问者等目的，使博主的个性化特征得到充分的体现，由此建立虚拟网络中的人际关系。

(3)符号模态选择与语篇的衔接连贯。根据系统功能语言学的语言元功能理论，不管是概念功能还是人际功能的实现都需要通过语篇功能来实现语篇的衔接和连贯，这在其他符号系统中也不例外。正如前面提到的，大多数网页的内容表达是以语言文字和图像为主，它们的传递依靠视觉接触来完成，因此视觉接触是主要的感知渠道。Kress & Leeuwen(1996)从语篇构成功能出发，认为任何多模态语篇都不是任意组合的产物，它遵循三个相互联系的原则：信息价值、突出度和分格。信息价值指各种成分占据不同的位置从而拥有不同的价值。突出度可理解为各种成分由于前景或背景中位置、大小、亮度等方面的差异，从而引起读者不同程度的注意。分格指用来切断或连接语篇的成分，表明这些成分是相连或不相连。在视觉语篇中，不同的位置具有不同的价值。为判断视觉成分的信息价值的轻重，Kress & Leeuwen(1996)把页面分为以下四个象限：

图1 页面象限图(Kress & van Leeuwen，1996)

在上图中，我们可以看出有三种排列方法。Kress 认为左右和上下在视觉空间的排列是固定的，至于这个象限内的内容则需要根据不同文化与网页的意图利益来决定，但上下左右的分界意义是确定的。上下的区分是理想与现实之间的区别，而左右之分则与信息的状态相联系。另一种排列法即中心与边缘之分。中央位置具有主导作用，所以排列主要信息；边缘意味着处于受支配的地位，因此放置次要信息。最后一种方法显然是融合了前两种方法。

虽然博客网页由不同网站开发，版面模块或许略微不同，但是大致结构基本相似。一般情况下也是采取中心和边缘的构页结构。在页面的顶端中央是博客的导航项目，以小于博客正文内容的字体出现。页面的左右边缘处一般放置的是关于博主的个人资料以及日志标题的条目显示或是音乐播放器，好友博客的连接以及最近访问的博客之类；处于页面中央的是博客的核心内容：最近发表日志标题显示。日志放在极易吸引注意力的中央主导位置，所以一定是博客网页的主要信息。各版块之间的分格十分明确，通常有线条分隔。但这不表示它们之间没有衔接连贯，比如颜色作为符号模态之一(Kress，2002)，是衔接连贯的重要组成部分，可用来表示突出度或分格。博主根据需要，选取一个主色调来使整个页面融为一体；依据不同板块的表达需要，再具体选择色调、亮度等作为突出或分隔工具。可见，在语篇功能中，博客的版面构篇设计资源是丰富多彩的(如字体类型、大小、色彩等)，符号模态的选择是构页衔接连贯的关键之一，符号模态之间主要通过前景背景、页面中信息值和显著性等进行意义整合。

鉴于以上分析，我们可以大致得出以图像和语言符号模态为主的电子语篇的意义整合关系如表1(基于Royce, 2007)：

表1 建立在页面基础上的图像和语言符号模态间意义整合关系

续表

2.博主和博客访问者的互动

互动是网络的本质。参与性互动化、彰显个性、搭建沟通活动平台、协作共享是博客网络互动行为富有魅力的原动力。博客网络互动行为既具有个性化的自我表达内容，又具有最为公共性的自我呈现形式。它对于现代人的意义已经远远超出网络日志的范畴，不但是表达的平台，也是聚众的手段。博客很少是孤立存在的，友情链接、评论等把博客之间、博客和读者之间连接起来，形成他们的交际社区。博客与读者的交流是至关重要的，没有互动交流就没有鲜活的生命力。如果一个博客没有读者，没有与外界互动，这个博客很难坚持下去。

对于博客网页访问者来说，从意义接受的角度来看，他们有选择的自由。在面对博客多模态语篇时，访问者可以选择接受博客网页中符号模态意义的表达，比如只看博客中的一段视频、一篇日志或一组图片。也就是说，符号模态选择取决于博客使用者(包括博主和博客访问者)。博客访问者浏览网页后，可对其日志内容或有关博主的其他任何信息进行点评、发表看法、分享或收藏，以此达到与博主的交流互动。当然，博客网页内还设置有较多其他的互动方式，比如好友博客的超链接等。

根据以上分析，我们可以大致得出在互联网信息时代，人与人以博客为媒介的网络交流互动的大致结构图：

图2 以博客为媒介的网络交流互动图

从图2可以看出，对博客网页设计者来说，需要根据一定的语境和传递信息类型以及受众群体来选取适当的符号模态组成多模态进行网页创建，而博客访问者根据自身需要，选择一定的符号模态进行输入，获取所传递的意义。博客多模态语篇最大的特点表现在(图中以虚线标示)：通过它，人与人间的互动交流，即在博客访问者接受博客意义表达后，可以对博客语篇进行符号模态输入，与博主或其他访问者进行互动交流，产生交际意义。

四、结语

目前，多模态语篇已经成为语言学界讨论的一个热门话题，研究者从语言的各个分支来探讨其理论框架和应用领域。本文借鉴系统功能语法中的“选择”理念，将其应用于其他符号模态的分析中，主要从语篇设计者的角度，力图证明符号模态选择是意义表达的关键，并尝试性的提出了人机人交流的动态结构图。一方面，多模态语篇网页的分析进一步证明了将Halliday(1978，1985)的社会符号学理论以及三大元功能理论运用于阐释其他符号资源的可行性，同时也证明了Halliday & Hasan(1985)有关意义系统之间的相互联系、相互补充的论断。另一方面，本文尝试对博客多模态语篇在交流互动层面进行分析，有利于阐明如何选择最佳符号模态来达到人际交流的最大有效性，为人类沟通交流服务。由于博客中存在多种符号和媒体，在印刷排版中不便引入具体的博客语篇进行个案分析。因此，本文在分析符号模态选择及其意义整合在语篇三大功能中的作用时，仅从博客的总体框架上做了宽泛的描述。今后的研究中还可进一步从语篇设计者和使用者两个方面，对多模态交流语篇中怎样选择符号模态才能最有效地表达意义以及最大程度地接受意义进行探讨。

[参考文献]

[1] Aarseth, E.J.Cybertext: Perspectives on Ergodic Literature[M] .Baltimore: John Hopkins University Press，1997.

[2] Baldry, A.Multimodality and Multimediality in the Distance Learning Age[M] .Campobasso, Italy: Palladino Editore，2000.

[3] Bernsen, N.O.Multimodality in Language and Speech Systems: From Theory to Design Support Tool[EB/oL] .2008-10-05.

[4] Chiew, A.K.K.Multisemiotic mediation in hypertext.In K.L.O’Halloran (Ed.), Multimodal Discourse Analysis: Systemic-Functional Perspectives[M] .New York: Continuum， 2004.

[5] Fei, L.V.Developing an integrative multi-semiotic model.In Kay L.O’Halloran (Ed.), Multimodal Discourse Analysis: Systemic-Functional Perspectives[M] .New York: Continuum, 2004.

[6] Fei, L.V.The visual semantics stratum: making meaning in sequential images.In T.D.Royce & W.L.Bowcher (Eds.), New Directions in the Analysis of Multimodal Discourse[M] .New Jersey: Lawrence Erlbaum Associates.

[7] Halliday, M.A.K.Language as a Social Semiotic: The Social Interpretation of Language and Meaning[M] .London: Arnold, 1978.

[8] Halliday, M.A.K.An Introduction to Functional Grammar[M] .London: Arnold, 1985.

[9] Halliday, M.A.K., & Hasan, R.Language, Context and Text: Aspects of Language in a Social-semiotic Perspective[M] .Oxford: Oxford University Press.1985.

[10] Kress, G.& van Leeuween, T.Reading Images: The Grammar of Visual Design[M] .London: Routledge, 1996.

[11] Kress, G.& van Leeuwen, T.Multimodal Discourse: The Modes and Media of Contemporary Communication[M] .London: Arnold, 2001.

[12] Kress, G.& van Leeuwen, T.Color as a semiotic mode: notes for a grammar of color[J] .Visual Communication 1 (3): 343-368.

[13] Kress, G.Garcia, R.L., & van Leeuwen, T.Discourse semiotics.In T.A.van Dijk (Ed.), Discourse as Structure and Process: Discourse Studies: A Multidisciplinary Introduction[M] .London: Sage, 1997.

[14] Matthiessen, C.M.I.M.The Multimodal Page: A Systemic Functional Exploration.In T.D.Royce & W.L.Bowcher (Eds.), New Directions in the Analysis of Multimodal Discourse Mahwah[M] .NJ: Lawrence Erlbaum Associates,2007.

[15] Royce, T.Intersemiotic Complementarity: A Framework for Multimodal Discourse Analysis.In T.D.Royce, & W.L.Bowcher (Eds.), New Directions in the Analysis of Multimodal Discourse Mahwah[M] .NJ: Lawrence Erlbaum Associates,2007.

[16] Thibault, P.The Multimodal Transcription of a Television Advertisement: Theory and Practices.In A.Baldry (Ed.), Multimodality and Multimediality in the Distance Learning Age.Campobasso[M] .Italy: Palladino Editore,2000.

[17] 胡壮麟.社会符号学研究中的多模态化[J] .语言教学与研究,2007(1)：1-9.

[18] 李战子.多模式话语的社会符号学分析[J] .外语研究,2003(5): 1-8.

[19] 叶起昌.超文本多语式的社会符号学分析[J] .外语教学与研究,2006：437-442.

[20] 曾蕾.动态多符号语篇的整体意义构建[J] .外语艺术教育研究,2006(3): 42-48.

[21] 朱永生.多模态话语分析的理论基础与研究方法[J] .外语学刊,2007(5)：83-86.