多模态语法建构问题探索*

张德禄 张兢田

(同济大学，上海 200092)

多模态语法建构问题探索*

张德禄 张兢田

(同济大学，上海 200092)

我们根据符号系统的层次、类型和维度探讨多模态语法建构中的主要问题，力图澄清哪些符号系统适合建构语法，以及要为每个适合建构语法的符号系统单独建立语法还是建构一个同类符号系统共享的语法。研究发现，从不同层次的符号系统着眼，只有3个层次的符号系统才有可能建立语法；从类型角度讲，图像符号以及某些能指和所指关系易于推断的索引符号，一般情况下没有必要建立语法；从维度角度讲，不同维度的符号系统具有不同的语法模式和系统。所以，在起始阶段，应该为每个适合建构语法的符号系统单独建构语法。

多模态语法；符号系统；层次；类型；维度

The present article is intended to investigate the issues in the construction of multimodal grammars according to level, type and dimension of the semiotic systems, and make clear which semiotic systems are appropriate for the construction of multimodal structural grammar, and whether we should construct a structural grammar for each semiotic system which is appropriate for the construction of multimodal structural grammar, or for all semiotic systems of the same type. It is found that, in terms of level of the semiotic systems, only three-level semiotic systems are appropriate for the construction of a multimodal structural grammar; in terms of type of semiotic systems, generally speaking, it is not necessary to construct a structural grammar for the semiotic systems of the iconic type, and those of the indexical type whose relation between the signifier and the signified is easy to recognize; in terms of dimension of the semiotic systems, those of different dimensions exhibit different grammatical patterns and systems, so it is necessary to construct a separate structural grammar for each semiotic system which is appropriate for the construction of a structural grammar, at least at the initial stage.

1 引言

从系统功能语言学的角度讲，多模态话语分析理论是基于Halliday的“语言是社会符号” (Halliday 1978)的论断发展起来的。除了语言之外，其他符号系统也具有表达意义的功能。我们研究语言如何表达意义的一个主要方式是研究语言的语法。那么，如果能够像研究语言那样研究其他模态的语法，一方面，我们可以通过研究语法认识其他的符号系统；另一方面，我们还可以探讨不同符号系统在多模态话语中如何共同体现意义。

基于这种思想，有些学者已经从社会符号学的角度，借用Halliday系统功能语言学的3大元功能的思想，探讨视觉模态的语法。例如，O’Toole (1994)认为展示艺术品也同样实现3种意义，分别是表现意义(representational meaning)、情态意义(modal meaning)和组成意义(compositional meaning)。Kress & van Leeuwen (1996/2006) 认为视觉符号体现表现功能(representational)、交流功能(interactional)和组成功能(compositional)，并且发展了视觉语法(visual grammar)，提出体现表现意义的叙述表现(narrative representation)语法和概念表现(conceptual representation)语法，体现交流意义的交流语法和体现组篇意义的组篇语法。但他们的研究有几下几个问题：(1)语篇和语法的关系不清楚：我们不清楚他们划分的不同级阶的单位是语篇单位，还是语法单位。(2)主要是印象性的(impressionistic)，具有主观性。 (3) 对多模态的研究主要借用语言学的理论和方法，没有建立起自己独立的理论和方法。(Jewitt 2009:26)因此，Machin(2007)认为，把已经发现的一些特征视为语法还为时过早，还有许多问题需要搞清楚。本文拟探讨两个问题：(1)是否需要为所有的符号系统建立语法？(2)是否需要为每一个符号系统单独建立一个语法？

2 建构多模态语法的主导因素

2.1 符号系统

任何模态都要建立在一定的物质基础之上，如口语的物质基础是声音。物质基础与符号意义之间存在一定关系，这种关系就是模态的形式。模态根据其复杂程度可以分为两种：两个层次的符号系统和3个层次的符号系统。(Machin 2007:3)在两个层次的符号系统中，符号的物质实体和意义一一对应，即一个由物质实体体现的符号对应于一个意义，如交通信号系统。由于符号的意义和符号的物质实体体现的符号本体相对应，符号的形式特征只表现为词汇，成为冗余，所以我们说它是两个层次的符号系统(见图1)①。

图1两个层次的符号特点

在这里物质实体处于符号之外，当它具有区分意义的特征时才成为媒介，成为体现意义的形式特征，即一个词汇。在选择过程中，首先选择的是停止意义，同时选择了媒介红色，包括其物质实体。因为没有语法对其进行二次组合，词汇选择是多余的。对这类符号系统选择的结果是一个单独的符号(一个词汇)，无法组合为结构，也不可能为这种符号系统建立语法。当然对其系统特征的描述还是必须的。

但如果某个符号系统更加复杂，有区别性的符号媒介和意义不是一一对应的，各自有自己的系统，那么就需要另一个系统把它们联系起来，这就是词汇语法系统。这个符号系统是3个层次的符号系统，例如语言。在语言中，媒介系统包括音系系统和字系系统，词汇语法系统包括词汇和语法两个系统，意义系统是由概念意义、人际意义和语篇意义3个意义成分组成的系统。这3个层次的系统各自相对独立。这样，选择意义特征不等于同时选择词汇语法特征，而要重新进行选择，同样，选择词汇语法特征也不等于同时选择媒介特征，还需要对其进行选择(见图2)。

文字 字系系统

物质实体 媒介 形式 意义

图23个层次的符号系统(语言系统)层次之间的关系

这类符号系统的形成，需要在各个层次上进行组合和再组合。例如，对意义选择需要选择一定的语法模式来体现它。这个组合模式的每个成分都在结构中占据一定的位置，具有一定的功能，属于一定的类别，所以，需要建立合适的语法来描述这种模式，以及这种模式的功能结构。

如果要为某个符号系统建构语法，首先需要分清它是两个层次的符号系统，还是3个层次的符号系统。其他与语言相似的符号系统包括手语(sign language)、盲语(Braille)、摩尔斯代码(Morse Code)等等。

2.2 符号类别

在多模态语法建构中，第二个需要考虑的因素是符号系统的类型。C. Peirce把符号系统归纳为3个类别：图像(icon)、索引(index)和象征(symbol)。(Pharies 1985:34-42)图像符号的基础是它与其所指物的相似性(similarity)；索引符号的基础是它与其所指物的关联性(connection)，符号的能指和所指由某种内在的联系结合起来，如烟与火的关系。象征符号的基础是在能指和所指之间存在一种约定俗成的规定。

符号的类别和是否需要建立语法无直接的关系，因为无论图像符号、索引符号还是象征符号都既可以是两个层次的符号系统，也可以是3个层次的符号系统。但从符号的识别和解释的角度看，图像符号的基本特点是相似性，识别和解释这类符号的基本要求是能够发现相似性在哪里，而相似性的识别主要是在直感层面上。也就是说，对这类符号的识别和解释只通过直感即可，不需要通过语法来解释。

对于索引性符号，识别的重点是发现关联性。例如，冒烟了可以解释为着火了。烟和火的关系是因果关系，有火才产生烟。索引符号的关联性与图像符号的相似性的识别方式不同。相似性主要靠直感，而索引性要靠推理，通过思考建立关系。至于这个推理过程是否需要一个语法还要看符号系统本身是两个层次，还是3个层次的符号系统，以及推理的难度。如果是3个层次的符号系统，而且推理的难度大，则需要建立语法，把解读的过程规则化。

象征符号的能指和所指之间没有自然的联系，是通过习惯或者约定俗成形成，例如语言。对这种符号系统识别的唯一的方式是通过学习认识能指和所指之间的象征关系。而当即使能够认识这种关系，仍然不能解释它们的意义时，就需要通过语法来把媒介和意义联系起来。也就是说通过语法把符号媒介解释为有意义的符号或符号组合(见图3)。

图3象征符号系统的词汇和语法

综上所述，对于任何类别的符号系统，如果是图像性的，就可以通过相似性直接识别和解释它，一般情况下不需要为它建立语法。索引符号需要视推理的难度来确定。因此，需要建立语法的符号系统就是具有3个层次的象征符号系统。

两个层次三个层次不需要语法需要语法图像图像索引索引象征象征

图4需要和不需要建立语法的符号系统

2.3 符号维度

维度一般根据空间分为一维、二维和三维。一维符号是线性的，如语言；二维符号是平面的，如图像；三维符号是立体的，如房子。如果把时间概念考虑在内，则可以在所有3个维度上加一个时间维度。有时间维度的符号系统都是动态的，所以，可以用动态符号表示有时间维度的符号系统。

(1)一维符号系统

一维符号是线性的，也就是说，其系统选择的结果是一个线性结构，如语言。对线性结构的解读是从头至尾按顺序识别，确认它们的功能，解读整个结构的意义。在3个层次的符号系统中，解读所利用的主要内部工具是语法，尽管在大多数情况下是下意识或者无意识的。

(2)二维符号系统

二维符号表示，对符号系统选择的结果是一个平面，即由部分组成一个整体，而且部分的排列不仅是线性的，而是有上下左右的区别。如果要认识这个符号结构，就需要了解部分之间的关系，这种关系会形成一定的规则或者模式，这就是语法。

二维的平面符号系统仍然有两个层次的和三个层次的符号系统之分。二维两个层次的符号系统是整体性符号系统，即所选择的符号不能再切分为部分。

另外，符号系统可以是封闭的，也可以是开放的，中间可以有无数的半封闭、半开放的系统。二维3个层次的符号系统繁多。Kress & Van Leeuven(1996/2006)试图把它们看做相同的系统，不区分它们的不同，但是为它们建立共同的语法，需要再认真探讨。二维3个层次的符号系统之间有许多共性的特征，为它们建立共同的语法系统奠定了基础，但建立这样的语法不能够反映某些符号系统的特性。视觉符号类别繁多，除了具有相似性的图像符号以外，还有其他许多类型的视觉符号。例如，表格性符号，流程图符号，象征性符号，示意图符号等。这些不同类型的符号都有不同的解码规则(见图5)。

图5 二维符号类型

对于图5.1的表格，其解码的内部规则是空间布局，每个成分在横列和竖列中的位置，以及所属的行和列与其他行和列之间的关系。列表示类(class)，中间的小标题表示次类别；行表示结构成分及其之间的关系。图5.2则是某个事物、某个过程、甚至整个流程的抽象化，成为一个个体，然后用一个图形来表示它，用线条和箭头表示它们之间的先后、因果、来源、变化等关系。图5.3 是八卦图，显然属于象征性符号，蕴含着十分深厚的中国文化特点，不经过特殊学习不能解读。这个图形的意义是经过几千年的积淀而来的，其意义的解读难以按照一般的符号解读方法进行。图5.4是一个示意图，表示圆柱体在水中横向移动时水波产生的不稳定现象，也是只有专业人士才能解读。这四个图属于不同的符号系统，我们难以用一种语法模式来解释，需要为它们单独建立语法。

(3)三维符号系统

三维符号是立体符号，更加接近实物，所以更加直观、更加易于辨认。对于三维符号系统，我们需要首先认识符号本身是什么，包括是什么物体、什么人、以及什么事物和过程等。这就是Barthes(1977)所说的“本义”(denotative meaning)。从这个角度讲，符号的类别可以分为(1)实在符号，表示静态的个体符号，如人、物体、场景；(2)过程符号，表示一个正在进行的事件，如动作、行为、表情、身势等；(3)复杂符号，由多个实物、人、过程和行为组成的复合符号组合(见图6)。

图6 三维符号系统

第一类符号容易辨认，通过符号本身的特征即可辨认出，如它的外形、颜色。如在图6.1中，具备常识的人会很容易辨认出它是汽车。对于索引性和象征性符号，只要人们掌握他们索引中的因果关系和象征中的约定关系，也可以很容易地辨认它们。第二类符号不仅要识别是什么物体，还需要识别是什么动作、过程、行为等。如在图6.2中，不仅需要辨认出猴子和报纸以及周围的环境，还需要知道这是一个行为过程，猴子在阅读报纸。第三类符号更加复杂，不仅需要认识有哪些物体，有哪些行为、动作等，还要了解它们之间是什么关系。如在图6.3中，首先需要确定有什么物体，然后是这些物体是如何运动的，它们相互如何协作，共同完成什么任务。

三维符号系统也有两个层次和3个层次的符号系统的区别。两个层次的符号系统与一维和二维两个层次的符号系统相似，由于其具有不可分性和每次只选择一个的特性，所以没有语法。其他所有三维符号系统都具有语法特性，可以为其建立语法。但三维图像符号系统通常不必要建立语法；对三维索引性和象征性符号的基本特征的认识还有待于做进一步研究。

2.4 符号单位的确定

要建立语法系统，需要首先确定符号的单位，然后探讨它们的语法结构关系。要确定符号单位，可以利用Kress & van Leeuven (1996/2006)在讨论符号的组篇意义时提出的3个解析符号结构的方式：框界(framing)、信息价值(information value)和突显(salience)。

(1)框界

框界是Kress & van Leeuven (1996/2006)提出的体现组篇意义的主要因素之一，也是语法分析的主要方法。在线性一维符号系统中，我们用顺序即可确定语法单位，但在二维和三维符号系统中，顺序只是众多因素中的一个，无法确定符号单位。框界成为最有效的方法。它是在二维平面上确定单位的边界的方法。再以Saussure(1915:67)常用的“树”为例，在树形图符号中，树干、树枝、树叶都可以用框界方法来确定。因为三维符号可看做多个不同空间的平面的组合，所以在三维符号系统中，框界仍然是有效的方法。由此可见，框界是主要的确定符号单位的方法，信息价值和突显则是辅助手段，是表示最相关符号单位的方法。框界有3个突出特点：(1)框界形状可变化，除了方形，还有圆形、多边形、不规则形状等；(2)分界后，符号之间的关系不同；(3)框界分层次，就像语言单位分为级阶一样。

框界是确定符号边沿的主要标记，由实在的边框和表示事物边界的明显或者不明显的线组成。而符号的形状千差万别，所以，框界的形状也千变万化，如人的边界、汽车的边界、球形的边界等。实在的边界一般由方框来表示，如在报纸和杂志中，或者书的插图中的边界都是方形的。框界能够把符号的边界表示出来，从而可以用以确定符号单位。Van Leeuven(2005:13)把通过框界分析得出的符号单位之间的关系归纳为图7中的类型。

图7二维和三维符号单位之间的关系

首先确定符号之间是否连接，如果是连接的，则表示两个符号整合为一体，无论是同类还是不同类。如果是非连接的，则它们可以相邻，即分离，也可以不相邻，即隔离。如果是隔离的，则可以重叠，也可以无重叠。同时，它们相互之间可以形成韵律式模式，也可以是对比模式。

(2)信息价值

Kress & van Leeuven (1996/2006)提出的组篇意义的第一个因素是信息价值(information value)，这些体现信息价值的方式也是我们解析三维符号系统的有效方法。三维符号结构复杂，可以进行多层次切分，产生无限复杂的符号组合，增加符号分析的难度。通过分析信息的价值，我们可以确定哪些，以及哪个级阶的符号是相关的、有效的。Kress & Van Leeuven (1996/2006)提出3个解读符号信息的手段：左右、上下和中心边沿。在左右范畴中，位于左边的是已知信息，位于右边的是新信息，由左向右组织符号结构。在上下范畴中，上为理想信息，下为实际信息，由上到下组织符号结构。在中心边沿范畴中，中心为重点信息，边沿是辅助信息，由中心向边沿组织符号结构。把3者结合起来，符号的信息组织方式是：从左到右，从上到下，从中心到边沿。

(3)突显

最后一个组篇方式是突显，它和前两个组篇方式形成互补关系。框界帮助我们辨认符号单位，信息价值能够使我们认识在一般情况下符号的信息排列方式，而突显则可以在需要的情况下打破这些常规，突出某些在一般情况下体现已知信息和边沿信息的成分。

突显没有固定的模式。在口语中通过重音来表示，在书面语中通过字体来表示，如黑体、斜体、大写等。但在其他符号系统中，则要用其他的方式，如形状大小(大为突出的)、颜色对比(深色为突出的)、角度(在前景中的是突出的)等。

在框界、信息价值和突显3个组篇机制的帮助下，二维和三维符号系统的语法可以通过以下步骤建立： 1)整体切分为部分。理清整体和部分的关系，认识整体的部分组成，这些部分是否可以继续切分，直到穷尽，从而把这个符号系统的语法单位的级阶建立起来。例如，树图形是一个二维符号，但树由树叶、树枝、树干几个部分组成，每个部分都是一个可分辨的符号。2)成分组成模式。认识不同层次的成分组成整体的模式，即认识它们的系统特征。一个可分性符号由几个次级符号组成，它们以一定的模式组合为一个整体。例如，树虽然枝叶繁茂，有许多部分组成，但可以概括为由3个主要部分组成的结构体：树叶在树枝上；树枝在树干的上部。这就是树这个平面结构符号内部的语法模式。3)次级符号的系统特征。作为整体的一个部分，每个部分都以什么关系与整体联系；是静态的，还是动态的。我们把树的组成部分分为3个主要类别：树叶、树枝、树干。这些成分是树的类特征，即一棵树由这3个类别的成分各自在相应的位置上组成。但每一个这样的类会有许多成员，形成这个类别的可选择资源。这就是次级符号的系统特征。这些特征共同组成树这个符号的意义潜势。

不同类型的符号系统具有不同的语法关系和语法结构，如建筑、人体、树体等都有不同的结构，解析这些符号的结构时，需要根据它们自身的结构特点来为其建立语法系统，而不是建立一个普遍性的语法系统。

2.5 动态符号系统

符号可以分为动态的和静态的。静态的符号系统只涉及空间，而动态的符号系统在时间中变化，所以时间可作为其主要维度。

一维动态符号系统有两个变体形式。一是选择了一个项目就延续使用，不再变化，即点变成线，如汽笛的鸣声。这种系统与一维两个层次的符号系统一样，没有语法。二是在时间的进程中不断改变选择，从而形成一个选择模式，即一个话语模式。在这个模式中需要有话语结构模态把它们联系起来。例如，交通信号一直被认为是两个层次的一维符号系统。但实际上，它还有一个时间维度。它不是选择一个符号后就停止，而是根据时间的进程不断做出新的选择。一个简单的交通信号系统包括首先选择绿色(行车)，然后选择黄色(准备停)，然后选择红色(停)，然后选择黄色(准备行)，然后回到开始。这个循环有规则，是一个封闭的话语模式(见图8)。

图8简单交通信号话语

在更加复杂的信号系统中，还有共选系统，如在交通信号系统中选择向前行，同时其它车辆选择向右行；还有单独的向左行，两者都由箭头表示(左箭头、右箭头)，同时还有行人，由静态和动态的人形和颜色一起表示[等]和[行](见图9)。

图9复杂交通信号话语

综上所述，在一维符号系统中，如果两个层次的符号系统是动态的，可以形成一定的话语模式，即体裁结构(Halliday & Hasan, 1985/1989)，它们可以看做由时间作用于空间一维符号系统而形成的意义系统。但这类符号的话语模式是封闭的，固定的，没有变化的余地。这个系统可由系统网络表示(见图10)。

图10交通信号综合系统

二维平面符号也可以是动态的，是一种由时间和二维符号组成的三维符号。如果是同一个符号模式在时间中的重现，则形成一种按时间进行的线性的复现模式，这与一维符号的复现模式相同。同样，如果不同符号按一定时间间歇出现，就会出现新的模式，与一维线性符号在时间维度的复现模式相似。动态三维符号是最接近客观现实的符号系统。它不仅呈现符号的媒介，而且还呈现符号媒介在时间中的变化，从头至尾地表现事件的整个过程。于是，三维动态符号的解析可以通过将其分解为三维静态符号和时间两个方面进行。首先把三维动态符号根据时间节点截取为有意义的单位，然后再逐步分析。现在的大部分三维动态符号分析都采用这种手段。(Baldry & Thibault 2006，Jewitt 2009)

3 结束语

我们没有必要为所有的符号系统建立语法，对于有必要建构语法的符号系统，我们首先应该为每个符号系统单独建构语法，然后再考虑是否可以建构多个符号系统共享的语法。在多模态语法建构中，首先要看这个模态是两个层次的符号系统，还是3个层次的符号系统，只有3个层次的符号系统才可能为其建构语法。第二，要看符号的类型。图像符号，即使是3个层次的符号系统，一般情况下也没有必要为其建立语法系统。第三，要考虑符号系统的维度，不同维度的符号系统具有不同的语法系统。第四，符号有动态和静态之分，动态符号受时间控制，可以以时间为主要切分单位。即使是两个层次的静态符号，如果变为动态的，也可以表现为一定的结构模式，但这时的结构模式不是语法模式，而是话语模式。对于具体的不同模态语法系统的研究还需要根据这个模态本身的特点来进行。

注释

①任何符号系统都可以从系统的角度进行描述，但这个系统是符号的媒介和意义融为一体的词汇系统，而不是语法系统。

②符号说明：/ /表示媒介；( )表示词汇； [ ] 表示意义。

③箭头表示体现关系，不是选择关系。

④[预备]总是出现在[行动]之前。

胡壮麟. 社会符号学研究中的多模态化[J]. 语言教学与研究,2007 (1).

Baldry, A. & Thibault, P.MultimodalTranscriptionandTextAnalysis:AMultimediaToolkitandCoursebook[M]. London: Equinox, 2006.

Barthes, R.Image,Music,Text[M]. London: Fontana, 1977.

Halliday, M.A.K.LanguageasaSocialSemiotic:TheSocialInterpretationofLanguageandMeaning[M]. London: Edward Arnold, 1978.

Halliday, M.A.K. & Hasan, R.Language,ContextandText-AspectsofLanguageinaSocialSemioticPerspective[M]. Oxford: Oxford University Press, 1985/1989.

Jewitt, C.TheRoutledgeHandbookofMultimodalAnalysis[M]. London and New York: Routledge, 2009.

Kress, G. & van Leeuwen, T.ReadingImages:theGrammarofVisualDesign[M]. London: Routledge, 1996/2006.

Machin, D.IntroductiontoMultimodalAnalysis[M]. London: Hodder Arnold, 2007.

O’Toole, M.TheLanguageofDisplayedArt[M]. London: Leicester University Press, 1994.

Pharies, D. A.CharlesS.PeirceandtheLinguisticSign[M]. Amsterdam: John Benjamins, 1985.

ReVine, P. & Scollon, R.DiscourseandTechnology:MultimodalDiscourseAnalysis[M]. Washington D.C.: Georgetown University Press, 2004.

Saussure, F. de.CourseinGeneralLinguistics[M]. London: McGraw-Hill Book Company, 1915.

Van Leeuwen, T.IntroducingSocialSemiotics[M]. London and New York: Routledge, 2005.

【责任编辑孙 颖】

IssuesintheConstructionofMultimodalGrammar

Zhang De-lu Zhang Jing-tian

(Tongji University, Shanghai 200092, China)

multimodal grammar; semiotic system; level; type; dimension

H04

A

1000-0100(2012)03-0038-6

*本文系国家社科基金项目“外语课堂教学多模态话语研究”(08BYY030)的阶段性成果。

2012-01-14