视觉语法与功能语法的投射分析比较研究

曾蕾++杨慕文

〔摘要〕 鉴于投射在视觉语法中的逻辑功能语法与语义研究未有系统和专门的论述，为了更好地认识图文多模态语篇中投射的实现方式与运作规律，文章主要基于系统功能语法和多模态话语分析的相关理论和分析方法，比较功能语法对语言文字单模态语篇和视觉语法对图文多模态语篇中投射意义发生的相似性与区别性特征；文章认为图文语篇中的投射现象具有自己的语法与意义生成系统。

〔关键词〕 投射；视觉语法；功能语法；比较

引 言

在系统功能语法（以下简称功能语法）中，“投射语言的主要实现方式是言语与心理过程，体现为述说（locution）和观点（idea），即被言语过程投射的为述说；被心理过程投射的为观点”[1]（57）。这种分析方法区分了言语和思维的不同表达方式。依据于功能语法，Kress & van Leeuwen[2][3] 构建的视觉（图像）符号的语法（以下简称为视觉语法）对图像语篇中的投射述说、观点进行了分析和分类，认为图像中的言语及心理过程的实现方式一般由含言语内容或思想内容的言语泡或思维泡作为矢量（vector），连接言语者或感知者。图像中的人物参与者（言语者或感知者）通过言语泡和思维泡投射自己或他人的思想。目前，虽然对功能语法中的投射句法分析研究较多[4][5][6][7][8][9]，但对视觉语法中的投射分析方法探讨并未引起关注，且视觉语法似乎对投射实现方式的描述比较简单，对投射现象的图像符号和图文语法功能特征并未给予充分的论述和系统的研究。因此，本研究基于功能语法与视觉语法的相关理论，比较语言文字单模态语篇和图文视觉多模态语篇中投射的系统功能语法机制。

一、 理论依据：视觉语法与功能语法

van Leeuwen & Jewitt[10] 所著的《视觉分析手册》和Kress & van Leeuwen[2][3] 的《阅读图像》等著作构建了视觉的语法[11]。在视觉语法及物性系统中，过程主要由矢量实现，“矢量是两个或多个图像参与者之间构成的斜线关系，是视觉及物性关系的体现，即在视觉及物性结构中，矢量是各种图像参与者之间行为潜势的体现”[12]（142）。Kress & van Leeuwen[2]（77）[3]（78） 对视觉语法和功能语法下的及物性过程进行了对比（见下表1）。

在表1的视觉图像模态和语言模态对比分析框架中，图像模态和语言模态均可将经验世界识解成一组可以操作的过程类别。功能语法中的及物性系统把经验世界识解为行为过程、言语过程、存在过程、物质过程、心理过程和关系过程。Kress & van Leeuwen[3]（74-5） 认为视觉语法及物性系统也将人类的经验世界识解为一组过程类别。界定图像及物系统中过程的主要元素为矢量，可分为两大类：首先，以对话泡（言语泡或思维泡）为矢量的过程类别，即言语过和心理过程；另一类是以图像参与者态势为矢量的过程类别。根据图像参与者数量和地位又可区分“不及物性”、“单向及物性”、“双向及物性”。根据图像参与者的态势可区分（不/单向/双向）及物动作过程和（不）及物反应过程 ；（不）及物反应过程的矢量是视线（eyeline vector）。可见语言符号语法和视觉符号语法系统中的过程显示出一定的相似性与差异，但他们之间的异同目前在学界未引起足够的关注，下节我们将较具体、系统地阐释语言符号与图像符号投射实现方式的相似性与差异。

二、 语言投射与图像投射语法的比较

本节基于功能语法与视觉语法理论，探讨与比较语言文字模态语篇和图像视觉多模态语篇中的投射现象实现方式及其功能意义。（一） 语言投射和图像投射的逻辑语义功能的一致性

进入21世纪，功能语法的相关论著中开始提及视觉语法对投射的描述，认为图像中的投射语法与语义由视觉图像符号和语言符号共同构建。被言语泡投射的为述说，被思维泡投射的为观点（见图1）；“图像表征一种普遍的经验现象，而言语泡和思维泡表征的是一个第二级的现象，即它本身就是一种表征方式”[12]（35）[14]（454） 。

从图1可以看出语言投射和图像投射的逻辑语义功能基本一致，主要体现为“投射与被投射”二分模式的功能结构。在语言投射结构中，投射小句Brutus said表征一种普通的经验现象，而被投射小句Caesar was ambitious表征的是一个第二级的现象，即它本身就是一种表征方式，功能语法中称之为元现象。在图像投射结构中，言语者/思维者以及言语过程/思维过程可以由（非语言的）图像形式实现，呈现出更为直观、通识度更高的图像形式，以表征经验现象，而被投射小句依然表征元现象。因此，语言投射和图像投射都是对语言的表述的表述。

（二） 语言投射和图像投射的结构及成分对比

书面语言和图像虽然同属视觉模态，都是作用于“眼”感官的符号系统，可视为视觉模态的两个“子模态”[15]（6）。但语言主要是根据事件在时间轴上的发展按线性展开的社会符号，而图像是设置在空间轴上，倾向于感觉整体模式、而不是局部的社会符号，所以语言投射和图像投射之间的差异性也很凸显，主要体现在二分成分（即投射和被投射成分）的子系统内，特别是反映于信息分布结构及其结构中的參与者、过程、环境等功能成分，见图2。

投射成分和被投射成分在语言语篇和多模态语篇中有着不同的体现方式。功能语法认为语言把经验变成结构性的语义配置，包括过程、参与者以及（可有可无的）环境成分。在语言投射中，投射动词是标记各类投射类型的主要手段。Halliday & Matthiessen[14]（448）区分了通用的投射动词及与某种环境成分合为一体的、含有各种内涵的投射动词。在一些情况下，环境表达成过程形式。而在多模态语篇中，对话泡（言语泡或思维泡）以及图像参与者进行言语/思维活动的体态姿势（简称为“图形参与者态势”，如“龇牙咧嘴”状等）可以独立也可以共同表征言语/思维过程。而可有可无的背景化图像参与者（包括“”“”“”“”等漫画符号）可以辅助言语者/思维者在言语/思维过程中的情绪表达（如“高兴”、“爱慕”、“生气”等），既可视为环境成分，也可看作是投射矢量的一部分。例如，可以出现对图3的三种解读：

“臭小子，我在这里！”他生气地说（he said angrily）。

“臭小子，我在这里！”他愤怒地说（he said wrathfully）。

“臭小子，我在这里！”他（怒）吼道（he spit out）。

可见，在语言投射和图像投射中，过程与环境成分的界限都不是很清楚，也不是绝对的。因此，在图2中，环境成分以及它与过程本身的关系用虚线边框表示。

（三） 语言投射和图像投射系统中“选择”对比

图像视觉语法主要研究空间分布的符号系统。投射语言符号系统中的一些语法限制并不完全作用于图像符号系统。功能语法的“社会符号性”[16]虽然决定了功能语法不只是语言符号系统的语法、也是适用于描述和解释所有社会符号系统的语法，但视觉语法主要研究空间分布的符号系统，因此，以线性分布的语言符号为研究对象的功能语法对投射实现方式提出的一些语法限制并不完全适用于视觉语法。例如，功能语法中的“选择”概念及系统分析方法在以下几个方面呈现出一定的差异性。

“选择”的多样与简单之对比。功能语法认为，语言由许多子系统组成，每个子系统都是一组可供选择的项目。投射不仅存在于小句复合体中，还存在于动词词组及嵌入结构中。Halliday & Matthiessen[14]（441-482） 进而结合基本言语功能（提供、命令、陈述和提问）和配列关系（并列与主从）两种变元来考虑投射这种逻辑语义关系，并从七大方面对投射进行了详细阐述：（1）并列：引语述说（quoting speech）；（2）主从：报道观点（reporting thought）；（3）主从：报道述说（reporting speech）和并列：引语观点（quoting idea）；（4）投射提供和命令（projecting offers and commands）；（5）自由间接引语（free indirect speech）；（6）嵌入述说和观点（embedded locutions and ideas）；（7）事实（facts）。而多模态语篇中的图像投射通常由言语和心理过程实现，主要为并列述说和并列观点两类（见上图4）。因此，较语言投射系统而言，图像投射系统的子系统以及各子系统中可供选择的项目均大大减少了。也就是说，语言投射系统表现出更大的多样性。

“选择”的排他与非排他特征之对比。系统内的选择具有相互排斥性，即同一个子系统内的任何一个选项，对其他所有选项都具有排他性。投射系统中的心理动词和言语动词是该系统中的两个相互排斥的子系统，即“言语过程-述说”与“心理过程-观点”是相互排斥的，一旦进入投射动词系统，选择了言语过程动词（如said），就锚定了投射信息的“述说”身份，相应也就排斥了“心理过程”和“观点”的选择。言语过程动词和心理过程动词之间只是一种析取关系（即 “或者……或者……”）。而图像在表达意义时往往表现出较高的模糊性，因此，图像投射中以图像表征来区分言语/思维过程必然也表现出较高的模糊性。图像言语投射和思维投射往往可以互通互换。其次，小句中的“现象”和“讲话内容”是由名词词组体现[17]（167）；在小句复合体中，由于“现象”和“讲话内容”由小句体现，就不能再被分析为“现象”和“讲话内容”，只是“元现象”，或是投射句与被投射句之间的关系表现。而在多模态语篇中，被投射信息成分既可以是不同级阶层面（rank scale）的语言表述，包括词、词组/短语、分句、微型言语功能小句（如感叹、惊讶等）、小句、小句复合体、语段等，也可以是图像表征。语言投射类型彼此间主要是析取的关系。然而，图像投射系统中各项目在一定条件下具有非排他性特点，即合取关系：言语过程和心理过程 、述说和观点、讲话内容和述说，现象和观点都分别可以呈现出合取的关系。例如，同一幅图可以“一图多解”，在不同人的眼中可以同时是心理过程、言语过程和反应过程。可见，虽然语言的语义潜势最具系统性，但图像投射系统选择的模糊和不确定理解在一定程度上可以弥补该系统可供选择项少于语言投射系统的不足。因此，这两类投射系统呈现的意义潜势是可以相互比较的。

“选择”的强制与非强制之对比。语言系统的入列条件是，归入同一系统的所有选项同属某一个语义场。一旦入列系统，选择就具有强制性。因此，一旦入列并列观点或述说投射的子系统，首先就必须对参与者作出选择，即言说者或感知者为必选，其次，选择观点或述说，可以是标点符号，或者字、词、小句、小句复合体、段落等。在视觉语法系统中，一方面，作为言说者或感知者的前景化图像参与者可以不出现，如漫画画格中可以只出现言语泡或思维泡，不出现言语者或感知者。这种[-参与者]的类型在很多场合都凸显了被投射信息的客观性，在某种程度上类似于语言投射中的事实投射，已经被广泛运用到多模态语篇中，如自动售票机或自动取款机等服务器语篇中；另一方面，对话泡内可以空白，无言语内容或感知现象，这种空白的对话泡可以表示言语者“无言以对”的惊讶或生气等情绪，达到“此时无声胜有声”的修辞效果。也就是说，在视觉图像语法中，即使出现了言说者/感知者和投射信号，观点和述说的选择也是非强制性的，信息的缺失能被感知，这种现象被称之为“零符号”（zero sign）[18]（118），此时，概念意义的缺失经常携帶着重要的人际意义。这种类型往往凸显了情感和态度特征，因此在图像漫画等叙事语篇中应用较广。

三、 结 论

本文主要基于功能语法和视觉语法的分析方法，对语言符号投射和图像投射进行了对比分析。除了论述这两者间的相似性，更为重要的是比较系统地论证了图文语篇中投射的区别性特征。本研究认为，语言投射结构是一个“核心-外围：过程本身-环境成分和参与者”的功能结构，过程决定参与者，即投射动词作为过程本身的核心作用；而图像投射结构中，以矢量为核心，然而矢量与参与者及环境成分之间界限相当模糊，并且游移不定。语言系统中的投射小句和被投射小句分别作为经验世界的语言表征、再次表征，分别对应图像投射结构中的投射信号（言说者和感知者、矢量）和投射信息；投射信号以图像形式更直观地表征经验现象，投射信息可以在语言和图像这两个极端及其中间项进行选择。因此，图像投射既具有积极的不确定性，又比抽象的语言投射更具有一定的认知优势。

〔参考文献〕

[1] Halliday， M. A. K. & Matthiessen， C. M. I. M. Construing Experience through Meaning： A Languagebased Approach to Cognition [M]. London： Cassell， 1999.

[2] Kress， G. & van Leeuwen， T. Reading Images： The Grammar of Visual Design [M]. Burwood： Brown Prior Anderson， 1996.

[3] Kress， G. & van Leeuwen， T. Reading Images： The Grammar of Visual Design [M]. London： Routledge， 2006.

[4] Huang， G. W. Analyzing the reporting clause in translating Confuciuss Lun Yu （the Analects） [A]. In Fang， Y. and Webster， J. J. （eds.）. Developing Systemic Functional Linguistics： Theory and Application [C]. London： Equinox， 2014： 256-270.

[5] 曾蕾.從逻辑功能到经验功能——扩展“投射”现象的概念功能模式[J]. 现代外语，2002，（3）：269-275.

[6] 曾蕾.论系统功能语法中“投射”概念隐喻句构及其语义特征[J]. 现代外语， 2003，（4）：351-357.

[7] 曾蕾.投射语言研究[M]. 广州： 中山大学出版社， 2006.

[8] 曾蕾.从语法隐喻视角看学术语篇中的“投射”[J]. 外语学刊，2007，（3）：46-49.

[9] 曾蕾， 梁红艳.“事实”定位及其投射系统[J]. 现代外语， 2012，（1）：23-29.

[10] van Leeuwen， T. & Jewitt， C. Handbook of Visual Analysis [M]. London： Sage， 2001.

[11] 李战子.多模式话语的社会符号学分析[J]. 外语研究， 2003，（5）：1-8.

[12] Thibault， P. Writing， graphology， and visual semiosis [A]. In Royce， T. and Bowcher， W. L. （eds.）. New Directions in the Analysis of Multimodal Discourse [C]. Mahwah， NJ： Lawrence Erlbaum and Associates， 2007： 111-45.

[13] 李战子， 陆丹云. 社会符号学视觉下多模态话语研究的新发展[A]. 黄国文，辛志英主编.系统功语言学研究现状和发展趋势[C]. 北京： 外语教学与研究出版社， 2012：260-293.

[14] Halliday， M. A. K. & Matthiessen， C. M. I. M. Introduction to Functional Grammar [M]. London： Arnold， 2004.

[15] 顾曰国.多模态、多模态学习剖析[J]. 外语电化教学，2007，（114）：3-12.

[16] Halliday， M. A. K. Language as Social Semiotics [M]. London： Arnold， 1978.

[17] 曾蕾.英汉“投射”小句复合体的功能与语义分析[J]. 现代外语， 2000，（2）：163-173.

[18] Sebeok， T. Contributions to the Doctrine of Signs [M]. Lanham， Md.： University Press of America， 1985.

The Distinctness and Similarity of Projection in Visual Grammar

and Functional Grammar

ZENG Lei， YANG Mu-wen

（School of Foreign Languages， Sun Yatsen University， Guangzhou 510275， China）

Abstract： It is observed that the existing analysis of projection mainly focuses on the linguistic text rather than on the imagetext， which is lack of dedicated and systemic exploration from the logicalsemantic aspect in visual grammar. Therefore， the paper， mainly based on Systemic Functional Grammar and Multimodal Discourse Analysis， aims to investigate the distinctness and similarity of projection in linguistic discourse and imagetext multimodal discourse， and then presents an alternative way into the analysis of projection and shows the expanding of its meaning potential in multimodal discourse from the logicalsemantic aspect.

Key words： projection； functional grammar； visual grammar； comparative analysis