从社会符号学视角解读图文符号构建意义的异同

陈永斌

(湖北科技学院 外国语学院， 湖北 咸宁 437005)

随着社会和信息技术的发展，人们需要借助除语言符号之外的图像、声音、动漫等非语言符号资源来更有效地传递信息和实现交际目的。在很多情况下，语言与其他符号资源共同参与意义的构建(杨信彰，2009)。文字和图像都是人们用来识解经验世界的符号资源，但又存在着显著的差异。Stockl(2004) 在Rhetoric of the Image书中指出，图像和文字在符号的属性、认知取向和语义潜势等方面存在着显著的差异。Roland Barthes(1964)指出，图像所表达的意义总是依赖于说明文字，图像不能独立的表达意义。我们认为，图像和文字一样，都具有共同的语义潜势，但是他们以各自的语法，以不同的方式来构建意义。

一、文字和图像符号的共性：社会属性

索绪尔指出“符号具有社会性”，也就是说文字和图像符号都参与社会实践。在此基础上，Halliday(1978)提出了“语言是社会符号”的理论，即语言符号只是社会符号系统中的一种，但在整个社会符号系统中居于符号主系统的地位。符号资源是人类在一定的社会背景和一定的历史时期响应特定的社会、文化或经济需要而创造的意义表达系统(Halliday,1978)。随着社会的发展，单纯的语言符号已经不能满足人们的传递信息和交际目的的需要，需要同时借助于图像等非语言符号资源。文字符号和图像符号系统组成相互连接的可供选择的网络，他们都具有共同的意义潜势。在特定的社会文化领域，同样的意义通常可以用文字和图像符号来表达。

二、文字和图像符号构建意义的差异

文字和图像符号作为人们构建意义的符号资源，是以各自特有的语法结构来实现和表达类似的语义关系。比如：语言中的行为动词可以在图像中用向量来表示，语言中的处所介词在图像中可以用前景和背景的对比来实现。但是，这并不是说语言中所有的语义关系都可以用图像来实现，反之亦然。意义属于文化，而不属于某个特定的符号系统。从根本上来说，文字和图像符号各自表达的语义关系是由特定的历史文化时期和他们各自本身所固有的内在意义潜质和局限性等因素共同决定的。图像符号的使用领域越来越广，甚至在某些场所，图像对于意义的表达具有文字无法比拟的优越性，比如：在国际机场，一个简单的安检图像符号可以替代几种语言文字所要表达的意义。

Halliday将语言可以实现的意义分为概念意义、人际意义和语篇意义。其中概念意义由经验意义和逻辑意义组成。经验意义主要通过参与者、过程和环境成分构成的及物性系统来实现。他将过程分为物质过程、行为过程、心理过程、言语过程、关系过程和存在过程。Kress(2006)将图像分为叙事图像和概念图像。叙事图像用来描述和展现事件发生的过程，对应于系统功能语法中的概念功能。叙事图像的过程可以分为：动作过程、反应过程、言语过程、心理过程和循环过程。下面，我们将比照系统功能语法中的六大过程，来探究图像文字符号在构建经验意义方面存在着怎样的差异。

1.物质过程

一般来说，叙事图像所表达的动作过程可以用文字符号的物质过程来实现。叙事图像的及物动作过程可以转化为有两个参与者的物质过程，如：Migrants invaded Australia.叙事图像不及物的动作过程指图像中只有一个动作者，它可以转化为只有一个参与者的物质过程来实现，例如：Many people migrated..叙事图像和语言并不是完全一一对应的关系，比如：Many of my relative died.其中的many of my relatives不是动作者，这个句子只表示我的许多亲戚死了这一事件，并不表示死的动作。而叙事图像只能表达Many of my relatives were killed.因为在图像中要表达某个人死了，必须要出现动作者，即某个人正在被别人杀害或者某个人正在实施导致自己死亡的行为。另外，在英语句子当中可以出现第三个参与者，即受益者(Beneficiary)，比如：Mary gave him the book.其中him是受益者(也叫间接宾语)。而在图像中不存在第三个参与者，受益者“him”在图像中变成了动作的目标(Goal)，即图像只能表达Mary book sends him.

2.言语过程

Halliday的言语过程包括两个参与者，一个是言语者(Sayer)；另一个是言语的内容(utterance)。言语者既可以是人也可以是物，比如The document said that---.言语的内容可以由小句来充当，并且可以采取直接引语或间接引语的形式。比如：

He said that he had no idea.(间接引语)

He said ‘I have no idea’.(直接引语)

而图像系统中的言语过程无法表示间接引语，只能表达直接引语。最常见的表达方式是把一个言语泡挂在人物的嘴边，表示人物说话的内容，也就是说言语泡只能表达：He said ‘I have no idea’.而不能表达He said that he had no idea.

3.心理过程

心理过程分为感知过程、情感过程和认知过程。表示感知的动词有：see, hear等；表示情感的动词有like, fear等；表示认知的动词有know, think等。每个过程有两个参与者，一个是感知者，另一个是现象。感知者必须是人或拟人化了的参与者，现象可以是一个参与者或者是一个小句。请看下面的例句，其中表示心理过程的动词用黑体标识。

I can feel something on my feet. (感知过程，I是感知者，feel 是感知动词，something是感知的现象)

I hate cockroaches more than rats.(情感过程，I是感知者，hate 是情感动词，cockroaches 是感知的对象)

I remember we were sitting for our analytical chemistry exam.(认知过程，I是感知者，remember是认知动词，we were sitting for our analytical chemistry exam是认知的对象)

相比较语言系统中的心理过程而言，图像符号只能实现感知过程，不能体现情感过程和认知过程。Kress 将图像中的感知过程叫作反应过程，它可以分为及物和不及物。及物的反应过程包括反应者(reactor)和现象(phenomenon)两个参与者。前者是指将目光直视观看者的参与者，而后者是反应者目光所指的对象。如果现象不出现在图像中，这个反应过程就是不及物的，不及物的反应过程类似于行为过程。语言系统中的行为过程用于表达人的某些生理和心理行为，比如：coughing,staring等。而不及物的反应过程只能表达“看”这一行为过程。图像符号没有语言系统中实现认知过程和情感过程的方式和资源。

4.环境成分

Kress将图像中的环境成分分为地点、方式和伴随成分。这三种环境成分在英语语言中都存在，但英语中的环境成分要丰富的多，我们可以在过程和参与者的基础上添加许多附加成分，包括时间(When did it happen?)、目的(what did it happen for)、原因(Why did it happen)等等。

如：In July, I travelled to Hong Kong to meet my relatives.

另外，叙事图像的循环过程可以表示事件因子之间互为因果的循环关系，而语言中则缺乏相应语法手段来实现。英语句子中的某个参与者最多只能同时充当两个角色，而没有循环的关系。比如：He made them do it. 其中的them既是动词make的目标，又是do的动作的行为者。又如汉语中的兼语句，我叫他去提桶水。“他”既是我的宾语，又是提桶水的动作的发出者。

三、结束语

文字和图像符号都属于社会符号系统，都可以用来构建意义。文字和图像符号各自表达的语义关系是由特定的历史文化时期、他们各自本身所固有的内在意义潜质和局限性等因素共同决定的。文字和图像符号都以各自特有的语法结构来实现和表达类似的经验意义，弄清他们在意义构建方面的差异有利于加深我们对语言符号主系统的认识，同时也为我们今后应该选择何种符号更有效地传递我们要表达的意义提供参考。

参考文献：

[1]Barthes. R. Elements of Semiology [M]. Paris：Seuil，1964.

[2] Halliday,M.A.K. Language as Social Semiotic.: The Social Interpretation of Language and Meaning[M]. London:Amold,1978.

[3]Kress,G. & Van Leeuwen, T.,Reading Images: The Grammar of Visual Design [M].London: Routledge, 2006.

[4] 杨信彰.多模态语篇分析与系统功能语言学[J].外语教学，2009，(4).