从视觉设计语法看广告语篇中的图文互动

魏景春

（武夷学院人文与教师教育学院，福建 武夷山 354300）

从视觉设计语法看广告语篇中的图文互动

魏景春

（武夷学院人文与教师教育学院，福建 武夷山 354300）

视觉设计语法以往的多模态话语分析较多关注图文关系，忽视了图像和文字的叙事过程。以广告语篇为例，以Kress和van Leeuwen建立的视觉设计语法为主要理论框架，分析语篇中图文互动的不同叙事过程。首先回顾了广告语篇叙事中的语言分析及其局限，其次论述了视觉设计语法分析模型，最后考察了法航宣传广告叙事中的图文互动。结果显示，一方面，图文互动的不同叙事过程有利于突显多模态语篇的意识形态；另一方面，视觉设计语法有助于理解多模态互动中语篇的意义、生成的机制和意义接受的过程。

图文互动；广告语篇；叙事过程

一、引言

随着媒体与传播技术的发展，人们越来越关注语篇中非语言符号的意义生成机制。陈平原在论及图文书的崛起时称，“过去常说‘图文并茂’，看重的是图文书的外在形式；其实，更重要的是图像与文字之间，是否能够形成‘互动’关系［1］”。以往的广告语篇研究的焦点集中在语言分析上，而视觉设计语法使图文并茂的语篇摆脱了这种局限，研究者便可以考察不同的图文叙事。张德禄认为，“一种模态不足以表达清楚交际者的意义，从而利用另一者来进行强化、补充、调节、协同，达到更加充分，或者尽量充分表达意义，让听话者理解话语的目的［2］”。广告语篇中图像和语言文本两个不同的符号系统有各自的表达体系。因此，文章将以Kress和van Leeuwen建立的视觉设计语法为主要理论框架，分析广告语篇中图文互动的叙事过程，考察多模态广告如何通过不同的叙事取得最佳的说服效果。

二、广告语篇叙事中的语言分析及其局限

20世纪60年代，叙事学成为独立的学科在法国诞生，为小说研究提供了重要的视角。叙事学逐渐成为一门研究各种叙事文本的综合学科，研究对象包括：叙事诗、法律叙事、戏剧叙事、绘画叙事、广告叙事等。20世纪90年代后，经典叙事学兴起，开始关注文字叙事与非文字媒介叙事在内容、形式和接受等方面的异同。通过分析文字叙事和非文字媒介在内容、形式、接受等方面的异同，可以进一步探索叙事艺术的形式结构，分析叙事艺术研究范式的嬗变及其原因［3］。早期的学者运用结构主义叙事学对广告展开研究，Dennis Brand在《共谋的创意：对“黑白威士忌”广告策略的符号分析》一文中，以Greimas、Ferdinand de Saussure等人的主张和方法作为自己的理论基础，认为每个广告都可以被当作完整叙事的省略片段进行阅读。Roland Barthes把叙事等同于情节化（emplotment），是人的记忆、认知、梦和幻想等活动包含的结构，并在《图像修辞学》里将叙事学引入广告研究，分析了广告的叙事机制［4］。国内学者在广告叙事方面进行了广泛的探究。王伟明在语义方阵的基础上总结了10种广告叙事类型与模式，即证明型、说教型、沟通型、承诺型、圆满型、礼仪型、抒情型、享乐型、成功型和虚幻型［5］；张路黎研究了广告叙事与情境创造的关系，指出广告叙事就是将广告诉求编码为受众容易接受的符号形式，虚拟美好情境促使认同的一种文化交流过程［6］；齐蔚霞讨论了现代广告的原型叙事，认为有力的广告叙事必定意味着对原型的正确利用，原型能呈现人的典型生存情境，唤起接受者的感性反应［7］。刘芳分析了微电影广告的叙事结构，具体表现为叙事结构以线性为主，非线性为辅；叙事情景以感性为主，理性为辅；叙事时空以连续为主，跳跃为辅［8］。

纵览国内外广告语篇的叙事研究，大多都以叙事学为理论框架。该研究与以往不同的是从视觉设计语法的角度探析叙事过程，综合了语言和非语言符号资源在叙事表征方面的协同机制。Matthiessen指出，“符号系统分布着不同的表达资源，虽然在内容层上它们都有不同的符号供用特征，但在语境下它们与语言一起会实现统一的意义表征［9］”。

三、广告语篇叙事的视觉设计语法分析模型

Halliday提出的语言三大功能为描述图片提供了一个起点，不仅是因为它适用于语言，也为思考各种模态的意义表征提供了源泉。Kress&van Leeuwen认为，图片与语言中的小句一样体现经验的三个方面：参与者（被描写的是谁或什么）、过程（被描写的动作或关系）和环境成分（地点、时间、方式等）［10］55。图片把来自语言和图片符号系统的意义示例化，从社会符号学角度对其解读应建立在对视觉意义的描述之上。图片是使作者和读者之间建立感情关系最重要的手段，它通过使用色彩创造视觉场景最能建立语篇的感情基调。在叙事文本中，图片通过人际元功能实现的角色、关系和感情，不仅有利于确立在读者与作者之间、角色本身之间的关系，更为重要的是能有效确立读者与叙事角色之间的关系。

Kress&van Leeuwen对视觉意义的描述以社会符号学为基础，吸收了Halliday的系统功能语言学思想，确立了图像的再现意义、互动意义和构图意义，形成了与语言叙事对应的视觉叙事过程［10］78，见表1。

表1 视觉和语言叙事过程

每个符号动作涉及两类参与者：互动参与者（interactive participant）和被表征参与者（represented participant）。前者是交际行为的参与者，包括说话人、听众、作者、读者、图像制作者和观众；后者是交际的主要内容，包括人物、地点和事物，它们通过口语、书面语或图像被表征，是言谈、书写和图像制作中的参与者。当参与者被矢量连起来时，表示“在做某事”，Kress&van Leeuwen把这种矢量模式称为“叙事”。叙事模式旨在呈现展开的行动和事件、变化过程和即时空间设计（transitory spatial arrangements）［10］59。视觉叙事命题的标志是矢量的存在，即叙事结构总有一个矢量。在图片中，被描述物形成的矢量构成了斜线。矢量是行动中的人体、四肢或工具形成的，也有的把被表征成分转变为斜线。倾斜的马路是一种矢量，行驶于马路上的车辆是“动作者”，过程是“行驶”。像图表等抽象的图像中，叙事过程是由抽象的图表实现的，带箭头的线段显示指向性。要实现叙事表征，指向性必须存在。没有指向性的连接线条构成的分析结构表示“有联系或关系”。抽象图像中的矢量更难转码，要明白图像形式上在干什么，才利于解读。图表把事件表征为空间配置，把“过程”转变为“系统”。图表像名词化写作形式，自然风景画有具体的人类参与者和过程，像讲故事、故事与人或动作，与他们做的事有关，故事中很多意义用动词实现。箭头在系统功能语法中的系统网络里常被转码为选择。

当视觉叙事命题有两个参与者时，一个是动作者，一个是目标，属于单向交易过程，动作者常是最突出的参与者，通过大小、位置、与背景的对照、色彩饱和度、醒目程度、焦点和心理突显体现出来。图像或图表中只有一个参与者时，参与者常是动作者，这是非交易性结构。非交易性的行为没有目标，即没有受事，这种动作过程相当于语言中的不及物动词。有时只有一个矢量和目标，目标是矢量指向的参与者，也是动作的承受者和动作的目标。倾斜制造斜线，从而产生矢量。虽然图表中的过程和结构是视觉的，但参与者不同。视觉结构把视觉成分联系到一起，但这些视觉成分可以是一个词、文本、图像、数字或等式。箭头作为矢量，方框作为参与者是从语言到视觉的无意识的转化，但这两种模态有不同的组织方式。有些交易结构是双向的，参与者时而是动作者，时而是目标。

同一文化的视觉结构和语言结构都可表达意义，但表征同一事物，这两种手段不能互相替换，只有通过详细的比较才能理清它们如何以不同的形式实现相似的意义。虽然视觉叙事结构容易转化，但它同语言结构不是一一对应的关系。与交易行为一样，只有一个参与者的物质过程在表征事件时，事件与参与者不存在关系，对参与者不产生影响。在句子“Many people migrated”中，不能再增加一个参与者，即不能说“Many people migrated their relatives”。但句子中可增加环境成分“Many people migrated to Australia”，与交易行为一样，有两个参与者的物质过程涉及两个参与者，如“Migrants invaded Australia”。但语言事件和视觉事件不同，有事件产生过程的语言事件不会有动作者，如“Many of my relatives did”，在视觉事件中动作者可以用，但也可省略，相当于在被动语态中省略施事，如“Many of my relatives were killed”。同样，英语中的许多动作过程可带第三个受益人（beneficiary），如“Mary gave him the book”中的“him”，但在图像中这是不可能的，句子中的受益人只能是图像中的目标。此外，英语中缺乏视觉模态的结构手段来表征循环的事件。虽然语言参与者可有双重角色，如“He made them do it”中“them”是“make”的目标，也是“do”的动作者。英语中也没有交互过程，要体现交互者，英语得用反身代词。单个视觉非交易反应相当于Halliday的行为过程（behavioral process）［11］。这种过程只能有一个参与者，且必须是人，体现有限的动作、生理、心理行为场，但非交易反应的视觉意义更有限，因为它只有一种行为，即观看（looking）。作为投射的心理过程和言语过程根据语法标准就能加以区分。例如，心理过程包括知觉过程“see”，“hear”，情感过程“like”，“fear”，“wish”和认知过程“know”，“think”，“believe”。每个过程都有感知者（senser）和现象（phenomenon）。感知者是人或被表征为人的参与者，现象是感知者看到，喜欢或知道的人或事物。现象可通过参与者或整个结构体现，这一点与图像一样。句子“Many people want to migrate to Australia”中的“to migrate to Australia”是现象，这区分了心理过程和交易。交易中不能有小句充当目标，但交易反应，若需要，与知觉过程的次类有关，因为非视觉现象不能直接用视觉符号实现。心理过程构成了视觉符号中的一个次类。没有视觉结构手段严格区分认知和情感过程，而认知和情感过程是英语中概念资源的特征。

在英语中言语过程和心理过程不同因为它们不需要一个言说者（sayer），可以说“The document said that the library had been rebuil.”，但不能说“The document thought that the library had been rebuilt”。此外，与心理过程一样，言语过程可让整个小句作为宾语，有两种形式：直接引语和间接引语。但在视觉上无法直接表达这种差异，因为对话泡总是直接引用。图像显示的三种环境成分：方位、手段和伴随，它们都存在英语中，但这绝不是唯一的三种。英语中允许在叙事命题中增加所有的信息，如过程（发生了什么）、参与者（涉及的人或物）、时间（发生时间、持续了多久）、目标、原因等。

四、法航宣传广告叙事中的图文互动

叙事理论家在考虑语言文本的视点时，常区分“谁说的”、“谁看到的”，即叙述故事的声音和叙述者。尽管“谁说的”只与语言文本有关，但“谁看到的”既与语言意义有关，也与视觉意义有关。纯视觉文本的读者只有通过看才能了解故事，但读者可成为不同的“看客”（viewing personas）。旁观者或通过建立联系，与某角色产生共鸣，成为进入故事世界的瞬间参与者。这些不同的可能性与语言叙事提供的焦点形成和谐的关系，如图1所示。视觉语法中，有目光注视的图片期待读者的参与，称为“要求”（demand）。说到“要求”（demand）图片中人或动物的目光朝向读者。

图1 法国航空公司宣传广告

图1中央位置是一名侧躺在蓝色座椅上的女性，身后是黄色的靠垫，她面带笑容，目光投向右侧，形成视角，期待读者参与。Kress&van Leeuwen指出被描写物与读者建立了一种接触，因为目光制造了直接问候的视觉形式。它向读者以视觉的“你/你们（you）”打招呼［10］117。图片中角色的目光朝向读者时就会产生类似于现实生活中人与人之间的目光接触。与语言相比，目光注视是向读者提出要求，说服性不强。要求的本质取决于被描述者的面部和身体姿势，是友好、蔑视、引诱还是迷惑等，从而可推断他们的社会关系和对话角色。面部和身体姿势主要起着表明人物情感的作用，只有一些仪式化的动作，如招手示意和举手示意暂停，才让读者处于具体的行为角色。因此，可把面部和身体姿势视为体现与语言态度资源一样的意义，而不是对话交流的协商意义。读者对被描述人物的情感回应与读者的立场有关，与目光是否朝向读者无关。

图1包括上中下三个部分，顶部和底部都是说明性文字，中间是图片。图片的四周依次是红色的礼品盒、黄色的行李箱、红色的牙刷、红色的牙膏、蓝色的杯子、红色的蛋糕、窗户和阳光。图片中的人物是参与者，他们不仅与读者有联系，而且还参与各种社会关系。角色的空间距离远近与读者解读的方式有关。参与和权力（involvement and power）系统是否能确定读者的位置取决于视角的使用。视角创设主体位置，从特定视角看人物。参与的多少由水平角实现。图1中，人物和场景正面呈现出来时，他们属于读者世界的一部分。

颜色是实现所有三种元功能的视觉资源。图1中，红黄蓝是整幅图的主要色调。尽管人物描写的风格已为图片的本质和期待读者参与方面提供了指数，但能让图片最快产生亲密效果的就是颜色了。在概念元功能方面，颜色用来表征事物的外观，如绿色表示草的颜色，白色表示雪，红色表示血等。语篇元功能方面，颜色用来对比、加强或使图片元素前景化，形成突显的效果。一种颜色的重复使用能起到衔接，属于视觉押韵，把不同元素连接成一个叙事。这一点在上图中体现为：从上往下看，依次是黄色的文字、黄色的靠垫、黄色的行李箱、黄色的文字；由远及近，依次是红色的蛋糕、红色的牙刷牙膏、红色的礼品盒；由近及远看，依次是蓝色的刷牙杯、蓝色的座椅和蓝色的图片背景，形成了由点到面的辐射状。黄色构成了“日”字型，红色形成了一条倾斜的对角线，蓝色形成了一条以杯子为起点不断延伸的射线。人际元功能方面，颜色的重要性在于它对读者产生的情绪效果，图1中，红黄蓝色彩明快，给人舒适的感觉。人们普遍认为浅亮色对读者的感受产生的影响与深色暗淡格调和只有黑白两色的会很不同。这种差异不是经过细看图片内容或得知故事事件后产生的，而是对颜色选择发自内心的回应。

除了图片，广告还含有四个小句：（1）France is in the air.（2）Our world revolves around you.（3）Welcome to our Business Class，（4）where your comfort is our priority.以下是对小句的及物性过程分析和叙事过程对比，见表2与表3：

表2 及物性过程分析

表3 叙事过程对比

通过语言和视觉交际的叙事过程对比发现，书写符号模态和视觉交际模态有各自实现相同语义关系的独特手段。在语言中由行为动词（action verbs）体现的，在视觉上由矢量体现。不是由语言体现的所有关系都能通过视觉体现，反之亦然。有些关系只能由视觉体现，有些只能由语言体现，有些用视觉更容易，有些则用语言更容易。符号模态之间的体现取决于社会、符号模态本身的潜势和局限。视觉交际应放在社会语境中理解，不同社会群体和机构使用的视觉模态不同。视觉结构不是简单地再现现实结构，它们生成的现实图像与社会结构的兴趣有关，影响图像的生成、流通和阅读，体现意识形态。视觉结构不仅是形式上的，它们还体现深层重要的语义层面。

五、结语

综上所述，语言文本和图片以各自不同的形式独立实现意义系统。语言和图片属于同一社会的文化意义和结构，虽然符号手段不同，但符号过程近似，这使二者在很大程度上能匹配。作为一种表征资源，图片同语言一样会展示规律性。语言文本随时间展开，呈动态性和序列状。语言在识解时间指示、序列、方位、相位和体范畴方面有丰富的潜势。相比之下，单张图片容易被整体瞬间领会，视觉符号能表达非序列空间对比关系。在理解人类情感方面，语言和图片的共用特征能相得益彰。运用独特的选项范畴或配置，每个符号在分享语义负荷、加强共有意义和形成意义对比方面都能生成类似的意义。这些符号方向，无论是什么模态，其特征都适用于所有的人类意义构建。总之，图文互动的不同叙事不但有利于突显语篇的意识形态，而且还能增强读者理解多模态互动中语篇的意义、生成的机制和意义接受的过程。

［1］陈平原.从左图右史到图文互动——图文书的崛起及其前景［J］.学术界，2004（3）：255-266.

［2］张德禄.多模态话语分析综合理论框架探索［J］.中国外语，2009（1）：24-30.

［3］申丹，王丽亚.西方叙事学：经典与后经典［M］.北京：北京大学出版社，2010：246-250.

［4］齐蔚霞.广告叙事研究［D］.西安：陕西师范大学，2012：18-20.

［5］王伟明.广告语义结构的叙事模式［J］.中国广告，2006（4）：63-66.

［6］张路黎.广告的叙事与情境的创造［J］.湖北社会科学，2008（1）：151-153.

［7］齐蔚霞.论现代广告的原型叙事［J］.陕西师范大学学报（哲学社会科学版），2013（6）：37-45.

［8］刘芳.结构、情节、时空：论微电影广告叙事［J］.当代传播，2014（5）：96-97.

［9］Matthiessen，C.M.I.M.The multimodal page：A systemic functional exploration.In T.Royce&W.Bowcher（Eds），New directions in the analysis of multimodal discourse［M］.Mahwah，NJ：Lawrence Erlbaum Associates，2006：1-62.

［10］Kress，G.&T.van Leeuwen.Reading Images［M］.London：Rouledge，2006.

［11］Halliday，M.A.K.&C.M.I.M.Matthiessen.Introduction to Functional Grammar［M］.London：Edward Arnold，2004：220-270.

【责任编辑：孙健】

Examining the Image-Text Interaction in an Advertisement in Light of Grammar of Visual Design

WEI Jing-chun
（School of Humanities&Teacher Education，Wuyi University；Wuyishan 354300，Fujian China）

Relation between image and text was emphasized whereas narrative process between the two neglected in the past multimodal studies of advertisements.This paper tries to analyze distinct narrative processes in an image-text interactional discourse of advertisements within the theoretical framework of Kress and van Leeuwen’s Grammar of Visual Design.It first looks back upon the research developments of narratology studies and then explicates the theory of Grammar of Visual Design.A case study on a French airline advertisement is finally made.Studies show that distinct narrative processes are conducive to making salient ideologies of multimodal discourses on one hand，and on the other hand，Grammar of Visual Design can facilitate an easier understanding of any discourse，its meaning-generating mechanism and meaning comprehension in an image-text interaction.

image-text interaction；discourse of advertisement；narrative process；Grammar of Visual Design

G230

A

1671-5934（2016）04-0110-05

2016-04-27

魏景春（1982-），男，甘肃陇西人，讲师，硕士，研究方向为语篇分析与外语教学。