新型数字出版物视觉叙事模式与意义建构

石慧

[摘 要] 指出话语领域中意义的建构依赖于各种符号资源的整合，除语言外也扩展到了图像、空间、色彩等多种交际符号。作为一种新型数字出版物，儿童交互式绘本聚合了文字、图像、色彩、声音等丰富的符号资源，具有多模态话语特征，单一的图像分析与视觉语法难以解释。因此，文章基于视觉叙事理论、多模态话语分析理论，探究交互式儿童绘本作为一种具有典型意义的新型数字出版物，如何基于数字媒介的特征进行视觉叙事与传达，视觉系统中的不同模态之间如何协同作用，以及多模态话语如何参与交互式绘本的意义建构。

[关键词] 儿童交互式绘本 视觉叙事 多模态话语分析 语篇意义 数字出版

[中图分类号] G230[文献标识码] A[文章编号] 1009-5853 （2022） 01-0079-09

Visual Narrative Models and Meaning Construction of New Digital Publications：  A Case of Interactive Childrens Picture Books

Shi Hui

（School of Information Management， Wuhan University， Wuhan， 430072）

[Abstract] The paper points out that the meaning construction of discourse in childrens interactive picture books relies on the integration of various symbolic resources. These symbolic resources have a broad scope， which not only includes the language symbolic， as well as images， space， and color. As a new type of digital publication， childrens interactive picture books aggregate rich resources such as words， images， colors， and sounds， showing clear characteristics of multimodal， which are difficult to be solely explained by image and visual analysis. Based on visual narrative theory and multimodal discourse analysis theory， this paper explores how an interactive childrens picture book， a typical new digital publication， carries out visual narrative and communication with the characteristics of digital media， how different modalities in the visual system work together， and how multimodal discourse participates in the construction of meaning in interactive picture books.

[Key words] Childrens interactive picture books Visual narrative theory Multimodel discourse analysis Textual meaning Digital publishing

伴随着媒介技术的日益革新，新型数字出版物不断问世，并带来了新的叙事形式和叙事体验。阅读形式的革命使得“媒介环境”作为一种前景化感知经验和审美经验悄然作用于语篇组织和意义阐释，媒介形态通过约束读者的阅读情境和行为习惯传达对媒介环境的偏好并参与意义的解释。其中，依赖于数字化媒介的儿童交互式绘本通过图形、色彩、声效、动画、3D图像、触控等多模态（multimodality）的配合，构造了一个表征性世界。读者可以通过点触屏幕上的各种按键、放大缩小或平移图片、播放动画效果、选择情节的发展走向，参与到这个想象空间中。这延展、增强、丰盈了人们的思维空间和感官体验。由于交互式绘本汇聚了丰富的符号资源，涉及多种场景因素，来共同完成视觉叙事、情感表达和氛围营造。这显然无法通过单一的图像分析与视觉语法来加以解释。因此，对于交互式绘本话语意义的分析必须依赖于语言学和符号学领域的多模态研究理论。

本文的研究聚焦于儿童交互式绘本中交际符号的多模态联动以及它们所构成的整体意义，并通过分析此类绘本的视觉多模态叙事结构，试图解决以下几个问题：儿童交互式绘本多模态叙事元素之间的相互关系及其组合的基本特征是什么？各模态之间如何配合联动，从而增强意义生成潜能？视觉多模态的选择和使用如何实现意义的建构？

1 跨学科视域下的多模态研究

生命科学概括了人类所拥有的视觉、听觉、嗅觉、味觉、触觉5种不同的感知通道，这些感知通道也产生了相对应的“模态”，即“用于表征和交流意义的社会文化资源”[1]。人类的交际活动具有显著的多模态话语特征，这一方面体现在话语交际涉及视觉、听觉、触觉等多种模态和感官系统，如日常生活中使用手机进行交流时，需要用眼睛看、耳朵听、手指滑动屏幕;另一方面体现在具体模态中涉及的复杂符号资源，如交互式绘本包含的文字、图像、动画、色彩等多套符号系统。我们将以上两种情况均称为“多模态”，用来指称话语交际中符号的多样性。对话语交际中的多种模态或符号系统以及它们之間的关系所共同构成的整体意义的分析也被称为“多模态话语分析”。早期的多模态研究源自以系统功能语言学为基础的社会符号学理论，后来又逐渐发展出了“多模态隐喻分析、多模态互动分析、会话分析、地理符号学、多模态民族志、多模态语料库分析以及多模态感知分析”[2]等不同的研究路径。本文沿袭系统功能语言学与社会符号学的经典进路展开对交互式绘本的多模态话语分析，探索在多重符号化方式交织的背景下，各种符号物态、符号运用者的感官经验在意义建构中的重要作用。

事实上，多模态话语分析的重要意义便在于整合各种形式的符号资源，使得话语意义的传达与构建更加全面和完整。这不仅推动了语言学、符号学研究的进一步发展，还渗入到教育学、心理学、社会学、传播学等多个学科领域，尤其是它在叙事学中的拓展，更是有助于我们在新媒介语境下，深入探索新类型、新样态数字文本的意义潜能。围绕数字文本叙事这一主题，众多学者已开展过诸多理论探索和实践活动。数字叙事（Digital Storytelling）这一新兴研究领域关注叙事者运用数字工具，结合动静态影像、文本等要素，以非线性或互动形式讲述故事的新实践[3]。它旨在探索由数字技术所带来的叙事空间的变化以及其如何作用于读者和阅读。这一理论旨趣，启发我们对一系列基于新型技术的出版物的文本架构、叙事体验予以重新关照，对其语篇意义建构模式进行再度挖掘。如佩吉（Page）提出的“多模态叙事”（multimodal narrative）概念，涵盖了印刷文本、数字文本、影视、游戏等多种“叙事参与者与故事得以相互影响”的叙事类型。这一概念在叙事学领域的应用，对于研究具有多模态特征的文本具有重要意义，从而传统叙事研究中处于被忽视状态的媒介性、物质性、感官性维度得以重新被审视。

2 多模态叙事与话语分析

在新型数字出版物中，蕴含图像、声音、动作等多种符号资源和视、听、触多种感官系统的多模态话语的应用伴随着媒介技术的发展臻于成熟和完善。然而对于这些新型出版物的话语特征及意义生产模式，尤其是多模态之间的协同运作则需要更多深入探索，以进一步完善多模态话语分析框架和理论。受符号互动论等理论的影响，学者们探索社会互动下符号化过程中话语意义的生成，并不再局限于语言文本，而是致力于研究诸如图像、声音、颜色、字体等其他非语言类社会符号资源在意义建构方面所起的作用，关注重点则转向各种模态的表现形式与其所表达的意义之间的关联，以及各种模态之间的协同作用如何生产新的话语，即强调符号的物态特征和使用者感官经验的重要性[4]。

2.1 “元功能”：多模态话语分析的理论基础

英国语言学家韩礼德（Halliday）[5]创立的系统功能语言学是多模态话语的理论基础。具体地说，多模态话语理论从系统功能语言学中吸收了语言的社会符号（social semiotic）思想、语境理论、层次理论、系统理论、语域（register）理论与元功能理论。其中，社会符号思想和意义潜势（meaning potential）等观点将语言之外的其他符号系统纳入意义生产与建构范畴;纯理功能假说（metafunction hypothesis）认为多模态话语具有多功能性，即概念（ideational）、人际（interpersonal）和语篇（textual）三大功能[6];语域理论强调语境在话语意义的解读中具有不可或缺的重要性[7]。

根据韩礼德的系统功能语言学理论，语言的3种元功能中：概念功能又可分为经验功能和逻辑功能。其中，经验功能是语言对于人们在现实的外部世界和内心世界中各种经历的表达，反映了事件、人物、时间、地点等因素;逻辑功能是语言对意义单位之间逻辑关系的表达[8]。人际功能是表达讲话者的身份、地位、态度、动机及其对某一事物判断的功能[9]。由于概念和人际功能的实现最终要通过语言得以达成，因而必然受到语言本身的制约。语篇是一种有意义的表述的集合体，属于语义范畴。它不是大于句子的句法单位，也不是段落。在语义层中，把语言成分组织成为语篇的功能即为“语（谋）篇功能”[10]。尽管三大元功能的提出基于韩礼德对言语的研究，但事实上这些元功能可以适用于几乎所有的人类交际系统。本文研究的关键问题则在于，这些元功能是如何在多模态话语交际中实现的？

2.2 模态联动：多模态话语分析的关键问题

根据元功能理论，在语篇中不仅语言符号系统应具有这三种功能，其他符号系统如图像、声音、动画、色彩等同样能够实现这些元功能。因此，需要进一步考虑的问题是，各个符号系统如何联动协作共同实现三个元功能？这需要我们关注以下两方面的问题。

首先是要确定不同模态或符号系统之间的语法关系。传统的符号学和语言学研究主要集中于图像、人物、事件、场景等单个元素的意义，忽视了元素之间关系的结构。事实上，图像中的视觉模态是一个系统连贯的整体，图像的意义是由视觉模态之下诸多元素的相互配合与整合而完成的，这一组合的过程也遵循着某种语法规则和章程。因此，仅从某一单独的模态或符号系统出发难以建立起一个完整全面的意义分析框架，而需要注重模态或符号系统间的语法关系。因此，为进一步探究交互式绘本的多模态叙事特征，我们便可以借鉴韩礼德的三大功能假说，从概念功能、人际功能和语篇功能三个层面展开分析和论述。

其次是要确定文字和图像之间的关系。来自后形式主义、图像学、符号学等领域的学者们基于不同的立场和视角均对这一问题展开了研究，其说法不尽相同。诚然，文字和图像的关系是一个十分古老的命题，更多的学者倾向于认为它们是彼此独立的两套符号系统，却又存在着密不可分的联系。例如亚里士多德曾“论述过诗歌与绘画的平行关系”“米歇尔将图像与语词喻作说不通语言的两个国度，但它们之间保持着一个漫长的交流与接触的关系”[11]。这给我们带来的启发是，一方面不能在图像与文字之间建立直接的等同关系，将图像视为文字的视觉再现或将文字视为图像的意义阐释，而应当认识到，文字与图像在内部语法、形式结构、叙事特征方面都存在巨大差异。另一方面要格外注重文字与图像之间的互动和关联，尤其反映在叙事层面，图与文的关系是渗透融合、模仿再现，还是相互冲突？这都需要我们在具体的图像和文本语境中具体地展开讨论。

2.3 视觉语法：多模态话语分析的理论框架

多模態话语分析的相关研究在1996年取得重要进展。这一年克瑞斯（Kress）和范勒文（Van Leeuwen）出版了《阅读图像：视觉设计的语法》[12]一书，将图像、音乐、色彩、版式等多模态符号系统囊括在语篇范畴内，为系统阐释图文语篇的意义建构开创了新的理论框架。比照韩礼德功能语法，他们建立起图像的视觉分析框架，认为图像可以体现三种意义：再现意义（representational meaning）、互动意义（interactive meaning）、组篇意义（compositional meaning）。这一视觉图像叙事分析框架为后来的多模态话语分析奠定了重要的理论基础，然而也存在一定的不足：缺乏关于语言与图像模态关系及相互作用的探讨，也没有在图像与读者互动的层面进行论述。因而，佩因特（Painter）、马丁（Martin）和昂斯沃斯（Unsworth）三位系统功能语言学者在克瑞斯等人的研究基础上，于2013年出版了《阅读视觉叙事》一书。他们同样在“元功能”理论的基础上，提出了视觉叙事的理论框架，涵盖了概念意义、人际意义和语篇意义三部分。克瑞斯与佩因特等人建构的叙事理论框架都基于韩礼德的三大元功能，二者却存在诸多差异：佩因特等将再现意义发展为概念意义，细化了其中的语法规则，总结出更加清晰的逻辑框架;他们还将互动意义重新命名为人际意义，并进一步归纳出聚焦、情感、氛围三大系统;组篇意义则对应于后者的语篇意义，佩因特等将信息值的概念发展为涵盖面更广的版面布局概念。总体而言，新的图像叙事理论框架在两方面对原视觉语法进行了修正和补充：一是研究对象的扩展，由原来的单个图像拓展为多个图像组成的多模态复杂语篇;二是理论框架的完善，在视觉语法基础上增加了读者的维度，补充了对图像与读者互动的研究，加入了情感系统、人物表征、事件关系等重要框架，以更深入地解读和阐释图像。

3 儿童交互式绘本视觉多模态话语分析

传统纸质绘本主要采用线性叙事，通过文本和图像传达意义，读者的参与感和互动程度较低;而交互式绘本结合文本、图像、动画和触摸技术，为读者提供多层次、多维度的阅读体验。图书通过动态方式呈现，读者随着互动的深入可表现出更多的主体性与情感投入。目前已有学者对于儿童绘本的叙事问题展开讨论[13][14]，本文基于系统功能语言学和图像叙事的理论视角，在调研数十种目前具有代表性的儿童交互式绘本的基础上，以Nosy Crow出版的交互式绘本《小红帽》（App应用）为例，对这一类型图书的视觉多模态叙事和话语特征展开具体分析和研究。

3.1 概念意义的建构

概念意义（Ideational Meaning）通常关注叙事中的人物、事件、场景三种基本要素，进一步可呈现为三个子框架（见图1）：一是人物表征框架;二是事件关系框架;三是图像的背景关系框架。

视觉图像叙事中人物的塑造主要依赖人物表征框架。人物表征方式可分为完整表征和转喻表征：完整表征是指通过刻画人物外部特征来建立明确的人物身份;转喻表征是指通过身体的局部特征来明确人物身份。如图2所示，当人物首次出场时，常常采用正面全景角度，展现人物的全貌;而当出现戏剧冲突时，往往展现人物的面部特写以突显人物的神态与情感反应。如小红帽在故事开头出场时采用了全景式的呈现，在图2左的构图中，小红帽位居画面中央且无遮挡，能够使读者对该人物有一个较为清晰完整的印象;当小红帽遇见大灰狼后，故事情节走向高潮，人物情绪在此时成为图像叙事突出表达的内容，因此图2右便着重刻画了人物怒目圆睁、斜视的面部神态，表达了一种警惕、愤怒、防御的情绪状态。传统绘本中人物的表征方式被印刷媒介固化在纸张上无法变动;但在阅读交互式绘本时，读者可以通过点触操作，放大或缩小，调整取景距离，以便更清楚地看到人物细节。这使画面不受限于全景与特写之分，人物的表征方式更加灵活。

事件关系框架即叙事中不同事件之间的联系，包括展开和投射两种模式。事件展开指的是叙事的时间顺序;事件投射可分为真实事件投射与想象事件投射。区别于传统纸质绘本中较为固定的时间关系，交互式绘本依托于数字交互技术带来的媒介属性和特征，多采用非线性叙事结构，在叙事过程中为读者提供了开放的叙事框架、任意的叙事顺序，以及可以根据个人喜好调整、触发的场景模式。在《小红帽》中，读者可以通过地图上的不同线路和地点，帮助故事人物选择即将前往的地点（见图3）。此时，读者在阅读的过程中被赋予了自主选择的权利，根据不同读者的操作和输入，交互式绘本可以输出和反馈不同的内容，一方面极大地增强了读者的参与感与互动感，另一方面也延展了图像叙事的意义空间。

背景关系框架考察的则是事件发生情境的延续和变化。背景变化可以构成叙事时空的转换，因此相邻图像选择相同的背景或仅变换视角以表示叙事情境的延续或不变。交互式绘本相较于纸质绘本的一个优势在于，其场景可以不受纸张的局限，场景大小可以任意定制，场景切换方式也有不同。当小红帽在森林中奔跑，绘本中呈现的是动态画面，读者可以控制小红帽的奔跑速度以及何时停下;如果不施加干预，小红帽可以一直在画面中的道路上奔跑。这使得场景的变化、情节的推动节奏掌握在读者手中，读者可以根据自身需要调整故事的叙事节奏。

3.2 人际意义的建构

视觉语篇的人际意义（Interpersonal Meaning）通过分析图像中参与者之间的社会关系、图像设计者的交际目的以及读者对图像内容的介入程度来考察图像与读者之间的互动，可进一步展开为聚焦系统、情感系统和氛围系统。

聚焦系统包含两方面内容（见图4）：一是图像中人物与读者的互动关系;二是读者阅读图像的视角。在聚焦系统中，读者和图像的关系可以概括为接触与观察两种：接触即读者透过绘本故事中的人类、动物或拟人角色凝视;观察指读者处于第三视角，不通过角色凝视。绘本通过人物的视角、场景转换创造出一个与我们现实世界平行的故事世界;而读者通过观察来了解绘本中的故事世界。在《小红帽》中，接触与观察两种聚焦关系都大量存在，例如当小红帽提着篮子穿过森林时，读者便能够代入她的视角一路前行，并且可以通过触摸屏幕停下来观察周边变化的环境;而当小红帽遇见大灰狼开始与之进行斗争时，读者便处在第三视角，以便更完整地看到富有戏剧性的故事情节。相较于纸质绘本，交互式绘本的特殊之处在于可以通过触摸电子屏幕，探索场景的更多细节和不同角度，与故事世界中的人物建立更丰富的联系。在故事发展的关键时刻，读者还可以通过角色的眼睛、站在角色的立场选择和看待故事世界，增强其参与感及认同感。

不同抽象程度的视觉图像可以建构出图像人物与读者之间不同的情感互动，这是创作者在视觉设计中经常使用的策略。人际意义建构中用来描述和解释图像叙事的情感介入的子框架为情感（pathos）系统（见图5）。该系统可以被划分为观察与异化两种表征方式：观察指读者与图中人物存在情感关系，图像叙事也旨在唤起读者更多的情感投入;异化指读者不存在或不需要情感关系，读者对图像的态度是抽离的、客观的。根据情感介入的程度，观察表征方式又可细分为鉴赏、移情和个体三种类型。鉴赏类图像最为简单抽象，如基础的符号、简化的线条等;移情类图像较之前者更具象复杂一些，读者能够识别出人物情感，但不能确定具体人物;个体类图像则更加写实、细节刻画较多，人物有具体的表征，如人物的特寫图像，可以清晰地反映其面部神态和情绪。在《小红帽》中，作者通常在刻画主要人物形象时主要选取更写实、更具象化的个体类图像，从而能够给读者以直观的感受和视觉冲击力，更快速地建立读者与人物的情感关系。而在一些远景、次要人物和细小物品的刻画中，作者会选取鉴赏类和移情类的图像风格，突出图像的主要内容，弱化次要内容。

根据克瑞斯等关于颜色的符号学描述，氛围（ambience）系统主要是关于背景的描述和使用颜色来创建情绪。该框架认为颜色可作为一种人际意义资源在叙事中构建氛围和情感基调，并把彩色图像按照色度、色调和自然度3个维度进行划分。《小红帽》在不同故事情节中，选择不同的色度、色调和自然度设定故事的情感基调，渲染人物的情绪，推动情节发展。在小红帽出门探望外婆时，主要采用明亮鲜艳的高色度色彩和代表热情的暖色调，营造明媚、充满活力的氛围和情绪;在大灰狼出场时，画面采用相对较低的色度和代表冷漠的冷色调，奠定人物 “邪恶”形象的整体基调。构建语篇的情感氛围时，自然度也起着重要作用，自然度指颜色的丰富程度，颜色越丰富越容易让人产生亲切感，越单一则越容易导致疏远的感觉。色彩变化不仅对应故事情节的内容发展，也通过氛围营造引发读者共鸣。颜色在叙事中的运用并不限于数字媒介中;但数字媒介对于颜色运用有所发展，体现为提高呈现精度。由于计算机辅助色彩设计等技术的发展，计算机可以以数值方式构建色彩属性的选取和呈现模式，从而能更精确地提升读者的视觉体验。此外，相较于纸质绘本，交互式绘本在同一场景、同一画面中，还可以通过读者互动改变图像颜色。如小红帽在探望外婆的路上，穿过森林的时候突然下起雨，此时整体图像色度就会变低，以营造阴雨绵绵的环境气氛，让读者更有身临其境之感。

3.3 语篇意义的建构

在语篇意义（Textual Meaning）层面，图像及图像中的成分所处的相对位置反映了多模态话语的信息分布（information distribution）。据此可以辨认出已知信息、新信息、信息焦点等，而信息值、取景（framing）和显著性（salience）是分析图像构成意义的三个维度。佩因特等补充和完善了传统的视觉语法，把信息值改为版面布局（layout）关系，并提出融合与互补两种图文关系以及叙事语篇中图像与文字的布局框架（见图6）。

在融合型版面布局中，语言文字是圖像的一部分，二者融为一个整体。在文字和图像之间，存在着扩展和投射两种语义关系。投射即图像中人物的话语以文字形式出现，通常还会表现为气泡、对话框的形式，如图7中妈妈与小红帽的对话。扩展是指图像与文字各具意义，二者相互补充、阐释、增强，通常以字幕的形式出现在图像画幅的边缘，如图7下方的解释性说明文字作为图像的补充信息，交待了画面之外的故事背景。在互补型版面布局中，文字和图像各占一部分空间，彼此处于相对独立的状态，我们则可以通过对称性、重要性、位置特征三个要素考察其关系。一般来说，对称性表示图像与文字平均分布于画面中轴线两侧;重要性指具体画面中图像或文字的主导性问题;位置特征则描述了图像与文字在画面中的布局与排版情况，其中包含了相邻与分隔两种情况。

在交互式绘本的取景与显著性方面，其版面呈现不受媒介空间的限制，读者因此可以任意放大或缩小图像。这导致了图像之间相对位置的模糊以及信息焦点的不确定性：一方面，读者可以根据自己的理解定制图像信息的中心，图像的意义解释空间得到丰富和扩张;另一方面，由于信息传递的不确定性，意义的边界过于向外延展，导致图像的叙事性削弱。

4 结 语

数字媒介技术的发展带来了人类活动物质手段的丰富性与多样性，其直接影响便是多种模态资源的复合与共存成为社会文化的典型特征。这不仅作用于话语交流的形态，同样形塑着话语内容，并在此基础上催生了新的意义表达、传递、理解机制。多模态话语分析的意义便在于整合各种符号资源，使人们不仅可以看到语言符号系统还可以看到诸如图像、声音、动画等其他符号系统如何作用于人类交际，从而使话语意义生产发挥出更大潜能。建立在系统功能语言学和社会符号学基础上的多模态研究，不仅在语言学方面获得了长足的进步和发展，同时在更广泛的传播交流领域具有很强的解释力，对分析人类社会复杂的交际行为提供了理论指导。基于此，本文选择了具有代表性意义的新型数字出版物—儿童交互式绘本作为集中分析和考察的对象，一方面以此为切入点，反映交互式数字出版物的典型叙事特征，探讨图像系统中的视觉多模态话语及意义构建;另一方面，多模态话语研究本身也作用于现实社会的发展，对儿童交互绘本的深入解读和阐释也有利于其在儿童心理、认知教育方面发挥影响。

注 释

[1]李战子，陆丹云.多模态符号学：理论基础，研究途径与发展前景[J].外语研究，2012（2）：1-8

[2]潘艳艳，李战子.国内多模态话语分析综论（2003—2017）：以CSSCI来源期刊发表成果为考察对象[J].福建师范大学学报（哲学社会科学版），2017（5）：49-59+168-169

[3]徐丽芳，曾李.数字叙事与互动数字叙事[J].出版科学，2016，24（3）：96-101

[4]胡永近.多模态话语分析理论及其在外语教学中的应用[M].合肥：安徽大学出版社，2018：4

[5]M.A.K.Halliday. Language as social semiotic： The social interpretation of language and meaning[M].London： Edward Arnold， 1978

[6]唐纳德·韩礼德.韩礼德语言学文集[M].长沙：湖南教育出版社，2006：44-58

[7]朱永生，严世清.系统功能语言学再思考[M].上海：复旦大学出版社，2011：121

[8][9][10]胡壮麟.系统功能语言学概论[M].北京：北京大学出版社，2008：74，115，161

[11]曹意强.图像与语言的转向：后形式主义、图像学与符号学[J].新美术，2005（3）：4-15

[12]KRESS G，LEEUWN T. Reading Images：The Grammar of Visual Design [M]. London： Routledge， 1996

[13]徐志武.电子绘本中的数字叙事研究[J].出版科学，2018，26（6）：94-98

[14]杨忠. 以绘为本 抵心问道[D].北京：中央美术学院，2017

[15][18]冯德正.视觉语法的新发展：基于图画书的视觉叙事分析框架[J].外语教学，2015，36（3）：23-27

[16][17]Painter C.，Martin J.R.& Unsworth.L.Reading Visual Narratives：Image Analysis of Childrens Picture Books [M]. London： Equinox，2013：30，35

（收稿日期：2021- 02-23）