人际意义下儿童绘本的多模态话语分析

【摘要】儿童绘本作为一种多模态语篇，文本模态和图像模态在绘本故事发展中协同建构多模态语篇的人际意义。本文在系统功能语言学人际意义视角下，以符际互补理论为基础分析儿童绘本My Brother Charlie中的图文关系及意义建构。研究发现，文本模态协同图像模态采用称谓强化、态度趋同两种图文互补机制建构读者与角色间的互动关系。此类图文互补机制的使用，既增强绘本的可读性，又使得作品的多模态表现形式与绘本的功能更好地结合。

【关键词】图文互补；多模态话语分析；儿童绘本；人际意义

【中图分类号】H315 【文献标识码】A 【文章编号】2096-8264（2024）28-0119-03

【DOI】10.20024/j.cnki.CN42-1911/I.2024.28.037

一、引言

绘本是儿童读者获取信息和培养价值观的渠道之一，是儿童读者社会化的重要方式。儿童绘本作为一种多模态语篇，文本模态和图像模态在绘本故事发展中协同建构多模态语篇的人际意义。

目前，从系统功能语法人际意义视角下出发探究绘本意义建构的研究多独立考察文本模态和视觉模态的人际意义表征、角色与读者间关系的建构方式，鲜有关注文本模态与视觉模态之间的整合意义。即文本资源与视觉资源以何种方式整合模态间关系，共建儿童绘本这一多模态语篇的人际意义，这正是多模态话语研究的重点与难点。[1]因此本研究选取儿童绘本My Brother Charlie为语料，基于Royce的符际互补理论[2]，从人际意义视角出发，解读绘本中图像模态和文字模态之间的关系，分析其人际意义建构，以期为儿童绘本的解读和科学设计提供有效参考。

绘本正文页共计17个版面，以作者家庭真实经历为基础，绘本从妹妹的视角聚焦双胞胎兄妹的相处，展现双胞胎哥哥Charlie在言语发展、社交、以及行为方面的特别之处。

本文聚焦以下研究问题：

第一，儿童绘本中图文模态在人际意义建构上呈现何种关系？

第二，上述模态间关系是如何作用于绘本解读的？

二、理论框架

结合绘本的叙事特征，基于韩礼德系统功能语法人际意义[3]、佩因特等人视觉叙事框架[4]以及Royce符际人际互补理论[2]，本文提出一个适用于分析绘本人际意义的理论框架。

此框架分为两个阶段。第一阶段指分别使用系统功能语言学人际意义系统中的语气、情态系统以及视觉分析叙事框架中的聚焦、氛围、情感介入三大视觉系统分别分析文字和图像模态的人际意义表征。在第一阶段讨论基础上，第二阶段中使用人际符际互补理论探究绘本是如何通过图文互补，建立、维持读者与角色间关系实现人际意义协同建构的。整合的绘本人际意义分析框架如图1所示。

图1 绘本人际意义分析框架

三、分析与讨论

（一）文本模态人际意义建构

根据语气系统对绘本中的小句进行分类统计，共73个小句全部使用陈述语气表达文本的陈述功能。儿童绘本的社会教育功能决定其以向读者提供信息为主。在陈述语气的使用下，Charlie的妹妹作为叙述者主导这一交际事件向读者充分“给予信息”，不鼓励读者与故事世界产生互动。读者只需接受绘本传递的信息。文本模态赋予读者疏远的阅读立场，为读者建立起一个具体的儿童形象。文本模态在文本与读者间建立起一种给予—接受互动关系。

绘本中共21处情态操作词，低量值9处，中量值7处。其一，低量值操作词分散在文本中。低量值情态操作词语气委婉，避免对读者施加话语权势而是进行温情叙事，构建与读者间和谐的人际关系。其二，绘本在塑造Charlie的形象、鼓励读者接纳Charlie时倾向于使用中量值操作词，增强信息的可信度。使用中量值词可以降低叙事的绝对化，维持向读者传递信息的客观立场，提升信息内容的准确性。其三，高量值情态操作词能够通过展示人的态度，立场，决心来有效的强化人际意义，实现交际目的。高量值词的使用将角色的情感感受最大程度上地传递给读者，试图引起读者的情感共鸣，构建与读者间的情感互动。如在第七版面中的文字模态“We watch over him with the might of angels.We have to”中，Charlie的妹妹使用have to这一高量值情态词，向读者传递一家人坚定守护Charlie的决心。

（二）视觉模态人际意义建构

绘本中图像符号资源与文字符号资源具有同等效力，二者结合共同传递信息、构建人际意义。

绘本在聚焦系统的选择上存在以下两个特点。一方面，绘本17个版面全部采用旁观视觉选项且10个版面采用无中介视觉选项的使用高于中介视觉选项。这表明读者以旁观的方式与图像中角色建立互动关系，以客观阅读立场梳理情节发展，不参与图像中角色之间的情感互动，二者保持较远的社会距离。图像给予读者独立观察者身份并向读者传递以下信息，Charlie区别于普通儿童的行为、妹妹对Charlie行为的不理解、家人对Charlie的关怀，Charlie的闪光点等，为读者打开了解Charlie性格特质和其生活处境的窗口。另一方面，即使仅有7个版面使用中介视觉选项，但对于建构图像互动意义起重要作用。其中，引发视觉选项的运用增强了图像间关联性与叙事的连贯性。直视的视觉选择使得读者跟随妹妹的视角密切关注Charlie的行为，将读者带入故事情节中与角色达成统一的心理站位并与其共情。

基于氛围系统对绘本中的色彩资源进行分析，发现冷暖色调数量相当、搭配使用。绘本创作中对色调的合理选择能够辅助故事情节营造氛围，直接作用于读者的感官感受，激发或抑制读者的情感。共有9个版面使用暖色调绘制图像背景，用于表征以下四类语境：母亲迎接新生命到来时的喜悦、兄妹之间的相互牵挂、Charlie的优点以及一家人其乐融融相处的情景。鲜艳活泼的黄色和橙色营造出轻松且温情的氛围，给予读者温馨感，调动读者的积极乐观的情绪，引导读者感受绘本爱的主题。另外，暖色调外显Charlie作为儿童丰富且纯真的内心世界，拉进读者与Charlie的心理距离，增进对角色的了解与互动。此外，8个版面使用冷色调来表征Charlie的情感模式和社会互动的缺陷以及妹妹与父母面对Charlie时的担忧和无奈。绘本在刻画此类伤感情节时，使用低饱和度的浅蓝色绿色刻画人物所处的环境，降低故事世界的真实度。构造出的区别于现实世界的故事世界，切断读者对故事世界的情感投入以及与角色间的情感互动，维持读者的客观阅读立场，了解Charlie区别于一般儿童的特征。总之，故事发展前后色调的对比调整了读者对故事的情感投入以及与角色之间的情感距离。色调视觉资源在变化中建立、转变、维持角色与读者间的关系，构建人际意义。

绘本在情感介入系统的选择上，17个版面全部使用鉴赏类视觉选项，以“最简风格”描绘角色。鉴赏类视觉选项为读者提供客观的阅读视角与角色之间营造较远的社交距离，读者在阅读过程中只需对角色和故事情节做出社会评价。最简风格更具有标志性和风格化，注重快乐或悲伤的表达。[4]最简风格多使用线条勾勒角色的五官，图像人物的的眼睛和嘴巴更具表现力，最大化表征角色情感也更容易的被读者识别。读者通过对Charlie和妹妹眼睛和嘴巴形状的解读，可以更好把握故事情节的发展，接受角色之间的情感传递。绘本中，在第九版面之前，Charlie的嘴巴一直处于紧闭的状态，眼神空洞且游离看向随意方向，处于一种呆滞或悲伤的状态，同时这也符合文字模态中对Charlie性格行为特征的描写。相反妹妹时而张着嘴巴表达开心，或者是以失落、伤心的眼神时刻关注自己“奇怪”的哥哥。在第九版之后，妹妹理解并接受Charlie的别样的做事方式，兄妹间心灵逐渐靠近，最简风格将两人相处时的喜悦表情放大。根据角色表情上的变化及对比，读者并不需要复杂的推断便可以轻松获得信息，感受角色间情感的传递。

（三）图文人际符际互补机制及其意义建构

Royce的符际人际互补理论指文本模态和视觉模态通过称谓强化和态度的一致性或不一致生成连贯的多模式文本实现模态之间关系的整合和与读者间的互动。

基于Royce的符际互补理论结合上述分析，归纳绘本的图文模态联合表征人际意义方式，可以得出绘本中图文关系呈现称谓强化的特点，即通过各符号与读者交流的方式的一致性创建意义。[2]绘本中的图文称谓强化体现在向读者提供信息以及邀请读者参与情感互动两方面。一方面，绘本多数版面以图文互补共同向读者提供信息为主。文本的语气系统以及人称的使用是文本称谓的重要表达方式。正如上文所提到的，绘本中的小句全部使用陈述语气，实现了陈述的无标记言语功能，向读者传递信息。读者可以保持信息接收者的身份，对文本模态传递出的信息进行接受或拒绝。另外，在人称系统的选择上，妹妹作为故事的讲述者，在描写Charlie和自己的差异时，第一人称“I”和第三人称“He”或者“Charlie”中总是对比出现，文本符号资源在两种人称的对比变换之间陈述命题与读者交换故事信息。除第16版面的文本资源外，文本中并没有对读者的直接称呼，如第二人称“you”或者“reader”等，赋予读者参与者的身份进行信息情感交流。即使文中出现5处第一人称复数“we”的使用，目的也并非是将读者囊括进故事中吸引读者参与角色间的互动。与之对应，视觉模态则全部使用旁观视觉选项，角色不与读者产生眼神接触也并不面向读者施以任何面部表情。因此，视觉符号资源并不邀请读者参与故事情节发展，而是指向图像所描绘的角色身上，以提供视觉陈述为特点，实现视觉模态与读者之间信息的交换。

另一方面，少数版面图文结合邀请读者参与情感互动。典型实例出现在第16版面，其中文本模态共出现5次第二人称“you”，妹妹鼓励读者与Charlie结交朋友。第二人称呈现出内部叙事声音，将读者介入故事中拉进其与角色之间的距离，作为参与者直接与角色进行信息交流与产生情感连接。与此同时，视觉模态描绘一家四口还有宠物小狗其乐融融在夕阳下散步的场景，所有角色面带微笑面向正前方，虽然不与读者产生直接的眼神接触，但采用齐眼高度视角和暖色调的视觉选择、图像人物前景化，营造温馨的氛围。此类人关系建构数量虽少，但对于绘本主题的解读有重要作用。

态度趋同是绘本中实现图文互补的第二个机制，指绘本中视觉和文本模态在态度表达上有不同程度的一致性。[2]除文字叙述外，绘本以视觉陈述向读者传递信息。绘本对视觉资源的艺术加工在可信度和真实性方面是对绘本想要传递给读者态度的投射。首先，从情感介入系统、氛围系统与情态系统的互补创建人际意义来看，文本—视觉情态总体上低情态为主，建构Charlie的形象。最简风格对角色的身体细节如面部表情和身体特征和物理环境进行概要性描绘。色彩单一的冷色调描绘角色的所处的环境，降低故事世界真实度且更为凸显画面人物。视觉叙事的真实性上呈现出低情态的特点，在引发读者情感上效果微弱，重点在Charlie形象的客观建构。文本模态在情态系统的选择上，表达作者态度的低中量值词并非像高量值词一样在特定的情节里集中出现与读者进行情感共鸣，而是贯穿语篇。这一选择既可客观描述主人公Charlie的特征又可维持读者客观的阅读视角。其次，图文模态在表征家人对Charlie坚定不移的爱与责任以及呼吁读者的关爱两类语境时，呈现出高情态的特点。其中，文本资源使用高情态来向读者展示图像中人物对其命题的高度确定性以及视觉描绘上采用氛围系统中橙色、黄色此类暖色调。高情态的图文表征将可以将图像人物对Charlie的态度放大，带给读者强烈的情感体验，吸引读者与妹妹形成统一的心理站位。总之，绘本的重点并非通过描写的准确性或真实性激活读者的情感共鸣，而是通过视觉模态与文字模态的协同合作呈现主题向读者传递信息，从而吸引读者对想要表达态度的关注。

四、结语

本文展现了符际互补理论在解析儿童绘本这一多模态语篇作品的图文关系上的强大解释力。研究发现，绘本中两种符号资源相辅相成通过称谓强化和态度趋同实现多模态文本的连贯、传递话语意义以及构建角色与读者间的互动关系，展现两种模态符际间互补性。并实现以恰当的方式向读者传递信息和引导读者解读信息和接受价值传递的目标。Royce的人际符际互补理论对儿童绘本的解读和设计具有一定的指导意义。一方面，读者达到对绘本内容及意义的确切把握以及深刻理解。另一方面，设计者可以从图文互补衔接共同创建人际意义的角度为创作出更优质的绘本。

参考文献：

[1]Unsworth L.Towards a Metalanguage for Multiliteracies Education：Describing the Meaning—making Resources of Language－image Interaction[J].English Teaching：Practice and Critique，2006，（1）：55-76.

[2]Royce T.Intersemiotic Complementarity：A Fra-mework for Multimodal Discourse Analysis[J]//Royce T D，W L Bowcher.New Directions in t-he Analysis of Multimodal Discourse[C].New J-ersey：Lawrence Erlbaum Associates，2007：63-109.

[3]Halliday M，Matthiessen C.An Introduction to Functional Grammar（3rd ed.）[M].London：Hodder Arnold，2008.

[4]Painter C，Martin J，Unsworth L.Reading Visual Narratives：Image Analysis in Children’s Picture Books[M].Sheffield：Equinox Publishing Ltd，2013.

作者简介：

姬丽娜，女，汉族，山东费县人，西安外国语大学英文学院硕士研究生在读，研究方向：多模态话语分析。