绘本叙事语篇的多模态文学文体学研究

程 艳

（马鞍山师范高等专科学校教师教育系，安徽马鞍山 243000）

多模态特征是交际媒介的一种趋势，在当今社会显得愈发突出。各种交际媒介已经不再限于语言符号的意义传递，非语言符号与语言符号一起，共同成为一定语境下意义构建的资源。李战子认为，多模态语篇是除了文本之外，还带有图像、动画、颜色、编排、图表等的复合话语，或者说任何由一种以上的符号编码实现意义的文本[1]。诸多学者已经对连环画、广告、新闻报道、绘本等各类交际媒介从多模态角度进行研究。在对绘本的多模态研究中，多数研究者以Kress和vanLeeuwen[2]56的视觉图像语法为理论框架，分别对单个绘本的图像和图文关系进行描述和分析[3-4]。陈俊将Kress和van Leeuwen的理论和认知诗学理论相结合，对读者的认知机制和情感体验进行探讨[5]。谢妮妮从人际意义视角分析了《格林童话》插图本中的图文关系[6]。周俐运用模态语篇相关理论阐释了儿童绘本中的图、文、音之间的功能和相互关系[7]。

绘本也称图画书，顾名思义，主要由图画和文字两种模态组合共同完成叙事。图画完成者为插图画家，文字呈现者为故事讲述者（作者）。绘本的受众群体主要是儿童，儿童接触绘本通常首先被封面吸引。因此，封面的设计扮演着“敲门砖”的作用，向读者传递了一定的意义，为绘本的理解奠定了基础。此外，从绘本设计来看，其环衬（蝴蝶页）、扉页、封底和颜色也对整个绘本传递的意义起到一定的补充作用。

作为一种有趣有意义的体裁形式，绘本的封面、环衬（蝴蝶页）、扉页、正文（图像和文字）、封底、颜色及设计排版对绘本叙事的意义共建发挥着不可小觑的作用。因此，本文选取获奖绘本建立微型语料库，从多模态文学文体学角度描述和分析其文体特征，以期在故事的阅读中积累语感，能自然而然习得不同语境下准确地道的语言表达。同时，本文还将探讨绘本中各个模态间的关系对叙事意义的影响，以期读者能更为全面地理解绘本叙事，提升艺术理解力、鉴赏力和创造力。

一、理论框架

（一）多模态文学文体学

不同学者对文学文体学有不同的定义，Widdowson 将其阐述为：“从语言的角度对文学文本展开研究，是连接文学评论和语言学的一种有效方式。”[8]3Leech 也有相似的观点：“文体学是研究文学作品中语言的使用，并且是语言学和文学研究的融合点。”[9]1-2按照两位学者的观点，文学文体学被视为一门包含文学评论和语言学两种学科的研究，其中文学文本是研究对象，语言学是研究方法。正如申丹所说，文学文体学集中探讨作者如何通过对语言的选择来表达和加强主题意义和美学效果[10]84。

绘本是文学的一种体裁形式，其叙事意义是通过绘本中的各个模态实现的，各模态之间既相互依赖，又各自独立。Halliday认为模态的独立性指交际者使用不同的模态来实现同一语篇的意义是有原由的，即是“有动因的”[11]112。因此，如果文字模态是常规，那么图像模态很可能是前景化的；如果图像模态是常规，那么文字模态很可能是前景化的。本文以绘本为研究对象，从词汇、句法、语篇、修辞四个语言学范畴对文体学特征进行分析，其重点是分析具有文体意义和美学价值的各模态特征[12]82，挖掘绘本交际者的语用意图和语用效果，以达到理解和鉴赏的目的。

（二）视觉语法

Kress & van Leeuwen 以Halliday 的 系 统 功 能语言学理论为基础，建立了一个分析视觉图像的语法框架：视觉语法。该理论是系统功能语法在图片模态的应用，认为系统功能语法的概念功能、人际功能、语篇功能分别对应视觉语法的再现意义、互动意义和构图意义。其中，再现意义包括叙事再现和概念再现；互动意义包括距离、接触、视角和情态四要素；构图意义由信息值、取景和凸显度三要素构成。

二、研究问题

本研究主要探讨以下问题：（1）绘本语篇中包含哪些重要的叙事模态？这些叙事模态表现出哪些文体特征？（2）绘本语篇中的各种模态在共同的叙事语境中存在哪些关系？这些关系对绘本叙事有什么影响？（3）绘本叙事的多模态文学文体学分析对外语教学有什么启示？

三、研究对象和研究方法

本文选取获奖英语绘本共10 本作为研究对象，进行分类典型性描述，在多模态文学文体学分析框架指导下，对搜集的语料进行定性地观察、比较和分析（见表1），试图探究绘本语篇中各模态的关系和相互影响带来的意义潜势。

通过对本文微型语料库的分析，发现绘本作为一种特殊的体裁形式，典型性文体特征占比90%，多模态特征极具代表性，占比100%。以下在多模态文学文体学框架下做具体分析。

表1 绘本分析统计表

四、研究结果

（一）绘本叙事语篇的文体特征

1.词汇层面

绘本对儿童习得词汇是一个有效的手段。绘本中某一类型的词复现频率高，儿童在阅读过程中可以通过图像模态推测单词的意义，也有助于他们形成类别意识。如在《动物绝对不应该穿衣服》（Animals should definitely not wear clothing）的绘本叙述中，共出现豪猪（porcupine）、骆驼（camel）等动物类单词13 个，读者在阅读文字和图像模态时可以通过眼动自然建构关联，形成词语链，进而丰富了语言词汇。

《母鸡萝丝去散步》（Rosie’s Walk）的绘本故事是仅由25个词构成的一句话完成故事叙述，其中介词出现6 次，占比24%。在图像模态的帮衬下，读者可以直观地获得认识，较好地理解介词的意义，慢慢形成词类意识。

2.句法层面

在《动物绝对不应该穿衣服》（Animals should definitely not wear clothing）中，“…should definitely not…because…”表示因果关系的句型共出现13次，强化了读者句型意识，有助于未来语言的积累和发展。

在《每个桃子梨子李子》（Each Peach Pear Plum）的绘本中，作者以躲猫猫的方式通过图文模态将故事铺陈开去，“I spy…”陈述句式使用了13次，有助于读者在有趣的故事叙述中自然习得语言，积累语感。句式句型的重复多出现在低年级绘本中，这样有助于儿童通过复现学习加强语言。

3.语篇层面

在安东尼·布朗创作的绘本《我爸爸》（My Dad）（图1）故事叙述中，作者将放在句中的ANYTHING 每个字母大写，意在突出爸爸的厉害。同时图片模态中爸爸掐腰的动作手势的方向，向读者明确了指向目标，读者很自然顺着手势的方向朝向翻页时空间分割线条符后的大灰狼看去。这样，读者在动态的阅读中能够透过这些细节理解模态传递出的意义。此例中，图文模态充分配合，加强了意义表达。故事叙述的最后，对爸爸的种种厉害描述完后，强调最为重要的是爸爸对孩子的爱，因此“HE LOVES ME!”句中的每个词都呈现大写的形态，文字下方配有一幅和爸爸睡衣同款式的面包，增加了故事的趣味性，完整地和前环衬页遥相呼应。此外，又配有一整页爸爸抱住孩子的图像，传递出父子间的真挚感情。

图1 绘本《我爸爸》

4.修辞层面

安东尼·布朗创作的绘本系列包括《我爸爸》（My Dad），我妈妈（My Mum），我哥哥（My Brother），其中前两本绘本叙事方式非常相似。以《我爸爸》（My Dad）（图2）叙事为例，故事以孩子的视角看爸爸，采用了丰富形象的文字模态，加之明亮有趣的图像模态，使爸爸在孩子心中的超人形象跃然纸上，淋漓尽致地表现出孩子对爸爸浓浓的喜爱和崇拜之情。文字模态中，通过“like”、“as…as”明喻修辞手法的表征性结构，将爸爸这一形象和盘托出。同时，图片模态对文字模态进行意义重复和补充，使得简单的故事叙事包含更多丰富的元素。

图2 绘本《我爸爸》

《打瞌睡的房子》（The Napping House）（图3）采用螺旋式叙述结构，以叠罗汉的节奏韵律呈现出故事的情节。文字部分可以分成前后两个板块。前一个板块，是描写小房子内一切都在沉睡的情景。床在屋子里，老奶奶在床上，小男孩在老奶奶身上。作者创造性地采用了一种“宝塔形”的文字结构。第一页的文字只有三行：“有一所房子/打瞌睡的房子/房子里每个人都在睡觉。”第二页的文字就加长到了五行：“那所房子里/有一张床/温暖的床/在打瞌睡的房子里/房子里每个人都在睡觉。”从第三页开始，画面中的各种人物逐步参与到故事中来，画页上的文字也就以每页增加一行的频率开始拉长，拉长直至增加到十二行。读这种文字的感觉，非常奇妙，就像是在拉一条弹簧——牵着弹簧的一端，看着它逐渐延长，而顺着那根盘曲的铁丝找去，总能看到弹簧另一边那个固定不动的原点。

图3 绘本《打瞌睡的房子》

文字的第二板块就完全不同了。当跳蚤出场以后，绘本的文字风格陡然一变，从颤巍巍的弹簧变成了蹦跳的弹珠——简洁，明快，富有弹性，如“老鼠吓了猫一跳”，“猫抓了狗一把”等。读着这样的文字，读者翻动书页的速度都会忍不住加快——这是文字中蕴含的快节奏给读者造成的心理反应，充分体现了一种律动。

《每个桃子梨子李子》（Each Peach Pear Plum）在进行故事叙述时，按照躲猫猫的叙事方式呈现，优美的韵文在跨页的图画中，提供寻找的线索，将故事的主角一一带出。顶针是本故事中比较典型的特色。顶针又称顶真、联珠或蝉联，指用前一句结尾之字（或结尾之词）作为后一句开头之字（词），使相邻分句蝉联。在本则故事文字模态叙述中，从Tom Thumb 到Plum Pie，以递进又回环的方式将故事中的人物逐步牵引出来，并推进情节的发展。

“Each Peach Pear Plum,I spy Tom Thumb.

Tom Thumb in the cupboard,I spy Mother Hubbard.

Mother Hubbard down the cellar,I spy Cinderella.

Cinderella on the stairs,I spy the Three Bears.

Three Bears out hunting,I spy Baby Bunting.

Baby Bunting fast asleep,I spy Bo peep.

Bo peep on the hill,I spy Jack and Jill.

Jack and Jill in the ditch I spy the Wicked Witch.

Wicked Witch over the wood,I spy Robin Hood.

Robin Hood in the den,I spy three bears again.

Three bears still hunting,They spy Baby Bunting.

Baby Bunting safe and dry,I spy Plum Pie.

Plum pie in the sun,I spy...

...Everyone!”

《小红鸡》（The Little Red Hen）中，通过小红鸡和猫、狗、鼠的对话推进了故事的发展。猫、狗、鼠“Not I”和小红鸡“Then I will”文字模态的3次重复中，让读者认识了一只靠着自身勤劳努力收获成果的小红鸡形象。

（二）绘本叙事多模态与意义的体现

1.图文模态关系

Barthes 探讨了图文之间的关系，认为图像的外延意义是无限的，因此图像的意义是多重且飘忽不定的[13]79。Machin &VanLeeuwen 认为在一定程度上，图像意义的实现依赖于文字，需要文字对其弥散的意义潜势加以控制[14]157-158。他区分了延伸关系和详述关系两种图文关系。前者是指一种符号系统对另一种符号系统的表达进行补充，使其具有某些新的意义。后者则是指用两种符号系统对同一个意义进行详述，两者互相呼应。Kress&Van Leeuwen 则认为，图像本身就“有其独立的组织和结构”，图像与文字之间的关系是关联性的而绝非依赖性的[2]17。他们还指出，图像与文字两种交际模式都对文化的建构有重要的作用。

张德禄把图文关系归纳为：互补关系，包括强化和非强化关系；非互补关系，包括交叠、内包和语境交互关系[15-16]。Maria Nikolajeva & Carole Scott 提出了图文的动态关系：对称关系，即图文重复，表达一样的意义；强化关系，即图像增强了文字的意义或文字拓展了图像的意义，当彼此强化关系特别显著的时候，就达成一种互补关系；对应关系，即图像与文字的表现意义截然相反[17]。

《小房子》绘本（图4）中，文字和图像提供彼此缺乏的信息，该信息或许很微小，也或者完全不同，是比较典型的加强或互补关系。

图4 绘本《小房子》

在四季的图像叙事中，小房子一直占据图像的中心位置，每个季节的布局相似，不同的是随着季节的变化，周围人与景的变化。以夏天为例，插画师选择绿色为主色调，以小房子为中心拓展开去，通过图像模态勾勒了树木、池塘、马车、牲畜等在夏天的情景，小房子身处的时间季节情景则通过文字模态表现出来。文字模态则以动词过去时呈现，体现了时间动态的效果。文图两种模态交相辉映，共同叙述和描写了小房子身处的物理环境和心理认知环境。

“In the long Summer days

she sat in the sun

and watched the trees

cover themselves with leaves

and the white daisies cover the hill

She watched the gardens grow,

and she watched the apples turn red and ripen.

She watched the children swimming in the pool.”

图5 绘本《奥莉薇》

《奥莉薇》也是如此，文字模态仅是笼统的概括，而图像模态提供了更加丰富的文化信息。如图5，奥莉薇去博物馆欣赏她最喜欢的画，文字模态并未提及画的任何信息，而图像模态则补充了作品信息，将文化艺术信息融合其中，极大提高了故事的可读性。

《母鸡萝丝去散步》（图6）的绘本故事仅由25个词构成的一句话完成故事叙述，但是图像提供了丰富的信息。视觉叙事比起语言叙事，更加复杂且让人心动。图像模态传递的意义大于文字模态的线性叙述，并且两种模态互相对立，呈典型的对应关系。

图6 绘本《母鸡萝丝去散步》

2.图文模态的互动意义

在绘本中，互动意义涉及插画师、作者、读者三个群体，三者交际构成一个人际圈，产生了一定的人际互动功能。图像是通过接触、社会距离、视角和情态四个要素来实现互动意义的[2]149。这里主要就视角和情态作一讨论。

在《爷爷的旅程》绘本（图7）中，作者从我的爷爷（他）进行文字和图片模态的双线讲述，最后爷爷老了，我也长大了，爷爷想回故乡的梦想一直未实现，视角又回归到“我”，我带着爷爷的梦想亲自去往加州——爷爷的故乡。整个绘本从“我的爷爷”（他）视角落到“我”视角，谈论故乡和家庭，有机地将他我视角融合，更好地让孩子了解与自己相关的过去，丰富了生命体验。

图7 绘本《爷爷的旅程》

在《母鸡萝丝去散步》（图8）中，封面和环衬已经交代了故事中的主人公，即两个视角：母鸡萝丝的视角，由文字模态配合叙事；狐狸的视角，由图像模态配合叙事。两个视角的互相配合方能显示出整个故事的诙谐有趣。视角的选择根据情景语境而定，情景语境是文化语境的具体体现，即交际事件中的文化因素是根据情景语境自然选择的[18]。《爷爷的旅程》中集合了美日文化情景，《母鸡萝丝去散步》中的视角则是由世界文化对动物的共同认知文化情景决定的。

图8 绘本《母鸡萝丝去散步》

Kress & van Leeuwen 认为，情态有低值、中值、高值之分，是对关注世界真实度或可信度的表现[2]155。绘本中的图片多使用明亮和深重的颜色，色彩丰富，情态值高，更加容易抓人眼球，引起读者阅读的欲望。

3.图文模态的构图意义

语篇布局的特点通过构图得以体现，构图通常通过信息值、显著性和框架三要素实现[2]。信息值指图中各表征事物处于图中上下左右中心边缘等的位置情况。绘本又称图画书，是典型的倚重图像和文字的一种多模态文学体裁。图像模态和文字模态又各有强弱之分，独立或协作体现叙事的完整意义。在收集的语料中，文图两种模态呈现形式主要分为三类，包括无字绘本，如《疯狂的星期二》（Tuesday）（图9）；正文页图像在上，文字在下的绘本，如《爷爷的旅程》（Grandfather’s Journey）（图10）；文字根据叙事场景分布在上、下、左、右、中间不同位置，如《奥莉薇》（Olivia）（图11），《小房子》（The Little House）。其中，无字绘本指没有文字或仅有少量文字的图画书，故事的叙述依赖于图像这种视觉语言。少了文字的叙述线，想象故事和讲故事的担子就需要读者根据画面中前景和背景、人物脸部表情和场景的变化，颜色的变化等信息理解插画师的意图。

图9 绘本《疯狂的星期二》

图10 绘本《爷爷的旅程》

图11 绘本《奥莉薇》

“显著性”指的是构成图片的各元素吸引读者注意力的程度，可通过尺寸、色调、线条、形态、颜色等来体现[2]183。在绘本体裁中，插画师会根据叙事的需要进行颜色的选择和分配，以此进行环境渲染，与文字相得益彰，共同进行叙事。

颜色是视觉交际的重要资源，极具感官冲击，是传达信息不可或缺的重要符号资源。Gage认为，颜色是内容的一个方面，它是复杂的、能引起联想和共鸣的[19]1241。如《小房子》（The Little House）（图12）以小房子的视角，描绘了一座从乡村到城市再回归乡村的小房子的变化历程，让读者认识到自然的美好，了解城市的建设过程，更加热爱环境，热爱生命。其中，颜色也经历了从明丽到灰暗再到明丽的过程。颜色的直观变化让读者能预测到故事的发展和变化，为读者理解故事提供了潜在的信息。同时配有文字叙述，读者能更好地在推理理解中把握故事的脉络。

同时，翻页间也体现出图片模态中存在的空间分割线条，前后页的组合构图正是图像叙事框架特征的显现，表现出一种连续性和完整性，展示图片模态中各个元素之间存在着某种关联关系。此外，《小房子》中的画面很少有直线，常常是椭圆套着椭圆，连树梢都是椭圆形的，字里行间跃动着一种柔和而又抒情的感觉。

图12 绘本《小房子》

五、教学启示

阅读儿童文学作品时，体裁知识的把握对于读者理解文学作品是很有帮助的[20]126，这些体裁线索可以通过很多外围信息获取，在文中字里行间也可以体会和发现体裁格式和内容。获取的体裁线索或许可以提供一些特别重要的信息，帮助读者走入作品中的世界[21]10-25。基于此，采用文学文体学的方法对儿童文学作品进行多模态分析是可行的。按照这种方式，读者可以自上而下，按宏观—微观—宏观的阅读方式理解和体验作品中的独特世界。

2018 年6 月，中华人民共和国教育部国家语言文字工作委员会发布《中国英语能力等级量表》（China’s Standards of English Language Ability），对于绘本、故事、小说、戏剧等体裁的文学作品学习进行了能力分级描述，主要围绕听力理解、阅读理解、口头表达、书面表达等15 个方面。为更好开展英语少儿文学课程教学，为地方基础英语提供一定的智力支持，本研究对上海教育出版社2013 版牛津英语教材中的故事进行梳理。通过对8 本教材46 则故事的分类，发现：中外儿童故事类14 篇，包括12 篇中国儿童故事，分为成语故事，传统文化故事和历史故事；2 篇外国儿童故事。中外童话类9篇；寓言类8篇；自编类8篇；中外民间故事类4篇；中外传记类3篇。

因此，在进行故事教学时，可以对题材和体裁进行分类，考虑多模态元素在儿童文学中的因素，了解故事叙事模态的功能和故事中文字图像模态之间的协同关系，将有助于指导学生更有效地利用绘本锻炼外语综合应用能力，也有利于发展他们的多元读写能力。同时，可以将绘本引入其他学科，发挥图像的独特优势，更加有效地开展基础教育阶段的教学。

以小学英语牛津教材五年级下册模块3 第8单元（M3U8）为例。本单元是在Things we do-Buying clothes 的话题下，进行《皇帝的新装》童话故事教学。本次教学实践除了以小学英语教材中《皇帝的新装》为教学文本外，还上网搜索该故事的优质扩充版，在语言难度上更加适合本专业英语师范生。《皇帝的新装》分4个课时进行教学。

第1 课时：教师通过各种童话元素如童话人物、声音、物件等多模态引入安徒生及《安徒生童话》，直至自然导入本课时教学内容《皇帝的新装》童话故事文本。在内容安排上，从具象词汇入手，引出故事中的一系列人物：国王、骗子、大臣、侍卫、百姓和小男孩，以此形成人物链，为下一步情节教学做好铺垫。本课时侧重点在语言能力上，学生通过提取概括，描述阐述将各种具象词汇分别与人物一一对应。

第2课时：以故事发生地为参照，结合每一幕中出现的人物，引导学生厘清故事脉络，并理解不同人物在不同场景中的作用以及对故事发展的作用。

第3课时：以文学文体学的分析方法对《皇帝的新装》在词汇、句法、语篇衔接、修辞、叙事视角、主题意义等重要方面进行文体分析，并对故事中呈现的语言和非语言模态进行探究。引导学生将自己抽离，替身故事中的人物，感受和揣测在中国文化的环境中，故事人物的心理活动是否保持一致。同时，引导学生思考本则童话故事对现实的意义。

第4课时：学生自由创编，在小组内决定是否改编、续写故事后，并进行小组展示。最后，同组间互评。

在故事的微语境下，教师利用图文模态层层递进，引导学生想象和推理，批判和分析。在教学的宏观过程中，又充分利用声音、图片、视频、表情等多模态手段，对故事进行文体分析，使得教与学变得有趣和有效。与此同时，绘本还可以跨界进行教学。例如，将《寻找消失的爸爸》引入数学课教学，创设一个有意思的学习情境，帮助学生理解数学概念，进行思维习惯、意志品质的教育，让学生懂得同伴互助的重要性。《夏天的天空》可在语文老师和音乐老师的协同合作下，充分调动各种感官，拓展思考和想象的维度，使得课堂充满生命的活力。

六、结语

绘本属于一种特殊的体裁形式，其故事叙述是在文图的综合交互下完成的，文图模态表现出强化关系和对应关系，以前者居多。其中，在儿童成长发展的历程中，“看”的教育是十分重要的一环。钱慧认为，当儿童的语言、文字、逻辑尚待发展的时候，一些非常形象化的艺术方式成为他们叙事的最好方式，比如绘画[22]。绘画呈现的图像能够帮助孩子拓展观察事物的角度和视野。通过对图像的阅读，不仅能提升孩子的观察力和美感，还能让他们有更多发挥想象的空间，并从中发掘自己的潜力。同时，结合叙事中各种词类、句类、篇章的建构，有助于读者语言的积累。