多模态语篇图文关系识解的对比研究*——以中美读者阅读英文绘本为例

国　防

(华北电力大学，北京 102206)

1　引言

Kress和van Leeuwen于1996年提出“多模态话语”(multimodal discourse)这个概念，并比照系统功能语言学的3大元功能思想，创建视觉语法分析框架，为多模态话语分析的发展奠定基础。在国内，李战子(2003)发文介绍Kress和van Leeuween的《阅读图像：视觉设计的语法》(ReadingImages:TheGrammarofVisualDesign)以来，多模态研究迅速发展(冯德正 2017：2)。这一领域的兴起使人们意识到“语篇的意义生成不再单独依赖于语言符号的贡献，而是进一步凸显出视觉符号的重要性……多种符号体系融合起来，共同构建语篇的意义”(刘成科 2014：144)。“意义的建构需要多种符号的协同作用”(代树兰 2017：1)，而在由多种符号构成的多模态语篇里，图文是两种最普遍的符号表征结果，二者既分立又统一。

2　主要研究回顾

图像和文本的关系问题是“多模态话语分析中存在的瓶颈问题”(汪燕华 2010:74)。Barthes在阐述图像与文本的关系时指出：(1)文本附属于图像，文本信息用来加速对图像的理解；(2)语言呈现的内涵与图像外延密切相关，二者关系越紧密，其内涵意义表现越少；(3)语言内涵不可能与图像意义重合，更常见的情况是语言拓展图像的意义(Barthes 1977:25-27)。Kress和van Leeuwen对其观点提出异议，认为语言和图像都可以用来实现人类蕴含文化元素的基本意义系统，二者具有自己特有的表达方式。但要表达某种确定的意义，必须由语言来挽救(Kress, van Leeuwen 1996:19)。Royce以衔接和连贯理论为指导来分析图像与文本的关系。他认为，在图文并置的语篇中，从概念意义上讲，图像和语言之间的关系与语言本身之间的关系类似，从人际意义上讲，语言表达的意义更加确定，而图像需要借助文本将其意义确定(Royce 2006:70)。在研究图文并置的科学语篇基础上，Martinec总结出4种图文关系:(1)图文各自独立，彼此没有关联；(2)图文意义互补，彼此增强对方的意义；(3)以文本意义为主，图像意义为辅；(4)以图像意义为主，文本意义为辅(Martinec, Salway 2005：337-371)。van Leeuwen认为在很多交际场景下，文本与图像各有分工，文本负责提供事实、说明及只有用语言才能表达出的情况，而图像负责对文本的解读(van Leeuwen 2008：136)。Wignell(2011)以系统功能语法理论为指导，对6个年龄组的绘本进行系统分析。结果表明，随着目标读者年龄段的改变，图像与文本间相互关系出现相应的变化。针对年龄较小读者的绘本，文本对图像的依赖性越强，人际功能越突出；随着目标读者年龄的增加，文本对图像的依赖性越小，概念功能及语篇功能逐渐超越人际功能。

综观多模态话语的研究文献不难发现，大多数文献关注纯理论探讨的初级层面，典型实证研究仍不多见，尚未见对不同语言水平、不同年龄的认知主体对多模态语篇图文关系识解的比较研究。本研究将对中美儿童及成年人阅读英文绘本情况进行实验研究，从而揭示不同语言水平及不同年龄的认知主体对多模态语篇图文关系识解的特点。

3　实验研究

3.1 研究问题

本研究旨在回答以下两个问题：(1)不同语言水平的认知主体对多模态语篇中图文关系的识解是否存在显著差异；(2)儿童与成人对多模态语篇中图文关系的识解是否存在显著差异？

3.2 研究被试

本研究被试共12人，包括3位在美留学1年、第二外语为英语的5-6岁中国儿童(男)、3位本族语为英语的5-6岁美国儿童(男)、3位在美访学1年、第二外语为英语的中国高校教师(男)和3位本族语为英语的美国高校教师(男)。将12位被试分为中美儿童组与中美成人组。Johnson 和 Rosano 研究发现，本族语者的英语语言水平高于二语学习者(Johnson, Rosano 1993：159-175)。据此，各组双方的英语水平在本组内由高至低排名为中美儿童组：美国儿童>中国儿童；中美成人组：美国高校教师>中国高校教师。

3.3 研究工具

绘本是典型的多模态语篇原型。Hassett 和 Curwood认为绘本中的每一个元素都是“某种模态”，甚至无文本的绘本仍属于多模态语篇(Hassett，Curwood 2009:272)。通常情况下，绘本包含图像与文本两种符号模态，两种模态共现是意义存在的潜势。

本研究选取两本语言级别不同的英文绘本作为被试的阅读材料。阅读材料选取的出发点是以美国被试儿童的年龄为衡量标准，选取低于5-6岁美国被试儿童语言水平及与被试儿童语言水平相当的材料。根据Wignell(2011)的调查结果，针对6岁以上儿童的读物，因为图画基本消失，已称不上是绘本，所以本研究没有选取高于5-6岁儿童语言水平的阅读材料。

本研究选择两个时间段，按3-4岁绘本和5-6岁绘本阅读的分工将阅读任务分两次完成。面向3-4岁读者的绘本是2000年由Scholastic出版社出版的《大卫不可以》(No，David！)。面向5-6岁读者的绘本是The Viking Press出版的《下雪天》(TheSnowyDay)。研究者将绘本放置桌上，请被试进行手指点读，点读之后复述绘本内容，并回答研究者有关图文切换原因的提问。在征得被试儿童家长及几位成人被试同意后，研究者对12位被试两次点读绘本的过程录像记录。

3.4 结果及讨论

实验结束之后，研究者通过对现场的记忆、记录以及对录像反复观看后将各个被试对绘本的点读过程进行整理、记录。以下将以两个绘本中分别指定的页码点读情况为例进行数据整理，记录情况分别如表1至表4。

3.41 3-4岁绘本点读结果及图文关系识解

3-4岁的绘本选择《大卫不可以》中Put your toys away这一页。该页面中，大卫正坐在地板上聚精会神地看电视，他的周围到处堆放着玩具。页面左上方印着Put your toys away.

表1为中美儿童在阅读3-4岁绘本《大卫不可以》中Put your toys away页内容的点读情况记录：

表1　中美儿童组3-4岁绘本点读过程记录

我们发现6位儿童被试首先将目光注视在图像上，同时将手指置于文本上开始点读。文本点读结束后，将手指移至图片。6位儿童被试查看图片的时间远远大于阅读文本的时间。3位中国儿童对研究者“为什么读完文本看了图片？”的提问，回答一致：“图画好看”。图片查看结束后，研究者请6位儿童被试讲述该页内容，3位中国儿童均忽视文本，针对画面做出简单描述。3位美国儿童的回答各不相同。在讲述该页内容时，3位美国儿童对画面做出详细描述，其描述内容与文本相关联。

表2为中美成人在阅读3-4岁绘本《大卫不可以》中Put your toys away页内容的点读过程记录：

表2　中美成人组3-4岁绘本点读过程记录

中美成人组阅读3-4岁英语绘本时，6位受试均将目光首先注视在文本上，同时将手指置于文本处开始朗读。文本点读结束后，将手指移至图片。6位被试对图片都一眼带过，对研究者“为什么读完文本才看图片？”的提问，回答完全一致：“没有特殊原因”。在查看完图片后，研究者请6位被试讲述该页内容，6位被试的复述内容仍然一致：“玩具到处扔，房间太乱，家长让Peter收拾玩具”。

3.42 5-6岁绘本点读结果及图文关系识解

5-6岁绘本选择《下雪天》中It was a stick这一页。该页整个页面是一片多彩的雪世界，身着红色防雪服的Peter手拿一根黑色的小树棍站在一棵枝丫落满白雪的大树前，抬眼仰视树上积雪。页面底端印着It was a stick.

6位儿童被试首先将目光注视在图像上，然后将手指置于文本上开始点读。3位中国儿童在文本点读结束后，将手指移至图片，此时几位小朋友眼中充满困惑。中儿1和中儿3手指在图片和文本间切换2次，停在stick一词处，停留在木棍图上。中儿2手指在图片和文本间切换3次。6位被试查看图片时间超过文本阅读时间。3位中国儿童对研究者“为什么读完文本后才看图片？”的提问，回答一致：“想知道 stick是什么，不认识这个词”。他们在讲述该页面故事时，强调木棍一词，注意到Peter要拿木棍打树上的雪。这一现象说明，3位中国儿童将画面当做查询文本意义的“字典”，画面起到对文本解释说明的作用。这个结果与Kress和van Leeuwen必须由语言来表达某种确定意义的观点相悖(Kress，van Leeuwen 1996:19)。3位美国儿童手指在图片和文本间切换一次，文本点读结束后将手移至图片处。对“为什么读完文本才看图片？”的提问，他们的回答也基本一致“想看看木棍是什么样的”。在他们的描述中出现“黑色木棍”“白雪”等细节描写。

表3为中美儿童在阅读5-6岁绘本《下雪天》It was a stick页内容的点读过程记录：

表3　中美儿童组5-6岁绘本点读过程记录

6位成人阅读5-6岁儿童绘本时，手眼同时集中于文本处，中成2和美成1在图文之间切换1次，瞬间扫视画面便指向下一页文本。其余4位被试阅读完该页文本后，无视画面的存在直接转向下页文本。中成2和美成1对于问题“为什么读完文本才看图片？”的回答是“好奇”。另外4位成人被试回答“为什么不看画面？”的答案为“文本已经将意义表达清楚了”。在描述画面时，4人均利用文本内容“是一根木棍”。

表4为中美成人在阅读5-6岁绘本《下雪天》It was a stick页内容的点读过程记录：

表4　中美成人组5-6岁绘本点读过程记录

本实验研究表明语言水平能够直接影响人们对图文关系的解读。英语词汇量及阅读能力较低的中国儿童被试阅读绘本时更依赖于画面信息。一方面，他们阅读文本，识解的只是文本的字面意义，还没有能力理解言外之意。此时，他们将画面和文本视为相互独立的符号系统。另一方面，当阅读含有生词的文本时，他们仍须求助于图画。此时，文本和画面是互为补充的两个意义主体。美国儿童被试英语水平较高，可以将文本与图画相互联系，对他们而言，画面使文本意义更加丰富、细化和具体。对于语言水平较高的中美成人被试而言，文本成为获取信息的主要来源。除非要获取言外之意或受好奇心驱使，他们一般无视画面的存在，完全凭借文本来理解语篇。对他们而言，文本可以独立于画面存在，也可以将画面作为丰富文本意义的工具。因此我们可以得出结论，语言水平越低的认知主体，当阅读高于自己语言水平的绘本时，他们越倾向于将画面与文本视为独立的意义实体，他们依赖画面获取意义的倾向越突出。语言水平稍高的认知主体，当阅读与自己语言水平相当的绘本时，会将画面与文本结合，视二者为相互补充的意义实体。语言水平越高的认知主体越会把画面与文本视为独立的意义实体，他们一般无视画面，更倾向于依赖文本获取信息。

年龄对图文关系识解也存在显著的影响。中美儿童在阅读绘本时，都首先将目光集中在画面上，这一点能说明他们对画面更感兴趣，对其依赖性更强。对儿童而言，对意义的理解是以画面为主，文本为辅。而两组成人被试在阅读绘本时，手眼都是首先集中在文本上。对成人而言，信息的获取主要来自文本，文本为主、画面为辅。这一结果也能验证了Wignell(2011)的研究结果，年龄越小的读者对绘本的理解越依靠人际意义，而年龄越大的读者对绘本的理解越依靠概念意义与语篇意义。

4　结束语

综合中美成人与儿童被试阅读英语绘本情况，我们发现，成人在阅读英文绘本时，均以文本为主，而儿童均以图像为主。对儿童而言，当阅读高于自己语言水平的绘本时，他们视画面与文本为独立的意义实体，依赖画面获取意义的倾向较突出；当阅读与自己语言水平相当的绘本时，他们会将画面与文本结合，视二者为相互补充的意义实体。语言水平越高的认知主体，则视画面与文本为独立的意义实体，他们无视画面，依赖文本获取信息的倾向更为突出。同一绘本，因读者的年龄不同、语言水平存在差异，对绘本的图文关系识解会存在较大的差异。这也说明，图文关系是动态的、复杂的，影响图文关系识解的更多其他因素还有待未来更广泛的研究。

代树兰. 多模态话语中各模态之间关系的研究[J]. 外语学刊, 2017(6).

冯德正. 多模态语篇分析的基本问题探讨[J]. 北京第二外国语学院学报, 2017(3).

李战子. 多模态话语的社会符号学分析[J]. 外语研究, 2003(5).

刘成科. 多模态语篇中的图文关系[J]. 宁夏社会科学, 2014(1).

汪燕华. 多模态话语中的图文关系[J].外国语文, 2010(10).

Barthes, R.Image-Music-Text[M].London: Fontana, 1977.

Hassett, D.D., Curwood, J.S. Theories and Practices of Multimodal Education: The Instructional Dynamics of Picture Books and Primary Classrooms[J].TheReadingTeacher, 2009(4).

Johnson, J., Rosano, T. Relation of Cognitive Style to Metaphor Interpretation and Second Language Proficiency[J].AppliedPsycholinguistics, 1993(14)．

Kress, G.R., van Leeuween, T.ReadingImages:TheGrammarofVisualDesign[M]. London: Rouledge, 1996.

Martinec, R., Salway, A. A System for Image-text Relations in New(and Old) Media[J].VisualCommunication, 2005(4).

Royce, T.D. Intersemiotic Complementarity: A Framework for Multimodal Discourse Analysis[A]. In: Royce, T.D., Bowcher, W.L.(Eds.),NewDirectionsintheAnalysisofMultimodalDiscourse[C]. Hillsdale: Lawrence Erlbaum, 2006.

van Leeuwen, T.DiscourseandPractice:NewToolsforCriticalDiscourseAnalysis[M]. Oxford: Oxford University Press, 2008.

Wignell, P. Picture Books for Young Children of Different Ages：The Changing Relationships Between Images and Words[A]. In: O’Halloran, K.L., Smith, B.A.(Eds.),MultimodalStudies:ExploringIssuesandDomains[C]. London: Routledge, 2011.