多模态英语语篇图文关系识解能力调查研究

王佳娣

（湖南第一师范学院 外国语学院，湖南 长沙 410205）

引言

随着媒介技术的不断发展，人类交际的多模态化现象越来越凸显，文字、图像、语音、动画等多模态话语呈现模式不断涌现。因此，语篇的意义生成不再单纯地依赖语言符号，而是多种符号系统融合后，共同构建出语篇的意义。“意义的构建需要多种符号的协同作用。”[1]在多模态语篇中，图和文是最常见的两种符号，他们的组合往往呈现出一加一大于二的效果。在英语阅读教学中，培养学生的多模态语篇阅读能力的关键就在于图文识解能力的培养。

一、研究综述

“多模态话语”的概念来自系统功能语言学的社会符号学。1994年，新伦敦小组提出了“多元识读”的概念，开创了多元读写能力培养研究的先河。1996年，Kress和van Leeuwen首次提出“多模态话语”的概念，创建视觉语法分析框架，为多模态话语分析的发展奠定了基础。二人认为语言和图像都可以用来实现人类蕴含文化元素的基本意义系统，二者具有自己特有的表达方式[2]。Van Leeuwen后来撰文表达在很多交际场合，图与文各有分工，文本负责提供事实，而图像负责对文本的解读[3]。Royce认为，在图文结合的语篇中，从概念意义上讲，图文关系与语言本身的关系相类似，但从交际意义上讲，语言表达的意义更加确定，而图像的意义需要借助文本来确定[4]。Martinec总结出4种图文关系：即相互独立、相互补充、以文为主、以图为主[5]。Wignell在对6个不同年龄组的绘本进行系统分析的基础上，提出图文关系随着目标读者年龄的变化而发生变化。随着目标读者年龄的增加，文本对图像的依赖性在变小，概念功能及语篇功能逐渐超越人际功能[6]。

在胡壮麟[7]、朱永生[8]、顾曰国[9]、张德禄[10]等中国学者的推介下，国内多模态话语研究开始发展起来，并应用于语言教学研究。朱永生意识到中国在多元读写研究和多元读写能力培养方面已落后于其他国家[11]。汪燕华指出，图像和文本的关系问题是“多模态话语分析中存在的瓶颈问题。”[12]耿敬北等统计了2007—2013年间国内外语类核心期刊发表的134篇多模态话语和多模态外语教学研究文章，提出多元读写能力的培养仍需结合中国文化区别对待，外语教学各个环节的研究可以与认知理论结合，多做本体研究，多种研究方法结合并用将成为多模态外语教学实证研究的趋势[13]。国防运用观察法比较分析了中美儿童与成人阅读英文绘本过程中对图文关系识解的异同，揭示语言水平及年龄对多模态语篇图文关系识解的影响，该文是国内少有的关于图文关系的文章[14]。雷茜、张德禄运用实证研究的方法，对英语模态写作中的学习者身份认同问题进行了研究[15]。韩颖则从多元读写理论的视角，通过定量和定性分析，研究媒介读写能力培养[16]。

综上所述，多模态理论应用于教学研究经历了20世纪末期的萌发、20世纪初期10年的发展后，在第二个10年呈现出繁荣的趋势。在研究渐趋成熟之时，研究内容呈现多样性、研究方法更趋科学性、研究目标越发关注实践性。在这种发展趋势下，本文关注多模态英语阅读活动中学习者的图文关系识解能力问题，通过定量与定性相结合的研究方法，分析英语学习者的图文识解过程、对图文关系的认知以及图文识解能力对阅读理解的影响，对英语学习者图文识解能力提出建议。

二、实验研究

（一）实验目的

实验拟验证多模态英语语篇阅读中，阅读者图文关系识解的动机、过程和效果，厘清影响阅读者图文关系识解能力的因素，为多模态英语语篇阅读教学提供依据和策略。实验拟提出以下问题：多模态英语语篇阅读中，图片对文本理解的影响是否显著？阅读者处理图文关系时有何特征？效果如何？

（二）实验对象

实验对象是湖南省某高校2018级英语专业学生，共90人。实验对象分为实验组和控制组，每组45人。从学生第二学期英语阅读课程期末考试成绩为参考，实验组和控制组的阅读能力和水平之间不存在显著差异。

（三）测量工具

实验的测量工具是语言测试与调查问卷。语言测试主要测试学生在多模态英语阅读中对信息观测点的理解情况，并记录阅读过程。再通过调查问卷的形式了解学生对图文关系的处理情况。实验组与控制组均参加了语言测试，语言测试采用英语阅读的形式，材料选自中国日报网站的文章《18个事实告诉你：历史真的不是你想的那样》，从中选取10组图片及文本作为语言测试的内容。实验组在语言测试后还接受了测试者编制的问卷调查。

（四）实验过程

控制组与实验组同时进行阅读测试。实验组的阅读材料是彩色打印图文版，包含10个长句，每个句子中设置一个信息观测点，每个长句后配了一幅与文本内容相关的图片。要求学生在30分钟内完成阅读，并用中文写出句子大意。此处并不要求学生严格按照翻译的标准来写，而是着重将文本中的重要信息点呈现出来。控制组获取的阅读材料是黑白打印纯文本版，其余要求与实验组相同。

实验组在阅读测试后，完成问卷调查，用时大约10分钟。

（五）结果及讨论

实验结束后，研究者依据语言测试和问卷调查结果、现场记录及记忆，对整个实验过程的数据进行整理、统计与分析。

1.图文关系识解过程分析

图文关系识解过程呈现的是被试者在阅读过程中对图片和文字信息的处理方式，以此可以观测出被试者的阅读习惯和阅读心理。

从表1可以看出，绝大多数被试者选择文本作为阅读起点，是选择图片人数的两倍。选择文本作为起点也就直接影响了图文切换点的调查结果，绝大多数选择在文本阅读中和阅读后切换图片。调查显示被试者的图文切换频次较低，以1-2次为主。同时，被试者在文本上停留的时间也比图片要长。

表1 实验组图文关系识解过程调查结果

该调查结果显示出被试者的阅读习惯仍以文字为主，对图片信息的关注度不够，对图文关系的理解有待提高。从阅读起点和图文停留时间的调查结果可以明显看出被试者的阅读习惯仍较为传统，可能受到测试环境——课堂的影响，同时，传统的教材形式也是以文本为主，这些因素都影响了被试者的阅读习惯养成。近一半的被试者是在文本阅读后才切换到图片，且切换频次较低，这也说明被试者常常忽视图片提供的信息，未意识到图片与文本实为一体，二者相结合可以提高阅读速度和理解能力。

2.对图文关系的认识分析

对图文关系的认识分析可以了解被试者对图片和文本提供的信息的基本认识，是被试者的主观判断，可与图文识解过程的调查结果进行比对，发现问题。

表2显示有三分之二的被试者认为文本与图像的关系是文本为主、图像为辅，其余的三分之一则认为图文同等重要、互为补充。在考察图片对文的理解的重要性时，绝大部分被试者选择了较为持中的重要和一般重要，选择很重要的仅有7人。调查结果显示图片切换的原因涉及到多个方面，所有被试均选了主动寻求与文本相关的信息，大部分选择了在文本理解遇到困难时寻求图片信息的帮助，这也从侧面印证了表1中图文切换的频次。

表2 实验组图文关系认识调查结果

将表2与表1的结果进行对比，我们可以发现一种矛盾的现象。即绝大多数被试者认为图片与文本的关系非常或者比较密切，图片信息对于理解文本有帮助或重要帮助，但从实际的过程来看，他们对文本的关注度却远远地高于对图片的关注度。这说明在英语阅读活动中，学习者的阅读意识与阅读行为之间存在着偏差。主观上，他们乐意接受多模态的阅读方式，并且承认多模态阅读的优势，但行为上依然不自觉地偏向传统的文本阅读。这其中的原因是多方面的也是复杂的，但如何引导学生从自觉意识走向自觉行为，对于学习者的图文关系识解能力培养来说有着重要的思考价值，留给阅读教学很大的探索空间。

3.图文关系识解能力分析

实验组与控制组的语言测试结果可以看出两组被试的阅读理解情况，从中可以分析出图片对文本理解的影响是否显著。对实验组测试结果的单独分析还可以看出被试者的图文识解能力。

根据对比分析实验组与控制组语言测试结果，采用两独立样本T检验比较差异，可以发现在最低值上两组没有差别，最高值相差3分，在平均值上实验组明显高于控制组。P＜0.001，实验组和控制组在总分上存在显著的差异。由此可见实验组与控制组在语言测试环节的差异较明显，即图片信息对文本信息的理解产生较显著的影响。

表3 实验组与控制组语言测试结果对比

从表4可以看出两组在各小题的回答上的差异。差异性较显著的有第1、2、6、10观测点，在这几个观测点上，实验组的正确率要明显高于控制组的正确率，其他观测点的差异性表现不明显。观测点1原文的5英尺6英寸对于被试来说是陌生信息，但图片（图1）上提供了英尺与米的对照信息，相当于1.67米，从图片上看约等于1.7米。实验组的部分被试注意到了图片信息，并利用了图片信息，将陌生信息转化为可知信息，达到深度理解的目的。而控制组的被试在这一点上全军覆没，仍然停留在5英尺6英寸的陌生信息层次，理解没有深入下去。另一比较典型的例子是观测点6，大部分控制组的被试将其理解为范围，而实验组在图片（图2）信息的帮助下，可以更清楚地看到两幅画作的尺寸的差异，因此理解正确的人数明显高出控制组。

从语言测试的结果，可以看出以下两点。第一，图片信息与文本信息之间关系非常密切，图片信息的解读直接影响文本信息的理解。从实验组和控制组对观测点的理解程度就可以看出较明显的差异，总体上，实验组的理解力要高于控制组。第二，学生的多模态图文识解能力仍有待提高。在一些观测点上，实验组与控制组的理解水平相当，实验组并没有体现图片辅助的作用。就实验组本身的测试结果来看，并非所有的观测点都达到了较好的理解效果。

表4 重要观测点测试结果统计

图1 观测点1配图

图2 观测点6配图

结语

课题组对两组学生进行了语言测试和问卷调查，结果表明学生具有一定的图文识解意识，但在具体的阅读活动中，仍以传统的文本阅读为主，忽视了多模态篇章的特点，没有在阅读活动中将图片信息与文本信息进行整合，图文识解能力有待提高。该调查结果為英语阅读教学带来了以下几个方面的启发：第一，英语阅读教学中要有意识地培养学生多模态阅读的能力。随着信息技术的发展，阅读的渠道和方式都在发生着变化，传统的阅读方式已逐渐被多元化的阅读方式所取代，因此培养学生的多模态阅读能力应该成为英语阅读课程的重点之一。第二，英语阅读内容要实现多模态化。现有的教材均以文本为主，缺少多模态的信息呈现方式，是限制学生阅读习惯的重要因素。在改良教材的同时，要引导学生主动寻求多模态的阅读内容，如网络新闻等应用文体。第三，英语阅读要培养学生全面关注信息的习惯。语言的信息并非都是以文本的形式呈现，插图、美工、页眉、页脚都可能为阅读理解提供有效信息，值得阅读者注意。本研究对大学生多模态英语语篇图文关系识解能力的现状进行了调查分析，旨在为阅读者图文识解能力的培养和提高提供参考。