多模态环境下大学生多元识读能力培养策略研究

张亚敏

（河北金融学院 公共外语教学部，河北 保定071000）

随着信息技术的进步和多媒体的发展，人类的交际从现实世界拓展到网络虚拟世界，交际手段也由单一的语言模态转化为融合了图像、声音、手势、颜色等元素的多模态系统。Halliday 把模态视为一种产生意义的资源，并把语言作为社会符号学的研究对象。[1]O’Tool 把以文字为中心的传统表意方式拓展到其他符号系统，认为非语言的符号模式，如绘画、建筑和雕塑等，也具有相应的意义潜势。[2]Kress & van Leeuwen 指出多模态是在特定的社会文化语境中综合运用几种模态产出符号产品或事件。[3]借助于这一概念，语言学家开始用各种呈现和交际模态阐释语言及其社会意义，多模态话语分析也应运而生。与此同时，交际需求的多元化也使得语言学家开始聚焦于对各种呈现模态的识读。1994 年，新伦敦学派（New London Group）首次提出了多元识读的概念，认为应把培养学生的多元识读能力纳入语言教学的范畴，提高学生解释文化和语言多样性的能力，以应对交际方式多元化的挑战。因此，培养学生的多元识读能力、探索更为科学的语言教学模式也成为大学英语教学的必然要求。

一、多模态研究概况

多模态将语言和意义的社会阐释扩展到所有的呈现和交际模态，如图像、文字、手势、凝视和言语等，以及它们之间的关系。[4]自20 世纪80 年代，Halliday 的话语分析理论将意义的产生，而非语言本身作为研究重点后，多模态研究取得了很大进展。系统功能语言学把语言视为一种社会符号，并认为在人类发展的不同阶段、不同文化中存在语言形式之外的其他表意模态。总体来说，多模态研究受系统功能语言学的影响，并遵循社会符号学和语言功能理论的基本原则。

Halliday 的三大元功能为多模态话语分析提供了基础分析框架，Kress & van Leeuwen 进一步建立了视觉图像的语法分析框架。在多模态话语分析中，概念意义（ideational meaning）或再现意义（representational meaning）指的是多模态场景中所描述的参与者与环境之间的内在关系，包括及物过程（transactive process）、不及物过程（non-transactive process）以及由视线（eyeline）、凝视（gaze）等形成的矢量标识。人际意义（interpersonal meaning）或互动意义（interactive meaning）指的是参与者与外部世界之间的社会联系。在图画中可以表达人际意义的资源通常包括距离（distance）、接触（contact）、视点（perspective）和情态（modality）。语篇意义（textual meaning）或构图意义（compositional meaning）指多模态语篇的整体布局，通常包含两种结构：水平结构和垂直结构。水平结构显示了视觉信息中已知信息（given information）和新信息（new information）之间的关系；垂直结构则显示了理想信息（ideal information）和现实信息（real information）之间的关系。[5]

Jewitt 总结了支撑多模态研究的四个理论假设。第一，语言是多模态系统的一部分。尽管语言在交际中占有优先地位，多模态理论认为呈现和交际总是利用各种模态来实现，它们具有平等构建意义的潜势。第二，多模态系统中的任一模态都可以完成不同的交际任务。多模态理论认为任何模态，包括语言，都是在被文化、历史和社会的塑造过程中实现社会功能的。第三，人们通过对不同模态的选择和配置来协调意义。各个模态间的互动在构建意义的过程中起了关键作用，这种互动受特定社会语境和社会规则的影响，同时也是意义构建过程的一部分。第四，同语言一样，多模态符号资源中各个符号所承载的意义也是社会性的，它们遵循意义构建的社会规则，在特定的社会语境中受符号生产者的交际动机和兴趣的影响。[4]

这些成果为多模态话语分析中各符号间关系的研究指明了方向。一方面，语言学家已经意识到不同模态在意义构建中的作用，在分析各模态意义潜势的过程中，应给予各个符号相应的关注；另一方面，各模态间的连贯和衔接是定义多模态语篇的关键。因此，多模态研究也应包括如何在意义构建过程中建立模态内和模态间共同遵循的符号准则。

二、多元识读能力研究概况

识读能力是信息再现和沟通能力的体现。作为一种无形资产，识读能力是一个人“是否受过教育”的重要标志，也是社会权利和地位的象征。随着多元文化的相互渗透和信息技术的发展，所有知识都可以转化为语言文字的传统认知已经无法满足现代社会的要求。Graff 提出，识读能力不应只关注对文字的识读，还应包括科技识读、计算能力、空间识读、文化识读、历史识读以及道德识读等。[6]Raymond 提倡将识读能力作为一种思维方式进行培养。学生不再被动地接收信息，而是主动地对信息进行加工。在这一前提下，传递信息的方式比传递的内容更加重要，不同模态在信息传递过程中发挥着自己应有的作用[7]。1994 年，新伦敦学派指出交流渠道的多样性和当今社会语言文化差异的激增对学生的识读能力提出了更高的要求，“多元识读”这一概念应运而生。新伦敦学派进一步指出，在交际行为中，仅有语言意义是不够的，多元识读能力要立足于对交际进行社会和文化的重构[8]。因此，培养学生的多元识读能力，提高学生对多元文化的理解和适应能力也成为未来语言教学的方向之一。

很多学者对多元识读能力这一概念进行了更为宽泛的界定。Thwaites 认为多元识读应包括科技识读、媒体识读、文化识读、政治识读、批评识读和后现代识读等主要的识读能力。[9]Williamson 认为能够识读不同媒体和不同模态传递的信息是具备多元识读能力的重要标志。[10]胡壮麟将多元识读能力划分为文化识读能力和技术识读能力，并认为多元识读能力可以帮助学生应对当今社会语言和文化的多样性及变异性。[11]朱永生认为，除了传统的语言读写能力，多元识读能力还涉及对多模态及媒体转换的接受能力。[12]从语言教学的角度出发，张德禄将Thwaites 的多元识读能力进行了重新归类，认为除语言读写能力外，科技和媒体识读能力可概括为技术读写能力，而文化、政治、批评和后现代识读能力应归结为社会交际能力。[13]

综上所述，学者们普遍认同传统的识读模式已经无法满足当今社会用多种符号系统进行表意的要求，要探索更科学的语言教学模式增强学生的多元识读能力。从多模态研究出发，多元识读能力主要包括语言识读能力、文化识读能力和技术识读能力。除了传统的听说读写译能力外，语言识读能力还包括了解语言和其他模态的意义潜势特点，并用其他模态配合语言进行表意的能力。文化识读能力指的是学生具备一定的政治素养和批判性思维能力，具有理解并适应多元文化的能力。技术识读能力指的是在识读语篇信息的基础上，运用多媒体等技术手段进行信息交际的能力。

三、多模态视角下的多元识读范例分析

新闻漫画将新闻和艺术相结合，生动直观地传播信息，影响公众对某一事件的态度，从而达到教育和宣传的目的。本文选取了中国新闻漫画网上的一则新闻漫画（如图1 所示），依托视觉语法理论和系统功能语言学知识，探讨多模态语篇中语言和图像是如何协作共建语篇意义，并实现社会功能的，以此归纳出多模态环境下大学生多元识读能力培养的策略。

这幅新闻漫画标题为“剪刀差”，再现了抗击疫情的现状。漫画是由图像和文字两部分构成的。图像由两个意像构成：一是由两个箭头构成的“剪刀”，另一个是新型冠状病毒。Kress & van Leeuwen 指出，图像的再现意义可以分为叙事再现和概念再现。在叙事再现中，参与者由矢量连接起来，且被再现为相互做某事。叙事再现进一步被分为行动过程、反应过程、言语过程和心理过程。概念再现没有矢量参与，是相对静态的过程。概念再现对应系统功能语言学中的关系过程和存在过程。在这幅漫画中，两个箭头形成了显性的矢量标识，构成了一个明显的行动过程。作为动作的发出者，它们占据了整幅漫画最显著的位置，且与漫画背景形成鲜明的对比，向读者传递了两个清晰的信号：一个是股市等经济指标恢复迅速，另一个是湖北省外感染率明显下降。此外，剪刀的功能又为漫画增加了向下与向上两个隐形的矢量，对目标图像“病毒”形成了扼杀之势，形象直观地告诉读者抗击疫情形势良好。

视觉语法中的互动意义描述了图像绘制者、图像所表征的参与者和读者之间的互动关系，在这里主要是体现读者对作者在漫画中所再现的图像持有的态度。互动意义主要受四个因素（视点、接触、距离和情态）的影响。这幅漫画采用了水平的构图角度，表明图像和读者是平等的关系，邀请读者积极参与漫画的解读。漫画赋予了病毒类似人的参与者身份，且回避与读者的目光直视，代表病毒处于被动的地位，显然是为读者提供了“病毒只是在垂死挣扎”的信息。读者和漫画中的图像之间是自然的社会距离，表现了漫画和客观事实相符合。此外，表示经济恢复的箭头选用了红色，感染率的箭头选择了绿色，二者都是高饱和度，因此整幅漫画具有高情态。红色是中国文化的基本色，代表热情，寓意喜庆、吉祥、热情、朝气，体现了人们对精神生活和物质生活的美好追求，与之相应的绿色说明了感染率的一路下跌，也体现了我们完全有信心、有能力战胜疫情，保持经济长期稳定发展的良好态势。

图1 剪刀差①图片选自中国新闻漫画网，网址为：http://cartoon.chinadaily.com.cn/cartoonview.sheml?id=270770&fid=238&page=1.

构图意义阐释了图像参与者之间如何相互协作，共同构建整体意义。构图意义通过信息值、显著度和取景三种资源揭示语篇的整体布局。在这幅漫画里，图像占据了漫画的中心位置，左边的因素是“已知信息”，右边的因素是“新信息”。在漫画左侧，代表感染率的箭头位置高于代表经济恢复率的箭头，陈述了疫情期间我国经济受到影响的事实。而在漫画右侧，则体现了抗疫的新信息，即在多方合力下，病毒得到了遏制，我国经济社会逐渐恢复活力，图像布局合理流畅，读者阅读时没有突兀之感。此外，在进行构图分析时，应把多模态语篇作为一个整体，即对图像和文字的分析不能厚此薄彼。这幅漫画的创作者把文字嵌于图像符号内，保留了漫画的艺术之感，图像颜色和文字颜色对比鲜明，显著度表现也比较突出。从模态关系来看，如果没有文字，读者无法理解两个箭头所指为何；如果没有图像，文字表意也不完整，因此，图像与文字属于互补关系，二者相互协调、缺一不可。

通过对这幅漫画的多元识读可以发现，不仅文字具有意义，图像、颜色等符号同样具有多功能性，在多模态语篇中相辅相成，共同参与语篇意义的构建。因此，在大学英语教学中，积极探索多模态教学过程，对培养学生的多元识读能力具有积极的意义。

四、多模态环境下大学生多元识读能力培养策略

（一）创新情境教学，培养学生多模态解读能力

多模态环境下多元识读能力的培养应建立在区分并整合各个意义资源的基础上。考虑到构建意义的模态和思维方式的多样化，新伦敦学派提出学校课程的设置应该有利于帮助学生应对全球文化多元化及个体经历复杂化所带来的挑战。因此，教师要明白，仅仅通过文字进行教学是远远不够的。在大学英语教学中，教师应尽可能多地为学生提供符号资源（包括图像、手势、声音、颜色、表情等），让学生判断各个符号的意义潜势并分析各符号之间是如何通过互动产生整体意义的。教师还应转变以知识传授为主的教学理念，由课程的主导者转变为课程的参与者、引导者，创设出相应的教学情境，激活学生的背景知识，通过必要的指导帮助学生充分融入到情境中，体验多模态意义的构建过程。

多元识读能力的培养应以实践为主，在实际教学中，教师对多种模态的选择就是多模态教学设计的过程。教师应遵循“已有设计—设计—再设计”的课程设计步骤，在充分了解现有模态资源和学生所掌握的常用模态组合后，结合教学目标与教学内容，创造性地重组合适的模态，设计新的目标。在这一设计过程中，每个模态都会随情境的变化被赋予合理的信息值，且随着设计过程的良性循环，已有的教学资源也会不断得到拓展。在对各个表意符号形成自我判断的过程中，学生的批判性思维能力也得到了发展。在多模态环境下，学生需要批判性地思考各个因素在构建概念意义、人际意义和语篇意义中的作用，对自己的判断进行反思，并将反思的结果运用于实践。因此，通过对课堂设计的创新，可以有效地帮助学生建立多模态识读系统，进而强化学生的多元识读意识，提升他们的多元识读能力。

（二）设置多元任务，培养学生多模态构建能力

多模态解读能力是多模态构建能力的基础。面对科学和技术的日新月异，学生需要具备的不仅仅是识读多模态资源的能力，还包括构建多模态组合以帮助自己完成信息传递和人际交往的能力。学生在了解了不同模态在不同语篇中的意义潜势和协作模式后，教师可以设置多样化的任务，帮助学生选择适合的模态或通过对各个模态的整合利用来实现意义，达到提高学习效率的目的。例如，在视听说课程的教学中，教师可以鼓励学生将听力文本进行角色扮演。在这一任务中，通过为不同的角色设计合适的嗓音、语言特色及寻找适当的背景音乐并制造符合情节发展的音效等环节，学生也可以更深入地了解不同符号在表达不同人物及其行为特点中的作用。教师还可以采用任务教学法，帮助学生最大限度地利用网络资源及多媒体等表达方式，将各符号资源构建成能表达意义的材料。例如，在阅读教学中，可以要求学生以思维导图的形式重述语篇内容；在口语表达训练中，要求学生对图片或视频内容进行口头描述或发表见解；在写作课程中，要求学生设计电子杂志或以图文声形组合方式展示自己的思想。这些多样化的任务可以有效地促进学生多模态构建能力的发展，提升学生的多元识读能力。

文化识读能力和技术识读能力也是多元识读能力的重要组成部分，因此，大学生要注重提高自身的政治文化素养，学会用批判性思维看待多元文化的发展。在发展多元识读能力的过程中，学生也应努力增强自身的跨学科学习能力，变被动接收为主动学习。在教师的指导下主动设计学习过程，充分整合不同学科的相关知识，创造性地运用最优的多模态组合表达意义，更好地实现跨文化交际，让自己的创新思维与多元识读能力相辅相成，共同发展。

多元识读能力不仅包括语言读写能力，还包括识读多种模态，并用多种模态进行交际的能力。在教学模式日渐多模态化的背景下，培养学生的多元识读能力已经成为大学英语教学的研究课题之一。在充分考虑学生认知特点的基础上，教师应转变身份，创造性地运用多模态符号系统转变教育模式，鼓励学生积极参与教学活动，培养学生对多种表意符号的解读能力及批判性思维能力，发展学生的多元识读能力，从而进一步提升学生的学习效果及跨文化交际能力。