多模态语境的外语教学——以日本文学史及作品导读为例

韦 渊

所谓模态，主要分为单模态和多模态，是人类通过感官跟外部环境之间进行交流信息的互动方式[1]，包括视觉模态、听觉模态、味觉模态、嗅觉模态等等。

Halliday认为，人类交流信息的方式是多种多样的，语言只是其中的一种。在口语交际中，交际者除使用语言外，还通过声调、语速及各种身体语言来传达话语意义；书面语篇中除语言外，还配有图像、图表等来表达意义；多模态语篇中，声音、画面、主人公的身体叙事、对白、画外音等都是与观众之间进行沟通的手段。多模态化意义构建就是指在一个交流成品或交流活动中不同符号模态的混合体，同时也可以表示不同的符号资源被调动起来，在一个特定的文本中共同构建意义的各种方式。[2]

海德格尔指出：“世界被构想和把握为图像了……根本上世界变成图像，这样一回事情标志着现代之本质。”[3]可以说，当今的时代已经进入了一个视觉文化的时代。孟建指出：“视觉文化是指文化脱离了以语言为中心的理性主义形态，日益转向以形象为中心，特别是以影像为中心的感性主义形态。”[4]

在视觉文化统治全球，“世界被把握为图像”的现在，传统的板书+讲解的教学方式已经不能满足学生们被“图像”喂养起来的胃口。在视觉文化去魅了以语言为主的印刷文化的现在，利用影像、图片等多样化教学媒体创建多模态语境的课堂教学才是符合时代要求，与时俱进。唯此，才能实现以学生为主体的课堂教学，从而完善课堂教学的意义建构。

所谓意义建构，是一种解释沟通、信息与意义之间关系的概念性工具，该理论认为信息研究应由来源强调转向使用者强调的方向，这种转向，视觉信息的寻求与使用为一种沟通实践模式，其核心内容是信息不连续性、人的主体性以及情境对信息渠道和信息内容选择的影响。[5]

学习是获取知识的过程。建构主义认为，知识不是通过教师传授得到，而是学习者在一定的情境即社会文化背景下，借助其他人的帮助，利用必要的学习资料，通过意义建构的方式而获得。[6]也就是说，学习的过程是学习者根据自己的经验背景，对外部信息进行主动的选择、加工和处理，从而获得自己的意义，获得基于自身的而非他人灌输的对事物的理解。从这个意义上来说，教学媒体、教师、学习伙伴等只是沟通教学内容与学习者之间的桥梁，而这座桥最终还是需要学习者来主动构建。因此，调动学习者的积极性，激发其各种感官共同参与信息的处理和理解非常关键，而在这方面，相比较传统的纯语言的单模态教学方式，多模态教学方式使全面调动学生的感官系统成为可能，将更加直观有效的传递信息，更能促进学生的体验和理解。

笔者于去年负责日本文学史与作品选读这门课程的教学，深感多模态教学方式的必要。对此，笔者根据自己的教学经验进行了简单的总结：

1.由于没有古典日语基础，学生普遍无法理解日本的古代小说以及包括和歌和俳句在内的诗歌。以和歌和俳句为例，即使是现代和歌和现代俳句，由于其本身的体裁特征，特别是字数、押韵方面的要求，仍然会使用大量的古典日语文法。同时，若完全用现代文来解释将会必然使其失去作为诗歌的独特魅力。

2.由于在言文一致运动完成之前，现代意义上的标准日本语都是尚未固定，所以学生学习的很多日语文法和词汇在日语发展历史上只是后起之秀。这直接导致学生无法阅读明治时期的文学作品。以现代口语中使用频率相当高的助动词「です」为例，它在江户时期原来属于艺人用语，与表示轻佻语气的「ですげ」相等。所以在明治以前，只有艺人、妓女等“下等人”才使用它，庶民中有点身份的人无论男女都忌讳使用它。之所以后来变成人人皆用的助动词，是因为明治初期，来自各地的乡下武士，因在东京新桥一带常在女艺人交谈中听到，便误以为是东京语而模仿的结果。[8]

3.由于中国的日语教育主要是标准日本语的教授，绝大部分学生难以阅读使用日本方言的一些文学作品，但是完全用标准日本语来进行讲解无疑会损害原著的风韵和特色。

例如描写关西风情的长篇巨著《细雪》，小说中大量的人物对白几乎都是用原汁原味的关西方言，与标准日本语的在表达方式上差距颇大，对学生们来说，仅有文字，而没有说话人物的声音、语气、表情，是难以理解其意思的。

4.由于文化背景的差异和语言本身的局限性，很多经验和知识难以通过语言来沟通。例如有关日本服装、纹样、家具、饮食、发型、仪式等传统文化，纯语言的讲解难以使学生产生准确的画面感，尤其在字不如图的视觉文化时代，被去魅了的纯文字更加难以激发学生主动学习的积极性。

5.由于日语学习的时间尚短，有些学生阅读现代文的日文小说也会比较吃力，即使借助字典能够通读，也会出现事倍功半的情况，例如花费大量的时间、精力，仍然无法准确理解原文的情况，甚至很多人会中途放弃。

总之，由于语言方面的诸多障碍，纯语言的单模态教学方式在日本文学史及作品选读的课堂教学中所能发挥的作用比较有限。而使用多模态的教学方式可以有效地改善课堂教学的面貌。曾方本指出，技术多模态语境中多形态合成表意系统的不同形态出现功能性消长。在纯语言、非技术参与的语境中，为了表达的准确和避免歧义，通常要不厌其详的调用形态资源——文字（口语或书面语），而语言的功能在技术多模态语境中被一定程度的消解了。[9]

例如：

“XXX，你看，那不是厂长来了吗？”

“对，咱们去找他。”

“好！ ”

“走！ ”

周传基教授认为，在技术多模态语境中的影视画面里，这段对话的意思其实只用三个字就够了：“瞧，厂长！”[10]语言功能被削弱的同时，其他表意形态，如图像，甚至语言的超切分特征的功能被提升了。这从一方面来说弥补了语言功能的缺省；另一方面，语言表意形态与非语言表意形态（图像与声响）的并用，二者在功能方面得到强化或互补，形成一种合成表意的多模态语境。这种多模态语境中的多形态合成表意系统是立体的、多维度的。尽管多模态语境里文字表意形态（字幕或语音文字）依然占重要位置，但其所蕴含的各表意形态是开放的，它们相互依赖、相互补充、相互影响。也就是说，在多模态语境里，其他表意形态消解了文字表意形态的作用，它们对表意系统来说甚至并非必须。所以，多模态语境将使由语言的障碍所引发的上述问题得到一些解决。

以上述问题1为例，如果以短片的形式，唯美的画面搭配合适的音乐，画外音配上深情的诗朗诵，即使语法上的障碍依然存在，原诗所体现的浪漫心情无疑仍然能够被学生体会，学生得到深刻的审美体验的同时，对原诗的印象也会加深。

以上述问题为例，原著中存在的许多让学生难以理解的语言，方言也好、古典语法也好、生僻单词也好，也许在单模态语境中会制造不少阻碍意义理解的障碍，甚至会使学生知难而退，放弃学习的努力。但在多模态语境中，例如由原著改编而成的电影中，文字表意形态将缩减为字幕或语音文字，而且语音文字将主要集中于出场人物的对白。原著中大量的描写都将转化为让学生通过视听感官更加容易理解的画面、图像、人物的眼神、表情、肢体语言，而适当的背景音乐，将使对意义的理解更加深入人心。总之，多模态语境将跨越语言方面的障碍使学生对原著的内容有直观的体验，而且符合时代潮流，因为视觉文化的当下，“以语言为中心的理性主义形态，正日益转向以形象为中心，特别是以影像为中心的感性主义形态。”

以《细雪》为例，原著洋洋洒洒几十万字，对尚需依靠字典的学生来说通读全文可能会花费很长时间，然而市川昆导演的电影《细雪》时长则为一个多小时，原著中难以理解的关西方言经过主人公声情并茂的演绎，再加上字幕和电影画面、音乐等的提示也变得易于理解了。而且关西腔柔美、典雅的特点也能够通过电影为学生所感受，这是看再多的文字也达不到的效果。以四姐妹赏樱花的片段为例，原著花费了大量笔墨来描写樱花和人物之美，然而对没有见过京都樱花的人来说，各类樱花的样子终究只是镜花水月，难以具体感受。而电影，只费时2分钟就把远在日本京都的樱花直接展现在观众面前，满园樱花如云如霞，其花色、姿态都一览无余，仿佛触手可及。对学生来说，这不仅是一场视觉盛宴，而且对樱花得以成为京都之骄傲的原因也更有体会。此外，原著中大量的服装、饮食、家具、摆设等，对没有感性经验的中国学生来说，难以仅仅通过语言了解其面貌，而且大量的生词会加大阅读的难度。但是电影以实景实物的方式直接展现在学生面前，使学生通过感受日本传统风物之美了解日本文化。

当然，由于时间的限制，电影精简了原著的内容，一些细致的描写，包括心理描写、景物描写、外貌描写、服装描写等等虽然更加直观，却不如原著细致入微。另外，在电影中，导演往往会按照自己的表达意图提炼原著的内容，使表现的主题更加明显直接，内容更加精炼，与主线有脱离的情节也能删则删。这虽然使影片内容更加精炼直观，却多少与原著有所不同。以《古都》为例，虽然被多次搬上荧屏，然而都以描写人物为主，要么是以两姐妹的重逢为主线，要么是以主人公的蜕变与成长为主线，忽略了原著中花费大量笔墨的对京都四季风物、名胜古迹和各种祭祀活动的描写，原著如画卷般不疾不徐展现的京都风貌在电影中表现得很淡薄。这固然是因为电影的篇幅所限、导演的匠心独运，也更因为电影主要是由演员的身体叙事作为支撑的艺术，电影的特长是表现人物。正如莫言在记者访谈中所说，电影更多的是导演和演员的艺术。在原著影像化的过程中，改变是必然的。所以，通过看电影固然能够在短时间之内了解作品，与原著却终究有所差距，只能作为了解原著的一扇窗户。仍以《细雪》为例，小说的主线虽然是四姐妹的生活，但小说中有大量的对关西风物和情趣的描写与之相映成趣，可以说，在古崎润一郎笔下，人物不过是关西之美的载体之一。而电影中，除了序幕处展现了樱花之美之外，夏天赏萤火虫、秋天赏红叶等情节都未曾展现。

在日本文学史与作品导读的教学过程中，笔者除了电影之外，还经常利用教学短片、视频等等。它们的优点都是声像并茂，既有图像又有文字字幕，还有应景的音乐和地道的日语朗读，能够在短时间内调动学生的视觉、听觉等多种感官来接受多模态语境中的信息并进行加工，达到为我所理解、为我所用的目的。我认为这种多模态语境下的外语教学是一种适应了视觉文化下学生学习特点的教学方式，也符合意义构建理论对学习过程的定义。

[1]孙素音，多媒体英语课堂中意义的多模态构建和传递[J].安徽工业大学学报（社会科学版），2011（7）：84.

[2]Halliday，M.A.K，Language As Social Semiotic[M].London：Arnold，1978.

[3]周宪.《文化的转向：当代传媒与视觉文化看的方式与视觉意识形态》，福建论坛（人文社科版）[J].2001（3）.

[4][12]孟建，杨乘虎.视觉文化传播：一种传播形态和文化生产的理论构建——访复旦大学新闻学院副院长孟建教授[J].现代传播（中国传媒大学学报），2006（5）.

[5]乔欢，周舟.意义建构理论要义评析[J].图书馆杂志，2007（5）：8.

[6]何克抗，建构主义——革新传统教学的理论基础（上）[J].电化教育研究，1997（3）：4.

[7]肖霞.日本文学史[M].山东大学出版社，2008：248.

[8]刘宗和.日语与日本文化[M].湖南教育出版社，1999：86.

[9][11]曾方本，技术多模态语境中表意系统的消解与重构[J].外语学刊，2008（1）：61.

[10]周传基.电影、电视、广播中的声音[M].北京：中国电影出版社，1991：147.