多模态电子词典的互动意义构建

张春燕+陈思一叶

[摘要]随着电子网络技术的飞速发展，词典的编纂和设计顺应呈现出电子化和多模态化趋势。本文尝试在Kress & van Leeuwen的多模态语篇分析理论框架下分析手机电子词典《朗文当代高级英语词典（第5版）+》的互动意义构建。研究结果证明，较之传统的单一视觉模态的纸质版，多模态电子词典整合文字、图像、声音、颜色等符号，调动视觉、听觉和触觉的多模态感官，优化了参与者、学习者与编纂者/设计者之间的多方对话与互动，有助于英语词汇学习者发展多元识读能力。

[关键词]多模态电子词典；互动意义；人际功能；社会意义符号

[中图分类号〕H0[文献标识码〕A[文章编号〕1008-2689（2016）03-0015-06

引 言

随着电子网络技术及通讯设备的飞速发展，智能手机已成为当今普及程度最高的一种新媒体，由于其体积小，便于携带，加上网络技术支撑，随时随地可进行讯息交流，由此衍生出一系列的新媒体语篇。作为一种新的交际形式，这种新媒体语篇通过电脑、手机等终端，利用网络、移动等数字技术进行交流传播，语言学界也称之为电子语篇、网络语言等[1][2]，广为人知的以手机为媒介的新媒体语篇则有手机短信、手机报、微信朋友圈等。词典出版者显然也注意到这种趋势，根据麦克米伦教育词典部出版人Stephen Bullon，其出版社发起的调查显示如今大多数人通过电脑、平板、手机获得参考消息，“词典的未来是电子化的”（http：//www.bookdao.com/article/52770/）。词典的出版也顺应时代潮流，如四大英语词典《牛津高阶英语词典（第八版）》、《朗文当代高级英语词典（第五版）》、《柯林斯高阶英语词典（第六版）》、《麦克米伦高阶英语词典（第二版）》除传统纸质版之外（麦克米伦词典到2013年只提供线上版本），都新配有电脑光盘版，其中《朗文当代高级英语词典（第五版）》还另有手机版（包括IOS版和安卓版）及其与《朗文活用同义词词典》的整合版（Longman Dictionary of Contemporary English the 5th Edition Plus Activator Thesaurus，以下简称LDOCEP）。这种以智能手机为载体的词典方便快捷，可适用于任何场合，它不仅囊括有纸质词典的文本释义、图像说明及图文关系，还加入了音像这一重要模态，形成图文声多模态释义，不仅让学习者了解单词的定义与用法，还设有标准语音发声与例句朗读，更有基于语料库的模糊搜索和活用词库功能，让词汇查询更加高效、准确，从而使英语学习者在不止一种感官刺激上对单词产生深刻的印象，有助于英语词汇学习者由二元“识读能力”（literacy）发展，拓展为“听”、“说”、“读”、“写” 融入一体的的“多元识读能力”（multiliteracy）发展。

关于多模态词典的研究目前国内还很少见，我们在知网搜索“多模态词典/词典”获取相关内容的论文一共才5篇，都于近5年发表，可见词典的多模态研究尚在起步阶段；其中，1篇介绍双语词典的多模态化趋势[3]，3篇从词典的图文关系释义入手进行探讨[4][5][6]，1篇则分析多模态电子词典的空间布局及其功能[7]，尚未有多模态词典的互动意义构建研究，而关于手机电子词典的多模态研究尚为空白状态，本文尝试在多模态语篇分析框架下来探讨手机电子词典如何进行模态间的协作与互补来构建互动意义。

一、 多模态语篇分析和多模态

语法的互动意义

多模态语篇分析（multimodal discourse analysis）是近二十年来迅猛发展的一大语言学领域，由Kress & van Leeuwen基于Halliday语言是社会意义符号的思想、语言的三大元功能理论以及语域观发展起来的，从而多模态语篇分析可看作是系统功能视角下语篇分析的一大分支。Halliday认为，语言和其他符号系统一样都属于社会意义符号，都是意义的源泉，可以传递信息，具有系统性和多功能性[8]。从而，在社会文化情境中，人们运用不同的模态资源如视觉符号文字/图像/图表、听觉符号声音/音响、嗅觉、触觉等进行意义的构建，形成多模态语篇[9]。即，多模态语篇可以指同时使用两种或两种以上符号模态（semiotic mode）协作互补表达意义的语篇[10]（281），也可以指包括调动两个或两个以上的符号系统资源共同构建意义的语篇[11]（21）[12]。传统的语篇分析只注重对语言文字本身的分析，而忽略其他符号如图像、声音、颜色等的意义识解；而多模态语篇分析则注重多模态符号间的意义再现、互动与构成，可以全方位地解读语篇意义。

多模态语篇分析的主要代表人物Kress & van Leeuwen率先将Halliday的系统功能语言学观点拓展到视觉图像的分析中，构建了视觉语法系统。他们认为，图像中的视觉符号和语言一样具有多功能性，可以用来呈现主客观世界发生的事件，体现交际互动，与此同时，符号间彼此关联形成有机的意义整体，因此也适用于系统功能语言学对社会符号的分析。基于Halliday的三大元功能，Kress & van Leeuwen构建了再现意义、互动意义和构成意义组成的视觉语法体系，其中，再现意义对应Halliday经验呈现和逻辑关系的概念功能，互动意义表示图像设计者和图像中的参与者以及图像观看者之间的人际关系以及说话人对所说内容的态度，对应人际功能，构成意义则表示语篇意义的组篇功能[9]。互动意义包括四个方面：接触、社会距离、态度及情态。接触是指图像中参与者与图像观看者之间的目光接触关系，当有生命的参与者目光指向观看者，表述了参与者索取信息的交际功能[13]，反之，没有这种目光指向，或者参与者为无生命事物时，图像表述提供信息的交际功能[13]。社会距离是指图像参与者与观看者之间的亲疏关系，通过镜头取景时参与者在框架中的大小比例体现，分为亲近距离（图像为参与者的脸部或头部）、个人近距离（头部和肩部）、个人远距离（腰部以上）、社会近距离（整个人）、社会远距离（伴有周围空间的整个人）和公共距离（间有4-5人或以上的距离）。态度则表示对参与者的主客观态度，由镜头拍摄视角决定。“分为多样化的水平视角和垂直视角的主观图像，从水平视角看，正面角度给观看者带来的是感同身受、融入其中的感觉，而侧面角度则表示作为旁观者的漠然与事不关己；从垂直的视角看，俯视代表观看者的强势，平视表示观看者与参与者相对平等的关系，仰视则表示参与者处于强势地位”[13]（119-158）[12]（32）。情态则是指“我们对关注的世界所做出的陈述的真实度或可信度”[14]（32），Kress & van Leeuwen将图像情态细致分为色彩饱和度、色彩区分度、色彩调协度、语境化、再现、深度、照明和亮度等八种体现形式，以此探讨图像反映现实的量值高低[13]。值得注意的是，图像的情态“是否真实再现现实取决于文化和历史的真实标准，而不在于视觉图像和某种不依赖于图像的现实之间的简单一一对应”[15]（1-8）endprint