多模态话语分析视角下MV语篇的图像意义构建——以MV《唐诗》为例

田文杰，吴琦

（空军工程大学理学院，陕西西安，710051）

多模态话语分析视角下MV语篇的图像意义构建——以MV《唐诗》为例

田文杰，吴琦

（空军工程大学理学院，陕西西安，710051）

近年来，功能语言学与语篇分析的多模态转向使多模态话语分析成为话语分析研究的新手段、新热点。MV是含有多元符号且需要多种感官互动的多模态语篇，是用多模态语篇构建意义的典型范例之一。从视觉模态出发，运用Halliday的系统功能语法以及VanLeeuwen的视觉语法综合分析画面要素在意义构建中的作用，探讨多模态话语分析手段在MV语篇意义构建中的作用与可行性。

多模态话语分析；MV语篇；系统功能语法；视觉语法；意义

话语分析由来已久，但是之前的研究过多关注语言本身，忽视了语言之外其他要素的作用与意义。在此基础上，多模态话语分析应运而生，“多模态话语主要是强调运用听觉、视觉、触觉等多种感官，通过语言、画面图像、声音以及动作等多种手段和符号进行交际的现象。”（胡壮麟，2007）MV语篇涉及视觉、听觉等一系列模态，本文将从多模态话语分析的视角对MV《唐诗》中的图像意义进行分析，以便更好地理解语篇传达的意义以及探索多模态话语分析的可行性。

一、多模态话语分析简介

自Harris于20世纪50年代提出话语分析（discourse analysis）研究以来，学者们在此方面做了很多研究，提出了许多话语分析的理论与方法，比如流行的有批评性话语分析（critical discourse analysis）和积极话语分析（positive discourse analysis），研究了话语的内在规律性以及与意识形态间的关系。随着研究的深入，针对之前研究中仅仅关注语言层面的局限性，基于Halliday的系统功能语言学，多模态话语分析在20世纪90年代应运而生，突破了话语研究在社会文化和心理认知之间关系的局限性，同时关注了语言、音乐、图像等诸多符号系统。多模态话语主要是强调运用听觉、视觉、触觉等多种感官，通过语言、画面图像、声音以及动作等多种手段和符号进行交际的现象。（胡壮麟，2007）其意义在于它可以将语言和其他诸如图像、音乐、颜色等符号系统整合起来，关注多种符号系统共同作用产生的效果，使话语意义的解读更加全面和准确。本文将在多模态话语分析的框架下，着眼视觉模态，综合运用Halliday的系统功能语法以及Van Leeuwen的视觉语法，分析富有中国风的音乐视频《唐诗》中画面要素及其在意义构建中的作用，深入探讨多模态话语分析手段在MV语篇意义构建中的作用与可行性。

二、音乐视频及MV《唐诗》简介

音乐视频，也叫音乐短片（Music Video），是指与音乐（通常大部分是歌曲）搭配的短片，是把对音乐的解读同时用电视画面呈现的一种艺术类型。音乐视频主要依据音乐作品所提供的表现内涵和诗歌般的意象进行视觉形象设计，确立画面的类型特征和情境氛围，使音乐与画面在运动着的时空中相互渗透、相互作用，并以鲜明的视听结构运用画面语言最大程度地表现音乐作品。MV中涉及到了听觉和视觉两种模态，也有语言、音乐、画面等多种符号系统，通过镜头画面、歌词与音乐的完美结合，达到音乐视频中的完整意义构建。

《唐诗》是央视音乐频道电视节目《One Journey One Song一次旅行一首歌》的一期节目。歌词讲述了唐朝一位外国人不远千里来到长安寻找诗人李白的故事。在这个MV中，作者用英文的歌词诠释着极具中国风的曲调与画风，中西元素的碰撞使得唐朝曾经的浩瀚文化与厚重底蕴展示在听众面前，诗与人、情与景，从浅吟轻唱到恢宏壮阔，词曲如诗如画。

三、对MV《唐诗》的多模态话语分析

多模态话语分析是指综合运用视觉、听觉、触觉等多种模态种类，通过声音、图像、色彩等多种形式和符号系统进行交际的现象。张德禄在2009年提出了多模态话语分析的综合理论框架，其模态形式及关系如下图所示：

MV作为一种特殊的艺术表现形式，其文字、音乐、画面三要素之间的关系并非以画面为主导推动情节发展及为了画面或剧情的需要配以合适的文字或音乐，而是音乐（听觉模态）与文字（兼有听觉模态和视觉模态）先行，画面起辅助作用，先有成型的歌曲，后有画面的存在，这点与电影或者广告有所不同。但是画面在MV中所起的作用也并非可以忽略不计，它在意义构建方面也有其独特而重要的功能。

对于MV中的画面分析，我们将采用Kress和Van Leeuwen提出的视觉语法。视觉语法是将系统功能语言学中的元功能理论扩展到视觉图像上，构建视觉图像的三大元功能：再现意义（representational meaning）、互动意义（interactive meaning）和构图意义（compositional meaning）。下面我们将利用视觉语法对该MV中画面在意义构建中所起的作用加以深入分析。

图2　视觉语法功能框架

（一）再现意义

与语言的概念功能相对应的概念是再现意义，再现意义是表示图像所描述的人、事、地之间关系的方式，分为叙事性和概念性两大类。

根据Kress和Van Leeuwen的观点，叙述再现包括动作过程（action process）、反应过程（reactional process）和言语过程（speech process）。在动作过程中，矢量的发出者即动作者（actor），矢量指向的参与者是目标（goal）。当矢量不再由动作而是由眼神或者目光构成时，就形成了反应过程。由于反应过程主要体现的是参与者眼神的交流，所以反应过程中的参与者不再是动作者和目标，而是反应者（reactors）和现象（phenomena）。在该长度为5 分23秒的MV中，按画面可以分为157个小镜头，其动作过程、反应过程和言语过程出现的次数分别为：11次、32次和114次。由于在MV中，画面的推进过多依赖于音乐的发展，言语过程占绝大多数比例不难理解，同时，作为MV宣传的一种策略，镜头频繁地切换于录音棚内歌手的演唱空间和叙事画面之间，在这里涉及了过多的反应过程。MV的第37秒第12个镜头画面，此时歌词演唱至“Mum said it’s called Tang”，画面上出现了一个戴着黑框眼镜的外国青年（主人公），身穿休闲装，脖子上挂着相机，眼神凝视镜头，虽然在画面中没有任何文字描述该感知者的内心活动，但他的想法从他的眼神中已然流露了出来，在他的眼神中看到了渴望与向往，显示了主人公对这次探访之旅的期待，这是一个典型的反应过程。

图3　“再现意义”结构图

与叙事再现不同的是，概念再现则表示更为稳定的意义关系，分为分类过程、分析过程和象征过程三类。其中象征过程指的是关于参与者是什么或者意味着什么。举个例子，以第30句歌词为例，“Ah I see the Emperor through the street”（帝过千人迎），在歌手演唱该句时，从3分33秒到3分42秒共9秒钟的时间，其中画面由演唱空间切换至西安南门的入城仪式，再回切到演唱空间，再切到永宁门的城门，然后又回切到演唱空间，最后切换至立在西安城墙上的战鼓。在这句歌词的演唱中，从画面的角度来看，这是一个典型的象征过程，其中永宁门、入城仪式等多个象征物的存在使该句歌词乃至整首歌曲的表达更加有力，更加丰满，象征了古都的悠久历史，也印证了该首MV为大唐盛世而歌而和的主题。

（二）互动意义

互动意义是关于图像的制作者、图像所表征的事物（包括人）和图像的观看者之间的关系，同时提示观看者对表征事物应持的态度（Kress，G& Van Leeuwen，1996）。图像的互动意义主要依靠接触、社会距离、权势关系和情态来实现。

接触指的是图像中参与者通过目光与观看者建立起来的一种关系，可以分为“提供”和“索取”两类。很多图像表现画框中的人直接看着观看者，Kress和Van Leeuwen把这种图像叫做“索取”类图像，即图像中的人似乎在向观看者索取什么。在MV的第2分47秒到2分48秒，映入眼帘的是一位在小雨中吹笙的老人，眼睛直视镜头，这就是一幅“索取”类图像，老人的眼神坚毅又富有思想，其“索取”的是一种认可与期待。在3分03秒，一位美女遥遥指着兵马俑博物馆的2号坑，这就是一个“提供类”图像，给观众提供了新的信息，同时配合了整个情节的推进。

图像中参与者与观看者之间的亲疏关系取决于社会距离，社会距离通常与镜头取景的框架大小有关系。在这个MV里，镜头时近时远，比如在第8秒，画面里出现的是大明宫丹凤门的正面全景，取景单一，在固定的镜头里该景观便显得小一些，与此相反的是，在MV的第1分42秒，全部镜头对焦于一堆线装版古书，取景内容虽然少，但是突出了该内容，拉近了距离。

至于权势关系，它是通过视角来区分的，表达参与者所持有的主观态度。从水平的视角来看，正面角度给观看者带来的是感同身受，还是以第13句歌词为例（Ah the kids read in morning），在MV的第1分27秒，从正面角度拍摄了儿童与主人公的见面，也使观众融入其中。与正面角度不同，倾斜视角的拍摄可以使观众感觉自己是作为一个旁观者的视角出现的，第2分12秒，两位游客在大明宫博物馆内交谈，用侧拍的角度体现了第三方的视角，与正面角度拍摄有所区分。除了水平视角，垂直视角也是权势关系的一个方面，在垂直视角里，仰视代表着参与者处于强势地位，俯视代表观看者的强势。在MV的第1分21秒，闪出了伫立在大雁塔南广场上的玄奘雕塑，用仰拍的手法显示了观看者的弱势地位，也表达了对历史名人的尊重，并且在MV里多次出现仰视手法的拍摄，主要表达的也是对悠久历史的尊重以及对名胜古迹的向往。在第3分40秒，主人公在城墙上俯视继续观看南门入城仪式的人群，在这个视角里，俯视并非完全体现观看者也就是主人公的强势，而是与前面平视视角相结合，使西安南门的入城仪式展现得更加立体。

互动意义的最后一个维度就是情态，图像分析中的情态指的是对世界所作出陈述的真实度或者可信度。Kress&van Leeuwen以八个视觉标记为基础，探讨了图像中情态的现实意义量值的高低，即色彩饱和度、色彩区分度、色彩协调度、语境化、表现、深度、照明和亮度。我们将简单指出几个主要的因素进行分析。这首MV的主题是为大唐盛世而歌而和，在整首MV中，色彩以暖色调为主，主要就是黄色和红色，偶尔穿插部分绿色，不过无论是哪种颜色，其饱和度相对较低，整体色彩的营建略显柔弱，但又碰巧与歌手演唱空间灰黄的背景相协调，不至于在镜头频繁切换时过于突兀。具体来看，在《唐诗》中，无论是白天第2分24秒时城墙灰白的墙壁，还是夜晚第4分01秒时高家大院大红灯笼的色彩；也不论是自然景观第1分13秒远方夕阳西下前绚丽的云彩，还是人文景观第2分50秒斜拍的丹凤门，整体上都是昏黄的色调，充分展示了盛世文明下饱经沧桑的长安城以及与之紧紧相随的悠久历史。

（三）构图意义

与语言的语篇功能相对应的是图像的构图意义，它指的是图像整体构成，即表现性与互动性元素彼此关系的方式，构图意义主要是靠其图文关系、取景、突出度以及信息值等机制得到实现。

图文关系指的是图像与文字之间的相对关系。以MV中第31个镜头为例，第1分17秒背景的画面是三个小孩单臂举起，一个搭在一个肩膀上统一向左望去，整体颜色是夜幕已悄悄降临的黑绿色，在这里该画面所要配合的歌词是“Dad’s afraid I was too young.”（父恐吾尚青）。这个画面，其图像和文字处理的比较和谐，图像用三个小孩向左望去貌似期待着什么的画面侧面体现了作为父母对孩子远走别国的担心。图文相互补充和延伸，意义上体现一种逻辑衔接，实现了这个图像和文字的信息衔接。

再说取景和突出度，取景是指用架构的方法，通过划分框线来连接或切割影像中的元素，以象征它们在某些方面彼此相属与否。突出度则指的是元素的设计，可以通过前景或者背景、相对大小、色调值的对比、清晰度的差异来表现，以该不同程度来吸引观看者的注意力。还是以MV中开头第7秒到第10秒的镜头为例，从大明宫宏伟的正面到虚化的包含丹凤门三个字的牌匾，再到最后丹凤门三个字显得愈发清楚，这样就使丹凤门这个景观印在了观众的脑海里，同时画面镜头由大至小、缓缓递进，开篇明义，为后面歌曲的正式演唱以及画面的正式开端打下了一定基础。

根据Kress&van Leeuwen的理论，信息值这个概念涉及的是图像中任何特定元素在整体中的角色取决于其所处位置，左边还是右边、中间还是边缘，这一点主要是基于Halliday在系统功能语言学中的主位推进模式。举个例子，从MV的第2分32秒到第2分39秒，抛开所涉及歌词不谈，这几秒的视频是靠以下几个部分的图像串起来的：（1）手捧古书的睿智中年坐在放满茶具的圆桌边仔细阅读；（2）一位青年走到茶桌前虚心求教；（3）在微风轻拂的草地上两人相谈甚欢。其中，第一幅画面中先出现的是茶具和古书，其次才是那位中年，在第一幅画面中，茶具和古书属于已知信息，而这位中年为新信息，等转到第二幅画面后，中年成为了已知信息，而这位青年对于整幅画面而言是新信息，这其实也就是主位推进模式的第三种类型，T2= R1，新单元中的已知信息为上一个单元的新信息。在这种情况下，整个画面信息值的出现顺理成章，同时也配合着整个故事情节的发展。

音乐视频作为融多种艺术形式于一体的综合艺术手段有着独特魅力，其中音乐、语言、图像等众多模态或符号系统共同构建话语意义，给观众带来了深刻的印象。本文利用Halliday的系统功能语法以及Van Leeuwen的视觉语法对音乐视频《唐诗》进行了多模态的话语分析，主要指出了图像符号系统在该MV语篇意义构建中的作用，同时也反证了多模态话语分析手段在MV语篇意义构建中是可行的。

［1］Halliday.M.A.K.An Introduction to Functional Grammar［M］.London：Edward Arnold，1985.

［2］VanLeeuwen.T.Introducing Social Semiotics［M］. London：Routledge，2005.

［3］VanLeeuwen.T.Speech，Music，Sound［M］.New York：St Martin's Press，1999.

［4］陈珺.音乐结构认知的奥秘初探——以奥尔夫教学法为例［J］.乐器，2012（10）：53.

［5］陈子娟，耿敬北.中国多模态话语分析回顾与展望［J］.云南开放大学学报，2014，16（4）：72-77.

［6］胡壮麟.社会符号学研究中的多模态化［J］.语言教学与研究，2007（1）：1-10.

［7］胡壮麟，等.系统功能语言学概论［M］.北京大学出版社，2008：115.

［8］李慧艳.视觉语法与多模态公益广告的整体意义构建［J］.长春理工大学学报：社会科学版，2014，5：99-103.

［9］李战子.多模式话语的社会符号学分析［J］.外语研究，2003（5）.

［10］梁永革.音乐电视的音画关系创意［J］.辽宁师范大学学报：社会科学版，2005，28（5）：110-111.

［11］汪剑，张琳.多模态视觉语法构建的思考［J］.齐齐哈尔师范高等专科学校学报，2011（5）：131-133.

［12］辛志英.话语分析的新发展——多模态话语分析［J］.社会科学辑刊，2008（5）.

［13］袁艳艳，张德禄.多模态电影海报语篇的社会符号学分析［J］.济宁学院学报，2012（4）：35-39.

［14］尹富林.视觉语法观照下的多模态语篇分析——以一则平面广告为例［J］.南京工业大学学报：社会科学版，2011，10（4）：96-100.

［15］张德禄.多模态话语分析综合理论框架探索［J］.中国外语，2009（1）：24-30.

［16］张德禄，张兢田.多模态语法建构问题探索［J］.外语学刊，2012（3）：38-43.

［17］朱永生.多模态话语分析的理论基础与研究方法［J］.外语学刊，2007（5）：82-86.

H030

A

田文杰（1966-），男，教授，研究方向为应用语言学和语义学。