多模态视域下音乐表意功能研究

耿敬北

（宿迁学院外语系，江苏宿迁 223800）

在纷繁复杂的符号体制中，各种符号体系既共享了符号的意义共性又拥有各自不同的表现形式和系统规则。Halliday［1］认为语言符号具备三大元功能:概念意义、人际意义和语篇意义;基于三大元功能，Kress，G.＆ Van Leeuwen，T.［2］将多模态意义系统分为再现、互动和构图三种意义，构建了非语言符号的视觉语法。迄今为止从多模态视角对音乐的研究相对比较薄弱。因为音乐这种模态所特有的抽象性，很难对其做到与图像、文字、动作等模态同样的分析。因此，本文将基于语言学、符号学、音乐学等研究成果，在多模态视域下，从交际理论、认知理论、语言元功能三个视角对音乐的表意进行分析，初步对听觉模态——音乐的交际功能进行分析。

一、音乐表意研究回顾

在语言学领域，关于音乐符号表意功能分析的讨论较少。布拉格音位学派就强调音位（语言研究中的最小单元）具有区别意义的功能［3］。Van Leeuwen，T.［4］对多种不同的声音符号及其意义的阐释进行了研究，认为每一种符号模态同时具备三种元功能。近期在对音质研究中他还指出参数系统可以用于生成语篇意义和身份意义［5］。Van Leeuwen，T.的研究开创了对声音研究的先河，具有重要意义。Callaghan，J.＆ E.McDonald［6］认为:在音乐中符号的意义首先通过序列（组篇）实现，只有生成了连贯的乐篇才有可能讨论概念和人际意义，因此，组篇意义成为音乐符号系统所突显的意义。Martinec，R.［7］则通过对杰克逊音乐的分析提出了自己的“音乐语法”，即:音乐的意义是一个双层系统，第一层是音系组合层，体现纯粹的组篇功能，第二层是解读层，体现乐篇的概念和人际功能。综上所述，对于音乐的语义研究和表意功能研究仍无定论。在多模态视域下，对作为听觉模态重要组成部分的音乐进行表意功能研究值得我们去尝试。

二、交际理论与音乐的交际功能

音乐符号作为听觉符号中的主要表现形式，与语言相比，同样能传递信息，并参与到人与人的交际之中。关于交际，Adam，Szaff［8］把他的语义学理论放在一个中心问题的基础上，那就是交际理论。他认为在人类在社会实践中使用两种交际理论:理智交际和感情交际。理智交际是传达某种知识和理智状态的活动。而感情交际则是通过动作、表情、声音等传达某种感情状态的活动，即感情交际的方式较理智交际更加多模态化。

Adam，Szaff［8］明确指出音乐正属于感情交际的范畴，并否认音乐的理智的交际功能。我们认为，从人的心理认知来看，理智交际和感情交际是完整心理不可或缺的组成部分，且彼此相互影响，互为依存，不可绝对的将感性和理性分开。音乐可以用自身逻辑传达理智的要素，也可以以非音乐方面表达理智部分。因此，音乐符号的交际过程不但能传递感性的情感信息，也可以进行相对准确的语义信息传递。音乐除了具有单独传情达意功能，音乐与语言、图像等模态的协同表意也创造出了与语言、图像独立表意不同的效果，从而传递更加复杂的信息。

三、音乐交际的认知过程与模态间转换

音乐交际认知过程可分为三个阶段:感觉—知觉—认知。在音乐感觉阶段，音乐信息为听者接收后，在听者耳蜗内转化为神经冲动，逐渐上行到听觉脑干部分同时进入到知觉阶段。在知觉阶段，大脑对信息进行归类整合，把相同或相似的音乐知觉组块，从而形成知觉流。最后，在认知阶段，音乐结构会伴随相应的语境频繁出现，形成长时记忆并储存起来，继而形成了图式。图式形成于日常学习经验，一旦出现相似的音乐情境，储存于大脑中的图式将随即被激活。［9］

根据多模态话语定义:运用视觉、听觉、触觉等多种感觉，通过图像、声音、语言、动作等多种符号资源进行交际的现象［10］，音乐的认知过程也是多模态的。尤其在音乐认知过程中，模态间转换现象不可忽略，由于听觉模态具有抽象、易逝、难以捕捉等特征，音乐作为听觉模态可以通过通感联想而转换成具象性的视觉模态。这种模态转换是基于音乐创作者与接受者共享的生活经验，如轻快节奏代表快乐，演奏者会把自己经历的快乐场面或经验用音乐编码，用乐器演奏方式呈现给接受者，即实现了视觉模态到听觉模态的转换，而接受者则会把接受到音乐通过自己的通感直觉转换成经验中的视觉模态，这就是听觉模态到视觉模态的转换过程。如果一首乐曲的悲怆让一个人感动得痛哭流涕，并非完全由于乐曲营造了如此悲哀的情感，还部分缘于这种情感勾起了听者对当时产生这种情感的不幸遭遇的联想。该联想过程，同时也是在大脑中产生该遭遇展现的具体画面的过程，即实现了听觉模态到视觉模态的认知转换。这两种过程即是音乐制作者的初衷获得了接受者共鸣的过程。

四、音乐表意功能

音乐与语言都属于听觉模态，与语言元功能存在重合的地方。下面我们从元功能视角对音乐的表意功能做尝试性分析。

（一）音乐的概念功能

对于语言学而言，经验功能和逻辑功能是语言概念功能的主要组成部分。经验功能是指在现实世界中语言对人们各种经历的表达。逻辑功能则是语言对两个或多个意义单位之间逻辑关系的表达。［1］Susanne K.Langer［11］指出:“音乐的音调结构，与人类的情感形式——增强与减弱，流动与休止，冲突与解决，以及加速、抑制、极度兴奋、平缓和微妙的技法、梦的消失等等形式——在逻辑上有着惊人的一致。”因此，音乐与情感之间具存在着相对固定的内在联系，即某种音乐能相对固定的指代某种情感概念。在通常的情况下，一首悲伤的乐曲不可能给人带来快乐的体验。如在影视作品中，音乐在指向复兴、昌盛、梦想、奋斗等信息时，往往出现音列的连续上行，低沉、厚重、下行的音乐则多用于战争、危险、萧条等信息交际。基于人们相同的心理结构，具有对各种情感、情绪类似的体验，音乐才能成为世界的语言。正由于相似的生活体验，音乐创作者才能成功的将自己的既定的情感信息通过乐音准确的传递给接受者，继而实现音乐交际目的。与语言的概念功能不同的是，音乐的概念功能主要在于其情感的再现，对于理性经验，音乐还需要语言、图像等模态协作来完成交际。音乐的概念功能是由音乐创作者指向接受者的连接，由于音乐的理性表意不确定性，这种连接总是多向度的心理过程，需要语境、图像、语言的指引，方能实现其概念功能。

（二）音乐的人际功能

语言的人际功能表达的是语言的参与功能，是讲话者充当干预者的“意义潜势”。利用这一功能，讲话者得以融入某种情景语境中，来表达他的推断和态度，并试图影响别人的行为与态度。［12］

1999年Van Leeuween［4］指出音乐中人际功能占主导地位，因为音乐的结构特征是韵律的和递归的，即旋律和节奏。在多模态化的音响（或音乐）方面，Van Leeuwen，T.［13］认为人际功能比概念功能得到了更充分的发挥，而且后者的展现要以前者为基础。音乐的人际功能就在于通过感情的交际来影响听者的情绪，从而对听者的行为产生影响。音乐的人际功能主要体现于感情传递过程中，某种情感迅速而直接地被音乐传达到听者的心中，使听者内心潜在的情感被触发，“客体”与“主体”随即产生共鸣，而这种共鸣的过程，也即是音乐产生了人际功能的过程，从而对听者的态度和行为产生了既定的影响。如街头一些残疾人往往通过演奏或演唱各种悲伤歌曲获取路人的同情，这里便凸显了音乐作为情感沟通和感情传递的人际功能。

（三）音乐的语篇功能

对衔接与连贯的分析是语篇功能的主要方面。衔接与连贯作为语义单位，是构成语篇统一体的无形或有形的语义网络。具体而言，衔接常指有形的语义网络，在上下文中容易找到，而连贯则指无形的语义网络，在上下文中不易找到［13］。音乐语篇的衔接手段则利用不同语调来实现，通过节奏的强弱表达情感的强弱。影视作品中音乐的语篇功能和音乐的声调密切相关。纪录片《百年潮中国梦》语篇有陈述事实，有抒情评论，有重大事件和历史转折点叙述等多个语篇环节构成，这些环节分别通过平缓、激昂、强烈等音调对应过度，体现了音乐的语篇衔接功能。

影视语篇的背景音乐则是起到了连贯语篇的作用。音乐能够使动态语篇中有内在联系的不同画面产生呼应，让接受者找到无形的语义网络，增加语篇的连贯性;音乐还能起到互补的作用，即统一画面和声音，做到视觉和听觉两种模态的连贯统一。音乐能够组接若干个不同类型、不同基调的画面，实现影视语篇的“无缝对接”，并使之产生一种连贯感和整体感。音乐具有节奏性，因而音乐在影视语篇中的合理运用能够强化语篇的节奏感。［14］

五、结语

音乐作为非语言模态中的主要表意模态，在人类交际中扮演着不可或缺的角色，音乐是感情交际的主要模态，具备传情达意功能。与语言相比，同样具备语言所显现的三大元功能。音乐独立表意过程中，其人际功能与语篇功能较为突出，而在与其它模态共同构建语篇、实施表意功能时，除了人际功能之外，概念功能和语篇功能也发挥了重要作用。本文对音乐的表意功能从交际、认知和元功能三个视角做出了初步探索，但宏观上的概论较多，微观上的实例分析较少，需作进一步后续研究。

［1］Halliday，M.A.K.An Introduction to Functional Grammar［M］.London:Edward Arnold，1985.

［2］Kress，G.＆ Van Leeuwen，T.Reading Images:The Grammar of Visual Design［M］.London:Routledge，1996.

［3］汤亚汀.音乐分析:语言学模式的兴衰［J］.中国音乐学，1992，（4）:90－91.

［4］Van Leeuwen，T.Speech，Music，Sound ［M］.London:Macmillan，1999.

［5］Van Leeuwen，T.Parametric systems:The case of voice quality［A］.In C.Jewitt（ed.）.The Routledge Handbook of Multimodal Analysis.［C］.London ＆ New York:Routledge，2009:68－77.

［6］Callaghan，J.＆ E.McDonald.Expressions content and meaning in language and music:An integrated semiotic analysis ［C］.M.P.Kevitt，S.O＇Nuallain ＆ C.Mulvihill.Language，Vision and Music.Ireland:John Benjamins，2002:205－220.

［7］Martinec，R.Construction of identity in M.Jackson＇s jam［J］.Social Semiotics，2000，（10）:313－329.

［8］阿达姆·沙夫.语义学引论［M］.北京:商务印书馆，1979:128.

［9］陈珺.音乐结构认知的奥秘初探——以奥尔夫教学法为例［J］.乐器，2012，（10）:53.

［10］张德禄.多模态话语理论与媒体技术在外语教学中的应用［J］.外语教学，2009，（4）:15－20.

［11］苏珊·朗格.情感与形式［M］.北京:中国社会科学出版社，1986:36.

［12］胡壮麟等.系统功能语言学概论［M］.北京:北京大学出版社，2008:115.

［13］Van Leeuwen，T.Introducing Social Semiotics［M］.London:Routledge，2005.

［14］冀丽芬.电视纪录片中音乐的应用和魅力［J］.大舞台，2013，（6）:134－135.