多模态话语映射下的语言意义主观性*

彭兵转 姜毓锋

(哈尔滨理工大学，哈尔滨150040)

1 引言

任何意义，不仅是书面语的意义，诸如视觉、听觉、嗅觉、味觉、触觉，以至抽象的模型、结构、主体意识都应纳入它的视线之内。“人们在他们日常的语言交换过程中，实现社会结构，肯定自己的地位和角色，建立和传递共享的价值系统和知识系统。”(胡壮麟2007:2)所有模态都可能发展成产生意义的、互相连接的、可供选择的网络，当符号制造者在这些意义网络中进行选择，可视做符号制造者为表达他在已知语境下想表达的意义所作决策的轨迹。这个轨迹就是符号制造者的兴趣所在(胡壮麟2007:5)。然而，大部分研究者更加注重对语言的研究，忽略对除语言外其他社会符号的探讨。因此，多模态话语分析理论被许多语言学界的研究者遗忘，关于多模态话语功能及意义的研究也比较匮乏，而对多模态话语中的意义主观性的探讨更为罕见。实际上，多模态话语的意义存在于话语和语境构成的3大系统之中，由说话人和受话人通过多种媒介和符号建构，从而留下自我印记，体现语言意义的主观性。

2 多模态话语

人们发现单纯研究语言已不能对话语进行深入全面的分析，特别是随着现代科学技术的发展，交际已不是利用一种模式进行，而是用两种或者多种模式同时进行。本文讨论的“模态”(modality)意义源自“模式/方式/模态/型”(mode)，而非“情态”(modality)，后者与“情态动词”(modal verb)中的“情态的”(modal)更为接近。

近年来，国外学者对多模态话语进行了深入的分析，掀起了多模态话语探索的浪潮，话语的多模态性成为语言学研讨的新热点之一。从2003年至今，尽管我国引进国外多模态话语分析理论的历史还很短暂，研究尚处于萌芽阶段，但研究者从不同角度对多模态话语分析的理论进行思考与创新，对多模态话语分析的研究价值给予了充分的重视，研究领域不仅涉及传统文本，而且对图文二维平面、超文本电子语篇、影视作品、汉语多模态口语语料库建设以及教学实践应用等领域的多模态话语分析都有一定的研究。这些研究成果对推动我国语言学的纵深发展具有重要的价值，有助于我们更好地认识多模态话语，为开创多模态话语分析新纪元奠定坚实的基础。然而，话语的多模态性只是作为一种语言的辅助表达系统，没有作为意义表达模态来研究。

3 语言意义的主观性

语言意义的主观性已成为语言学尤其是语义学研究的焦点之一，主观性是语言的一种本质属性，因为如果语言没有深深地烙上主观性印记，语言就不可能运作，也不可能称其为语言。语言界不少学者都探讨过语言意义的“主观性”。从认知语言学的角度来看，语言的主观性主要表现为认知主体的主观识解在语言结构和意义中的反映。系统功能语言学也认为，人类借助语义系统来识解经验是一种主观的过程，说话者/作者的选择就是意义，形式即意义的体现。而语用学对语言主观性的关注更多地是和英美分析哲学中日常语言分析学派的研究紧密地联系在一起的。

国内语言学界普遍采用的“主观性”定义主要来源于Lyons:“主观性(subjectivity)指语言的这样一种特性，即在话语中不同程度的总是含有说话人‘自我’的表现成分”(Lyons 1977:739)。也就是说，说话人在说出某一话语的同时表明自己对这段话的立场、态度和感情，从而在话语中留下自我的印记。Lyons强调的是说话人的自我表达，并主张区分主观性表达(说话人的自我表达)和客观性表达(交际命题)。在语言运用层面上，“主观性”体现为说话人在话语中的“自我表露”(self expression)，这种自我表露往往伴随说话内容(在语言哲学和语言学中称之为“命题”)的表述，或表达说话人对所表达内容的认识，或反映说话人的观点、态度、感情。在这个意义上，语言的主观性即话语的主观性。自然语言充斥着主观性现象，说话人总是通过他们使用的句子结构、词语、语音、语调以至身体语言体现“自我”。在语言结构层面上，语言中普遍都有一些词类和语法结构中编入“自我”这一标志着语言主观性特征的语义成分。

学者对主观性的研究主要集中在3个方面:说话人的视角、说话人的情感和认知，但研究者们的理解却存在着差异。人类语言的发展过程就是一种赋予意义与理解意义不断交换的过程，因而语言的意义不仅包括它的赋予意义，而且包括它的理解意义。在语言使用过程中，语言意义的主观性同样体现在说话人和受话人两个方面，说话人与受话人与言语和语言的使用、构建与解读相联系，因此多模态话语中的语言意义主观性应分别从说话人和受话人两个角度进行探讨。

4 多模态话语中语言意义的主观性

语言是一种表达观念的特殊的符号系统，包括文字、聋哑人的字母、象征仪式、礼节仪式、军用信号等(Saussure 1972:15)。语言体系和体语体系都不可能单独构成交际体系，只有二者相结合并与其他感官渠道的相应系统相配合，才能形成完整的交际体系(Birdwhistell 1952:5)。沈家煊指出，语言必然带有自我表现的印记，这一点现在已经明确;不明确的是，语言的这种自我印记是如何表现和如何被理解的?长期以来，交际中的多模态话语所表现出来的意义主观性在语言学界没有得到应有的重视，因此使我们对语言的认识不够全面(沈家煊2001:269)。

4.1 从说话人的角度看多模态话语中意义的主观性

语言是符号与意义的统一体，其作为一种复杂的交际手段，不仅包含着人们怎样理解意义，而且包含着人们赋予了什么意义。换言之，任何一种语言符号或非语言符号的出现和使用，首先意味着说话人赋予它一定的意义，然后才由受话人对意义进行识解。其实，语言及其建构材料与人密不可分，因此人的因素，尤其是说话人，是研究语言意义问题的关键。从说话人的角度看，主观性体现在说话人的态度、情感和观点中，说话人根据自己的文化背景、知识体系和信仰等反省、思考、理解各种模态及其生成的语篇，互相交流，对语篇进行评价和批判性的解读。由于主体的不同，从语篇语境、符号形式、语言特征等方面对同一语篇的理解，对其表现出的意义进行批判性的思考，从而留下自我印记，得出多角度的不同阐释，使他们建构起一个更全面的语篇意义。概言之，对语篇进行评价和批判性解读的过程其实就是一个构建意义的过程。例如，胡壮麟利用2005年中国人民大学在澳大利亚文化节上的一次PPT竞赛演示，从音响、图像、语言等方面，分别分析了参赛者是如何通过PPT演示展示澳大利亚文化的，指出在演示过程中，他们在利用多模态手段向观众构建异国文化意义的同时，也体现了他们个人深刻的思想、观点与身份(胡壮麟2006:5－9)，进而体现了语言意义的主观性。

在多模态话语中，语言意义的主观性在具体的语境范围内以某种语言形式加以表现，通过话语的概念意义、人际意义和语篇意义体现，借助一定的媒体，通过语言、伴语言(图画、字体、布局)、体势语、工具(网络、PPT)和环境 (网络教室)表现，以口语模态、听力模态、书面模态或电子模态实现人际互动。其实，不同模态话语的运用本质上都是为了体现说话人的整体意义，一定的模态具有特有的表义潜势，如语义的语言表达往往适合于解释深奥概念、理论和哲理，声音、音乐、图像颜色、字体形状等适合于表达说话人的情感态度，图形结构、体势指示更适合表达方向、形状等语篇意义，而多模态话语，如图形加口头语言，能解释陌生的，特别是抽象的事物，建构整体意义。

在具体语境中，如身体语言的面部表情等、单词和句子的重音、语调等语言符号在语言运用中往往传达说话人的交流目的或主观感受。说话人可运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种模态手段和符号资源，在各种不同因素作用下产生说话人个体性主观意义。事实上，不仅说话习惯千差万别，而且赋予话语的意义也各不相同。换言之，说话人的主观意义与某一话语的字面意义或客观意义不同，在使用社会语言符号时，可能扩大、加深语言符号的本来意义，也可能缩小、浅化语言符号的本来意义，也可能完全改变语言符号的本来意义;或者可能偏离字面意义，如隐喻、情态等;或者表示与字面意义对立的意义，如讥讽、愤怒等。例如:

例①a升调模态配以图片模态，再将isn’t she涂红配以颜色模态，表明说话人不确定她是否在这儿这一命题态度，而例①b降调模态配以图片模态，再将isn’t she涂红配以颜色模态，表明说话人确定她就在这儿这一命题态度。

从具体功能上讲，说话人如果在陈述句中使用升调，则往往隐含一种“抱怨”或“态度不明”等态度。例如:

说话人如以降调配以图片说出例②a，则表明只是陈述不坏的事实;而如以升调配以图片说例②b，说话人则赋予了它新的意义，其表达的意义可能完全相反，还可能表明说话人对这个事实的不满，甚至可能有愤怒的感受。

4.2 从受话人的角度看多模态话语中意义的主观性

说话人和受话人都是构建语言意义的主体，他们的社会文化背景和切身体验及对交际环境的看法、认识和态度会体现在所说的话语及对话语的理解当中，对话语的结构和意义也会产生重要影响。一个表达方式的意义是由它激活的概念内容和该内容按其表达目的被理解的方式共同作用所决定的，语言意义是由概念形成过程中的说话人和受话人共同构建的。因此，主观性同样也体现在受话人或读者的解码过程中，受话人在理解、赏析、解析和创造话语过程中会利用含意、语义预设、语境支持等进行意义推理，在此过程中会将其态度、情感和观点等赋予语言中，根据自己的理解和需要对概念内容进行构建和组织的认知操作。意义的解读是在多个模态相互作用、相互影响下达成的。受话人通过各种感官与外界信息发生多模态互动，通过感觉、表象、知觉、范畴化形成概念，存储在大脑的不同功能区域，形成各种神经模块。这些模块有各自的功能，有的负责视觉模态、有的负责听觉模态、有的负责嗅觉模态、有的负责味觉模态、有的负责触觉模态，他们之间相对独立又相互联系，形成系统网络。每种模块受到认知特点的制约，只对特定类型的刺激做出反映，留下自我印记，具有认知差异性和相对独立性，同时又具有系统性、层次性和兼容性。因此，我们应关注交际中受话人的自我意识、意向性，分享受话人的情感、态度、观点及看法等。

当接受语言信息时，受话人往往会注意言语以外的众多其他因素，如果是面对面的交流，那么受话人往往会注意到人的眼睛、面部和身体。在交际中，受话人的主要任务是将语篇中各模态和符号资源转变成理解，不再是知识的被动接受者，而是主动、积极的识解者。他们经常通过视觉、听觉、触觉等感觉，借助一定的媒介(如物理媒介、电子媒介、纸质媒介、语言符号等)同外界信息互动，通过各种感官跟外部环境(如人、机器、物件、动物之间)互动，自主地通过各种实践活动表达自己的态度、观点和看法，将自身的潜力最大化。因此，受话人在分析多模态资源构建的文本意义的同时，建构自我身份，留下自我印记。例如:It’s Sunday today.如单独看此命题，也许仅表达“说话人说这句话的当天是一个星期中的第一天”。但如将此句配以不同的模态，则其表达的意义就会远远超过它的字面意义。

(1)假设上句是孩子对平日难得带他外出游玩而恰好此前许诺过这个星期要带他出去的父母说的话，配以孩子的声音模态、表情模态或动作模态及父母繁忙工作的图片模态，受话人应理解其意义是“请求或提醒他的父母带他出去游玩”。

(2)假设上句是父母看见孩子平时天天伏案学习，星期天也不肯休息时使用，并将此句配以父母的声音模态、音乐模态以及孩子学习的图片模态，受话人应理解其意义是“建议孩子星期天好好休息”。

(3)假设上句是父母看见孩子星期天正准备早起床而使用时，配以父母的声音模态、表情模态及孩子睡觉的图片模态，受话人应理解其意义是“希望孩子多睡一会儿”。

上述3种不同的理解都建立在不同的具体语境与具体模态基础上，受话人要真正有效地理解话语意义，首先必须发挥其主体性，先考虑言语交际上的上下文中相关的话语意义及其对应的不同模态，再从共有常识中激活相关的背景语境要素，同时加入行为环境中相关的信息。只有把握语境的建立是呈动态发展这一趋势的，交际者才能有意识地利用这一特征提高自己的释义能力。

在“主观性”的视阈、情感方面，多模态话语可以通过图像、声效突出注意焦点。情感可以通过音乐、颜色表达，也可以借助图像、声音等多种情感隐喻形式实现。受话人可对他人表情、性格、社会角色、人际关系和社会规范进行认知，通过认知，借助言语、动作、服饰、语气和表情等多模态形式，认识他人内在的性格、社会角色、心理状态(如需要、信念、意图、感受、动机、情感和意向等)，对社会态度做出推测和判断，继而实施社会互动(如奖赏、惩罚、欺骗、合作等)，认识人际关系。如文字文本The washing machine is a good housewife配以图片模态一台洗衣机，并配以a good wife的声音模态，则受话人须调动多重感官以实现符号信息之间的有效互动，在符号上留下自我印记。

在多模态认知过程中，受话人因不同的文化背景或地域背景，其性格和认知方式表现出一定的主体差异性，表现出特有的认知风格。认知风格可以通过认知风格测量确定，具体分场依存型(field dependence)和场独立型(field independence)、冲动型(impulsivity)和沉思型(reflectivity)、整体型(associative)和分析型(analytic)3类，不同认知风格的受话人偏爱特定模态的表达方式和接受方式。场独立型很少受环境和他人的影响，能独立思考，因而可以不受模态影响;而场独立型需要一定的情境来帮助理解信息，须要借助各种声效、图像等多种模态以创设情景，偏爱交际法，需通过活动体验完成对信息的吸收和知识的建构。冲动型能根据部分媒体信息或部分模态做出快速反应，但往往会出错;而沉思型须要借助多种模态对信息进行全面深思熟虑后才做出反应，准确性高但速度慢。冲动型适合口头模态的即兴表达，而沉思型适合于先形成完整构思(如借助书面模态形成构思)后做出口头表达。整体型使用整体、联想的思维方式，从具体的例子入手归纳出一般概念，通过图形或例子的直觉学习规则;而分析型往往把问题分解，根据语义规则和理论解决问题，用逻辑语义关系将信息加以演绎、联系起来。因此，只有当说话人关注受话人的认知风格，采用和受话人匹配的模态时，才能降低受话人的情感焦虑和认知负荷，才能反映说话人的主体意识和对受话人的关注，体现意义的主观性，从而更好地和受话人分享经验、情感和态度。

5 结束语

在多模态文本中，说话人与受话人须要调动多重感官对多种模态形式的外部符号进行编码与解码;同时，通过这些不同感官模式获取的信息间会互动，或者生成某种形象作为文字文本的部分，或文字文本形式生成形象文本形式等。他们经常对表达和信息传递的模态加以改变，改造已有模态，创造新模态。这样，必然会留下自我印记，体现语言意义的主观性。

陈前瑞.汉语内部试点体的聚焦度与主观性［J］.世界汉语教学，2003(4).

成晓光.语言哲学视域中主体性和主体间性的建构［J］.外语学刊，2009(1).

胡壮麟.意义的多模态构建——对一次PPT演示竞赛的语篇分析［J］.外语电化教学，2006(3).

胡壮麟.社会符号学研究中的多模态化［J］.语言教学与研究，2007(1).

李洪儒.试论语词层级上的说话人形象［J］.外语学刊，2005(5).

李洪儒.意见命题意向谓词与命题的搭配［J］.外语学刊，2007(4).

李洪儒.索绪尔语言学的语言本体论预设——语言主观意义论题的提出［J］.外语学刊，2010(6).

李洪儒王 晶.说话人意义及其结构的研究维度——语言主观意义研究(一)［J］.外语学刊，2011(9).

钱 军.语言系统的核心与边缘——布拉格学派理论研究［J］.福建外语，1996(3).

沈家煊.语言的“主观性”和“主观化”［J］.外语教学与研究，2001(4).

涂纪亮.现代西方语言哲学比较研究［M］.北京:中国社会科学出版社，1996.

王 寅.语义理论与语言教学［M］.上海:上海外语教育出版社，2001.

徐晶凝.语气词“吧”的情态解释［J］.北京大学学报，2003(5).

杨永龙.句尾语气词“吗”的语法化过程［J］.语言科学，2003(1).

张德禄.语篇跨类衔接研究［J］.解放军外国语学院学报，2002(6).

赵艳芳.认知语言学概论［M］.上海:上海外语教育出版社，2002.

朱永生.多模态话语分析的理论基础与研究方法［J］.外语学刊，2007(5).

Benveniste，E.Subjectivity in Language［A］.In Coral Gables(ed.).Problems in General Linguistics［C］.Florida:University of Miami Press，1971.

Birdwhistell，R.An Introduction to Kinesics:An Innotation System for Analysis of Body Motion and Gesture［M］.Louisville:University of Louisville，1952.

Finegan，E.Subjectivity and Subjectification:An Introduction［A］.In D.Stein ＆ S.Wright(eds.).Subjectivity and Subjectification［C］.Cambridge:Cambridge University Press，1995.

Grice，H.P.Studies in the Way of Words［M］.Beijing:Foreign Language Teaching and Research Press，2004.

Kress，G.＆ van Leeuwen.Reading Images:The Grammar of Visual Design［M］.London:Routledge，1996.

Kress，G ＆ van Leeuwen.Multimodal Discourse:The Modes and Media of Contemporary Communication［M］.London:Hodder Arnold，2001.

Leech，G.＆ J.Coates.Semantic Inderterminacy and the Modals［M］.Cambridge:Cambridge University Press，1979.

Lyons，J.Semantics II［M］.Cambridge:CUP，1977.

Lyons，J.Linguistic Semantics［M］.New York:Cambridge University Press，1995.

O’Halloran，K.L.Inter-Semiotic Expansion of Experiential Meaning:Hierarchical Scales and Metaphor in Mathematics Discourse［A］.In C.Jones ＆ V.Eija(eds.).From Language to Multimodality:New Developments in the Study of Ideational Meaning［C］.London:Equinox，2008.

Palmer，F.R.Mood and Modality［M］.Cambridge:Cambridge University Press，1986.

Searle，J.Expression and Meaning:Studies in the Theory of Speech Acts［M］.Beijing:Foreign Language Teaching and Research Press，2003.