试论多模态诗学象似性——多模态认知诗学视角

赵秀凤

(中国石油大学 外国语学院，北京 102249)

1.引言

象似性是一个多学科共同关注的话题。从皮尔斯(1955)关于象似性的符号学阐述，到语言象似性(Haiman，1983;沈家煊，1993)的认知界定和分类研究，再到文学文本中诗学象似性特质和类型的认知诗学论述(Freeman，2007，2009;Hiraga，2005;熊沐清，2012)，都遵从“形意之间的相似性”这一基本的象似性定义，从符号能指与所指之间关系的角度，探究各类符号表征的性质、类型和效果。

诗学象似性是文体学(如Leech＆Short，1981)和认知诗学(如Freeman，2009;熊沐清，2012)关于文学特质研究的结论性发现。他们结合文学实例对文学文本中的象似性阐述，揭示了文学作为审美艺术的区别性特征，加深了我们对于文学特性的理解。虽然现有的研究注意到了诗学象似性与语言象似性之间的规定性区别，但是，多数研究基本上还停留在泛文学层面，对非语言和语言符号协同表征的文学样类中的诗学象似性问题尚缺乏系统研究。

本文采用多模态认知诗学研究路径，结合多模态文学实例，探讨诗学象似性的多模态表征，及其对读者审美感知的影响;旨在以隐喻和诗学象似性为切入点，阐释读者在阅读多模态文学语篇时进行的认知操作和由此所产生的情感反应和审美体验。

2.诗学象似性

2.1 诗学象似性的界定和特征

“诗学象似性”这一术语最早是由美国认知诗学的领军人物玛格丽特·弗里曼提出的。在一篇名为“从隐喻到诗歌文本中的象似性”(2006)论文中，弗里曼借用苏珊·K.朗格(1953，1967)关于艺术的界定，解释诗学象似性时说:“一首成功的诗歌创造诗学象似性，即创造所感知到的生活的幻象。”(Freeman，2006:7)之后，在文中，她以Dickson的诗歌“My life had stood a loaded gun”为例，详细阐述了诗学象似性这一术语的内涵，并反复强调:诗学象似性是思想和情感的象似性，它创造所感知的生活幻象(Freeman，2006:9)。她明确指出，诗学象似性这一概念是在皮尔斯(1955)象似性概念的基础上发展起来的，同时，她还从 Hiraga(2005)和Nonny and Fischer(2003)关于文学中的象似性研究中获得灵感，也结合了Reuven Tsur(1992，2003)的认知诗学理论以及 Susanne K.Langer(1953，1967)的艺术理论(Freeman，2006:7)。她提出这一术语的初衷是想把认知理论与文学批评及哲学相结合，以解释文学形式的审美特性。

继较为宏观的、印象式界定之后，弗里曼(2007，2008，2009)又经过了一系列的思考，不断修订和完善她关于诗学象似性的内涵和理论。与语言象似性以及符号象似性的界定相比，她提出的诗学象似性突出以下内涵:

(1)审美象似性。站在艺术的高度，弗里曼一再强调文学不同于一般语言表达，文学尤其是诗歌所塑造的文学世界不是现实世界的机械映照，其首要目的或功能是激活审美感知或体验，因此，诗学象似性的主旨不是为了象似性地创建思想或概念符号，即皮尔斯所称的“逻辑解释物”，而是通过符号表征，创造情绪解释物，引发读者的情感反应，使之产生逼真感，体会审美愉悦。这才是诗学象似性的首要动机。弗里曼(2007，2008，2009)反复强调情感(情绪、感情、感知)是创造诗学象似性的推动力。正是从这一点出发，熊沐清(2012:9)在详述诗学象似性的内涵时，指出“诗学象似性是文学文本的一种美学特质”，因为文学语篇是审美创造活动的产物。不同于日常语言中的象似性，在审美创造过程中所产生的象似性是作者为了彰显文学的艺术魅力而刻意创造出来的，是来自于“一种特殊的、非自动的方式”(Hiraga，2005:26)。

(2)整合象似性。审美象似性是诗学象似性的本质，整合象似性是其形成的方式或过程。弗里曼(2009)一再强调，诗学象似性不是由复制意义上的映照符号表征来实现的，而是通过完整的象征性符号整合构建出来的一种审美象似性效果。诗学象似性创造出的幻象是通过一系列的加工过程——动机、异质同构、模仿——的整合而产生的。具体而言，在激发真实生活情感幻象这一模仿动因的推动下，隐喻性结构图式就会诱发物质和媒介模态的整合，创造审美诗学象似效果。简言之，隐喻图式是情感、形式和涉身体验之功能整合的触发器。建议研究者构建一个“物质—媒介—效果”三位一体的整合模型，以捕获文学语篇创建诗学象似性的本质。

(3)隐喻象似性。隐喻是诗学象似性的工作机制(熊沐清，2012)。诗学象似性不是基于对现实的简单复制，直白地再现世界，而是基于情感、形式和功能的物质—媒介模态的隐喻整合，是在艺术层面上，用符号隐喻性地整合构建现实世界与作者—读者观念世界的映照性相似。正是在这层意义上，Hiraga(2005)提出可以把文学文本视为整体隐喻;文学文本所传递的各种概念域之间也存在系统映射(熊沐清，2012:9)。象似映射的主要途径是结构和关系类比，这也构成了艺术的结构性原则。

综合来看，弗里曼提出的诗学象似性概念和理论虽然散见于多篇论文中，远非系统和明晰，但是，通过梳理，我们还是可以看出诗学象似性的内涵、动机、机制和方式。这一理论比较全面地反映了文学艺术的本质。概言之，在内涵上，诗学象似性所说的“形意相似”侧重的不是一般意义上的“形式与意义”之间的相似，更重要的是“形式与情感”①2010年11月笔者对Freeman的访谈录。(文学的表征形式与文学所传递的情感、情绪、感知觉)之间的映照相似。在动机上，诗学象似性得以产生的内在驱动力是艺术审美，这也是文学作为艺术的使命和特性。在机制上，诗学象似性得以产生的条件是隐喻图式及由此产生的系统的结构性映射。在生成方式上，诗学象似性是系列整合的产物，融合形式、意义和功能。

2.2 隐喻和象似性

在皮尔斯的符号学体系中，“隐喻”是象似符的一种类型，与图像、图表并列。我们知道，皮尔斯的符号学是个庞杂的理论体系。这一体系建立在实用主义认识论基础之上。皮尔斯符号学的三分法(象似符、索引符、象征符)、运动性、意义的开放性等概念加深了我们对于符号与人作为认知主体之间关系的认识。但是，在这一理论体系中，“隐喻”只是指“隐喻性象似符”，是从符号与所指对象之间关系的角度进行的一种符号类型上的区分，强调该类符号的象征性特征。可见，皮尔斯符号学中的隐喻不同于认知语言学中的作为认知和思想机制的“概念隐喻”。

在认知诗学研究领域，最早探究隐喻与象似性之关系问题的学者是Masako Hiraga(1994，2005)。她的基本主张是:文学文本(尤其是诗歌)中的相似映射并不是通过声音(如象声词)和视觉图像(图形设计)的复制性表征来实现的，而是通过结构和关系类比作为意义的图表构成成分来实现的。她认为语法隐喻是连接形式与意义的桥梁，并且区分了“隐喻中的象似运动”(iconic movement in metaphor)和“象似中的隐喻运动”(metaphoric movement in iconicity)。从其研究体系来看，Hiraga并没有完全摆脱隐喻的符号学界定，正是沿用“隐喻、图像和图表均是象似符的子范畴”这一思路，她认为隐喻和图像、图表是独立存在的，并没有意识到隐喻其实是图像、图表的一个不可或缺的构成要素。在这一点上，弗里曼(2010)持不同意见，认为“隐喻、图像和图表均是象似符的组成要素，正是因为有了它们，象似符才变得复杂起来”①。

笔者赞同弗里曼关于隐喻与象似性关系的阐述。我们采用认知语言学关于隐喻的界定:隐喻是概念性的跨域映射机制，而不是一类符号的标签。既然跨域映射的基础是相似性，那么，不同概念域之间的相似性对应即为隐喻产生的基础或条件，而相似性映照又是象似性的核心，可见，隐喻即为象似性生成的运作机制。无论象似性的体现形式如何——图像象似符或图表象似符，其背后都受隐喻跨域映射机制的制约。

概言之，象似性是隐喻运作的结果，诗学象似性是在审美驱动下隐喻映射的产物。反过来说，隐喻是象似性生成的机制或条件。但是，值得强调的是，诗学象似性产生的过程并非是简单的双域间跨域映射，如上文所言，是多域互动系统整合的结果。

3.多模态诗学象似性

3.1 多模态文学

“多模态文学”，指“多种模态符号参与文学交流，协同作用共同创建文学意义和审美效果的文学作品”。从该定义可以看出，“多模态文学”是一个宽泛的文学样类名称，包含多种类型，如图文小说、漫画小说、儿童图画小说、具象诗、超文本小说、赛博文学等。

在媒体技术和后现代文化思潮的助推下，多模态交际盛行，语言霸权受到前所未有的挑战，启用多感官感知觉传递和交流信息成为一种时代潮流和时尚，即使在被称为“语言艺术”的文学界也出现了一种新的趋势:供成年人阅读的小说中也越来越多地增加了印刷图形或插图(Gibbons，2012:1)。新兴的文学样态—多模态文学正悄然改变着当下的文学实践和文学交流图景，改变着传统的文学审美模式。多模态文学凭借图像、文字、图形、声音、色彩等多种表意符号的协同作用，创建意义，传递情感，制造出奇的审美效果，赢得了越来越多读者的青睐。

多模态认知诗学是针对多模态文学盛行的时代语境而新兴的认知诗学研究方向，领军人物是英国的 Alison Gibbons(2006，2007，2008，2010，2012)，意图通过考察多模态文学表征形式与读者认知体验之间的关系，揭示人类用以阅读文学艺术，并感知和理解世界的认知实践规律(Gibbons，2012:24)。

多模态文学的兴盛可以归因于多种原因，其中，多模态诗学象似性可以说是其致命法宝。一个文学作品成功与否的标志是该作品是否能够在读者的心智中激发出对诗学象似性的感知(Freeman，2006:7)，正如布拉格学派所认同的穆卡洛夫斯基的理论:艺术客体只不过是一个纯粹客体，而审美客体只有经过读者或观者的加工后才成为可能，也就是说，诗学象似性的审美特质必须被读者认识或感知到，在心中产生一种真实生活的幻象，激发出强烈的情感反应或认同，方可得到读者的认可或喜爱。从这一点我们可以推断出多模态文学之所以备受青睐，与诗学象似性的多模态表征不无关系。

3.2 诗学象似性的多模态表征

关于诗学象似性的形式类型，熊沐清(2012)在语言象似性分类(数量象似性、距离象似性、顺序象似性)的基础上，又根据文学文本的特点，增加了音韵象似性、图形象似性、环境象似性、言语象似性、角色象似性。这一划分以文学语篇为宏观语类，涵盖性广。但是，正如作者(熊沐清，2012:13)所言，该分类不是穷尽性的，这些分类之间的关系问题也还有待进一步讨论。

本文换一个角度论述诗学象似性的形式表征。如上文所述，在弗里曼提出的诗学象似性整合模型中提及“物质—媒介—(审美和情感)效果”的融合，但是，对此，她没有展开论述。这里，我们从物质—媒介表征形式入手，探讨在多模态文学文本中的诗学象似性问题。

诗学象似性是弥漫在整个文本中的一种特质(熊沐清，2012:9)。这一特质是由文本内所有符号共同作用创建出来的，这一点在多模态文学中体现得更为明显，因为在多模态文学中，非语言符号被提升到与语言符号同等重要的地位，参与文学交流。如在平面图文文学中，常用的模态符号包括:超常语篇布局和页面设计、变化多端的排印格式、色彩化文字和图像、具象诗般的文字具象、彰显文本物质性的各种手段、动画翻页、多语类的视觉混搭等等(Gibbons，2012:2)。相对纯文字文学语篇而言，多模态文学语篇具有高度的物质—媒介自觉性。当语言在从声音符号转变为书面文字符号之后，其能指的物质性特征——如说话人的语气、语调、音高等听觉隐喻——被大大降低，加强了其抽象性和概括性特质。语言符号摆脱了物质性依赖，使读者更多地关注所指，语言文字似乎是透明的，读者凭借想象力，开启丰富的境域，投入到语言所塑造的指称世界中。然而，与语言文字符号不同，图像等非语言符号能指用具体可感的媒介表现所指，表征一个与肉体的、可触知的和当下的世界有关的感性可知的世界(王泽庆，2013)。

多模态符号所指本身被高度前景化，把读者的注意力吸引到媒介本身，使之产生一种幻觉，似乎全身心地穿越介质，浸入到文本符号所创建的虚拟世界。

图1 颜色+构图+文字多模态整合象似

例如，在几米的绘本《月亮忘记了》中，在众多暖色调彩页中，插入一整页(双页对开)幽暗的黑色，在对开的右侧页面正中央位置，放置着两行白色的俊秀文字:“他们在无意中相遇，却为幽暗的生命带来温柔美好的光亮。”

在该语境中，黑色的页面、白色的文字、俊秀的楷体字形、文字被放置的中心位置、两行字中上短下长的横向排列本身都被赋予以感性特质，多模态符号给读者带来一种从未有过的视觉冲击力，致使读者不再只关注语言文字本身，而是不自觉地把黑色页面、白色字体、页面设置、文字等媒介符号与当前故事空间内的文学意义联想起来，认识到两者之间存在隐喻映射关系:故事内孤独的男孩和跌落的月亮在幽暗的生命征程中相遇、相互慰藉所带来的温暖，不再仅仅停留在概念层面，对于读者，这种温暖会引发一种物理情绪反应——感同身受，这正是物质—媒介符号激活隐喻映射，把形式、意义、情感和审美整合在一起的象似性效果。该过程中，涉及到多模态符号的融合和基于隐喻映射的多空间整合。其中，最为突出的是整个双开页面上铺天盖地的深黑色，不同于文字模态如“黑暗”二字激活读者的抽象和想象思维，它触动读者的视觉感知，以一种物理感官刺激的方式诱发读者心中关于黑夜和白昼的情景和情绪记忆，如关于漫漫黑夜中的孤独感、恐惧感、紧张感及对光亮的渴望感。同样，字体的颜色——白色，在黑色中，与太阳光线的颜色极其象似，令感受到孤独、寂寞、恐惧的读者同故事内主人公“男孩”一起对“月亮”带来的温暖感到弥足珍贵。这里，页面上的颜色符号本身及其结构特征——黑白映衬，以结构和关系类比的相似方式，触发一系列转喻或隐喻映射和整合:视觉符号域→颜色域→自然域→感情域。同时，文字放置的位置——页面正中间，也从视觉域到空间域，激活容器图式或空间隐喻图式，令读者联想到月亮带来的温暖和光亮是男孩生命的核心，体会他此时此刻的愉悦与幸福。

多模态符号的组构性特征拓展了文学的表征空间。与完全依赖语言文字的传统文学语篇不同，多模态文学可以摆脱线性表征的束缚，同时调用多种符码——图像象似符、图表象似符、索引符、象征符，并把它们在立体空间上拼接、叠置、组合。多模态符号本身就具有了明显的整合性特征，在艺术审美原则的驱动下，每个组构符号又都被赋予了启动转喻或隐喻映射的潜质。

例如，《设计诗》(朱赢椿，2011:60)中一首题为“距离”的诗(见图2)。

图2 排版+构图+文字多模态整合象似

长短不一的16行诗，被排列成半圆状，向外放射状依次排开。黑色字体组成的诗行围出一个空白的半圆，出于格式塔感知觉能力，读者会很容易识别出整个圆形。该圆形和文字排列出的射线图形构成一幅象似符(含有图像象似符和图表象似符成分)，与读者心智中关于太阳发射光芒的心理表征景象形成映照，诱发读者对该诗歌的隐喻解读，完成从形状域到太阳域的跨域映射。同时，读者需要转动书本的方向依次阅读每个诗句，形成一个圆形轨迹。结合该诗的诗眼“春夏秋冬迥异的景致取决于与太阳的距离”，读者会很容易认识到该阅读路径本身又构成一种动态象似符:象似于太阳的旋转，也象似于人们日出而作日落而息的生活规律。该结构和关系类比令读者不由得联想到人生轨迹及生死轮回的东方生命哲学。从阅读动作域到太阳运动域到人生轨迹域，再到生命哲学域，相似映照所激发的层层跨域映射与图形象似符所触发的从形状域到太阳域的映射相互链接性对应，形成系统映射。多模态符号的立体组构整合赋予平面的二维空间无限张力，调用读者的多感官参与文学交流，产生出奇的审美感受。

4.结语

诗学象似性是文学的特质，具有本质上的审美性、过程上的整合性和机制上的隐喻性。诗学象似性是判断一个文学作品成功与否的决定性因素。多模态文学的盛行与诗学象似性的多模态表征息息相关。多模态诗学象似性得益于多模态的非线性“超媒介”(Bolter and Grusin，1999)特征——多种表征符号异质共现，彰显物质符号能指与抽象被表征物之间的张力(Gibbons，2012:115)，创造出一种崭新的文学阅读和审美体验。传统的纯文字文学作品往往只依赖读者的想象力，令读者在心理上想象性浸入到虚构的文学世界，感受故事内人物的喜怒哀乐。而多模态文学则依赖其多模态诗学象似性，调用读者的多个感官，甚至会诱发读者的身体动作，令其得以在真实和虚拟、身体和认知之间的界面上感受文学艺术的审美效果。

［1］Bolter，J.D.＆ R.Grusin.Remediation:Understanding New Media［M］.Cambridge，MA:MTI Press，1999.

［2］Freeman，M.H.From Metaphor to Iconicity in a Poetic text［M］//Benczes，R.＆ Csábi，S.The Metaphors of Sixty:Papers Presented on the Occasion of the60th Birthday of Zoltán Kovecses.Budapest:Eotvos Loránd University，2006.

［3］Freeman，M.H.Minding:Feeling，Form and Meaning in the Creation of Poetic Iconicity［M］//Brne，G.＆ J.Vanaele.Cognitive Poetics:Goals，Gains，and Gaps.Berlin:Mouton de Gruyter，2009.

［4］Freeman，M.H.Poetic Iconicity［M］//Chlopicki，W.Pawelec，A.＆ A.Pojoska.Cognition in Language:Volume in Honour of Professor Elbieta Tabakowska.Kraków:Tertium，2007.

［5］Freeman，M.H.Revisiting/Revisioning the Iconthrough Metaphor［J］.Poetics Today，2008，29(2):353－370.

［6］Gibbons，A.A Visual＆ Textual Labyrinth:The Eyes’Dilemma，Mark Z.Danielewski’sHouse of Leaves［J］.Route，2006(1).

［7］Gibbons，A.Multimodal Literature‘Moves’Us:Dynamic Movement and Embodiment in VAS:An Opera in Flatland［J］.Hermes，2008(41):107－124.

［8］Gibbons，A.Multimodality and Cognition:Reading Word and Image［M］//Baldry，A.＆ E.Montagna.Interdisci-plinary Perspectives on Multimodality:Theory and Practice.Campobasso:Palladino，2007.

［9］Gibbons，A.Narrative Worlds and Multimodal Figures in House of Leaves:“Find your Own Words;I have no More”［M］//Grishakova，M.and Ryan，M-L.Intermediality and Storytelling，Berlin:Walter de Gruyter，2010.

［10］Gibbons，A.Multimodality，Cognition，and Experimental Literature［M］.New York/London:Routledge，2012.

［11］Haiman，J.Iconic and Economic Motivation ［J］.Language，1983(59):781－819.

［12］Hiraga，M.Diagrams and Metaphors:Iconic Aspects of Language［J］.Journal of Pragmatics，1994，22(1):5－21.

［13］Hiraga，M.K.Metaphor and Iconicity:A Cognitive Approach to Analyzing Texts［M］.New York:Palgrave Macmillan，2005.

［14］Langer，S.K.Feeling and Form:A Theory of Art［M］.New York:Charles Scribner’s，1953.

［15］Langer，S.K.Mind:An Essay on Human Feeling［M］.Baltimore:The Johns Hopkins Press，1967.

［16］Leech，G.＆ Short，M.Style in Fiction:A Linguistic Introduction to English Fictional Prose［M］.London:Longman，1981.

［18］Peirce，C.S.Philosophical Writings of Peirce［M］.Justus Buchler.New York:Dover，1955.

［19］Tsur，R.On the Shore of Nothingness:A Study in Cognitive Poetics［M］.Exeter，UK:Imprint Academic，2003.

［20］Tsur，R.Toward a Theory of Cognitive Poetics［M］.Amsterdam:North Holland，1992.

［21］沈家煊.句法的象似性问题［J］.外语教学与研究，1993(1):2－8.

［22］王泽庆.胡适的语言观念谱系［J］.北方论丛，2013(3):57－61.

［23］熊沐清.试论诗学象似性的涵义与形式［J］.外国语文，2012(6):7－13.

［24］朱赢椿.设计诗［M］.南宁:广西师范大学出版社，2011.