跨媒介创作中的语图关系探析

范玉刚 谭吉瑞

在中外艺术史上，不同艺术门类之间总是相互借鉴、转换、融合，即进行从一种媒介到另一种媒介的跨媒介创作，这是一个十分古老的艺术现象。如今，随着互联网、数字技术的普及，跨媒介创作又成为当下的一个社会热点，也是学界的关注点之一。在所有跨媒介的案例中，最有代表性的就是语言和图像之间的跨媒介，以往对跨媒介创作中语图关系的研究主要集中在接受层面和文本层面，前者如图胜于文、语重图轻、图文合力、语图互文等，后者如语图一体、语图分体、语图合体等，对创作层面的语图关系关注度不够，而这恰恰是跨媒介创作中最基础的层面，而且很多研究没有明确区分语言和图像在这三个层面上的关系，导致对语图关系的界定比较混乱。事实上，只有明晰语图跨媒介创作中的发生机制和创作规律，我们才能更好地理解和把握这一艺术现象。

一、跨媒介：一种艺术现象及研究范式

媒介是艺术中最为基础和关键的要素，因为任何艺术作品都是物性的存在，那些只停留在艺术家头脑中的东西并不能称之为艺术作品，而将艺术家的“胸中之竹”转化为“眼中之竹”的重要一步就是艺术媒介。海德格尔就曾指出：“一切艺术品都有这种物的特性……在艺术品中，物的因素如此牢固地现身，使我们不得不反过来说，建筑艺术存在于石头中，木刻存在于木头中，绘画存在于色彩中，语言作品存在于音响中。”①杜威还指出艺术创作就是对已有的物质媒材进行重新创作的过程：“艺术表示一个做或造的过程。对于美的艺术和对于技术的艺术，都是如此。艺术包括制陶、凿大理石、浇铸青铜器、刷颜色、建房子、唱歌、奏乐器、在台上演一个角色、和着节拍跳舞。每一种艺术都以某种物质材料，以身体或身体外的某物，使用或不使用工具，来做某事，从而制作出某件可见、可听或可触摸的东西。”②在格林伯格那里，媒介受到了极大的重视，甚至形成了“媒介即艺术”的命题，他认为每一种艺术能够自成一个独立的领域是由其媒介特性决定的，现代主义艺术都在追求自身媒介的纯粹性和独一无二性，例如以马奈为代表的现代主义绘画追求二维平面性③。关于艺术媒介是什么的问题，张晶教授认为艺术媒介是凭借特定的物质材料并以一定的形式形成的符号体系，是材料与形式的综合，但绝非两者的简单相加④。周计武教授则认为艺术媒介至少应该包含三个具体的向度，即物质媒介（文字、黏土、青铜、大理石、画布、胶片、屏幕）、符号媒介（韵律、色调、线条、布局、造型）和传播媒介（纸张、书籍、电台、电视、计算机网络），它们分别对应于艺术的质料、形式和载体⑤。应当说，后者的总结更为清晰和全面。

跨媒介作为一种艺术现象，在古代东西方就已经出现，如中国的“诗乐舞一体”“书画同源”，西方的诗画为“姊妹艺术”“艺格敷词”（ekphrasis）等，但跨媒介（intermedia）却是一个相当晚近的概念。这一概念最初出现在美国激浪派艺术家希金斯写于1966年的《跨媒介》一文中，到了80年代以后，跨媒介研究逐渐成为语言学、传播学、人类学、艺术学等人文社会科学领域的热点，因为学科的驳杂，学界对这一概念始终没有统一的权威界说，不过其核心内涵应是不同媒介间的跨越。对此，周计武教授总结道：跨媒介强调位于两种媒介之间，强调的是媒介的居间性；跨媒介相对于纯媒介而言，旨在打破专有的、不平等的纯媒介艺术观；跨媒介涉及两种或两种以上艺术媒介特性及其艺术观念之间的移植、转换、交互、融合⑥。跨媒介是艺术史上的常见现象，至于跨媒介创作的动因，钱钟书先生给出了很好的解释：“一切艺术，要用材料作为表现的媒介。材料固有的性质，一方面可资利用，给表现以便宜，而同时也发生障碍，予表现以限制。于是艺术家总想超过这种限制，不受材料的束缚，强使材料去表现它性质所不容许表现的境界。”⑦可以说，跨媒介是所有艺术的一种重要生成机制和创作规律，正是跨媒介打破了各门类艺术间的壁垒，促进了艺术的发展。

跨媒介研究作为一种研究范式随着跨媒介现象的出现和发展而逐渐成熟，受到许多学者的关注和重视。分析美学家卡罗尔从反对格林伯格的“媒介特殊性理论”出发，通过对各门类艺术的研究揭示了媒介特殊性能够支撑各门艺术合法性地位的局限，并提出要摒弃单一媒介，接受多媒介、综合媒介或跨媒介交互与融合，他的艺术哲学研究显示了跨媒介研究范式的优越性。周宪教授曾总结了五种艺术门类交互关系的研究范式：“姊妹艺术”研究、历史考察模式、美学中的艺术类型学、来自比较文学的比较艺术或跨艺术研究、跨媒介研究⑧。以上五种范式中最为接近的是后两者，也是本文讨论的重点，但跨媒介研究范式克服了比较艺术研究范式存在的语言中心论和文学中心论，是最有价值和发展前景的研究范式。另外，他还指出跨媒介研究具有鲜明的时代品格，20世纪末以来，随着互联网、数字技术等的发展，诞生了许多跨媒介艺术或综合媒介艺术，例如漫画、网络视频、数码电影等，对它们的研究往往囿于对它们艺术身份的确认而停滞不前，但跨媒介研究都将它们纳入了艺术研究的范畴，能够对当下的艺术现象做出及时的回应。以语图跨媒介研究为例，这一研究范式能够以去中心化的逻辑规避图胜于文、语重图轻等一些无意义的情绪论调和价值判断，最重要的是其可以适应当下的现状，对“文学遭遇图像”做出恰当的回应。

二、跨媒介中的语图转换

在语言和图像的跨媒介创作中，两者是如何实现“跨”的？或者说语言和图像在创作层面上究竟是什么关系？对于这个问题，不同的学者在具体的研究中有不同的看法，例如语言和图像之间相互借鉴、模仿、参照、指涉、融通、演绎、改编、衍生等，这些归结起来大致可以分为语言和图像在形式上和内容上的关系两大类，前者以“出位之思”为代表，后者以“语图互仿”为代表。但无论是哪种语图关系，都可以称之为“语图转换”，其强调语言和图像两者之间的转换关系，既涉及形式也涉及内容。

“出位之思”源于德语词汇Andersstreben，作为一个美学概念，指的是一种媒介超越其本身的表现领域而跃入另一种媒介的表现领域，钱钟书在《中国诗与中国画》中将其译为“出位之思”，并以中国诗和中国画为例论述了他对语言和图像两种媒介的认识，叶维廉在《“出位之思”：媒体及超媒体的美学》一文中也对此进行了专门的探讨。语言和图像之间的“出位之思”表现为语言向图像的跨媒介以及图像向语言的跨媒介，语言是在时间进程中表情达意的，但很多语言作品却追求图像所特有的空间形式，如龙迪勇教授指出普鲁斯特的《追忆似水年华》在结构上显现出一种大教堂般的空间形式⑨。还有的语言作品尝试像图像那样带给人视觉感受，让作品由“可读”变为“可视”，如一些先锋小说会对文字进行特殊的排版以引起读者的视觉注意，最典型的莫過于“艺格敷词”，其根源于古希腊的修辞学传统，通过“以文述图”让人感到形象的视觉效果，例如《伊利亚特》对阿喀琉斯盾牌的描述、济慈的《希腊古瓮颂》等。而图像是在空间中呈现视觉形象的，但很多图像作品却试图像语言那样在时间中延展，例如中国古代绘画经常以手卷的形式进行装裱，手卷从右到左徐徐展开，画面也随着时间的流逝逐渐显现，手卷这一特殊的形式将时间维度引入到绘画中，再如沃尔特·佩特称赞乔尔乔内的“绘画诗”能够展现时间的流逝，蕴含了时间维度⑩。还有的图像作品不安于描绘视觉形象，而是追求语言的表意优势，钱钟书就曾指出中国古代绘画不用颜色和线条表现形象，反而追求像诗歌那样抒情达意，营造出诗意的效果，结果走向了写意的道路，变得与诗歌越来越接近，所以，苏轼才在《书鄢陵王主簿所画折枝二首》中说：“诗画本一律，天工与清新。”在“出位之思”中，语言和图像的相互转换主要发生在形式层面，语言和图像各自追求的是对方的形式特性及由形式所决定的美学效果，对此，龙迪勇教授就认为：“所谓‘出位之思’之‘出位’，即表示某些文艺作品及其构成媒介超越其自身特有的天性或局限，去追求他种文艺作品在形式方面的特性。”11而且这里说的语图转换并不着眼于具体的单个的语言和图像作品，而是立足于语言和图像两种抽象的媒介，所以说，“出位之思”是形式意义上的语图转换。

“语图互仿”是赵宪章教授在《文学图像论》中提出的一个重要概念，该概念诞生于他对中国古代语图关系史的论述中。以文字的出现、纸张的普及和印刷术的发明为标志，他将中国语图关系史分为三个阶段：文字出现之前的以图言说为特点的语图一体、文字出现之后至宋元时期的以语图互仿为特点的语图分体、宋元之后以语图互文为特点的语图合体。“语图互仿”就是指在语图分体时代语言和图像的关系为二者互相模仿12，例如苏轼所作的《惠崇春江晚景二首》是对惠崇所画的《春江晚景》鸭戏图和飞雁图的模仿，属于语言对图像的模仿，而顾恺之的《洛神赋图》是对曹植《洛神赋》的模仿，属于图像对语言的模仿。此外，赵教授还指出“语图互仿”存在非对称性的态势，即图像对于语言的模仿是“顺势”，而语言对于图像的模仿则是“逆势”13。如果从跨媒介创作的角度来看，这种非对称性态势与语言和图像在历史上的地位有关，周宪教授通过考察三个关于拉奥孔的经典文本梳理出文学在西方文艺史上由中心走向与其他艺术平等的进路，同时指出：“在各门艺术组成的古代系统和现代系统中，文学从来都扮演‘老大’角色，独领风骚于其他艺术之上。”14而中国古代有很强的崇文抑画传统，赵宪章教授认为在“备物致用”的古代社会，“崇文抑画”是普遍的价值判断，并通过分析王充的《论衡》指出他的图像“空器”说15，龙迪勇教授也认为王充所宣扬的图像无用论在中国古代历史上一直占据上风16。所以说，语言相对于图像来说一直处于较高地位，这是中外文艺史上一直存在的“语言中心主义”。因为语言处于高位，所以在“语图互仿”中语言总是容易成为图像模仿的范本，而语言则很少模仿处于低位的图像17，应当说，这条模仿律在所有的跨媒介创作中都存在，并非为语图跨媒介所独有。总之，“语图互仿”同样是强调跨媒介创作中语言和图像两者的相互转换，但与“出位之思”不同的是，“语图互仿”针对的是具体的单个的语言和图像作品，严格来说，这种语言和图像作品之间的模仿是不同作品之间的相互改编，而且此模仿只限于作品的内容层面，即在主题、人物、情节、故事、背景等方面进行模仿，所以说，“语图互仿”是内容意义上的语图转换。

通过分析“出位之思”和“语图互仿”，我们对语图转换的发生机制和创作规律有了更为深入的认识，需要指明的是，语图转换强调的是语言和图像在创作层面上的关系，并不关注存在语图转换关系的语言或图像的文本形态是否是语图合体，也不关注其接受效果，例如小说插图与小说共处于一个文本，该文本是语图合体，在接受效果上可能呈现出语图互文，但插图与小说在创作层面上的关系是语图转换。此外，语图转换主要是传统媒介时代的语图关系，语言为自然语言，图像是静态图像，正如赵宪章教授所说“语图互仿”是关于语图关系的静态分析，尚未涉及语言和图像在数字媒介时代的体态18。但是，随着互联网、数字技术的普及，数字媒介下的语言和图像关系已经发生了改变，这就要另当别论了。

三、跨媒介中的语图生成

20世纪末期以来，科学技术的发展对作为人类两大表意符号的语言和图像产生了前所未有的影响，语言和图像都逐渐被数字化，发生了变异，语言由自然语言转变为虚拟语言、机器语言、仿真语言19，图像也由传统的手绘图像转变为机绘图像和数绘图像20，由静态走向了动态。另外，计算机制图、数码影视、网络游戏、虚拟现实、自媒体、“大数据”、“云计算”等新兴的技术促进了媒介间的跨越和融合，催生了许多跨媒介或综合媒介艺术，虽然在数字媒介下的综合媒介艺术容纳了多种媒介，但我们依然可以从这些复杂的综合体中廓清语言和图像两者在创作层面上的关系，即语言和图像相互生成，我们称之为“语图生成”。

与语图转换相比，语图生成中的语言和图像关系更为密切，如果说存在语图转换关系的双方还能被清楚地加以区分，那么在语图生成中则很难为语言和图像画出一条明确的分界线，因为数字媒介下的语言和图像本质上都是二进制数字“0”和“1”，各自的媒介特性并不明显，如果从艺术媒介的三个向度来看，它们只存在符号媒介上的差异，物质媒介和传播媒介都是相同的。所以说，数字媒介下的语言和图像在本体论意义上都是相同的。对此，鲍远福从文本表意的角度指出数字媒介下的语言和图像存在“语图间性”，他认为：“语言文本和图像文本彼此缠绕互动，语言符号和图像符号交互共生，共同作用于这些聚合型文本的动态语义场，并在表意实践中实现对单纯的语言文本和图像文本的双重超越。”21由此可见，数字媒介下的语言和图像并不是相互独立的，而是互相生成，甚至可以由语言生成图像，再由图像生成语言，如此循环以至无穷，形成所谓的“语圖漩涡”。在语言和图像的不断生成中，没有确定的源本或摹本，只有由“0”和“1”构成的没有边界的虚拟数据网络。

为了深入探究数字媒介下语图生成的内在机制和创作规律，本文将以语图生成的代表性案例为重点进行考察。首先，我们从数码影视中的弹幕谈起。弹幕是当下十分流行的观影新模式，是视频观看者对视频的及时评论，也是观看者与视频制作者和其他观看者的实时互动，具有极强的对话性质。弹幕虽然以语言为主，但也有许多Emoji表情包，很多特效弹幕还能形成奇特的视觉效果，转化为可视的图像。对于整个视频来说，弹幕如同视频的一个重要部分内嵌于视频之中，形成独特的“弹幕电影”。弹幕由视频生成，而视频反过来也由弹幕生成，彼此共生，不能独立，一旦视频结束，弹幕也随之消失。其次，我们再谈一下网络游戏。网络游戏依托互联网和数字媒介，能让游戏用户通过屏幕进行人机和人人互动，其中包含大量的语言和图像。自然语言一旦被改编成网络游戏后，就成为支撑游戏运行的程序语言和故事脚本并隐藏在屏幕之后，与此同时，图像也通过后台编码和超链接等技术由程序语言生成。在游戏中，玩家又可以根据屏幕上的图像并通过对话框、菜单栏等介质与人、机进行实时对话，这种对话可以是语音也可以是文字，于是语言就由图像生成，这个语图生成的过程将随着游戏结束而终止。因为玩家的个性化参与，网络游戏的语言和图像千变万化，表现出极强的“生成性”。最后，让我们考察一下“超文本文学”。“超文本文学”是文学与互联网、数字技术的产物，是由比特编码产生的电子文本，在文本内部有许多“非平面印刷成分”，包括图像、音频、视频等，它们通过超链接技术相链接。在“超文本文学”中，语言和图像统一归于超链接逻辑，可以说，超链接沟通起了语言和图像，正如黄鸣奋教授所说：“超链接是超文本的特色所在。它本质上是两个或者更多文本单位之间的联系，允许读者从这一文本单位跨越到另一个文本单位。”22对于作者来说，“超文本文学”的创作与普通的文学创作有很大的不同，需要借助专门的写作软件，例如HyperCard、Flash、Oracle Media Objects等，当他们在创作时，与其说是在写字或画画，不如说是通过编码让语言和图像互相生成，从而完成整个作品的创作。因此，语言和图像在创作层面上呈现为语图生成的关系。

由互联网和数字技术催生出来的跨媒介或综合媒介艺术的各个媒介之间存在十分复杂的关系，尤其是語言和图像，它们之间的关系更是“剪不断，理还乱”，但通过剖析，我们也可以厘清语言和图像在创作层面上的关系，即语言和图像互相生成，语图生成立足于互联网和数字技术的特殊性，能够很好地揭示跨媒介创作中的语图关系。

四、结语

语言和图像作为人类两大表意性符号，二者之间一直存在比较复杂的关系，尤其是在跨媒介创作中，语言和图像的关系更为复杂。本文采用跨媒介研究视角，通过详细考察，分析阐释了跨媒介创作中语言和图像在创作层面的关系，即语图转换和语图生成，前者主要是针对传统媒介时代，后者则立足当下的数字媒介时代。值得注意的是，目前对语言和图像在文本和接受层面上的关系的区分研究还不够清晰，尤其是随着互联网和数字技术的发展，跨媒介或综合媒介艺术将更为复杂多变，语图关系的迭代变化有待进一步深入研究。

【注释】

①海德格尔：《艺术作品的本源》，载《诗·语言·思》，彭富春译，文化艺术出版社，1991，第23页。

②杜威：《艺术即经验》，高建平译，商务印书馆，2007，第50页。

③克莱门特·格林伯格：《现代主义绘画》，秦兆凯译，《美术观察》2007年第7期。

④张晶：《艺术媒介：材料与形式》，《现代传播（中国传媒大学学报）》2023年第1期。

⑤⑥周计武：《艺术的跨媒介性与艺术学理论的跨媒介建构》，《江海学刊》2020年第2期。

⑦钱钟书：《中国诗与中国画》，《国师季刊》1940年第6期。

⑧周宪：《艺术跨媒介性与艺术统一性——艺术理论学科知识建构的方法论》，《文艺研究》2019年第12期。

⑨龙迪勇：《“出位之思”与跨媒介叙事》，《文艺理论研究》2019年第3期。

⑩沃尔特·佩特：《文艺复兴：艺术与诗的研究》，张岩冰译，广西师范大学出版社，2000，第162页。

11龙迪勇：《空间叙事本质上是一种跨媒介叙事》，《河北学刊》2016年第6期。

121318赵宪章：《文学图像论》，商务印书馆，2022，第32-35、49、35-36页。

14三个经典文本分别是莱辛的《拉奥孔》、白璧德的《新拉奥孔》以及格林伯格的《走向更新的拉奥孔》，莱辛秉持一种文学优越论，白璧德则持音乐至上说，而格林伯格更偏向绘画主导论。可参阅周宪：《说不尽的“拉奥孔”——文学与其他艺术关系史的一个考察》，《中国比较文学》2020年第3期。

15赵宪章：《哲学史上的“空器/空洞”说与题画文学之可能》，《文化艺术研究》2022年第4期。

16龙迪勇：《图像与文字的符号特性及其在叙事活动中的相互模仿》，《江西社会科学》2010年第11期。

17龙迪勇教授通过引用法国社会学家塔尔德在《模仿律》中对作为社会行为的模仿进行分析得出的“模仿律”：从内心到外表的模仿；从高位到低位的模仿，来论述图像叙事对语词叙事的模仿是低位向高位的模仿，是符合模仿律的。可参阅龙迪勇：《模仿律与跨媒介叙事——试论图像叙事对语词叙事的模仿》，《学术论坛》2017年第2期。

19虚拟语言直接由计算机软件所生成，机器语言是利用声音软件合成的，仿真语言由移动终端或网络中的虚拟角色发出。可参阅鲍远福：《新媒体文艺的跨媒介表意与传播范式研究》，《江苏大学学报（社会科学版）》2019年第5期。

20手绘图像、机绘图像、数绘图像是赵宪章教授提出的用以区分传统媒介时代和数字媒介时代图像的三个概念。具体而言，手绘图像是纯粹手工绘制的图像，机绘图像是机械手段批量制作的图像，数绘图像则是由计算机软件自动生成的图像。

21“间性”（inter-sexuality）原是一个生物学术语，指生物个体的“雌雄同体性”（hermaph-rodism），是对不同性状和特质的两种对象交互性关系的一般性表述，在人文学科中，“间性”主要是指那种非对立的、对话的、多元的、你中有我、我中有你的立场和姿态。可参阅鲍远福：《新媒体文本表意论：从语图关系到“语图间性”》，《内蒙古社会科学（汉文版）》2016年第3期。

22黄鸣奋：《超文本诗学》，厦门大学出版社，2002，第118页。

（范玉刚、谭吉瑞，山东大学文艺美学研究中心）