从“色彩音乐”到“视觉音乐”：西方视听通感的观念源流与其早期艺术实验①

朱文涛（ 江南大学 产品创意与文化研究中心，江苏 无锡 214122）

从“色彩音乐”到“视觉音乐”：西方视听通感的观念源流与其早期艺术实验①

朱文涛（ 江南大学 产品创意与文化研究中心，江苏 无锡 214122）

视听通感是人类文化史上很少见的一种跨学科的现象研究，在西方历史上，神学、直觉主义哲学、神秘主义思想和科学理论等不同知识系统都对通感做出观念解释。在观念探索的基础上西方不断进行着视听通感的艺术实验：从16世纪出现最早的“色彩音乐”方案到后来的光效艺术、抽象电影等内容的“视觉音乐”。20世纪初西方通感艺术实验的蓬勃发展，在观念和实践上都对现当代艺术和设计产生重要影响。本文通过追溯西方通感观念的流变，对18世纪到20世纪三十年代的视听通感的早期艺术实验进行系统梳理，试图发现其内在的演变线索与逻辑。

色彩音乐；视觉音乐；通感观念；抽象电影；艺术实验

视觉和听觉是人类最重要的两种感官感觉，视听知觉的相互沟通和关联，被称为视觉与听觉的“通感”，我们既把它作为一种心理上的知觉现象，又可以是一种艺术上的审美体验[1]。对视听通感效应的研究是人类文化史上很少见的一种跨学科的现象研究，曾经集中了哲学家、神学家、科学家、心理学家、工程师与视觉艺术家、音乐家的共同参与和探索。人们不断对这种奇妙的通感经验提出问题，两者之间为什么会产生联系？如何产生关联？是否可以相互转化？

在漫长历史的不同知识系统中，从形而上学的神学体系，到直观哲学，神秘主义思想再到科学主义理论，这几个问题曾产生过各种答案，至今没有准确定论，但却塑造出各种“通感”观念。在通感观念的推动下，人们试图将视觉艺术和音乐两种不同性质的创作相互沟通，形成视听通感的艺术。视觉造型艺术是空间维度，听觉音乐艺术是时间维度，从17世纪开始，西方不断进行艺术实验，延展传统时空的限制，以某种技术将声音物态化，或将视觉动态化，出现了最初的“色彩音乐”（Color Music）以及后来光效艺术、抽象电影等内容的“视觉音乐”（Visual Music），探索视觉与音乐之间所能建立的各种必然的或象征的关系。上世纪初通感艺术实验蓬勃发展，对于现代艺术，无论在观念和实践上都有着极为重要推动作用，其中的原因和细节又往往不为人熟知。

本文将对西方通感观念进行历史追溯，同时对18世纪到20世纪30年代的视听通感艺术的早期实验进行系统梳理，试图发现其内在的发展线索和演变逻辑。我们会发现历史上任何一次通感艺术实验都不是灵光乍现，而是观念延续之潜流涌动。面对当前迅速发展的数字多媒体艺术与设计创作，我们仍能在这些早期实验中找到其观念、技术与表达的来源。

一、线索与源流：西方知识系统中的通感观念

西方对视听通感的研究和探索贯穿古代至现代，对其理解却基本遵循两条线索，一是视觉与声音之间存在物理和理性的必然对应关系。二是视觉与声音之间通过直觉的情绪和感觉上的隐喻建立联系。在历史上这两条线索以不同的知识系统的诠释而形成各种通感观念。

通感的英文“Synaesthesia”是“syn”（结合）和“esthesia”（感知）的合成词，源自古希腊文“συν-αισθάνομαι”。通感观念可追溯到古希腊哲学时代，对其原理解释最先来自毕达哥拉斯和柏拉图的理论。毕达哥拉斯认为数字是宇宙原理，在公元前550年，他就确立了循环八度音阶的数学方程，表示数字和音乐的理性关系。[2]柏拉图在《蒂迈欧篇》（Timaeus）中认为，宇宙现象具有音乐一样的音阶比率，行星的半径设置为与全音阶相似的1:2:3:4:8:9比例序列，星球运动也会发出自己的声音，音乐成为宇宙的可见秩序。他们的天体音乐的数字原理成为理解通感的基础，柏拉图曾描述为“天文学的眼睛，音乐的耳朵，都需要知道数字比例”。[3]亚里士多德开始从人类知觉角度阐释通感，他在著述《论感觉和被感觉》（On Sense and the Sensible）中谈及通感原理，他认为人的视、听、味、触等几种感觉有着各自独立的处理模块，人在处理这些感觉中又建立起一种共通的核心感知，因而通感联系更多是理性和固定的，感受声音的和谐相似于感受色彩的和谐，他还举例颜色与味道之间的对应关系。[4]无论是物理上还是生理上，古希腊哲学都普遍将通感原理确认为来自一种先验的理性秩序。

图1 行星音乐图，朗吉诺·加富里奥1496年

古希腊观念在中世纪神学中得到广泛继承。中世纪音乐家弗朗吉诺•加富里奥(Franchino Gaffurio, 1451- 1522)就曾经设计过一个宇宙图式（图1），左边为主宰艺术的缪斯，右边为托勒密的星球体系，八个星球对应八种音乐调式和不同颜色，如弗吉尼亚调式（Phrygian mode）对应绿色和火星。文艺复兴时期的著名学者吉罗拉莫•卡尔达诺（Girolamo Cardano，1501-1576）以古希腊人的思路开发出颜色、声音、味道与行星的完整的通感系统。中世纪以浓厚的神学概念来对此解释，中世纪神学认为神创的世界有着完整的范式，一切物皆有注定位置，依据神圣旨意安排阶层，这提供不同物象之间本质和表象皆为相似的理由。光线被认为是第五元素“以太”的震动，而声音是空气的震动，两者都在空间中匀速传播，能够穿透物质，随着距离而减弱。[3]中世纪的思想者相信光色与声音在环境中的相似行为符合了神创秩序，两者的通感体验印证了神学的宇宙运行模式，中世纪教堂都有着彩色玻璃花窗和巨大管风琴也是来自这一神学观念。

图2 行星音程图，出自开普勒《世界和声》，1619年

图3 光谱音程图，出自牛顿《光学》，1704年

文艺复兴后期开始萌芽的近代科学哲学也试图证明通感的理性。17世纪初，天文学家开普勒（Johannes Kepler,1571-1630）在《世界和声》（Harmonies of the World）一书中给出了天体音乐的准确表述，他比较近日点和远日点行星的角速度，并将这些速度关系表示为音程（图2）。而英国哲学家洛克（John Locke，1632-1704）还对一位盲人做过通感实验，声称喇叭的声音感觉是猩红色，试图用实证方式证明光色与音乐之间存在通感对应。[5]18世纪初，牛顿爵士（Sir Isaac Newton，1643－1727）通过数学和物理将光色与音乐的对应关系以最科学理性的方式确定下来。牛顿以色散实验确立了光谱，将声学和光学现象进行直接类比，光在从红色到紫罗兰色的颜色频谱中的振荡频率增加，自然大音阶声音的振荡频率也相应增加。他在《光学》（Optics）一书的光谱音程的关系图（图3）中，将光谱周长以音程比率进行划分对应其光谱的颜色区间，彩虹七色和七声音阶之间建立了对应。从古希腊哲学到中世纪神学再到近代物理学都认为声音与光色之间存在必然的对应关系，因而通感现象有着客观的基础，来自于先验的秩序。这是西方对通感探索的第一阶段，但有个问题无法得到解决。既然两者之间必然同构，但为什么不同的人通感感受是不同的？历史上也有着无数声音与色彩的对应方案，就算牛顿的方案也没有形成任何共识。（图10）视听通感没有想象的简单，这也使人们逐渐开展第二条线索的探索。

自18世纪始，启蒙哲学家和后来的浪漫主义思潮开始承认共同感官的个体差异，并渐渐不满足理性主义哲学的解释和对直觉感性的轻视。将感官的感受建立哲学学科美学的亚里山大•鲍姆嘉通（Alexander Gottlieb Baumgarten，1714-1762）认为，感官印象审美与理性的逻辑认知是不同。康德、卢梭等人有着相似的观点，康德（(Immanuel Kant, 1724-1804）认为人能感觉到声音，但声音旋律的印象是需要主观审美感知，在康德的概念中审美感知来自一种主观共通感（Sensus Communis or common sense），是通过“感受”而非“概念”来自由决定。[6]哲学家开始认为，人类的感知是活跃的并富有创造性，有些人也更有天赋或比其他人更容易体验通感。通感具有主观性审美的观念在之后的象征主义文艺理论中流行起来，法国象征派诗人波德莱尔（Charles Pierre Baudelaire 1821-1867）的理论中，每个颜色、声音、气味、复杂的图像以及概念化的种种情感都可以以某种等效的方式绑定在一起，象征主义的通感体验常常是通过由某一感觉的隐喻来诱发关联。象征派天才诗人阿蒂尔兰波(Jean Nicolas Arthur Rimbaudm1854-1891)谈到每个元音的发音都能唤起相配对的颜色[6]。直觉主义与象征主义推崇直指内心的体验才能理解事物的本质，视觉、听觉和其他感官元素都可以自由的相互表征，调和在一起，因此，音乐家瓦格纳(Adolf Wagner，1835-1944)提出了“综合艺术”的概念（Gesamtkunstwerk），之后的康定斯基(Wassily Kandinsky,1866-1944)在《艺术精神》中更为详细阐述通感理论如何达成艺术统一的基础。

19世纪流行的观念是将宇宙视作一个巨大的被预先设定好的机械钟，人类心灵也是基于这种科学观的发展，而哲学和艺术世界却不断寻求对于这种还原论和机械论观点的另一种选择。直觉主义和精神分析等反理性哲学在19世纪末带来一股神秘主义思潮的复兴，开创者是海伦娜•布拉瓦茨基夫人（Madam blavatsky ,1831-1891），她将东方宗教、心理分析和科学哲学杂糅在一起开创了一种名为“神智学”（Theosophy）。虽然这备受争议，但无疑是后来各种现代艺术与文化中有关隐秘与灵性思想的重要源泉。通感的生理现象为神秘主义提供了一种不可预测和高度主观的例证，象征从预定的现象世界中脱离，通感艺术以最原初和纯粹的感知要求放弃与自然形态的相似，因而与抽象主义密切联系，有研究认为，19和20世纪早期的所有抽象视觉艺术包括毕加索、马蒂斯、克利等人的创作都音乐通感相关。[7]

20世纪中后期对通感的研究进入第三个阶段。随着格式塔（gestalts）认知心理学对产生通感的完形心理基础的建立，科学家和心理学家对这一现象的分析日益深入，知觉现象学大师梅洛•庞蒂（Maurice Merleau-Ponty,1908-1961）就解释了通感的主观个体差异，他认为人类身体不只是物质器官，还塑造了各自无意识的主观经验，生理基础形成心理感知上的格式塔通感。[4]另一方面，神经生理学家通过实验更加确认了通感的生理基础，而不仅仅是人们主观的想象。最新神经科学表明，大多数时候我们的感知功能是在大脑皮层的独立区域发生的，而通感体验会同时激活不同的感官领域，例如用于听觉感知区域同时激活视觉或嗅觉区域，这种现象主要发生在婴儿期，而随着大脑皮质成熟，通感体验会消失，而有部分人由于遗传原因将在成年后仍保留这种交叉感知功能，科学家推断这部分人在人群中的比例可能是百分之四，历史上的一些人物如毕达哥拉斯、克利、高更、康定斯基都可能是这类具有联觉功能的人群，[4]但通感体验仍难以操控，并有很多疑问，神经科学对此还在反复探讨中。

图4 不同知识系统下的通感观念流变线索（自绘）

在不同阶段不同知识系统下的通感观念仍大致依赖两条线索，或将其视为客观必然的联系（理性的，神性的或生理科学的），或是主观情感和语义的感知联想（直觉的，神秘的或认知心理建构的），虽然实际上两者可能是同时作用的。这也带来历史上视听通感艺术创作的两种思路：一是将视觉光色或形态与音乐之间寻找必然对应的内在联系，试图通过视觉完整对应音乐信息，二是通过想象和隐喻在声音和视觉之间寻找艺术关联。我们可以把前者称为通感艺术的“客观主义”，而后者称为通感艺术的“表现主义”。历史上的通感艺术实验与通感观念的发展一致，是从“客观主义”向“表现主义”的发展，但随着技术和媒介的发展，两者既有了更多融合又表现出各自独立的拓展。（图4）我将逐步梳理这两种思路下的早期通感艺术实验的发展历程与内在逻辑。

二、神圣的自然秩序：色彩音乐的实验与发展

视觉中最早被认为适合建立声音通感的是色彩，当听见声音的同时又看到色彩，被称为“色彩音乐”艺术（color music），色彩音乐还必须满足光谱色和全音阶之间存在具体对应关系，而这种通感关系往往被认为是基于物理世界的某种依据（假定认为这是一种客观）[5]，也就是通过“客观主义”建立音色关系的艺术表达。

色彩音乐最初的设计方案出自文艺复兴时期的著名肖像画家朱塞佩•阿尔钦博托（Guiseppe Arcimbolde ,1527-1593），他有着丰富独特的联想能力，最广为人知的是用水果蔬菜等物体来创作各种肖像，他独创出了一套声音和色彩完整对应关系的系统。意大利的历史学家唐雷戈里奥（Don Gregorio Comanini）曾详细记述他的实验工作。阿尔钦博托从毕达哥拉斯发现的和谐音程出发，将其比例关系转换成对应的视觉数值，他首先建立一种由白到黑渐进灰阶系统，直接和由十二平均律划分由低到高的等程音阶建立对应，低音为白色，高音为深色，然后再根据其他颜色的明度进行高八度十二音阶的操作，黄色为低八度音程的色相，绿色和蓝色是中间八度音程的色相，红色为高八度音程的色相，他认为混入越多的颜色，音调就越高，[2]以此类推，阿尔钦博托最终建立了一个纵向为五个八度对应五种色相，横向为十二个半音音程对应的十二度明度色阶（图5）。雷戈里奥大概只是描述了阿尔钦博托研究的开始，他本人并没有留下记录，但他所设想的这种音色构造模型是之后的“色彩音乐”实验的基本思路。

图5 朱塞佩·阿尔钦博托的色彩音乐模型（自绘）

之 后， 阿 塔 纳 斯 •珂 雪（Athanasius Kircher,1602-1680） 在《 音 乐 宇 宙 》（Musurgia Universalis）中又详细设计了色彩音乐中色相和音乐八度音程之间的关联系统，该系统是基于红黄蓝三原色为框架，如大三音程为红色，第四音程为黄色，减五音程为蓝色等，将绿色确定为全音程，白黑分配为和谐音和不和谐音。[8]他根据基督教的宇宙和谐理论，在书中通过一个色彩乐器（Color Organ）象征世界和谐的诞生，这个乐器有着六个音域，分别代表创世纪的六个场景，每个音域有七个不同颜色的音阶，连接的下方的是一个六个八度的音乐键盘。珂雪对机械制造十分着迷，他在后面还详细附了这一装置的设计原理图，（图6）珂雪虽然没有真正制造出这种色彩音乐的装置，但却可以算是色彩乐器的最早设计者。

最终将这些音乐和色彩系统形成一个具体机械装置的现代实践者是法国神学家和数学家路易斯•贝特朗•卡斯特神父（Father Louis-Bertrand Castel, 1688-1757），他制造这个叫做“可视管风琴”（Clavecin Oculaire）的色彩乐器是受到了牛顿物理学理论的影响，然而他的主要动机却是反对牛顿理论的。卡斯特神父的通感观念与珂雪一脉相承，是来自基督教神学。基督教宇宙和谐理论认为一切表象都有其本质的阶层位置，日光是最纯粹和完整的，日光进入三棱镜后出现各种色彩，被认为打破了日光的纯洁，色彩代表着“原罪”的“堕落”。[5]牛顿在实验基础上对这个看法重新进行考虑，虽然牛顿仍然认为光色和声音可以类比，但他认为三棱镜并没有打破光，而是通过反射揭露了光的色彩本性。卡斯特基于传统神学反对牛顿的看法（从音色对应方案与牛顿相反（图10），就能看出其动机），因为这将破坏神学上完美的宇宙观。他试图按照珂雪的思路创造一个色彩乐器的装置来证明色彩和音乐的必然联系，进而证明宇宙和谐的神学理论。虽然实际上光色和音乐在物理上并不存在本质联系，但这种思路带来了整个18至19世纪色彩音乐的大发展。卡斯特神父的这个色彩音乐装置是在一个早期钢琴羽管键琴基础上设计的，最初一个模型是在键琴上安装六十个彩色玻璃板，每个板有个小帘，通过按下音键按板打开彩玻璃的小帘[9]。改进后的模型是音键按下后将伴随一束光照亮彩色玻璃，他设计了十二种颜色来配合八度的半音，根据颜色的浓淡值扩展到多个八度保证其完整的周期。（图7）他的设计非常完善，他认为这种色彩音乐能够绘制声音，是一种没有差别的天堂语言，这也符合了他的神学初衷。

图6 珂雪1950年《音乐宇宙》一书插图第366页，第500页

卡斯特的设计实际是将时间性的音乐呈现出了一种直观的空间形式，这触发了一些新的想法，音乐既然可以和色彩建立联系，那也可能和空间的形状产生关联。德国物理学家和音乐家恩斯特•克拉德尼(Ernst Chladni, 1756-1827)最先认识到通过与物质互动的声音创造出真实的几何形状。他在一个圆形的金属或玻璃上覆盖一层沙子，然后上面站立一根枢轴，然后用小提琴的弓来产生震动，这个装置能够产生声音，并且通过声波震动让沙子形成各种复杂的形状，后来称为“克拉德尼图形”，(图8)这不仅是个声音和形态的艺术实验，更是一个科学实验，当时另一位物理学家评述克拉德尼的实验：“每个声音都对应着电的图案，通过电的图案找到大自然的伟大剧本”[10]。克拉德尼并非想证明神学的宇宙秩序，却有着一种探索自然秩序的科学浪漫主义精神。到20世纪这个实验被称为“音流学”(Cymatics)的领域在艺术和科学上都有着更多的探索。

在18和19世纪之间还有很多人进行了色彩音乐实验，如乔治•菲尔德（george field,1777-1854）丹•詹姆森（D Jameson）等，大都与卡斯特相似的设计思路，随着19世纪电力能源革命的到来，这些研究有了新的拓展，弗雷德里克•卡斯特纳（Frederick Kastner ,1852-1882）利用电力控制气体制造色彩乐器，班布里奇主教（Bainbridge Bishop,1837-1905）发明电力钢琴，其中最有代表性的是英国画家华莱士•里明顿（Wallace•Rimington,1854-1918），他设计发明的光色音乐系统，称之为色彩风琴“克拉维耶”（Claviere a lumiere）。

里明顿没有了卡斯特的神学观念，他的目的不是来表现宇宙和谐的神学观，而是模拟大自然中丰富的颜色变化，他在《新艺术彩色音乐》(Colour-Music The Art Of Mobile Colour)一文中叙述“过去的艺术无法比拟自然界颜色的流动……他的目的是想要以一种新的艺术方式来处理颜色，让颜色艺术可以流动，并和音乐一样容易操控。”[11]他反复谈到将色彩加入时间变化，将音乐形成视觉形象，将色彩音乐发展为一种艺术形式。卡斯特的彩色音乐乐器设想的光源是蜡烛，并没有足够亮度产生预设效果。

图7 1743年德国人约翰·戈特利布·克鲁格（Johann GottlobKrüger）在《用眼睛享用的音乐》一文中绘制了卡斯特神父的色彩乐器的结构图

图8 图例来自克拉德尼1802年《声音形状》（Die Akustik）一书插图

里明顿的色彩风琴应用电力，使用电弧产生的光线，将光电弧通过棱镜和滤光系统，使得光色被“播放”出来，他在光谱带上仔细计算间隔获取颜色，红波频率大致是紫波频率一半，八度的最低音和最高音的频率也大致是一半，里明顿基于光谱400thz左右的红色，以33thz为增量来确定其他颜色对应八度音程的十二音阶，光谱位置最低的红色对应八度的第一个音符，位置最高的紫色对应最后一个音符。（图9），类似钢琴的五个八度的键盘上每个音符都对应光谱带上适当间隔的唯一颜色，然后键盘控制相应的颜色被投射在大厅的幕布上。在颜色键在弹奏乐音的同时，色彩交替出现，在弹奏复合调与和弦的时候，幕布出现色彩的混合，控制音乐的键盘也成了一个大的调色盘，控制幕布上出现流动的色彩。[11]他还设计了“放大”踏板，以提高和降低颜色效果，键盘的中止也控制着颜色的淡入淡出。

几百年来，色彩音乐实验中各种不同的色彩方案被提出（图10），而色彩和音乐是否具有真正意义的物理对应关系也开始受到质疑。里明顿不断强调他的色彩方案是固定的，是基于物理现实的内在本质。但在具体设计的时候他也发现光谱和八度之间的物理关系有时并不能准确对应，他认为这问题还需要进一步实验，他也开始思索色与音的对应，其中可能含有生理和心理的因素。与此同时，通感观念在其他艺术领域进一步被关注，随着科学研究的发展以及现代文艺对主观认知的强化，通感实验对所谓经验事实与技术的研究也开始转向艺术化的审美表现，试图固化色与音对应关系的色彩音乐艺术正发生革变。

图9 左图：里明顿发明的色彩音乐，1912年摄 ，右图：里明顿《色彩音乐：移动色彩的艺术》插图光谱频率对应八度音程

图10 17世纪到20世纪主要的色彩音乐对应方案（笔者根据fred collopy 图片改绘）

图11 斯坦纳绘制的“优律思美”形式草图和当代“优律思美”现场表演

三、神秘的直觉：视觉音乐的艺术与技术实践

西方色彩音乐强调八度音程与色谱之间的必然联系，最初来自基督神学思想，随着启蒙运动之后自然科学的发展，神学逐渐式微，色彩音乐转向以光色与乐音的物理特性来建立内在关系，通过技术实现乐器演奏同时出现对应的光色，色彩音乐无论从观念内核还是艺术逻辑，都极具客观理性主义气质。18世纪以后，社会变革引发的精神危机进一步推动人们对于机械唯物主义的反思，崇尚直觉化的反理性主义和神秘主义观念逐渐流行，对内在世界自由探索成为通感艺术创作的另一种模式，推动色彩音乐发展到视觉音乐。

19至20世纪之交的文化艺术世界一直弥漫着一种神秘体验的氛围，奥地利哲学家鲁道夫 斯坦纳(Rudolt Steiner,1861-1925)是当时神秘主义思潮中举足轻重的人物，他将灵性世界和精神研究建立在科学和实践的基础上，试图去扭转世界过度朝向唯物主义的发展，调和宗教和科学的矛盾。他创立了一派灵性哲学称为“人智学”（Anthroposophy），他认为通过塑造一种独立感知体验的方法可以发展我们内在的想象力，灵感和直觉能力。神秘主义也开发通感艺术作为内在精神语言表达的一个重要媒介和方式。[12]“人智学”发展出一种感知体验方式叫做“优律思美”（eurythmy），让表演者身着非常宽松的彩色衣服配合打在身上的灯光变化，在形体和手势上模拟直线曲线和表现各种运动方向，与音乐节奏、音调和旋律甚至是讲话朗诵的发音保持一致，将人的形体运动、音乐元素和光色变化等空间时间因素综合统一，（图11）它与现代舞有非常大的区别，与色彩音乐的表演性质也不同，其目的是让体验者共同感知斯坦纳所讲的一种超越经验物理的“超感觉”（supersensible）的精神世界。灵性理论中通感艺术似乎能够将内在世界的感知与物理世界发生沟通，这也影响在“视觉音乐”实践中所体现的“表现主义”。

视觉音乐在技术上源自于色彩音乐，区别在于视觉音乐中通感有着个体独立的审美因素，由主体心情感受和作品特质来决定，而不是客观关联的因素。视觉音乐的主观化处理使得视听通感实验的方式也发生变化，色彩音乐是以音乐对色彩严谨推演，以体现形而上意志的外化，而视觉音乐则注重直观视觉形式对应内在音乐感受，通过光色图像引发声音共鸣，这一思路对于造型艺术表达影响深远。空间艺术与时间艺术的特性有所差异，音乐表现色彩相对比较容易，乐谱就已经实现音乐的视觉符号化，造型视觉表达音乐特征有两个障碍：一是如何表现音乐的无形化，二是如何表现音乐时间性。为此现代绘画在形式上做了很大突破，不断的抽象与平面化可以更为容易的表现音乐特性。视觉元素中最先分离出来表现音乐的还是色彩，20世纪初出现的奥费主义（Orphisme）也称为同步主义， 是从立体主义过渡到抽象的艺术，它利用分离的色彩来消解具体形态，能够进一步表达音乐特征，旨在传递内在的情绪隐喻。

图12 弗朗齐歇克·库普卡的《钢琴键盘与湖》1909 年

图13 康定斯基 《作曲6号》1913年

这一流派代表人物弗朗齐歇克•库普卡（Frantisek Kupka1871-1957）和罗伯特•德劳内（Robert Delaunay 1885-1941）都强调了与音乐的连接，库普卡最早的画作《钢琴键盘与湖》就利用音乐消解形象，将画面平涂色彩和抽象化以接近乐音流动的感受。（图12）罗伯特•德劳内专注于突出颜色的纯度和独立性与音乐建立联系。

瓦西里•康定斯基（Wassily Kandinsky）无疑是更进一步将绘画中更多元素与音乐进行统一的重要人物。从1910年以后，他的绘画作品很多都以作曲命名（图13）。他以详细理论文章描述了颜色和声音之间的相关性，推动视觉音乐的发展。他认为几何形具有颜色象征，光的级数与音乐相关，将色彩、几何符号与音乐要素之间建立各种关系，这使得他的音乐绘画具备“语法”的清晰度，他在包豪斯课程上以音乐共鸣共振现象来解释通感的发生[13]，视觉元素相互影响而产生通感的“和弦”。

康定斯基本身具有联觉通感能力，能够十分清晰的听出色彩和形状，因而他认为，通感具有某种生理基础，以直觉与主观感受可以直接形成通感表达。他进而认为，艺术需要综合起来诱发心理，身体和情绪反应的潜力，他称这种通感的综合艺术（gesamtkunstwerk）为“宏丽的艺术”（monumental art）。他在1909年设想了一个《黄色声音》（yellow souind）的舞台作品来建构他的综合艺术，这个作品通过手势，光色投影，管弦音乐和诗歌来对颜色、形态、运动、音乐、语言的综合构成，他特别深刻地指出视觉和音乐等元素既要对应又要对立，综合艺术之间的“一致性”和“非一致性”之间的紧张能带来强烈的冲击。[14]康定斯基建立了视觉音乐所应具有的规律、理论与实践的可能，但这个作品由于各种原因当时并没有实现。真正完整体现康定斯基综合理论则是由同样钻研于综合艺术通感研究的作曲家亚历山大•斯克里亚宾（AlexanderSkryabin 1872-1915）实践的伟大作品《普罗米修斯：火之诗》(Prometheus, The Poem of Fire)。

《普罗米修斯：火之诗》的表演似乎更像一场神秘的仪式，光色乐器在舞台上投影出色彩变幻的效果，交响乐团奏出壮丽而诡异的音响，不时的配合古代祭典般的人声合唱，一种来自太古洪荒万物与激情合一的逐渐开启，这种感受是神秘直观而非理性的，然而斯克里亚宾又是以一种理性思路来架构的，体现了从色彩音乐向视觉音乐的过渡和发展。他建立了一个基本框架关联声音、颜色、形态和感觉作为通感的基础，他将音乐十二个调性以五度相生的方式从C到G到D到A到E到B到F#到Cb到Ab到Eb到B到F，然后回到C，分别对应色调红、橙、黄、绿、米黄、宝、蓝紫、紫、淡紫、闪光、玫瑰色和深红，并关联意志、演绎、喜悦、物质、梦想、沉思、神创、物我合一、人性、激情、欲望这十二种主题。然后以象征关系设置各种对立，如一开始红色与蓝色的对立，是C调和F#调之间的不和谐的增四度音程，同时也是人类意志和神创的对抗。[15]独特的光色交响乐章中充斥这种不和谐音程组成的和弦，带来一种调性不清的神秘，冷暖光色又相生变化，形成朦胧诡异的效果。（图14）为观众营造了一个充满运动色彩和传递各种象征涵义的空间。

图14 左上：色彩、调性与主题对应结构，右上：《火之诗》的第一、四、七乐章与对应主题配色，下图：当代耶鲁交响乐团2010年对《火之诗》的重新表演（图为第四乐章中的颜色变化）

斯克里亚宾不仅以音乐来组织颜色，他也会同时用对立的光色的节奏来组织音乐。光色交响乐的光色控制是斯克里亚宾委托一位叫莫索尔（Aleksandr Mozer）的机电工程师实现的，他制作了一台通过按钮来控制12色彩灯的设备，但对于他的要求而言仍不够完善，斯克里亚宾认为有未明确的“技术困难”，而将该装置从首映中撤出，[15]《火之诗》的视听创作仍然以音乐为主。而在此之后，视觉音乐艺术则更多开始围绕视觉画面来展开，由音乐主导与视觉之间结构化关系的构思也日趋弱化，视觉表达更为自由，这主要来自两位发明家和艺术家玛丽•格林威尔特（Mary Hallock Greenewalt,1871 -1950）和托马斯•威尔弗雷德（Thomas Wilfred,1889-1968 ）对光色实验技术和艺术上的贡献。

图15 格林维尔特1927年的萨拉比机器部分结构图

玛丽•格林威尔特发明了一种能表现复杂光色变化的视觉音乐艺术，她将其命名为“诺拉瑟”（Nourathar），意思是“光的本质”，诺拉瑟与之前的视觉音乐不同，对于光色的组织并不依据八度音阶，音乐和光色之间的关联是任意的，来自表演者的趣味。诺拉瑟审美的核心是以光色来主导音乐，她认为光线中可以增加混合产生新的独立的色彩，可以比拟音乐的细腻表达。诺拉瑟需要一种独特的自动化表演机器来实现，在1919年和1927年间，格林维尔特开发了11个技术专利来不断完善这个光色演奏机器，她把这个演奏机器叫“萨拉比”（Sarabet）。(图15)这个机器有着远程控制的电机，它的控制系统并没有以钢琴键盘为基础，而是设计用滑动条和指拨开关作为控制界面。[16]通过踏板开启1500瓦特灯泡的照明，以有刻度的滑条块调控光线的增量，一个中央交换器能够同时操纵所有的灯，每个灯能够利用电动轮控制过滤器呈现紫蓝绿黄橙红等整个光谱颜色，同时控制色光在空间中自由运动，平滑的穿越一个拱门或穹顶，后来她还在灯光的滤波器上加上图案切换做出有机的光影图形。诺拉瑟艺术的技术核心就是变阻器的发明，变阻器技术的发展解决了光色与复杂乐音之间配合的难度，诺拉瑟的操作界面上提供了一个数值化的控制系统可以对屏幕投射的具体方位和不同明度的光量标注和控制，保证光色投影能够对应乐谱重复表演并与音乐同步[17]。萨拉比机器能够完美的呈现诺拉瑟视觉音乐的艺术美学。

威尔弗雷德的视觉音乐叫“卢米亚”（Lumia），他发明的演奏机器被命名为“克莱夫卢克斯”（Clavilux），意思是“演绎光的钥匙”[18]。卢米亚不同于诺拉瑟的审美特征首先在于更为复杂的光色运动，它不仅仅是表面的运动效果，而是实际控制真实的运动，演奏者可以以任何速度操控各种不间断的动态效果。其次是通过光线塑造形态，其他的视觉音乐更加关注光色强弱而不是形状，在卢米亚表演中，光色已经和各种形状结合在一起，通过灯丝形状、棱镜以及遮罩板等方式反射或歪曲光色塑造各种形状。这种形状是不同于诺拉瑟有机图案的抽象变化。表演卢米亚的克莱夫卢克斯使用六个投影机，（图16）中央编辑台是由一个滑块组成的“键盘”控制。精细的棱镜布置可以在每个光源前面的任何平面中倾斜或扭曲形成形状，几何图案的选择通过平衡盘的系统巧妙实现。[19]它在核心技术上与格林威尔特的萨拉比没有显著差异，不同的只是各自的工程设计，两人发明的视觉音乐艺术的现场表演形式都很接近，都以管弦乐的演奏作为基础，通过对音乐语境的回应形成抽象化光色变化。因而，两种艺术也相互成为最大竞争对手，两人还有着复杂的专利诉讼纠纷。但这种竞争也带来了光色视觉音乐艺术的巨大发展。

图16 威尔弗雷德发明的“克莱夫卢克斯”1922年在纽约首演

四、抽象电影：视觉音乐发展的新向度

鲁诺•卡罗（Bruno Corra1892-1972）和阿尔纳多•吉罗（Arnaldo Ginna1890-1982）兄弟是意大利未来派艺术家，他们也试图发明一种色彩音乐机器，他们曾非常详细的叙述这一机器的设计原理：在四个八度中扩展出七种颜色，找到二十八电光灯泡，对应二十八音键，光色混合成乐音和弦。[20]这个设计其实和里明顿发明的色彩音乐的思路几乎是一致的，区别只是卡罗反过来从色彩出发寻找对应音阶，将色彩翻译成音乐，这和当时威尔弗雷德等人主观化处理两者关系的视觉音乐艺术的思路有一定差别。未来主义追崇新技术新媒介，打通感官领域之间的界限。他们认为这样才能反映出整个机械和运动的世界。正如卡罗在《声音，噪声和气味的绘画》中所描述：“单独的气味足可以创造出形式和颜色……构成一个可塑的世界”[20]，感官共同作用似乎是未来主义必然思路，而不仅仅是配合音乐的光色艺术。但是他们并没有发明这种色彩音乐的机器，因为后来他们找到另一种新媒介来实现他们的理念，就是电影。

自19世纪末，电影机器被发明，到20世纪初电影技术已经开始成熟，电影呈现的是一种综合媒介，本身就包含视觉与声音（早期虽然是无声电影，但放映时仍然有音乐），卡罗兄弟是最早尝试使用电影技术来表现视觉音乐，1913年，他们拍摄了第一部目前已经遗失的抽象电影“多彩音乐”（Chromatic music）。威尔弗雷德当年曾拒绝使用电影，他认为在技术上电影对于他的视觉音乐有着致命缺陷。他的卢米亚艺术包含着光色运动的细节和微妙变化，而电影当时的24帧技术对持续光色运动的记录和转换中具有无法克服的缺点。而卡罗兄弟从色彩音乐机器研究转向使用电影媒介，却正是因为电影技术比音乐机器更为容易实现色彩音乐，他们将彩色颜料直接涂画在胶片上创作“抽象电影”。

“抽象电影”（abstract flim）也叫做纯粹电影（absoulte film ）。指没有任何叙事，只是在时间维度运用抽象形式语言创造的电影。抽象电影与视觉音乐的发展史是基本重合的，都是寻求视觉和声音之间协同关系，非线性的叙事和抽象的形式。抽象电影与卢米亚等视觉音乐艺术的差别只是在技术媒介上的不同，一个是拍摄放映，一个是演奏投影，一个是预先通过胶片创作，一个是实时表演。大部分学者都认为抽象电影和视觉音乐没有本质差别，只是传统视觉音乐艺术的进一步发展[21]。抽象电影没有卢米亚艺术的细腻运动，但由于电影媒介创作更为简捷，视觉形式丰富并易于重复播放，抽象电影逐渐成为视觉音乐的主流，一大批艺术家投入到抽象电影的创作中使得整个20世纪的20到30年代成为视觉音乐的蓬勃发展期。

早期最为著名的有利奥波德•西里曼（Leopold Survage1879-1968），汉斯 • 里希特（Hans Richter1888-1976），维京•艾格林（Viking Eggeling1880-1925,）和瓦尔特•鲁特曼（Walther Ruttmann1887-1941）等。然而，他们的创作抽象电影的思路却不相同。抽象电影中音乐与视觉的关系遵循着两种截然不同的方式来理解：一种是音乐和视觉是分离的，但音乐的非再现性特征能带来视觉抽象的灵感，成为视觉抽象语言的一种模拟和类比。另一种是音乐可以融入到电影中，视觉和听觉合成为更明确的交叉感官的通感体验，这一思路否认了音乐和视觉分离特征。前者实际上更偏向于以视觉为主导的表现主义思路，而后者有着表现主义的因素，又含有原先色彩音乐中“客观主义”的特征，当对通感的研究逐渐进入当代科学分析的阶段，这一思路就更为凸显。

图17 利奥波德·西里曼1913年抽象电影《彩色节奏：学习电影》

卡罗兄弟的抽象电影作品虽然已经遗失，但从其叙述中我们大致了解他们是第二种思路的创作，与他们几乎在同一时期创作抽象电影的西里曼就有着与未来派不同的另一种选择，西里曼明确地拒绝了视听通感对应的想法，他纯粹将音乐用作抽象动画的某种类比，这与奥费主义和卢米亚艺术更为接近，他对抽象电影提出“彩色节奏”（Colored Rhythm）的概念。他认为抽象电影的视觉因素有三，一是带有象征的视觉形式，二是运动变化的节奏，三是颜色。他认为当音乐节奏应用于颜色运动时，所产生的彩色节奏就变成一种抽象形式，也表现得更像音乐，但音乐和视觉形式始终是分离的，“彩色节奏”(图17)不是音乐的对应呈现，“即使它是基于与音乐相同的心理现象，但它是一种独立艺术。”[22]从西里曼对其概念的描述中可以清楚地看到，音乐只是作为独立抽象视觉的运动框架，他并没有试图将两者混合。

图18 里希特的1921年《节奏21》

希特和埃格林的作品也是将音乐作为一种结构模型来分析视觉艺术在时空的运动。希特曾经和作曲家一起尝试音乐图像对位的概念，将巴赫的音乐与白纸上的黑点运动形成平衡和统一。埃格林也在探索一种叫以音乐结构来组织画面形式的他称之为“线性有序的形式语言”（language of linear forms）理论，并实践在他的作品中。如1921年的《复合乐团》（Horizontal-Vertical Orchestra）、1924 年的《交响乐对角线》（Symphonie Diagonal） ，在《交响乐对角线》的片头的文本中明确写到“这是发现在电影媒介中对时间间隔基本原理的实验”。当视觉艺术脱离原先静态形象传统试图变得抽象和运动，它需要音乐这种理想的形式结构来组织视觉与运动。[23]音乐的乐句乐段的横向结构，在希特和艾格林作品中呈现的是一种视觉结构的逐渐呈现然后消失或者镜头变化的韵律。而音乐上叠加器乐声部和复调的纵向结构，在他们的作品中就体现为屏幕上同时出现多个形状的空间关系。从希特第一部作品由最简单方形组构的作品“节奏21”（Rhythmus 21）（图18）到后来将加入更多形象元素构成的“电影学习”（filmstudie）能更清楚地看到这种视觉和音乐相分离趋势，他们曾自述贝多芬的音乐片段只是作为电影背景[22]。

鲁特曼与希特和艾格林有很大不同，他关注音乐与颜色和移动关系之间的准确对应。鲁特曼精通单帧动画和剪辑技术， 并与作曲家协作对照乐谱来精确协调电影的颜色和声音的统一。鲁特曼出色的技术保证了他对抽象电影的独特观念，他认为抽象电影的三个要素动画、颜色和音乐必需整合到观影的完整体验中。在1921年《作品一号》（ opus 1）中声音、颜色和移动的形状之间有着明显的整合对位（图19），这在传统的“色彩音乐”中能够感受到，但他的创作观念中这些元素之间的感知联系，不是像色彩音乐中任何刚性精确的颜色对应，而又是有着丰富的主观表现。《作品一号》中，旋律中的跳音和连奏的对比伴随着有机渐色三角形优美流动与尖锐饱和色三角形在画面中的对抗，颜色上的红蓝色，黄紫色的变化也都配合着整体形式运动和音乐变化。

图19 左图：鲁特曼1924年《作品三号》的胶片画帧，右图：鲁特曼1921年《作品一号》

鲁特曼天才地在颜色、形状、形式、运动和音乐之间建立了一种混合交织的通感体验。从作品一号之后的三部作品，鲁特曼弱化了传统颜色与音乐的通感体验，更多实验了运动、形式与音乐的通感，在视觉音乐的美学上带来更大的进步。[24]德国人鲁特曼对视觉音乐艺术创作的同时，正好是德国心理学家发现了格式塔理论。

格式塔通过心理实验表示人们对事物的感知是来自整体性质的决定，而不是来自单独元素的处理，格式塔方法是跨感觉或元感官（trans-or meta-sensory）[25]，这使得通感在认知心理学上具有了更为科学的观察和论证，我们还不清楚鲁特曼是否直接参与了格式塔心理学的工作，但他的抽象电影作品无疑是体现这一理论之精神。

鲁特曼的抽象电影影响深远，艺术家奥斯卡•费舍格（Oscar Fischinger）莱耶（Len Lye）都是在他的基础上研究图形与音乐的同步对位，又创作出了各自不同的作品。费舍格和莱耶尝试用实物材料、切蜡粘土、现成图案和照片等创作出逐帧动画，实物拍摄的手法减轻了鲁特曼式动画技术的工作量，又形成一种新的风格表达。费舍格还试图将威尔弗雷德光色艺术的投影手法和鲁特曼的抽象电影结合起来进行现场表演，并使用了一种新的三色胶片技术（Gasparcolor）。他与音乐家拉斯洛（Alexander Laszlo）合作一场实验视觉音乐会，在高潮部分用了三联五个投影机，三个并排投影动画电影图像。另外，两个在三联画面中投射运动图形，产生更复杂丰富的视听效果。[26]费舍格进入好莱坞以后有更多元的尝试，既遵循原先鲁特曼的通感创作思路，创作出视觉音乐史上最有影响力的作品之一“快板”（ Allegretto）（图20），也有实验西里曼、希特等人的另一思路，以音乐结构形成抽象视觉。他甚至据此创作了一部没有声音的视觉电影《声音动态》（Radio Dynamics）。费舍格带给抽象电影更多的创新意识和实验技巧，并且开始运用到商业市场中。 在1927年到1936年之间，举办过四次国际“色彩音乐大会”，汇集了更多艺术家、心理学家、科学家和评论家来讨论关于通感和跨学科的问题，而那些著名的抽象电影和艺术设计实验也都在这一大会中纷纷亮过相。这一时期视觉音乐的蓬勃发展为之后新媒体艺术和设计在技术、观念和表达上都开拓出各种可能。

图20 左图：费舍格的音画对位手稿，右图：费舍格1936年抽象电影《快板》

图21 视听通感艺术早期实验流变线索图（自绘）

结语

伴随西方知识范式的转换，历史上出现过各种对于视听通感认知的观念，这些通感观念大都遵循两条线索：一是视觉与听觉之间存在必然的或物理的关联。二是视觉和听觉之间建立的是感官情绪间的隐喻联系。16世纪人们开始进行各种技术与艺术的通感实验，从神学的色彩音乐发展到后来注重表达的视觉音乐，从色彩乐器发展到光色机器再到抽象电影，都能从中分析这两条观念线索的分合交织与演变。（图21）从20世纪后半叶到现今，随着后现代思潮以及机电技术与数字技术的大发展，多媒体艺术与设计逐渐成为主流，形成各种成熟的技术与艺术门类，但在表达观念和手法，技术类型上都能在早期通感艺术实验中找到来源[27]：18世纪音乐形状同构实验到20世纪六七十年代发展为音流学；威尔弗雷德等人发明的光色艺术表演是后来VJ（Visual Jockey）艺术和舞台灯光艺术的前身；色彩音乐也经常在实验艺术中出现，还被好莱坞经典电影《第三类接触》（Close Encounters of the Third Kind）（图22）中处理成建立宇宙通行语言的核心；抽象电影的潮流虽然衰落，但它完全融入后来动态图形设计，音乐mv和动画艺术中，成为其重要构成部分，鲁特曼和里希曼的创作类型也是当前很多非线性动态图形设计的基本思路。通过追溯通感艺术观念和实践的早期历史，可以发现现代多媒体艺术的种种源本。此外，我们也不禁思考，现代以来西方艺术与设计迸发出极大创造力，表面上看这些创新与传统隔断，但细细深究，他们的种种艺术观念和实验皆有源有流，互为关联，渊源伏线，终成漫流激涌，而我们是否也应该不断追索某个问题的本源，以此来推动艺术与设计创作，而不是被当前激情空洞的创新口号迷惑，而探知本真的源泉干枯了。

图22 1977年斯皮尔伯格电影《第三类接触》中的”色彩音乐“机器剧照

[1]Richard E. Cytowic, Synesthesia: Phenomenology And Neuropsychology, Psyche Volume 2, (07)1995：2-10

[2]J.Gage,Colour and Culture: Practice and Meaning from Antiquity to Abstraction ,London: Thames & Hudson,1993：227

[3]戴念祖，“天体音乐”概念的起源与发展[J]中国音乐学，2012（4）：5-9 .

[4]Campen Cretien van,The Hidden Sense: On Becoming Aware of Synesthesia，TECCOGS, vol. 1,2009,p1-13

[5]Michael Betancourt, The history of motion graphics,Wildside Press 2013. p18p16p23

[6].Charles F. Roedig ,Baudelaire and Synesthesia,Published online: (07)2010p128-135

[7]Campen, Cretien van, Artistic and Psychological Experiments with Synesthesia ,Leonardo vol 32,(1)1999p9-14

[8]Athanasius Kircher,Musurgia Universalis,GLASGOW UNIVERSITY LIBRARY SPECIAL COLLECTIONS ,http://special.lib.gla.ac.uk/exhibns/month/nov2002.html

[9]Jorg Jewanski,Color and Music. Music Theory 21,(28)2016.

[10]Benjamin Walter, The Origin of the German Tragic Drama. Translated by John Osborne. London New York:1998 p213-214.

[11]Rimington, Alexander Wallace, Colour-Music The Art Of Mobile Colour. Hutchinson, London, 1912 p43

[12]Steiner Rudolf Greeger, Theosophy: An Introduction to the Spiritual Processes in Human Life and in the Cosmos,United States Anthroposophic Press Inc 1994p5-18

[13]C.V. Poling: Kandinsky. Unterricht am Bauhaus.Kunstverlag Weingarten, 1982 p15

[14]Kenneth C Lindsay,Peter Vergo,Vasilly Kandinsky,Complete Writings on Art, Perseus (for HBG),1994 p 231.

[15]Anna M. Gawboy and Justin Townsend,Scriabin and the Possible,Society for Music Theory,Volume 18,(06)2012

[16]Moritz, William “The Dream of Color Music, And Machines That Made it Possible”. Animation World Magazine. issue 2, 1997(4) p69-84

[17]Michael Betancourt, Mary hallock greenwalt the complete patent, wildside press 2005,p39

[18]Kenneth Peacock, Instruments to Perform Color-Music: Two Centuries of Technological Experimentation,Leonardo 21,(04)1988,p397-406

[19]Wifred thoms,composing in the art of lumia in thomas wilfred’sclavilux，michael betancourt ed borgo press2006 p33-34

[20]Bruno Carra ,Abstract Cinema Chromatic Music in futurist manifestos ,new york 2001.p66-80

[21]R. Bruce Elder Harmony and Dissent: Film and Avantgarde Art Movements in the Early Twentieth Century,Wilfrid Laurier University Press 2010p113-123

[22]Cook, Malcolm ‘Visual Music in Film, 1921-1924:Richter, Eggeling, Ruttman’ in Charlotte de Mille(ed)Music and Modernism , Cambridge Scholars Publishing,2011p206

[23]Standish D. Lawder,The Cubist Cinema, New York University Press, 1975,p62

[24]华明：德国抽象动画电影[J]，南京师范大学文学院学报，2006（3）：74-80.

[25]Francesca Valsecchi:Complexity is a Way Of Thinking That Enriches Design Practice [J]创意与设计 2014(05)p18-21.

[26]William Moritz,Optical Poetry: The Life and Work of Oskar Fischinger,University of California Press,Film Quarterly Vol.59,2005p65-66

[27]刘庆科：虚拟现实技术发展启发新媒体动画创作方式的新思路[J]，创意与设计, 2014(5)：70-76.

(责任编辑：夏燕靖)

J022

A

1008-9675（2017）05-0096-11

2017-06-20

朱文涛（1980-），男，江苏苏州人，江南大学设计学院副教授，南京艺术学院博士后，研究方向：视觉设计史，设计方法论。

①本文为“江南大学产品创意与文化研究中心（创意文化与设计美学方向）、中央高校基本科研业务费专项资金(2017JDZD02)专项资助”。