联觉效应在新媒体声音装置艺术作品分析中的运用初探——以声音装置艺术作品《声音·北京》为例

●姜超迁

（浙江音乐学院，浙江·杭州，310024）

随着新媒体的快速发展，新媒体声音装置艺术已悄然走入人们的视野。例如，加拿大的多伦多音乐花园（Toronto Music Garden）、美国底特律机场（Detroit Airport）的音乐通道等，都在不知不觉间融入了人们的生活。多样化的声音装置艺术表现形式不仅为观者塑造了更多不同的艺术语境，同时也大大丰富了人们的生活感受。

作为一种相对新型的艺术创作，新媒体声音装置艺术作品的艺术呈现与传统的音乐作品相比有了许多新的特征。例如，其音乐语汇不再仅仅局限于传统的乐音，音乐结构不再仅局限于固定的结构和作品时长等。鉴于其声音呈现的偶然性与不确定性等因素，该类作品的研习很难用传统的作品分析方式来解构。因此，本文将以声音装置艺术作品《声音·北京》为例，尝试从创作、技术、表现三个层面进行研究分析，进而对该类作品进行更进一步解析。

一、新媒体与声音装置艺术的概念界定

媒体（Medium）简而言之就是指传播信息的媒介，例如报纸、杂志、广播、电视等。而“新媒体”一词的出现，是针对“旧”媒体而言。传统意义上的四大媒体是指户外、报刊、广播、电视。而新媒体则特指以上四种媒体之外的“第五媒体”，其领域相对较为宽泛，例如数字报纸、数字杂志、数字广播、手机短信、互联网、数字电影、触摸媒体等一系列以数字技术为核心的媒体形态。

因此，如今的新媒体艺术是一门以“光学”媒介和电子媒介作为基本语言的新艺术学科门类，是建立在数字技术核心基础之上的艺术。其实质就是艺术家借助上述新媒体形态的方式和技术作为创作手段来进行艺术创作。

装置艺术（Installation Art）是当代相对较为独特的艺术样式，属于实物艺术范畴。它一般是指通过对日常生活中的物质文化实体地改造、利用，进而传达作者创作意图的艺术形态，起源于20世纪初马塞尔·杜尚的现成品艺术（见图1）。

图1

声音装置艺术则是指以声音作为呈现主体的装置艺术。在前文中我们曾提到，随着电子音乐创作不断地进步发展和现代音乐形式体裁的愈发宽泛，“音乐”与“声音”的概念已渐趋融合。在21世纪的音乐领域（尤其是电子音乐领域）中，其界限开始逐渐模糊，音乐创作的元素也不再仅是传统音乐观念中的乐音。例如，在电子音乐领域中，语言声、噪声以及各类抽象化的电子音色都可以作为构成音乐作品的“音符”。因此，就某种层面而言，本文的新媒体声音装置艺术作品可以理解为以电子音乐为呈现主体的新媒体装置作品。

二、“联觉”的引用缘由及相关概述

（一）关于“联觉”的引用

新媒体声音装置艺术，是多媒体创作的重要组成部分。多媒体作品则意味着多种媒介的表现和多种感官的体验。而新媒体声音装置作品的审美体验绝不仅是纯粹的音响感受，它还包括对概念的领悟、形象的联想，以及情感性的体验等等。因此，在作品表现层面的分析中，笔者以“联觉”关系作为突破口，根据视觉、听觉、触觉与情态兴奋度、空间感、紧张度等因素的对应关系，并结合音乐美学和音乐心理学的实证研究成果，进一步证明中国新媒体声音装置作品的创作者在有意识地关注观者多感官协调问题。

（二）联觉概念解析

人类可以接收到许多感官刺激，包括视觉、听觉、味觉、嗅觉等。而“联觉”是指一种知觉系统的刺激引起另一个或数个其他知觉系统反应所获得的感。所以，也有人称之为“通感”，它是各种感官刺激相互作用而产生的一种心理现象。例如在听到一种声音时感觉到一种颜色，就是听觉与视觉的联觉现象。再如“甜美的声音”、“冰冷的事实”等，都可称之为联觉现象的体现。

音乐中同样存在着许多联觉现象。在音乐学科领域，对“联觉”概念关注最多且研究最早的应属音乐美学和音乐心理学。大量的实践研究表明，音乐的音高、音强、音长、时间变化率等因素与人体的感官感受（例如大小、轻重、视觉亮度、情态兴奋等）因素存在着一一对应的联觉关系，中央音乐学院的周海宏教授也曾对这一领域有过系统性的研究和论述。[1]研究工作者基于“同构学说”这一理论依据，来论证音乐与多种感官的联觉现象过程。音乐领域范围内的同构关系，是指音乐的运动形态和人的心理运动形态之间具有的某种相似性。这种相似性主要表现在二者在运动形态上多方面的同构关系，即相同或类似的内部动力结构。例如，就音乐的物理层面而言，其实质就是将具有一定频率、振幅、波形的声音进行有序排列。因此，音乐在某种程度而言是具有运动特征的。这一运动特征与所要表现对象的世界或情感的运动特征是相通的，以共同的特征作为中介环节，使得两者的对应成为可能。

三、作品《声音·北京》研究分析

（一）作品《声音·北京》背景简介

《声音 · 北京》是一首视听结合的大型的融合媒体声音装置艺术作品，应2012年新媒体概念艺术展组委会委约而创作。这部实验性的作品由中央音乐学院张小夫教授主创，同时联合中央音乐学院电子音乐作曲的专业研究生创意、研发的。在2012年10月的新媒体概念艺术展期间，《声音·北京》在中华世纪坛进行了为期 15天展演（见图2）。

（二）创作分析

声音既是艺术的载体，又是文化的符号，能记录历史也可以象征时代。《声音·北京》是一部结合灯光与音响的大型新媒体装置艺术作品。其中，24声道全方位环绕声的运用是音乐多声道技术探索中的一次创新性试验，这似乎能让人回溯一番北京城充满新奇的声音景观。另外，作品中收集和梳理了北京城最具代表性、地标性、时代性和文化符号意义的声音。例如，代表性声音：京腔、早点的叫卖声、胡同里的茶余饭后声、北京晨练声、清晨的鸟叫声、鸽哨声；时代性声音：建设工地、工业农业、股市金融、学生读书、幼儿园、艺术院校；地标性声音：首都机场、北京地铁、公共交通、北京交通台、堵车；符号性声音：京剧、民乐、交响乐、歌剧、电子音乐。这些声音经过作曲家的加工处理后，以独特的声音艺术形态展示了今日的北京。

图2

全曲分为“北京晨曦、北京节奏、北京交响、北京梦幻”四个乐章。在第一乐章“北京晨曦”中，作品的音响着重声音的写实。日常生活中不同音场空间的真实采样声音被加工，然后在24声道音响空间中重新融合；第二乐章“北京节奏”的音乐将真实采样声音与流行音乐元素相结合。流行音乐部分又融合了诸如 Hip-hop、House 等多种电子舞曲的元素例。不同的音乐节奏有机组合穿插在24声道中，使观者能够在多方位的音响空间里感受到多样、多层次的动感律动；在第三乐章“北京交响”中，作曲家将许多带有时代符号意义的声音元素（如电铃、手机铃声等）与传统交响音乐元素进行了融合。并着眼于“交响”二字，尝试以交响乐和电子音乐相结合的方式，进而描绘出一幅具有北京时代气息的交响画卷；第四乐章“北京梦幻”是以铃铛音色的真实采样作为原始声音素材的电子音乐。其声音的主要来源是由铃铛音色衍变而出的各种音响，并与带有浓厚北京元素的真实声音采样相结合，以此引发观者对于北京城的遐想。在 24声道的全方位音响空间中，观者仿佛置身于一幕幕北京历史画面交错的时空当中。

在展演之前，创作人员对北京城市生活中各种场合、环境、行为及状态的声音（诸如北京街上叫卖早点的声音、马路上车水马龙的律动声音、工地中塔吊搭建楼房的声音、公园里自由艺人京剧杂耍的声音等）进行采录。随后，经过电子音乐技术手段的处理和结合，塑造出一个虚拟与现实并存的神奇世界。由前文可见，作品《声音·北京》通过直观的感受、繁复的指令以及零距离的接触，实现了科技与社会的融合性探索与碰撞，是一次跨学科跨领域的尝试。

（三）技术分析

《声音·北京》这部装置将整体设计分为两个单元，分别是声音单元和装置单元。声音单元包含了电子音乐、北京日常生活中的声音采样、交响乐等多种声音元素。其中，电子音乐又包括传统意义上的纯电子音乐、电子声学音乐和应用型电子音乐等多种类型混合形式。而在装置单元中，互动部分是关键，不仅融入了人机合一的理念，还通过Max软件平台的指令编写来控制音乐和灯光阀门，并以数据代码作为作品展演的信息始源。

在这首装置艺术作品中，灯光的控制部分采用了Arduino开发板解决方案（Arduino 是一个开源电子原型平台，由软件和硬件两个单元构成，被设计师、艺术家、互动爱好者们广泛应用）。它能通过各种各样的传感器来感知环境，并且通过控制灯光、马达以及其他装置来反馈、影响环境。

这套装置使用了 Arduino开发板的串口与计算机的连接，通过 Max&Msp软件的 Serial对象连续向 Arduino发送指令字符串。Arduino在接收到信号后，会实时更新每个灯的亮度值，并控制灯光做出相应的变化。另外，电路板上的微控制系统也可以通过 Arduino的指令程序来编写，并与互动系统相结合共同参与装置的互动。同时，装置还使用了PWM（脉冲宽度调制）技术，能通过改变占空比的相关数据以实现在宏观时间范围内对灯光的亮度控制。在综合灯光亮度和灯光寿命等因素后，作品最终选择了35W 12V的卤素白炽灯作为发光装置。装置准备过程中，笔者发现一盏35W的白炽灯需要大约3A的电流，而Arduino的每个PWM 端口只能提供大约30mA的电流。为解决这个问题，创作人员又在装置中附件了固态继电器，通过arduino输出的小电流来控制大电流卤素灯的工作。

《声音·北京》区别于传统音响的立体声模式或 5.1声道模式，以24声道全方位环绕声的方式呈现。就现状而言，大于 8声道的音响布局通常只见于专业音响实验室或电子音乐工作室。这种成上、中、下、左、中、右，多层次、多角度环绕于听众四周的音响布局在一定范围内，最大程度地模糊了真实与虚拟的界限，并塑造出一个全新、奇妙的音响空间，为观者带来新奇的声音体验（见图3）。

图3

（四）表现分析

该装置作品所涉及到的感官主要有视觉、听觉两种。因此，在这一环节中我们将针对视觉、听觉因素与视觉亮度、情态兴奋度、空间感在作品当中的联觉现象进行分析。

首先，《声音·北京》的视觉环境是一个布满实时变化灯光的室内空间。灯光的明暗度会随着24声道中音频的音量大小、音频高低而变化。同时，灯光色彩的变化频率会与声音变化的频率相适应。因此，作品通过灯光的明暗度、变化频率与声音的音量、时值、节拍的增减和快慢变化之间的互动，使观者获得和谐统一的视听感官体验。在联觉实证研究理论中，声音频率高低与视觉亮度明暗相对应的科学结论即频率越高的声音给人的感觉越亮。这部作品通过音高与视觉亮度的互动，强化了观者对于作品的观感。

其次，全曲的四个章节有着不同的结构和音响形式，音乐所表现出的情态兴奋度也大相径庭。无论是“北京晨曦”的舒缓，“北京节奏”的动感、“北京交响”的雄壮还是“北京梦幻”的神奇，每一个章节的情态兴奋度都与各自章节的频段高低、听觉紧张度高低以及音乐强弱有着准确的对应关系。印证了联觉实证研究理论中随着音强、听觉紧张度、音高等因素的高低强弱，与情态兴奋度的高低一一对应，以音响、灯光的方式正确地传递出作者需要观者感知的信息。

最后，空间因素一直是电子音乐声音装置艺术的重要一环。《声音·北京》让观者在不同的音乐章节中，感受到了截然不同的音响空间。因此，在24个音箱全方位布置的室内空间中，作品通过声音的音量、音乐的风格形式和节奏舒缓的调节，创造了一个或远或近、或宽或窄的多变的空间感觉。这也侧面体现出联觉与声音的科学实验中听觉紧张度、音强的高低与空间容纳性、空间距离的对应关系，并为不同的音乐场景勾勒出相适应的音响空间感。

结 语

《声音·北京》用多元化的声音符号、多样化的音乐形式描绘出北京的历史和发展，24声道的音响空间更是为观者带来了新奇的艺术感受，是一部极富人文关怀的作品。其创作理念和音响形态与观者感受之间形成了奇妙的“和谐”。其呈现音响的音量、音强、音长、时间变化率等因素均与视觉、触觉、情态兴奋度、空间感等因素形成了联觉对应关系。这种对应关系在无形中加强了作品的艺术表现力和观者的艺术感受。由此可以看出，一个“和”字被暗含在这部新媒体声音装置艺术作品中，这也许与中国传统文化有关（如古人“天人合一”的观念等）。随着科技的快速发展，将作品的文化内涵和表现形态合理地融入于高科技创作领域，以达到观者听觉、视觉，甚至触觉等人体感官知觉的统一，或许可以成为今后中国艺术家们尝试并努力的方向。

在中国的艺术大地上，新媒体声音装置艺术还是一个新兴的艺术形式。笔者被这种艺术形式的独特魅力深深触动，并希望通过本文的研究为中国新媒体声音装置艺术的发展添砖加瓦，为该类艺术作品的研究和创作尽一份绵薄之力。