音乐新媒体艺术中的声音-媒介交互设计

徐志博，房大磊，达 彦

(1.上海师范大学 音乐学院，上海 200234； 2.上海音乐学院 音乐工程系，上海 200031；3.北京达哒超媒体工作室，北京 101408)

“音乐新媒体艺术”是当今“新媒体艺术”(其定义参见文献[1])广大范畴中的一个子类别.相比起其他一些常见的新媒体艺术形式(如影像、摄影、综合造型、互动装置、电子游戏、网络艺术等)，其对于音乐(声音)维度的运用是显著的、具有主导性的.这类作品突破了传统艺术形式相对单一、自足的感知维度，而处于一种多维、互动的媒介模式之下，这得益于当代数字媒体技术、艺术观念的革新及它们所造就的作品形式架构.本文将首先从理论上阐释新媒体艺术中“媒介”的形式内涵，并以此传播学视角来观察作品中由声音所引发的互动关系，分析其成因、构成及基本模式.之后的实例分析则从实际操作角度，解析具体作品中的交互思维和设计步骤，揭示艺术理念如何通过相应的技术手段来实现，在印证上述理论框架的同时，也呈现出具体艺术创作的复杂性和手法的多元化.

1 音乐新媒体艺术中的声音与媒介

1.1 新媒体艺术中的媒介

“媒介”(media〈单〉/medium〈复〉)一词通常被用来指代事物传播交流的中介物，即包含着信息内容的形式载体.然而从本体论角度来看，媒介的形式远比其所传递的(信息)内容重要，或者说形式和内容凝结成一个统一体，即“整体场”(Total Field)，从而应验了麦克卢汉(McLuhan)著名的论断——“媒介即讯息”[2].此处并不尝试对这一传播学的重大命题进行探讨，但其对于媒介内涵的诠释有助于澄清本文所涉的这一基本概念.在当今数字信息时代的大背景下，原先由不同媒介传播的感知内容： 诉诸于听觉的声音、语言、音乐；诉诸于视觉的文字、图书、图像、影像；诉诸于其他人体感知的姿态、动势、触觉、味觉、嗅觉甚至复杂的神经运动等皆可以被转化为信息代码，而成为某种可复制、可传播，通过转码又得以再现、重新被感知的媒介形式——“数字媒介”.数字媒介增进了这些原本并无直接关联的媒质间互通的可能性，并突破了原先“不完整的、支离破碎”的技术，而使用“新的媒介之后，人们又可以贮存和转换这一切.至于速度的贮存和转换，根本不存在问题.在没有超越光障之前再没有比电速更高的加速度了.”[3]可见，本文所言的媒介，不但包含了传统媒介概念所承载的相关形式内容，更体现为一种高技术背景下前所未有的综合、交融化的媒介模式.

正如麦克卢汉所言，媒介是“人的延伸”，那么委身于各种数字信息技术的“新媒体艺术”无疑将人类的感知力向前推进了一大步.所谓“新媒体艺术”即传统艺术形式的延伸.值得庆幸的是，“新媒体艺术”虽依赖于数字信息技术，但它们并不表现为一排排一列列冰冷的代码，而终究转化为真切的，可听、可看、可感知的艺术形式，又正是现代技术使这一切得以实现.同时，新的艺术形式与旧的艺术形式间存在着较大区别，是贯穿于整个艺术生产、传播、感知过程的全方位的模式化差异.原先纯然人为、机械性、灌输型的创作、传播方式，被代之以自动化、有机性、交流型的数字媒体技术手段(虽然原先的方法体系尚无法完全被替代).技术对于新媒体艺术中媒介模式的形成是决定性的，它不仅仅作为一种工具，还是直接影响创作理念、作品形式构成、呈现形态及感知体验的关键因素所在.因此，作为一种基于新的媒介模式之上的艺术系统，新媒体艺术高度依赖技术，在这里，技术与艺术的边界趋向模糊.套用麦克卢汉的句体，在新媒体艺术中，媒介即艺术形式，媒介即技术.

1.2 声音与媒介的关系

1.2.1 从属关系

在当代艺术领域，各种媒介本身、不同媒介间的关系已成为艺术创作的重要资源.在新的媒介模式之下，人的感知系统通常是被全面调动的，诸如“3D音效”、“4D电影”、“5D游戏”常用以标示所采用的媒介其形式非同一般.新媒体艺术突破了传统艺术形式相对单一的感知维度，而代之以多维感知.这些维度间通常是不完全平等的，在一些常见的新媒体艺术形式中，视觉媒质往往占据主导(结构层面)，而其他感知维度则相对为辅.当然，为辅并不代表无足轻重，相反，在这样一种多维感知的媒介模式中，每个维度所起到的作用都是并重的.对艺术作品的完整感知才是创作者艺术建构的目标，这种媒介模式本身就是一种“完型”.在多维感知中，音乐/声音通常占据其中的一维或更多(如在环绕空间声场中，听觉本身已具有多维性).它隶属于艺术作品多维的、综合化的整体媒介模式，同时又与媒介中的其他感知维度相关联.

在本文的论述对象——音乐新媒体艺术中，视觉的主导被听觉的主导所替代.这并不影响其媒介模式整体的多维性质，但主导性的归属还是能体现在作品的结构系统中，也不同程度地表现在建构、呈现及感知等层面.但总的来说，无论是声音还是音乐，听觉媒质仅仅是媒介模式中的重要一环，其不能独立于整个媒介，这或许就是新媒体艺术作品与传统音乐作品的根本差异所在.

1.2.2 听觉主导性互动关系

听觉维度在音乐新媒体艺术中是不可独立的，它从属于整体的多维媒介模式.同时，如何能够将以听觉为主导的多维感知有效地捏合在一部作品中，大致可以从两个层面来看.

首先是观念.观念使听觉与其他感知媒质及艺术手法间产生协同互动关系，这种互动不是额外附加的，而是深植于作品结构内部，凸显于其架构(理念与形式)以及生产过程所蕴含的整体或局部关系之中.当然，观念的实施离不开交互技术、识别感应技术及相关软硬件平台的辅助，但决定权永远在人手中，此人既可以是创作者，也可以是演绎者或体验者.“人机交互”过程中，人与机器皆可能成为主动的一方，但这一交互机制的确立，主动权永远在人手中，这也是新媒体艺术尚能称之为“人类艺术”的重要原则之一.

与观念同等重要的是技术.其重要性某种程度上甚至超过了纯粹的观念，很多情况下，没有技术引领，观念只能沉睡.“人机交互”即机器部分地替代了原先“人”在艺术生产传播过程中的角色，借助机器，艺术的生产与传播过程中产生的交互(流程)模式，大致可分为3类： (1) 选择式，指在计算机系统支撑下，可根据爱好、要求及运行使用环境条件，以人机对话的方式对各种艺术要素的属性及重组方式进行选择，产生不同的作品结构和艺术效果；(2) 推理式，指在计算机系统支撑下，可对创作所需的要素进行灵活设置，并能自动按因果关系、逻辑关系进行推理，计算出不同条件下的事件和结果；(3) 自动式[智能式]，即对艺术作品创作与欣赏过程进行自适应、自寻优、自学习、自组织的一种系统，从而达到虚拟现实的感知效果.(相关理论阐释亦可参见文献[4])

新媒体艺术中的人机交互形式除了以上3类流程模式外，还体现在交互的主体、交互的内容两个方面.交互的主体可以是人(创作、演绎、欣赏者)，也可以是机器(计算机或其他软硬件工具).交互的内容即前文所阐释“媒介”中的感知维度及表现形式.媒介本身是“完型”，即一个不可拆分的整体.但从结构和操作层面的解构、建构思维又是必然的，这点与传统艺术的创作思维一脉相承.此外，各交互内容间存在着类似于传统室内乐的“重奏”状态，不同媒体介质间构成了“多声部对位”，通过相关技术手段、交互模式来实现新媒体艺术所特有的“媒体重奏”.

我们或许可以由此推导出一组并非严谨的对应关系： 观念——交互主体；技术——交互模式；艺术形式——交互内容.它们皆围绕音乐新媒体艺术的核心——声音/音乐(听觉感知)所展开，从而形成了一种以听觉感知为主导的媒介模式结构(见图1).旨在让听觉内容决定视觉及其他感知内容；让声音线索主导整体时间及叙事(若有)脉络；让所使用的数字媒体及信息技术手段满足听觉为主的感知表达需求；让各类技术所使用的数据、程式围绕与声音直接或间接相关的参数有机设置.

2 声音-媒介交互设计实例

以下将以作者担任主创的几部作品为例，从音乐新媒体艺术创作者和交互系统设计者的视角，对这些作品中基于声音的媒介互动设计进行解析，梳理出一些具有实际操作性的议题.在揭示相关作品创作内核的同时，也对前文的理论归纳加以检视，以期能实现该类创作和研究所追求的理论与实践接轨，艺术理念与技术手段相互间的融汇、转化.

2.1 动势与声音的交互

在作品《身体乐》*《身体乐》(舞者与电子交互，2011)，首演于“第三届上海国际电子音乐周”.作品创意、音乐制作、形体设计： 徐志博；声音交互设计： 房大磊.中，其媒介模式所包含的主要交互形式是介于作品演绎中的声音与身体动势之间的.在感知上，人体的动势某种程度上则转化为视觉，从而形成听觉与视觉的感知联动.作者运用安装在表演者身上的传感器来触发、控制和处理声音，通过计算机程序在动作和声音之间产生紧密的交互关系，试图将人体的各种动态、静态及心理状态予以听觉转化.作品的声音-媒介交互是通过3个技术层次来实现的，分别是： 输入(感应设备)、交互界面(数据转化及媒质转化)、输出(综合媒介呈现).

2.1.1 手部感应系统设计

输入设备以手部感应设备为主.主要使用了两个“SN-10010”(IMU Analog Combo Board Razor-6DOF Ultra-Thin IMU)传感器来分别捕捉演员两手的运动状态，通过“陀螺仪”和三轴加速度变化输出连续的数据来进行声音样本的选择、触发和控制.同时，两个“手环”(见图2)还分别安装了一个接触式麦克风(AKG C411)，从而可以通过识别肢体的接触方式、接触强度来进行声音的操控.上述输入设备的模拟电压信号通过MIDITron[5]转换成MIDI信号进入电脑交互平台Max/MSP*Max是Cycling`74公司生产的图形化编程语言，其中MSP模块负责音频信号处理，Jitter模块负责视觉图形处理.Max/MSP平台具有高度的灵活性和开放性，被广泛应用于各类声音交互设计、声音数据处理、音频及动势分析、声音工程及装置搭建中..

图1 以听觉感知为主导的媒介模式结构Fig.1 The structure of media mode dominated by auditory perception

图2 自制“手环”由传感器面板(IMU SN-10010)和接触式麦克风(AKG C411)组成Fig.2 The DIY hand sensor consists of one IMU board(SN-10010) and one contact microphone(AKG C411)

2.1.2 声音交互系统设计

作品的交互系统根据作品的结构分为两大板块.第一部分，主要通过识别演员肢体的各种动作方式、强度、持续时间、结束方式来选择和控制所对应的声音样本回放方式；第二部分，主要通过演员动作的简单加速度、速率、关键动作来决定节奏型样本的回放方式.其中以前文所述的“选择”、“推理”交互模式为主，“自动”模式仅有局部运用.表1罗列了作品中所有重要的“声音-动势”交互形式，以大致的时间先后排序，其中也包含了少数非手部传感识别，以及非交互性的结构内容，呈现了作品基本的思维架构.

表1 声音-动势交互机制

由于作品的整体交互系统相对复杂，传感器也不仅限于手部，交互方式除了身体动势识别也还有声控及手动等方式，此处无法详细介绍，其作品设计报告可参见文献[6].对观众而言，作品最终的呈现结果表现为一种视觉认知上的人体动势与声音结果间的互动关系，但从具体的交互设计内容来看，则完全是与表演者为主体的实时身体动势和临场选择相关.因此，该作品媒介模式中的交互主体，应当是表演者及所使用的整个计算机感应交互系统.

2.2 影像与声音的交互

影像(静态、动态图形及视频)是新媒体艺术中最为常用的表现手法.影像信号由相关交互图像程序系统(通过实时、预制与实时混合、现场人为交互或自动)生成，经过数字或物理方式输出或投射至屏幕及其他可乘载影像的界面和物体，目前的技术手段使这一过程变得十分简化、便利.在新媒体艺术作品的媒介交互设计中，声音与影像间的互动已经成为运用最为广泛和成熟的作品媒介交互形式.

2.2.1 影像与声音的交互关系

影像与声音间的交互，基本可分为直接交互与间接交互两类.下面以作品《意镜》*《意镜》(音乐新媒体剧场，2012)，上海国际艺术节委约作品，首演于“2012上海国际艺术节‘上海梦’青年艺术家委约专场”.作品创意、作曲、音乐制作： 秦毅、徐志博；声音工程： 房大磊；视觉艺术交互设计： 达彦.中的几个片段为例来说明.

“直接交互”即声音与影像内容相互间呈紧密的逻辑关系，交互手段直接作用于声音及影像内容的生成或变化处理之上.音乐新媒体作品中的直接交互以声音来触发、控制影像为主.如图3的场景中，表演者发出的声音(主要以喘息、喃喃自语为主)音量作为主要参数，来控制侧屏中人影的明暗虚实.与此同时，作品整体的音乐动态(音量)变化，则控制着主屏中表演者自身“镜像”(使用深度摄相机“Kinect”捕捉表演者的运动姿态)的形态、纹理和动态.直接交互其同步性是很高的，也能使受众感受到最为明显的视听互通.

图3 《意镜》现场演出场景1Fig.3 Performance scenes of Mirror Mind 1

“间接交互”即声音与影像内容并非直接产生互动关系，而是经由某种中介，并通过技术手段及艺术化处理来产生相对复杂的视听联系.有时，间接交互也会包含一些直接交互的成分.这部作品中多处使用到间接交互方式，如图4(a)的场景中.影像与声音均由表演者的身体动势触发(通过携带在腕部的传感器，原理基本同2.1.2节)，所触发的影像内容为变形的汉字(其形态亦与整体声音动态互动)，而声音内容则是夸张的戏曲念白.由于两者均为随机触发，故相互间内容(念白与文字内容)并不完全吻合，但整体上仍具有较强的对位感，而非机械的一一对应.又如图4(b)的场景中，表演者静态的轮廓(镜像)通过“Kinect”捕捉嵌入至动态图形中，而音乐与影像整体均呈缓慢的运动状态，整体氛围和谐统一.不时有一些高频段声音的闪烁使图像产生如水纹般的涟漪，使影像中表演者的静态轮廓时而清晰、时而模糊.此时影像与声音存在局部的直接互动，而重要的是，对表演者“镜像”的处理手法使视听内容共同呈现出作品所要表达的意涵——人的外在与内在和谐统一.表演者既与影像内容构成了视觉上动与静的关系，又同时映衬了声音的动静变化.可见，在以上两种视听间接交互关系中，表演者的地位皆作为音乐与影像内容间的中介，但其发挥的作用又是多样化的.

图4 《意镜》现场演出场景2Fig.4 Performance scenes of Mirror Mind 2

2.2.2 影像交互系统设计

如要产生比较复杂的的交互结果(不仅仅是单一维度的同步或对应关系)，往往需要在“声音-影像”交互中设置较多的操控项(自动或手动)，从而使影像内容能与音乐产生有效而丰富的感知呼应.此处以作品《浮生之歌》*《浮生之歌》(人声、电子音乐与交互多媒体，2015)，作为“声立方·超感官空间”的第四幕，于2015.8.21—30在上海二十一世纪民生美术馆演出.作品创意、作曲、音乐制作： 徐志博；视觉艺术交互设计： 达彦；声音工程： 房大磊.中的“表情场景”(作品的小高潮段落，持续约1′10″)为例，简要介绍其影像交互系统的设计思路.

作品的影像交互程序使用Max搭建，其中“视觉效果与运动属性模块”(见图5)是声音-影像交互的主要界面.其实时接收8个输入信号(6位演员与总音量的音频信号及1个音频同步MIDI信号).在交互界面中包含视觉效果： “色彩-饱和度-亮度”(HSL)，“拖影效果”(Trail)，“模糊”(Blur)以及额外的特殊效果(Extra)；视觉动态属性： “三维空间位置”(Pos)，“旋转角度”(Rot)，“大小”(Sacle)，“速度平滑控制”(ease)以及“回放控制”(playback)等.所有的操控项可以同时被运用在单个视频和所有视频(整体影像是由6个小视频组合而成的).其中，“速度平滑控制”可以让参数变化的起始点产生不同的平滑节奏，不仅影响运动属性的变化，还可以分别影响所有的视效变化.

图5 视觉效果与运动属性模块Fig.5 VFX + transformation module

在这个“表情场景”中，声音的状态经历了从单点至多点、稀疏至稠密、声音表情逐渐夸张、声音反差逐渐加大、整体动态逐渐剧烈的累积过程.而交互影像也试图呈现相似的发展形态，并与声音产生丰富的“对话”感.6个分屏中的影像始终由6位演员的声音所触发，人声的强度与影像被触发的速度和亮度相关联，因此整体影像的节奏与密度与人声是保持统一的.随着声音的发展，被触发的视频从初始状态逐渐加入运动效果，包括“三维空间位置”，“大小”(非等比例变形)和“旋转角度”等，人声的强度也控制着这些位移和变形的强度.此外，所有的视觉交互参数都可以通过手动控制面板进行干预，以保证每一次演出的独特性.

2.3 灯光与声音的交互

《浮生之歌》中，不仅包含声音与影像的交互，还利用了灯光交互手段，从而使作品的视听感知、相关交互内容间的关系更为丰富.

2.3.1 声音同步控制灯光强度

图6 交互灯光效果(演员同时演唱)Fig.6 Interactive spot lights effect (The performers were singing at the same time)

这一交互手法可以理解为将2.2.1节中直接交互的影像内容替换成灯光.在作品的某些场景中，6位演员的声音信号(音量)转化为数字参数发送至灯光交互系统作为输入信号.在交互系统中通过一定的强度预设，自动控制演员上方的定点光束灯的开关、亮度范围及交互强度.从而形成一种直观的视听交互效果： 演唱者发声，灯光即亮；声音越强，他/她自己就被照射得越亮(现场效果如图6所示).而这一简单的交互形式也使得灯光的明暗完全与每个音乐声部状态相对应，从而形成一种与声音同步的光的节奏和织体.

2.3.2 声音与灯光的空间互动

在新媒体艺术中，建立在“沉浸式”空间中的媒介模式是极为普遍的.灯光作为舞台艺术常用的表现手段，其相比平面、固定空间的影像，具备更强的空间运动特性.而声音也同样具有显著的空间定位、传播、运动特性.利用“环绕声”(全息声*“全息声”即3D空间声场，在扬声器足够多的条件下，理论上可以通过波场合成技术做到声音的空间准确定位.《浮生之歌》的制作和演出均采用德国的Iosono声场操作平台(http:∥www.iosono-sound.com/home/).)系统使得声音与灯光有可能在这一综合媒介模式中产生独特的空间交互效果.

《浮生之歌》的结束段，演员分散在整个演出空间中，他们随性地呼喊，声音此起彼伏.整体上试图营造一种在巨大空间中，声音被“抛出”又“散射”至各处的效果.为了达到这一效果，每个人声的扩音，均使用多达10段的延迟效果进行处理，每段延迟的音量、延迟时间、带通滤波及混响发送量均为不同的预制参数.人声与每段延迟的空间数据使用独立的随机位置，该随机位置会以一定的时间间隔(默认为250ms)生成，并在该时间间隔内移动到新的位置(单个声音的空间运动Max程式参见图7(a)，其中数据的初始生成使用了直角坐标系，通过一定程度的控制，转化为极坐标系场景)，从而造成了众多声音在空间中快速移动的主观听感.

与声音的空间运动相对应，此时的灯光模块(参见图7(b))中控制空间运动的分别是“水平/垂直旋转”(Rot H/V)，同时还有亮度(Bright)、色彩(Col)等控制参数.其中“旋转”与“亮度”参数受控于声音信号，声音触发灯光的运动和起亮强度，并一定程度上与声音的随机空间位置参数相对应，从而形成声音与灯光在空间中相互“追逐”的动态效果.与此同时，视觉艺术家根据现场声音状态对灯光的色彩变化及多灯光间的空间布局、开关状态进行现场即兴操控，以使两者间的关系更趋于某种有序的复杂.因此，该场景声音与灯光的空间交互效果是基于交互程序(参数共享)、人为干预及预制参数(随机或固定)共同作用下实现的.

图7 单个声音及灯光空间运动模块Fig.7 Spatial motion module of single sound and light

3 结 语

音乐新媒体艺术作品中，声音元素作为整体媒介模式中至关重要的部分，其主导性尤其体现在技术及形式结构层面.音乐/声音与其他感知媒质及艺术手法间有着这样或那样的协同互动关系(可以是二元互动的也可以是多元互动的)，从而使作品的结构能够围绕音乐铺陈、声音设计所展开.不过，在作品整体艺术形式中，听觉与其他感知维度、声音与其他媒质载体的关系又是密不可分的，这应拜交互性思维、交互技术和手法所赐，声音之于媒介的关系就如同听觉之于人类整体感知的关系，是一个有机的整体.

交互机制作为人类艺术思维、创作手法的技术化延伸，通过交互对象、交互内容、交互模式三重因素的综合作用产生高度多样性的艺术媒介模式，其带来的创作空间同样是巨大的，将艺术创作思维领入崭新的境地，即麦克卢汉所言“开启心智的时代”、“是我们意识的延伸”[7].然而目前，在这类艺术作品的实际创作中，以“人机交互”为代表的技术因素固然是核心，但“人”的因素(人的想象力、判断力、瞬间反应、敏感性、随意性、潜意识等)以及“非技术性”(传统)创作手法仍旧发挥着重大作用.这充分体现了艺术的人文本质属性及当代艺术形式的复杂多元特征.对于艺术创作者，或许只有一项永恒不变的准则： 选择最合适的技术和方法，达到最佳的艺术效果.