新媒体实时交互电子音乐的创作形式探究——以《声形》和《三位一体》为例

杜啸虎

（武汉音乐学院，湖北 武汉 430060）

《声形》是一部为Kinect控制器和电子音乐而作的实时交互电子音乐作品，作品的创作灵感来源于汉语词句当中韵律和平仄起伏的特点。作者认为汉语是所有语言当中最博大精深也是最为难学的，从最古老时期的象形文字、甲骨文到繁体字、简体字，汉语的发音和音调的变化可以使听众不需要知道说话者所说的具体内容，单单凭借音调的起伏就可以理解说话者想要表达出喜怒哀乐等思想感情。

从技术层面来分析《声形》这部作品，在这一类使用数据驱动控制器创作的作品中，数据的改变大致可分为三个阶段：数据的获取阶段，数据的转换阶段，数据的映射阶段。

数据的获取阶段，这一阶段是作曲家使用数据驱动控制器进行音乐创作时所要经历的前期准备阶段。首先，作曲家要确定作品的音乐形象和演出方式，《声形》这部作品之所以使用Kinect来创作这部作品，是因为它的大众化为作曲家提供了更多的创作自由，从某种意义上讲，这也是一种多角度多数据源的控制力。这部作品以新媒体实时互动技术为载体，电子音乐技术理念为基础，听众在观看作曲家现场用肢体语言与计算机进行交互式表演的同时，又能感受到电子音乐所带来的震撼听觉效果。这部作品具有极强的视觉效果和音乐的可听性，作为交互式电子音乐这类新兴的音乐形式，既保留了先锋性和实验性，又做到了“声”“形”合一的艺术气质。

数据的转换阶段，首先，作曲家要知道所选择的控制器的原本数据特性，比如说Kinect所产生的数据传送到电脑之后显示出的数据特性与Wii游戏柄的特性是不同的，这种不同主要体现在值域范围不同、数据精度不同、数据稳定性不同以及数据更新速率不同，等等；针对不同的控制器，演奏者在演奏过程中所要完成的动作和侧重点也不尽不同，例如Kinect可以追踪人体骨骼关节的活动；其次是根据所要创作的作品的需求，将得到的数据修改到最为合适的准确度和使用最稳定最可靠的传输方法。比如在《声形》这部作品中，作曲家将得到的OSC（Open Sound Control）信息变换成为16Bit高精度数据，然后以MIDI信号的方式发送给Kyma。这种方式比起OSC的发送精度以及Kyma可处理的超高精度，虽然看似有一定的数据缺失，但是可以在Max中通过软件编程修改的方法来弥补这种数据的缺失，具有传输稳定以及操作简单的特点；因为Kyma和电脑之间只需一根常见的网线便可实现传输；最后是为下一阶段的数据映射做好准备,当外部的控制器设备与电脑连接好以后，需要对所得到的数据进行分析和了解设备的自身特点，抓住数据变化的特性来进行相应的变形，通过实验做出判断，如何最好地应对人体骨骼关节的位置数据。如两手之间的距离如何对应控制粒子合成中的哪个时间点，等等。

数据的映射阶段，这一阶段也是作曲家进行创作过程中最能体现作品的音乐性和特点的部分。数据的转换阶段是紧密相连的，数据的变化范围和变化特性这些本身属性在最后的映射过程中具有怎样的潜力和能够调控的可变参数，在数据变形这一阶段中已经能够清晰地认识到了。数据映射也是非常具有魔力的阶段，在这一阶段中，作曲家可以把任何的一组可变数据通过事先编程好的Max程序映射到具体的音乐参数当中。有了这些数据，就可以非常精确地量化创作与输出过程，或者映射控制信息。

从作品的结构层面来看，总共分为三个部分。第一部分是全曲的引入部分，共三分钟左右，以中高频段的人声作为全曲的开头，这部分的人声基本都是以点状的形式出现，加入了大量的混响和延迟效果器，给人一种错综复杂的交错感。在一分半左右的时候，伴随着演奏者肢体动作的明显变化，出现了类似于钟声的声音，这个声音是作曲家本人的原始人声采样，经过一系列的电子音乐技术手段，呈现出与原始声音相差甚远的钟声。

第二部分共五分钟左右，是全曲的展开和高潮段落，这一部分可以分为三个小段落，第一小段的声音素材与第一部分形成了鲜明的对比，主要是以带有明显的音高特征的长线条人声为基础，伴随着时有时无的钟声和铃声。第二段运用了类似于传统音乐当中复调的写作手法，在单线条人声的基础上加入了高低各异的多声部人声旋律，试图达到一种多声部交织在一起的效果。在第三段当中，钟声素材慢慢变化成为有节奏的不和谐声音来作为固定的节奏音型，采用电子音乐中的LOOP的技术，由少变多、由薄变厚、又弱变强，将音乐情绪不断推进，再起到铺底的作用，将全曲推向高潮。

第三部分是全曲的结束部，也可以看作是传统作曲当中的变化再现部，共三分钟左右。在这一部分当中，人声从之前的“旋律”声部慢慢转变成为低频段的铺底持续音,和高频段的铃声形成一种不同空间、频段、色彩的对话方式。全曲最终是以人声作为持续音逐渐淡出的方式结束，这种开放式结尾也正体现出了交互式电子音乐即兴多变的创作特点。

《三位一体》这部作品是由中央音乐学院电子音乐中心的马仕骅、王新宇和巩子晗三名同学在2012年创作完成的新媒体跨界实时交互式电子音乐作品。作品标题“三位一体”包含两种含义：第一，这部作品是由音乐、视频和装置三部分组成，声音部分是靠演奏者使用iPad和计算机中的Max程序进行实时的交互和改变来实现的，视频部分使用了Max程序中的Jitter物件生成实时演算的3D图像。装置部分则是使用三块“亚克力”板拼成一个无底的等边三角形“金字塔”；其次，“三位一体”的另一个含义是使用了三台计算机对作品进行控制。这并非一种单纯的形式追求，也是由当前计算机性能发展的客观水平决定的——在作品运行时，每台计算机尤其是实时视频和实时音频计算机已经工作在很高的负载之下，因此想在一台计算机上同期、实时、稳定地运行《三位一体》中三个主要的控制程序是完全不现实的。在“三分”的前提之下，三台计算机通过同步的数据通信实现了高度的“一体性”，形成一种实时的交互式融合媒介。

这部作品使用了三个声音作为原始的声音素材，然后通过计算机中的Max程序将这三个声音进行变形处理后进行重新组合跟排列，最终实现音乐的效果上与视频影像保持材质上的统一。在新媒体交互式电子音乐的理念前提下，作品中所有对声音素材和影像材料的控制都是通过三台计算机之间的数据通信进行实时的改变和同步，从而实现一种多元化的交互，而并非单一的声音或影像的互动。《三位一体》这部作品中声音部分的特点之一还在于，由于控制声音的一台计算机在同一时间没有影像和装置两部分的运算负担（已分别由另外两台计算机负责），只专注于声音素材的组织及处理，所以计算机可以实时地进行大量声音处理与随机运算，这使得《三位一体》这部作品在声音的丰富性、品质等方面相比一般的交互式电子音乐作品具有明显提升。

《三位一体》中的视频影像是通过Max中的Jitter模块来调用OpenGL软件接口生成即时演算的3D图像。观众所看到的影像中的所有内容，都是通过接收音频部分的控制信号来产生实时的变化与发展，达到与音乐部分的完美契合。

作品中的视频主要分为两个部分，第一部分是投射在大屏幕上的主视频部分，为了对应不同的音乐段落和显示设备，作者将空间中可任意排列组合的立方体作为主要的材料，并将其作为承影面，显示即时演算的矩阵二维影像。不同的镜头角度、立方体组合方式、光源位置的变化、景深的变化与二维图像的切换等要素的结合，在保证与音乐部分的融合度的前提下，更增添了令人目不暇接的视觉冲击。第二部分为应呈现于亚克力金字塔中的全息影像。对于这一部分的设计，作者希望使用简约的图形与丰富的色彩，以缓慢渐变的方式来烘托静谧而又空间感十足的音乐气氛。同样是使用即使演算生成3D图像的方法，视频主体替换为由变色点构成的球体，自由漂浮在黑色的空间中。镜头的由远及近，球体大小变化与拖曳效果产生的线条变化，伴随着由音频信号即时触发的彩色碎片效果，将该段落神秘而又色彩斑斓的声音特质很好的凸显出来。

《三位一体》通过八声道环绕声场的程序设计，使作品充分利用演出场地的空间拓展了作品的表现力。通过C74应用编程，作品中的iPad、iPhone设备实现了与控制计算机的无线通信，设计者也利用C74中的程序模块完成了八声道控制及操控界面的设计、编写。与传统的八声道调音台操控不同，《三位一体》中的iPad八声道操控可以实现图形化操控，即可以直观地对声音做圆形走位、交叉走位、摇摆游走等声场处理。这种程序的设计使得任意一个声道都实现了图形化处理。

近些年来随着科技的发展，全息投影仪已不再是新鲜事物，这种投影技术能将影像从常规的二维平面延展到三维空间中。然而全息投影仪价格昂贵，全息图像制作复杂。因此，这种技术在新媒体艺术领域里还鲜有运用。《三位一体》的全息金字塔则是一种同时实现全息效果和成本节约的折衷方案，原理是利用光投影到与人眼有一定角度的高透光介质上，因视线角度与四面透光介质使人大脑产生错觉，因而会有图像在空中悬浮的全息感。全息金字塔鲜明的优势在于其制作价格相对便宜，而且技术简单。在全息图像的制作上也可以直接使用3D图像，这就很容易和jitter中的视频影像相结合。当然，这种折衷也必然带来局限，其一是全息金字塔对观赏环境要求较高，需要在较为昏暗的环境中进行；其二是它对观赏角度的限制较大，创作团队的同学因此也正在试验圆形或其他形状的全息装置以解决观赏角度受限的问题。不过，全息金字塔确实以非常“经济”的方式带来了新奇、别样的视觉空间感。