基于game-trak的交互式电子音乐创作技法研究*——以作品chimes at midnight为例

李亚熙

（四川音乐学院，四川 成都 610021）

电子音乐的发展，从单纯靠听觉来欣赏的具体音乐、磁带音乐，到包含现场表演的混合型电子音乐，再到可能性更多的计算机音乐，迄今，已走过近70年的历程。如今，电子音乐发展到成熟阶段，特别是随着录音技术的进步，各种技术手段不断完善，使电子音乐可以表现出更加多元化的交互形式关系。显而易见，多媒融合的交互式电子音乐样态，无疑是当今电子音乐发展的一个新的历史时期。托德·温克勒（Todd Winkler）在《交互音乐创作》一书中对交互式电子音乐定义道：“在音乐的创作或者即兴的同时，计算机现场实时的采集现场的数据，使用这些数据对音乐的发生和变化产生影响。”①根据这个定义，所谓交互，需要两个及以上对象共同来完成。按照交互对象的不同，可以划分为：人机交互（如：现场真实乐器与实时电子音乐的结合），机机交互（指不同的媒介系统之间的交互关系，如：声音、灯光、影像等相互结合），组合交互（即上述不同的交互模式同时存在，成为交互式电子音乐中最典型的一种样式）。本文所讨论的作品，正是这种具有组合交互模式特征的交互式电子音乐。

一、Game-trak与交互式电子音乐

由于交互式电子音乐所包含的多媒融合特性，作曲家在创作中，可以使用的乐器种类更加宽泛。这些“乐器”可以是基于声学乐器的、新媒介产品的，又或是来源于日常生活用品等等。而新媒介的产品可以是MIDI或电子类的“乐器”，又或是其他非音乐领域的电子产品。如，游戏产品、智能移动设备、各类传感器等。这些“乐器”可以在交互式音乐表演中，通过拾取演奏者的动作数据，将其映射成预制的音乐参数，再实时地生成最终的声音或音乐作品。例如：最常见的游戏手柄，任天堂的Wii Remote，高尔夫游戏控制器Game-trak，Microsoft为XBOX游戏机设计的体感识别装置Kinect，Leap公司发布的Leap Motion，甚至我们身边最常用的iPad/iPhone/iTouch等等。电子音乐创作者可以使用这些控制器，并根据不同的数据传输形式达到交互的目的。本文中，笔者的分析，是以Game-trak为例的数据驱动乐器的运用。

Game-trak（高尔夫游戏控制器）是一种基于位置跟踪技术的三维游戏控制系统的设备，专为家庭视频游戏平台设计（如：视频游戏机和个人电脑），由埃利亚特·迈尔（Elliott Myers）于2000年发明，最早是用于任天堂游戏机控制杆和高尔夫球模拟训练器。Game-trak的可控界面，主要是两根类似钓鱼线的尼龙伸缩绳。绳索的一端是塑料接头，可连接专门配置的手套，方便使用者在手持高尔夫球杆时固定或控制绳索；绳索的另一端则是连接到硬壳塑料底座中，末端连着的齿轮，可以实时地识别另一端在三维空间中的相对位置。除此之外，还包括了一个附加的踏板输入，如图所示。

Game-trak图示

演奏者在使用Game-trak控制器时，主要是双手握住绳索的一端，每只手都可以自由控制3轴数据（即xyz轴），分别表示横向、纵向与拉伸长度。附加的脚踏板输入，可以作为非线性数据的映射区以别于绳索。Game-trak的绳索本身拉力弹性反馈很强，可达到12bit的精度，当它进行数据传输到Max/MSP中时，自然会获得更加准确的数据，从而让创作者可以进行数据的精确计算与控制，使演奏者拥有非常自然且精准的演奏体验。Game-trak作为一件特殊“乐器”，为当代音乐创作者打开了技术思路与手段，许多作曲家纷纷以其为基础创作出富有想象力和创造性的音乐作品。例如，美国电子音乐作曲家杰弗瑞·斯托莱特（Jeffrey Stolet）创作的交互式电子音乐作品《绳索的仪式》（2012），王驰的《灵隐》，冯金硕的《绳索与声线之歌》（2015）以及万芳2017国际计算机音乐大会（ICMC）获奖作品《Moving Bits》等。

二、交互式电子音乐作品Chimes at midnight②中的创作技法

作品Chimes at midnight是笔者于2017年为Game-trak和实时影像而创作的四声道交互式电子音乐，中文名为《姑苏城外寒山寺》，时长6分15秒。创作灵感源于《枫桥夜泊》中的“姑苏城外寒山寺，夜半钟声到客船。”这一诗句。笔者以寺院钟声为主题贯穿整首作品，将钟声、风声、河流、野外环境等具体声音通过声音设计系统进行处理，试图表现诗句中所描绘的意境——静谧的夜色中伴随着悠扬的钟声。作品使用Game-trak作为实现交互的主要装置，借助摄像头采集视觉图像，以此来触发声音素材和影像，并实时控制音乐参数及影像参数的变化。

（一）交互式程序设计

就技术方法而言，能够编写和设计交互式电子音乐的平台很多，例如：Max/MSP、Kyma、Pure Data、AudioMulch、Integra Live等，它们的优势和功能各不相同，不仅可独立运行，还可以交叉并用。在创作中，应根据创作目标，对不同的平台和媒介进行选择。本文所分析的作品，在声音和实时影像设计方面，运用了计算机编程语言Max/MSP、DIPS③和Kyma三种创作平台来完成。其中，Max程序部分，主要负责数据的接收、处理、映射和发送；DIPS负责视觉部分的生成、处理和实时影像输出；而Kyma，则在接到数据后，负责声音部分处理和最终的声音输出。这三个软硬件平台，通过OSC和MIDI信息进行数据交互并协同工作。

Chimes at midnight演奏画面

如上所述，作品的创作，首先需要用Max来完成控制器Gametrak的数据接收、处理、映射和发送。在Max中得到数据，需要用到人机交互接口物件hi，该物件可以提供来自人工接口外围设备的输入（即，触控板、键盘等设备）。Game-trak上的两根绳索，分别可以获得xyz三组数据，数据精度达到4096个数值。为了使数据更便于映射给其他功能使用，就需要将数据范围映射到另一个预存数值范围内再进行输出。例如，在作品中就将0到4096映射为0到127，以便于将MIDI信号传送给Kyma再进行声音控制，如图所示。

Max控制数据映射图示

获取数据后，还需根据作曲家的设计，将数据进行分类和转换。作为交互式电子音乐“乐器”最常用的两种数据形式，即为触发类和渐变类，通过实际演奏动作进行数据转换，实际上相当于是在触发“乐器”开关（Button）和声音推子（Slider）。Game-trak本身所表现出的6组线性变化数据，便属于渐变类形式，而附加的脚踏板输入，则可以用于数据的触发开关。同时，在实际创作中，为了便于演奏者或作曲家所考虑到特殊动作设计，通常又会从渐变类数据中取一个特定值作为触发点进行控制。例如，作品Chimes at midnight中，作者仅使用双手控制绳索。为便于演奏，将x轴滑动到0时触发一个bang信号进行开关设置，以进一步满足完成多种表演动作的可能性。

完成了数据的接收和转化后，最为关键的环节，便是数据的准确映射。这种映射关系，赋予游戏设备新的生命，将它转变成一件可以进行交互的电子“乐器”。作品的声音设计的部分，由Max将数据通过KymaConnect发送给硬件Paca/Pacarana，并最终由Kyma完成声音算法的生成与输出。同时，整个作品的时间节点控制使用Kyma中的Timeline来完成。如上文所述，作者通过Max平台，可以获取6组线性变化数据，这些数据在作品中的映射如表格所示。

Chimes at midnight中控制器6组数据的映射

同时，由于声音算法的改变，数据映射也会发生相应的变化。由此可见，作品中声音的触发，音量、声像的变化，甚至是声音算法频率的控制，都可以实时地由Game-trak来操控。这一过程，仅只需要将获取的数据，映射到一个精确的范围便可得以实现。

作品的实时影像部分，使用DIPS来生成与变形。将Max中设置转换好的控制器数据发送给DIPS主程序，控制实时影像的变化。DIPS中实时影像的生成由两部分构成：第一部分是摄像头捕捉的人物动态变化；第二部分则是由Game-trak控制的线性变化和影像位置。为了便于实时控制，影像的变化参数及范围会预先写入程序中，这样在实际演奏时，即可减轻演奏者的负担，同时也利于每一次演奏的完整性。在作品中，影像的触发和每一次的动态变化映射关系为：当z1轴拉伸距离大于35（范围为0到127），且x1为0时发送一次变化指令。这个数值的设置，以演奏者拉长绳索到可控制最高处时来确定的，换言之，当演奏者左手把绳索拉到最高再往左边拉伸到控制器x轴的极限时，影像才会发生变化。这样的设定，是为了将映射的数据与声音控制区分开，在控制的同时不会引起误触。

（二）交互式电子音乐乐器的演奏

在传统乐器演奏中，演奏者和作曲家通常是两个不同的角色。二者需要不断地沟通磨合，最终呈现出一部完整的作品，其中演奏者的二度创作对于作品的艺术表现十分重要。然而，交互式电子音乐使用的“乐器”并不全是传统的常规乐器。在应用非常规“乐器”来演奏交互式电子音乐作品时，每一个细微的动作变化都会直接影响到音乐参数的改变，且这种“乐器”的演奏方式变化多端没有定式，几乎无法找到像传统的常规乐器那样训练有素的演奏者，因此，这类作品的演奏者往往也就是创作者本身。在创作/演奏过程时，需要通过大量的实验来确定特定动作，换言之，即需要确定控制器数据的位置所带来的参数变化是否是作品所需要的。正是由于这些可控参数的实时性，可以预见，每一次演奏这类作品时，实际上都是一次新的体验和不同的版本。对观众而言，每一次欣赏这类作品时，同样也会有一些不一样的视觉与听觉感受。

由于交互式电子音乐所使用“乐器”的特殊性，类似像Gametrak这种原本属于游戏设备的控制器，在具体使用过程中，对于其表演动作的设计和熟练程度，往往决定着演出的实际效果。因此，当完成了声音和影像数据的映射后，创作者还需要对演奏的动作进行必要的设计。从而使“动作与声音具有关联性，让观众更容易理解演奏者的意图；动作与控制器的特性相匹配，发掘更加‘地道’的演奏方式；动作适度的夸张，让演奏更具有舞台演出效果。”④在演奏中，动作的指向、力度、幅度和速度都会影响观众对动作的理解，进而亦会影响作品带给人的直观感受。如，在作品Chimes at midnight的演出过程中，演奏者每一次触发钟声的力度和速度不同，直接关系到作品中声音的变化和音量的增减；当音乐进行到高潮部分时，将绳索快速旋转缠绕到手上以拉长绳索，则能够有效地控制音乐起伏；高潮结束时缓慢并轻柔地放回线圈中，在显现音乐结构点的同时，影像也会随着动作和绳索的控制产生相应的变化。这些夸张的动作设计，强化了演奏、音乐与影像之间的对应关系，也进一步丰富了舞台演出的效果。

（三）作品结构与声音、影像材料

作品时长约6分15秒，分为三个部分，段落的划分主要以声音形态和实时影像的对比变化来体现。第一个部分结束于2分40秒处，这一部分以钟声为主题拉开序幕，伴随类似风声和环境声引出“姑苏城外寒山寺，夜半钟声到客船”的主题意境。声音材料及其变形以脉冲型、持续型和游移型的形态为主，结合声像的变化不断发展。影像部分是通过摄像头采集的演奏画面并实时变形，营造出一种虚幻而神秘的意象。随着声音形态的不断变化，影像逐渐表现出分裂的形态，由一个完整虚幻的人物影像最后演化为繁星点点。

第二部分从2分40秒到5分33秒左右，作为第一部分的变化发展，这一部分的声音意象加入了类似铃声、风雪声、流水声等变形材料，融合了持续型、游移型、重复型等声音形态，从4分40秒开始逐渐发展到整个作品的高潮。同时，影像部分由一条被绳索映射控制的线开始，每一次拉动绳索变化其位置，影像中的线条会随着控制变化形态和位置。随着音乐情绪的发展，线条逐渐增加，变化更加丰富。

第三部分从5分33秒到6分15秒左右结束，与第一部分相呼应，回到钟声与虚幻人物影像的结合。声音材料仅使用变形的钟声，通过叠加不同低频的方式改变其音色。使得更为低沉的钟声和色彩变幻的影像却又不同于开始部分，形成简短而意味深长的尾声。

三、结语

作曲家将非常“乐器”应用于交互式电子音乐作品创作中，极大丰富了电子音乐的表现性和感染力。对于创作者而言，在给予更多创作空间的同时，还有可能以演奏者的身份，更好地增加了对作品表现的掌控能力。此外，多媒融合的交互式电子音乐作品，对于作曲家跨领域的知识结构和能力提出了更高的要求；对于观众或听众而言，亦可能在欣赏不同作品的同时，或许也是一个十分有趣的全新体验过程。

然而，不可否认，目前在使用类似于Game-trak的数据驱动乐器进行交互式电子音乐创作时，仍存在着一些不足或缺陷。如：由于控制器本身的限制—Game-trak绳索的长度有限，不能将其放置太远，使舞台表演区域会受到一定限制；由于电子设备灵敏度不高，会导致数据抖动和误触；由于线路故障无法进行设备连接或因网络传输问题导致信号不稳定从而使演出中断等等。此外，与传统乐器相比，使用数据驱动乐器时，也需要创作者去发掘并逐渐完善更多的表演方式和可能，不断弥补演出效果的单一性。

显而易见，在以多媒融合的交互式电子音乐创作中，对于数据驱动乐器的研发和应用，虽还有许多的空间有待于我们去进行探究，但随着这样一种新型样态的不断开拓与完善，必将为电子音乐的艺术表演样式，带来更加广阔的发展前景。

注释：

① Todd Winkler.Composing Interactive Music：techniques and ideas using Max.Massachusetts，United States：The MIT Press，2001，P3.

② 作品视听链接：https：//pan.baidu.com/s/1QxMnA0BeJ1lucpomFTiUig

③ Max/MSP的插件软件“DIPS”(Digital Image Processing with Sound，用声音进行数字图像处理)

④ 冯金硕.2000-2015年间交互音乐控制器创新路径与应用实践研究[D].中央音乐学院博士学位论文，2017：63.