交互式电子音乐的构成解析

范翎

【摘 要】 以罗伯特·罗以及托德·温科勒的观点为参照，提出了交互式电子音乐的信号处理流程的实时表演数据化、数据 接收与分析、数据处理、内容输出等四个步骤，并简要介绍目前常用的两款交互音乐软件。

【关键词】 交互式电子音乐；交互过程；数字化；交互音乐软件；硬件加速器

文章编号： 10.3969/j.issn.1674-8239.2017.12.009

对于音乐艺术而言，实时化的舞台表演是其最为重要的传播途径。现场表演所具有的个体差异、即兴化程度以及不确定性等都是构成舞台表演独特魅力的重要方面，而表演过程中的视觉信息传达也是音乐审美体系构成中不可或缺的重要组成部分。

交互式电子音乐的发展始终依靠科技所给予的强大生命力而不断前行，从某种程度上说，其历史进程既可以被看作是舞台呈现不断多元化与科技化的过程，也可以被看作是人的实时化主观行为对作品构架影响不断加深的过程。随着数字时代的到来，计算机所提供的数字化环境为艺术媒体的存在方式提供了无限的可能，同时，以数字为媒介所构建的信息通信平台使各类艺术媒体的融合与转化变得极为便捷。交互式电子音乐不断融合多种艺术媒体，并形成了具有高度设计感和不确定性的艺术形式，其发展的源动力在于不断涌现的各类多运算逻辑、设计方法、控制手段、媒体关系以及舞台呈现形式。

当代交互式电子音乐尽管形式多样、姿态万千，但其交互过程的基本构成则雷同。笔者参照罗伯特·罗（Robert Rowe）（美）以及托德·温科勒（Todd Winkler）（美）对交互式电子音乐的交互过程解析，提出了交互式电子音乐的信号处理流程的“实时表演数据化、数据接收与分析、数据处理、内容输出”四个步骤，并简要介绍目前常用的两款交互音乐软件。

1 构成要素的全面数字化

在优质的程序设计的前提下，表演者能够利用不同的表演途径，通过主观化的行为动作尽情表达对作品的独特理解与感悟，而在此过程中，交互程序作为构建作品结构的基础与保障，其不仅体现了作曲家对于音乐要素体系构架的观念，也蕴含了多种艺术媒体间交汇融合方法与手段，因此，交互程序设计中所涉及的信号分析、信息流程、逻辑运算、数据转换以及数据映射的方法都将直接影响到作品最终的呈现效果。

建立在计算机技术之上的媒体数字化是电子音乐实现多元化交互前提。正如古希腊哲学家毕达哥拉斯所信奉 “万物皆数”的思想一样，当计算机能够将一切转化为数的时候，万物便归于统一，物质世界便也能够通过虚拟环境实现能量，甚至实物的相互转化。交互式电子音乐的构成极为复杂，不仅体现在外化的形式以及媒体构成等方面，也体现在内在的数据处理以及运算逻辑等步骤。当人的行为、听觉媒体、视觉媒体的构成要素能够转化为相应的数据体系时，数字环境下的交互表演与交互创作便成为现实。通过数据映射，不同媒体间能够建立起复杂的参数链接关系，人的举手投足、乐器音高的上下起伏、画面结构的除旧布新都能够引起其他艺术媒体的实时改变，从而在其相互作用的过程中完成作品的多元化呈现。

2 交互过程的解析

尽管交互式电子音乐的外化形式千变万化，但其数字化交互过程中的技术构成却具有一定的规律。加拿大的马塞洛·莫特森·万德烈（Marcelo Mortensen Wanderley）和意大利的尼古拉·奥利奥（Nicola Orio）认为：“在音乐中，最显著的交互行为表现为演奏者对乐器的操控……一旦将计算机视作一件乐器，（这一观点）将会为音乐文献研究以及传统的（音乐）控制评价体系提供巨大的可研究资源范围，即使许多现存的应用程序仅仅再现了一种近似于指挥和乐团之间的交互关系。”[1]面对如此复杂的研究对象，许多交互音乐领域的专家学者都曾对交互式电子音乐的系统构架进行过分析与解构。

作为交互音乐研究领域的先驱，罗伯特·罗非常关注音乐数據的通信及处理，他认为交互音乐的实时化呈现系统实现了形式化的音乐生成过程，并将交互音乐系统分为三个组成部分。

（1）乐谱驱动/表演驱动。纸面写作与演奏行为的作为信号来源。

（2）变形/生成/音序。通过电子技术对音乐素材进行处理，从而产生新的结构方式。

（3）乐器/回放。由设备生成电子音响，并作为现场表演的拓展以及独立音响而存在。

罗伯特·罗的观点具有较强的广义性，其兼具了模拟技术与数字技术在交互系统中的功能特质。时至今日，数字技术凭借其多个层面的综合优势，业已成为媒介交互的核心技术，而“交互技术”几乎等同于“数字交互技术”。

托德·温克勒在《交互音乐创作—Max应用技术和理念》一书中将交互音乐的流程分为行为输入（Human input）、计算机接收与分析（Computer listening，performance analysis）、编译（Interpretation）、计算机作曲（Computer composition）以及声音输出与表演（Sound generation and output，performance）等五个步骤。

由于现有的交互程序大都将“分析”与“编译”合并于同一物件中，同时，交互式电子音乐所涉及的研究对象较为纷繁复杂，并且都统一于数字形式，因此，笔者以罗伯特·罗以及托德·温科勒的观点为参照，将交互式电子音乐的信号处理流程分为以下四个步骤，如图1所示。

（1）实时表演数据化。将人的各类实时表演行为及其所产生的结果转化为数据过程，其中包括听觉信息与视觉信息的数字化，以及通过各类侦测系统将表演行为转化为数据形式。

（2）数据接收与分析。计算机接收由行为转化所形成数据的过程，一方面将音频与视频数据作为待使用的媒体内容输入缓存，另一方面对音频与视频数据进行分析，将由此形成的控制源数据输入缓存，或直接将由侦测系统所生成的控制源数据输入缓存。endprint

（3）数据处理。通过对各类数据进行路径分配、逻辑运算、值域转换以及关联映射等处理，实现对目标物件的有效控制，并生成全新的媒体数据。

（4）内容输出。依靠不同样式的媒体呈现方式完成作品的最终形态。

在利用计算机处理交互关系的过程中，人的行为、媒体内容、控制信息等都被转化为数字形式，并按照作曲家所设计的信号流程与运算逻辑进行处理，因此，从某种程度上说，“人机交互”从本质上说依然是“人人交互”。作曲家通过交互程序设计记录创作意图，这一过程类似于传统音乐创作中的乐谱写作，而计算机则成为了将“乐谱”转化为现实的工具。由于这一过程建立在人的实时控制行为的基础之上，因此，便形成了具有高度不确定性的，表现为“人机交互”的呈现过程。

3 交互音乐软件

计算机程序或多或少都存在一定的交互性，而交互的程度则取决于它们如何对操作进行响应，以及由此引发的操作主体的反应。例如，视频播放软件的交互性较弱，用户除了能够选择播放片源、调整音量、改变清晰度或在线发表评论以外，无法对所播放的视频内容进行任何修改。而网络游戏的交互性较强，用户能够通过预先设定的虚拟行为任意地改变所处的虚拟环境，甚至通过网络建立虚拟的人际关系，从而完成一定的虚拟任务。

对数字技术平台支持下的多媒体交互而言，其实质是在人的行为控制下的数据转换与映射。作为数据运算的核心，计算机需要结合一定的交互软件实现数据的接收、处理及输出等功能，同时，为保证交互的实时性，数据处理的响应时间需控制在人所能感知到的延迟范围内。除了硬件限制所导致的延迟问题以外，大部分的实时处理与分析需要建立在对声音采样、存储基础之上，无论是延迟回放或是音频分析，都会产生在原始信号与转换信号之间的延迟。因此，为了解决实时响应的问题，除需计算机拥有强大的运算能力、高效的数据存储与读取能力以外，还需要结合科学而高效的算法以应对复杂的数据构成。

目前，交互音乐或交互媒体艺术相关的计算机软件平台的开发呈现出多元化、综合化以及开源化等特点。凭借现有的硬件运算能力，通过在笔记本电脑上安装Ableton Live、Traktor或Reason等软件便能轻松地实现实时交互音乐表演。但这一类软件的开发者出于提高易用性的考虑，往往会将多数细节功能进行封装，因此很难完成极富创意的个性化交互设计。

相对而言，Reaktor、Max、Pure Data（PD）等软件则能够提供更为底层化编程环境，这些可实现个性定制的专业型软件近年来也迅速发展，并在专业电子音乐与计算机音乐领域成为主流的创作与展演工具。依靠这些软件平台，艺术家们通过可视化的图形界面，以众多基础性的功能模块搭建属于个人的交互程序，其中所包含的算法、合成手段以及信号流程等设计构架均具有高度的个性化特征。此外，专业的交互软件平台除支持一般的MIDI控制设备以外，也能够通过OSC协议接受Joysticks、Kinect、Leap Motion等设备的控制信息，因此，其对于动作行为控制的接受度是极为宽泛的，从而能够将多种形态的表演行为作用于声音或其他媒体的控制。Csound、SuperCollider、ChucK等专门为音频所开发的程序语言能够为声音的交互提供强大的创作环境，通过底层化和开源化的程序语言，设计的自由度得到了最大程度的释放。目前，使用最为普遍的专业交互音乐软件包括Max、Kyma、PD、Openmusic等。

3.1 Max＼MSP＼Jitter

Max＼MSP＼Jitter是目前运用最为广泛的图形化多媒体交互编程环境，由Max、MSP和Jitter三部分组成，专门为音乐等艺术媒体开发。在其20多年的发展历程中，已被众多作曲家、演奏家、软件设计人员、研究人员和艺术家用于艺术创作、展演以及工程设计等众多领域。

Max程序是模块化的，其拥有一个由众多被稱为“物件”的例行程序所构成的共享数据库，同时，其所拥有的开放式的应用程序编程接口（API）能够接收由第三方所开发的全新外部物件。开放式程序所提供的宽松设计环境为Max软件使其有更宽泛的应用空间，独具个性的物件和程序，并通过各类在线社交媒体进行发布和交流，从而使Max成为在商业与非商业领域都具有拓展可能性的软件平台。除此以外，Max软件所提供的图形用户界面能够清晰地呈现出程序运行结构，同时也能够为用户提供便捷的图形化操作模式。

设计完成的Max程序可以被打包成能够独立运行的应用程序，也能够打包成为时下主流音频制作软件系统的处理插件。同时，随着笔记本电脑被越来越多地应用于现场音乐表演，Max/MSP/Jitter凭借其灵活的个性化设计空间、较低的系统资源占用以及多媒体整合化优势，因此，被更多的声音艺术家以及视觉艺术家所关注，成为大多数跨界艺术现场表演的核心平台，是目前拥有最多用户数量的交互音乐设计软件，其在某种程度上也成为了交互式音乐表演通用化编程语言的代名词。

3.2 Kyma

Kyma也是一种由“物件”所构成的操作平台，它基于“Smalltalk”语言编写，这种语言区别于C、C++、Java或Pascal，专门以开发声音为目标，能够为作曲家提供创造和掌控声音的各类可视化物件，并通过软件平台实现对声音的实时创造和控制。与Max相似，Kyma中的物件也通过连线连接，作曲家能够清晰地看到信号流程的走向，并通过物件的图表迅速判断其功能。

Kyma是一种用于声音控制、合成，并使其拥有一定特性的语言。与其称作“图形化语言”，不如称为“提供了多种分析和控制数据方式的语言”更准确[2] 。Kyma是一种数据驱动的语言，从根本上来说就是关于数据变形的语言。这种语言通过观察数据、获取数据、变形数据来创造想要的多种音乐效果，揭示出数据的多方面特性。它是专门为处理声音合成以及变形、声音的探索和构建、音乐作品的演奏和创作提供优化帮助的语言[3]。endprint

相对于Max所采用的更为底层化的语言架构方式，Kyma为用户提供了更多功能整合化程度较高的物件，为用户的使用提供了便利。与此同时，当需要进行更为复杂或更个性化的参数设定时，Kyma则能够通过在可变参数区域输入CapyTalk，使用逻辑运算、数据提取、产生动态数据流、分析和测量声音参数等方式实现无限的声音可能，而CapyTalk本身便是一种编程语言。

Kyma系统由软件和硬件部分组成，作曲家通过计算机软件进行声音编程，而各类参数的运算则通过专门的硬件部分完成。目前，Symbolic Sound公司能够提供的硬件音频加速器包括Pacarana和Paca两种（见图2），并且可以通过链接多台Pacarana或Paca实现更为强大的运算能力。专门的硬件加速器代替计算机CPU完成复杂的声音运算，这保证了Kyma能够高效而稳定地完成大数据量的数据运算和处理。

相对于Max而言，Kyma更专注于对声音本身的合成、变形与表演，因此，其所提供的部分操作界面与Pro tools、Logic等商业软件相似，能够提供更为便捷的编辑和混音功能。

为实现电子音乐的现场交互式表演，Kyma为用户提供了能够接受多种外部控制器实时控制数据的功能。一方面，硬件加速器为实时响应提供了更高级别的稳定性与可靠性，另一方面，通过虚拟控制界面编辑器（VCS）中对外部控制器的选择，用户能够将控制器的控制信息与VCS中的推子、旋钮、开关同步关联，从而实现对物件中各项参数的实时控制。目前，Kyma所支持的外部控制器包括Wacom、Joysticks、Gametrak、Wii等。除此以外，Kyma也能夠方便地接收外部MIDI、高精度MIDI以及OSC等信息。因此，其对于外部设备控制信息的接受程度是相当宽泛的。

4 结语

电子音乐的交互程序设计看似与音乐创作本身相去甚远，然而，良好的交互设计不仅体现了作曲家对舞台表演行为与音乐之间错综关系的规划与设计，也凝结了作曲家对于声音素材的选择、音高与节奏的组织甚至不同媒体间建构关系的诉求。虽然与传统音乐，甚至幻听电子音乐的创作方式大相径庭，但对于以交互为原点构架媒体内容的电子音乐而言，程序设计本身便是建构音乐或其他媒体内在结构的基本手段，而与“实时表演数据化、数据接收与分析、数据处理、内容输出”等四个阶段的不同设计，则体现了不同作曲家多元化的创作手段以及创作观念。

参考文献：

[1] Marcelo Mortensen Wanderley， Nicola Orio. Evaluation of input devices for musical expression： Borrowing tools from hci[J]. Computer Music Journal， 2002.

[2] Scaletti， C.. Computer Music Languages， Kyma， and the Future[J]. Computer Music Journal， Vol.26（4）， 2002.

[3] Stolet， J.. Kyma and the Sum of Sines Disco Club[M]. lulu.com， 2012.endprint