浅析多媒体音乐中交互式多声道实时处理平台的特征

陈佳

（中国美术学院，浙江 杭州 310000）

浅析多媒体音乐中交互式多声道实时处理平台的特征

陈佳

（中国美术学院，浙江 杭州 310000）

交互式多声道实时处理平台是随着近年来交互多媒体技术的兴起与音乐音响科学的发展而诞生的运用于音乐创作，特别是电子音乐创作及现场表演的一种实时处理程序，该技术在未来作品创作与演出中具有应用的广泛可能，本文对不同交互式实时处理平台的基本特征进行梳理，意图通过本文涉及的内容，为将此技术运用于音乐创作与表演领域的艺术工作者提供些许经验。

交互式 多声道 实时处理 平台 Max/MSP

1.交互式多声道实时处理平台的定义

交互式多声道实时处理技术是依托近年来计算机软硬件水平和性能不断提升而得以快速发展的并运用于多媒体领域的一种技术手段。该种技术就其根本而言是交互方式、多声道技术及计算机高效实时处理能力的结合。以交互式多声道实时处理技术为核心的平台则是一系列互相关联的具有对外交互属性，实时运算能力及多声道输出功能且具有外部兼容性的多个程序的集合。本文研究的交互式多声道实时处理平台以音频处理为首要目标，其他多媒体表现方式为辅助手段的目的而进行设计，故主要关注不同程序在音频处理及交互实现方面的思路及各自特点。

在实际运用中以该类平台运行的逻辑步骤及输入输出方式定义，交互式多声道实时处理平台能对一个或多个输入的信号变量进行捕捉并解析为系统可处理数据格式 （常为midi数据），将数据通过预置程式转化为各控制器信号或数据，作用于预置或实时采录的各种媒体信号流或各预置程式上，处理结果输出为视频、音频信号及数据等形式，并支持多声道音频信号输出的实时处理平台。

2.交互式多声道实时处理平台的特征

由上文交互式多声道实时处理平台的定义不难发现相较于传统音频后期制作平台等具有鲜明的特征。交互式多声道实时处理平台最为重要的特征属性有四：最为核心的实时交互特性；最为基础的实时高处理特性；最有特色的多声道特性；最有广泛代表意义的平台特性。

2.1实时交互特性

广义的交互（Interaction）被定义为“发生于两个及两个以上的参与者之间的相互影响及交流信息的一系列动作及行为”。相对于传统的某一事物对另一事物单传递向的成因果关系的影响，交互行为双向性的相互影响关系是其最大特点。

新媒体中特指的交互针对两组不同参与对象关系含义有所区别。其一，针对表演者与观众的对象关系，交互指使观众得以参与现场表演，影响表演进程与结果的一种互动形式。其二，针对预置程式与现场表演的对象关系，交互指现场即兴表演通过某种途径影响预置效果，又由预置效果反作用与表演本身的一种循环方式。

由于表演者与观众之间的交互方式较为多样且本文又针对具有交互特性的某一预置平台进行研究，故下文阐述的交互特性主要是围绕预置程式及现场表演之间的相互关系这一层次相应展开。

交互程序无论其内部设计如何复杂，对外的双向信息传递是必需的。作为程序与用户或系统外部的沟通连接部件，输入输出端自然成为交互设计的核心。交互式多声道实时处理平台实时交互特性主要体现在输入输出端与现场表演间的双向影响与交互：程序能通过输入端口实时接收多重信号，经由实时处理后发送信号影响表演者行为及表演进程从而进行交互。

2.1.1输入端交互方式

平台输入端口接受一个或多个来源于不同信号源的信号变量并进行解码，将信号译为系统可理解信号并作用于程式，由不同变量产生相应变化的结果。

信号来源按类可分为界面操作（Physical manipulation）、键盘代码操作（Input using code）、鼠标操作（Mouse manipulation）、位置及影像感应（Location and Image）、压力触发及多点触碰感应 （Haptic interfaces and multi-touch）、势态辨别（Gesture）与声音，语言识别（Voice recognition）七大类。

以Max/MSP为例，其操作界面内滑竿、按钮及触发物件的使用可归类为界面操作；电脑键盘输入的热键及midi键盘输入等系统可识别代码输入归类为键盘代码操作；鼠标滑动及点击归类鼠标操作；通过摄影机及红外设备等捕捉物体移动及位置输入信号的方式可归为位置及影像感应；经压力传感器，踏板所得信号归类为压力触发及多点触碰感应；由光学设备捕捉后比对预设姿态而触发感应归为势态识别；而音乐工程中最为常见的话筒输入用以传感及对信号的相应识别归为声音、语言识别感应。

2.1.2 输出端交互方式

在多种输入信号经由系统进行相应处理后将结果以音

频、视频、数据等多种形式实时输出给予表演者、操作者及观众时即可认为是输出端交互的开始。输出端的交互特性并不表现在程序本身，程序输出信号的过程作为程序一次运行的终了也是新一轮交互的起始点。对于输出的信号需要表演者、操作者及观众给予相应反馈或调整，改变感应器或固有信号的数据启动下一轮程序，触发下一个循环。

交互程序在这样一个输入信号、输出信号互相影响、不断循环的状态下，在不断接收并发送信息的过程中将原先预置好的演出效果及结果进行可控制地改变体现其交互的特性。

2.2 实时处理特性

随着计算机软硬件水平的快速发展，计算机的高运算效率使得交互程序要求的实时处理能力得到很大加强。实时处理系统（Real-time processing system）一般指一类要求计算机对采集的多路信息分轻重缓急分别在若干秒，若干毫秒，甚至若干微秒内完成处理并做出恰当反应的时间性要求很强的应用系统。

实时处理特性也是交互式多声道实时处理平台最基本也是最核心的特征。本文中定义的实时处理所指的是对于大量输入的多路信号按设计的方案进行快速且准确的即时信息分析、运算、整合等方式的处理再分配至多个输出端进行多信号发送。而在此基本处理功能基础上，交互多声道实时处理平台最大的特点与优势在于对来此控制方的指令和命令能实时获取和快速反应。

实时处理是程序机动性与灵活性的有效保证。优势具体体现在以下两个方面。

其一，程序的实时处理功能能对现场获得的信号进行快速采录、改变及再次呈现，使作品的现场效果及演出真实感得以加强。以最为熟悉的音频处理为例，音频处理平台，如Nuendo，Cubase及SoundForge等，其常见的样本音高、长度改变和样本反向等手段一般都会经由一段时间的再次运算处理形成一个新的样本进行播放。而具有实时处理能力的程式可以在采录完样本后即时对材料进行多种方式的直接改变且较快地反映在音频输出信号中。基本实现与原样本的前后无缝连接。

其二，实时处理的优势体现在对现场演出的及时应变能力的很大增强，对于指令的实时监听与获取可以使控制方对现场情况实时调整数据，甚至在短时间内改写程式进行快速补救。在演出突然遇到紧急情况，如控制器失灵、感应装置未及时触发或触发过量时可以切换到备用程式进行过渡，同时修改程式寻找合适机会切回原程式继续演出以此保证演出的连贯性及安全性。

2.3 多声道特性

多声道技术以1947年杜比实验室与EMI录音室开发Dolby Stereo Film Sound标志着进入立体声时代；1977年杜比实验室研发出多声道环绕系统Dolby Stereo标志着进入多声道环绕时代为起点，在二者基础上发展而来的将信号以建立好的某种模型分配到成某一规则分布的多个声道的一种音频信号分配技术。

交互多声道实时处理平台的多声道部分是平台音频输出端的核心组成部分。多声道处理部分是在实时处理环境下通过程序的编写将本需要通过音频后期制作平台处理的环绕多声道系统嵌入到平台中使用。

交互多声道实时处理平台多声道输出模块能将实时输入的信号进行处理并立刻使多个直接输入或间接变化的变量同时作用于多声道输出信号，往往这项实时改变能力后期制作音频处理平台在非预先设置多音轨声像运动位置的情况下是不容易达到的。同时，多声道实时设置具有灵活性。与音频处理平台同样能预设轨道路径，也可实时记录路径及任意设置互相关联修改后即立即生效。为适应不同声学要求和扩应环境的场地需要，预先为立体声、四声道、5.1、7.1、八声道设置相应模板提高系统面对不同声学环境时的兼容性。

在Max/MSP软件中，不同机构及组织根据对多声道方式的理解和侧重方向建立了多套多声道程式，有Max/MSP软件自带的Spatialization，CNMAT设计的Panhandler，以及ICST的Ambisonic等，其中以Ambisonic程序功能最为全面。Ambisonic 2.2提供Furse-Malham，Normalized 3D及Semi-Normalized 3D三种多声道编码解码方法为核心分别是全经验、全理论及半经验理论为指导思路的三套多声道处理方式。同时，具有声相运行轨迹设置及不同声道模式切换等功能，在Max/MSP设计的程序中可以单独作为音频输出端口使用，与其他程式的兼容程度很高。

2.4 平台特征

交互多声道实时处理平台与交互多声道实时处理程序的区别之处在于平台需要在程序的基础上体现其对于不同情况及需要的适应能力。平台并非仅为一次演出或某一作品而单独设计，而是应该能应用于多个作品及演出之中。个人可以根据自身对于交互程式、预置音频回放程式、实时运算程式、效果器程式、多声道输出及应急启动等方面的需要，量身定制个人操作平台为创作、制作及演出服务。所以一个交互多声道实时处理平台在应用上必须具有适用于多个情况的广泛性特征。

为具有广泛的平台特征交互多声道实时处理平台的各组件应具有模块化的特点。模块化程序能有效地解决由于程序的过度复杂而产生平台构建上的混乱。各模块的明确作用能使平台搭建的思路脉络清晰，对于初学者或非专业编程人员使用已有的专业机构编写的模块搭建个人操作平台可以有效避免编程上的逻辑漏洞，对于较为熟悉编程平台的编写者搭建自己的各个模块可以更好地适应自身的需求，加强整合的效率。

可见相较于交互式多声道实时处理平台其他三项特性而言，平台性是建立在前三者基础之上较高一层的特征属性，将具有前三者能力的各个环节的程序优化整合至一个总体之中，发挥各个环节功用的过程即为平台构建过程。构建一个能被广泛应用的平台是程序设计者的最高目标。

［1］［美］Josbia Noble.Programming：Interactivity，2006：25-32.

［2］周小东.录音工程师手册［M］.北京：中国广播电视出版社，2003：167-216.