虚拟现实技术在电子音乐创作中的应用及其前景

■李 可

（中国传媒大学，北京，100024）

近年来，虚拟现实（VR）技术飞速发展，并开始被各行各业的普通消费者应用，广泛进入市场。虚拟现实技术（后文亦简称为“VR技术”）在音乐行业中的应用，自然也随之在艺术界掀起了有一定强度的浪潮，例如：将电子音乐与光影艺术相结合，利用VR技术产生与以往不同的视听效果；利用VR技术生成虚拟歌手，并结合电子声音库里的语音合成虚拟人声，使之具备歌唱能力；在VR头盔中配有虚拟钢琴等乐器，以发挥学习和练习乐器的功能。但是，像这样的与电子音乐相关的各式VR应用，整体上仍然处于开发、摸索阶段，许多具体技术仍需改进，同时，VR技术在电子音乐行业中的应用的理论模式也还有待建构。因此，针对VR在电子音乐创作中的应用进行梳理和思考，是提出其应用模式的过程中一个必不可少的环节，也有助于我们进一步提出VR在电子音乐创作实践中的应用设想及要求。

一、虚拟现实技术在电子音乐创作中的应用现状分析

笔者搜集到了VR在电子音乐创作中的几种应用实例 ，它 们 就 是 Soundstage、Electronauts、The Wave、Block Rocking Beats、The Music Room等几种电子音乐创作的VR环境。这几种VR音乐创作平台具有一定的代表性，彼此有一些相似之处，但也有明显的不同。下面，笔者将分别详析这几种工具的特点、功能，然后以之为出发点，尝试探讨将来VR应用于电子音乐创作的相关设想及要求。

（一）虚拟音乐工作室应用：Soundstage

Soundstage是基于VR技术的一款虚拟音乐制作工作室平台，具有虚拟乐器演奏、录音以及混音制作等功能，可以模仿音乐人所需的专业音乐工作室。比如，在这里可以随手取用MIDI键盘、Roland808和一系列合成器等音乐器材。该平台于2016年7月开始通过Steam Early Access发售，HTC Vive和Steam VR（目前市面上很常见的两款VR产品）用户均可下载使用。

笔者看到，Soundstage的当前版本有三种演示模式：节奏、合成器和音序器（均提供了范例）。这三种模式下有分别预设的声音样本，在其中同样可以使用交互控制器去修改或添加新的音轨，也有删除的功能，如同在真实世界中操作一样。这款应用的空间容量足够大，所以几乎可以随心所欲地放置器件，弥补某些实体音乐工作室空间不足的缺憾。

在这款应用里也可以选择使用各种乐器，例如鼓、电子琴等，同时可以体验在虚拟世界中用发光的虚拟连接线将这些乐器搭配、连接起来的感觉，这样的体验在过去的制作软件中是找不到的。笔者认为，在虚拟世界中可以毫无顾虑地真切体会器件、乐器、连接线的物理属性，以及击打乐器时的真实感，这对过去的软件中那些太强的电子化、信息化、工程化色彩是一种补充。

在Soundstage提供的每款范例中，都会出现8种不同的工具菜单，菜单操作可以通过手柄控制器上的控制按钮进行。菜单包括键盘、音序器、沙槌、特雷门电子琴、录音带（样本库）、分割器、振荡器、扬声器、采样、录音、混合器（4通道）和鼓等。在使用这些工具时，可以用虚拟的发光连接线把它们接在已经设置好的虚拟插孔上。

图1 Soundstage用户选取不同音色声音样本

图1是真实照片和VR环境的合成图。用户正戴着VR头盔和耳机，手拿带手柄的控制器，触碰虚拟世界中的声音样本库，选择软件自带的各种音色。①本文引用互联网图片较多，兹直接列出各图来源网址，后不赘标。图1为https://www.ithome.com/html/vr/241261.htm图2至5为http://www.yxdown.com/vrnews/297237.html图6至7为https://www.midifan.com/modulenews-detailview-28727.htm图8至10为http://www.sohu.com/a/225351429_484765图11为http://www.sohu.com/a/72398111_381245图12为http://www.paopaoche.net/article/106864.html图13至15为https://store.steampowered.com/app/425400/Block_Rocking_Beats/

图2是用户在VR中连接完成的架子鼓。这里，它们还连接了三个音箱，所以能发出声音。每个鼓下面都连接着一个声音样本带，作为其音色。

图2 Soundstage世界中的架子鼓

在这个空间中，像这样的设备连接是相当便捷的。该应用的研发者将其定义为一种“巢”，还表示过去的技术虽然逐步发达，却让很多人缺少了对设备的真实感受。

图3 Soundstage世界中的沙槌

图3比较特别，虚拟世界中的沙槌（图中右侧）也是一个“无线”的装置。

图4 Soundstage世界中的音序器

图4则是一个步进音序器，正在使用三种音色演奏一段简短的音乐。

图5 Soundstage巨大的音序器

而在图5中可以非常明确地看出Soundstage中庞大的音序器。不难数出，图中已使用了10种音色。它们正在演奏一段比较复杂的音乐——在音序器中，可以将选取好的音色放在小格子里，亮着的格子表示已经放置了声音样本，而最亮的那一列是音乐播放进度的标志线。在Soundstage中，可以创建的步进音序器规模最大为21乘22，算是一个相当大的阵势了。

（二）虚拟音乐创作工具应用：Electronauts

Electronauts是一款基于VR的虚拟音乐创作工具，可以用来作曲和混音，是Survios公司和获过格莱美奖的制作人组合Stargate合作而成的，其造型设计用当代青年的眼光看来很“炫”。要说这个应用的最大特色，应该是其游戏性。

图6 Electronauts的体验效果图

图6是Electronauts的效果图，可见该应用的画面风格十分精美，无论是为用户设计的人物造型还是虚拟世界中的设备，都刻意体现了科幻感。

图7也是效果图，有两名用户正在敲击着面前的圆球，并且身处一个类似飞行器的物体上，两侧还有长着椰子树的道路，情景化风格相当突出。这无疑可以打动许多热衷“追梦”的青少年。而如图8，其“DJ台”的造型同样追求“炫酷”，用户可以在这里选择各种素材，并控制音量、调节音效。

图7 Electronauts双人效果图

图8 Electronauts两人站在虚拟DJ桌前

在Electronauts中可以实现“演出模式”（用户在“DJ台”前操作控制器，进行乐器的演奏，也可以用手柄控制器击打虚拟鼓面形成互动），还可以实现播放音乐以及编辑乐曲的功能。在之前提到的“飞行器”的设置中，用户可以调整“飞行器”的滑动速度和周围颜色。

图9 Electronauts采样触发模式下的蓝色球体

图10 Electronauts在6个音轨中选择

通过击打蓝色球体去写入旋律，是Electronauts中独具特色的操作。这种具有游戏性、科幻性的设计打破了常规音乐制作应用中的音符输入规则。

（三）集创演于一体的平台应用：The Wave平台和The Music Room平台

这是两款应用。先来看The Wave，它最大的特色或许是给DJ带来一个“炫酷”的表演空间，让用户可以尽情地“打碟”，提供非常强烈的沉浸感。当然，比作为一个“表演空间”更重要的是，The Wave平台也为用户们带来了音乐创作上的更多自由。它是2016年在美国硅谷的虚拟现实博览会上发布的，当时作为一个电子音乐创作平台显得十分“亮眼”。它的创作界面非常直观，这与出品方对它的定位分不开：面向专业“电音艺术家”的VR音乐创作平台和演出平台。设计者希望它能给演奏者们提供一种随时随地为来自世界各地的“粉丝”展现精美“音乐秀”的手段。因此，这款应用最有特点的功能大概要算通过互联网实时与观众互动演出了。当然，网上的用户也可以自由切换“频道”，作为观众去选择自己喜欢的VR音乐表演。另外，The Wave还有一个特别之处——其音乐共享的理念：在这个应用平台上，共享作品非常容易，这是目前其他类似的应用没有涉及的。不过，The Wave也还有待进一步开发。

图11 The Wave效果图

图12 The Music Room效果图

与之近似的一个应用是由Chroma Coda工作室发布的The Music Room，这款应用着重开发艺术家在虚拟空间中使用手势的功能，利用手势追踪技术去实现乐器演奏。它在有着大量虚拟乐器的基础上，还拥有完整的Bitwig录音棚，具有数字音频工作站（DAW）的能力，以供用户进行专业化的音乐创作。

（四）多人创作实时沟通平台应用：Block Rocking Beats

2017年7月初，VR音乐应用程序Block Rocking Beats登陆HTC Vive平台。适配Oculus Rift和HTC Vive头戴式显示器的Block Rocking Beats其实是一款VR游戏，但具有音乐创作功能。在这款应用中，用户可以运用鼓、吉他等乐器创作音乐，还能进行混音等后期制作，但它最特别的地方是支持多人同时创作，并让这些人进行实时、有效的沟通，分享自己在电子音乐创作中的想法。另外，这款应用也支持用户在建立音轨的时候在可视化的音频时间轴下完成。而在创作模式之外，它也能用来进行单纯的用户互动，也就是“音乐主播”模式，而且其舞美灯光的设计也很精美。

图13 Block Rocking Beats效果图

图14 Block Rocking Beats操作界面

在这款应用中创作完成的音乐作品，可以保存并下载到其他平台上继续使用，这个设计是十分合理的。当然，它也有多项功能有待完善，开发者表示后续版本还将支持把自己创作的音乐分享给其他用户。

图15 Block Rocking Beats音乐创作

二、虚拟现实技术应用于电子音乐创作的未来设想及要求

目前的VR虚拟技术在电子音乐创作中的应用还处于初级阶段，有些应用甚至不比一个简单的音乐创作游戏多出太多内容。要想拥有真正专业的、全面的VR电子音乐创作平台，需要有整体的规划。笔者谨此阐述一些关于VR进一步应用于电子音乐创作的设想。

（一）全方位虚拟音乐工作室：集成创、制、录、演

前述的各种VR音乐创作平台，在技术方面大都已基本成熟，然而每款的功能都不够全面，从而没有完全达到电子音乐创作界的专业水准。理想状态下的虚拟音乐工作室，应该集创作、制作、录音、演奏于一体，而且是可以多人操作、远程联机的全方位虚拟工作室。

在这样的音乐工作室中，创作者可以选取各种虚拟乐器及其音色，并在虚拟音轨和音序器中输入音符或者电子声音样本，或录制虚拟乐器的演奏，以进行创作。基本的电子音乐创作原则在这里不会有太大的改变。在这个基础上，针对不同乐器的不同演奏方式，需要研发人员进行进一步的代码细节处理，这一步骤显然也是可行的。

比如，要实现在虚拟世界中拉奏小提琴，其中涉及的技术就有拿弓、运弓、手指按弦等，而目前HTC Vive中的一款以打保龄球为主题的游戏已经实现了这类操作。在该游戏中，用手柄控制器去拿起放在虚拟世界中的地面上的保龄球这一动作，在代码层面与用手柄控制器拿起琴弓几乎是一样的；拿到保龄球后，手臂先后摆再前挥最后投掷的动作，也和小提琴运弓的动作十分相似，只不过在保龄球上要使用抛物线方面的设计，而拉小提琴则要考虑运弓角度的变化。笔者建议，在虚拟世界的详细程序开发中，可以针对不会演奏该种乐器的创作人创建一个特殊演奏模式，即不需要拥有真实演奏的基本功，也能演奏出品质可以接受的效果，例如用户不需要使用真实演奏的按弦力度即可实现该力度下的音响效果。工程师甚至可以开发出一种对演奏者所奏的每个音符自动做出力度等方面的技术处理的功能，当然这可能要使用一些人工智能方面的成果。

我们很自然地会有一种疑问：为什么需要做出这样的设计？或者说，既然可以用人工智能去处理音乐，我们还需要音乐创作者吗？笔者认为，答案是显而易见的。人类在创作音乐的过程中是要遵循一定的规律的，而创作人对一段旋律的力度处理——哪些地方重一点、哪些地方轻一点——也是遵循音乐欣赏审美规律，即乐器本身演奏的听觉审美标准的。我们知道，在基于传统意义上的个人计算机的电子音乐创作中，即便利用MIDI键盘，也不一定能把所有的音源音色准确、完美地呈现出来，仍然需要在计算机上进行一些特殊处理去达到想要的听觉效果。只不过，现在这些烦琐的操作都将由人工智能代替，音乐创作者要做的是学会如何使用这些虚拟乐器和虚拟音源去体现自己的灵感，在可预知的未来之内，这是技术无法代替人类的一点。应该指出，即使人工智能可以实现自动作曲，但也不说明它剥夺了人类进行音乐创作活动的权利和必要性。人类可以利用这些技术去达成一些目的，但是音乐创作仍然是属于人类的活动。至于人类写出的乐曲和人工智能写出的乐曲各有什么优劣，完全是另一个问题。电子音乐创作更是不同于传统音乐作曲，因为其中的某些音乐结构不同于传统乐器能够演奏出的音乐。所以，在VR中需要设计更多的技巧处理方面的功能，也就是说，VR世界里的音乐创作在技术上仍然需要得到进一步的提高，而且是大胆的提高。

至于录音技术方面，当前可以实现在VR中录制虚拟乐器演奏的声音，包括虚拟人声。不过，如果说到在虚拟世界中进行真实世界中的声音元素的录制，目前还是没有实现，所以在VR世界中为一个真实的歌手录制演唱现在还是难点，目前的技术水平可以实现的是在虚拟世界中语音聊天。这就说明我们还需要研发人员做进一步的研究，开发一种类似于手柄控制器的、能够拾取真实环境中的声音并且将之与虚拟世界建立联系的硬件。这项个任务对技术有着进一步的要求，但这些技术并非不可实现：拾取声音的技术目前已很成熟，在硬件与虚拟世界之间建立联系的技术也已存在。如果在不久的将来，把这两种技术适当地融合到同一个硬件当中，也就更好地体现出了真实世界与虚拟世界之间的交互。

在演奏方面，因为乐器演奏具有一定的表演性、审美性，所以目前VR中实现的乐器演奏只能说还停留在比较基本的模式上，其观赏价值并不太高。而要想提高VR演奏的观赏价值，就得对多个方面提出更高的要求，例如虚拟乐器的音色的质量、演奏操作的灵敏度、演奏环境的美观程度，等等。这里，笔者想就舞美的设计多说两句：在虚拟世界中实践舞美，是一件让人心动的事情——在无限大的虚拟环境中，无须担心投入过多的资金，就可以接轨并提升演唱会、演奏会、文艺演出等一切需要舞台的场所的环境，甚至最终取代之。舞美设计的精美化虽然有难度，但也是非常重要、富有意义的。

综上所述，在技术实现的基础上，如果拥有全方位的虚拟音乐创作工作室，将为电子音乐事业提供巨大的便利。

（二）全新创作听觉感受：三维空间

目前的VR技术已经可以产生一个逼真的三维虚拟空间，让使用者如同身临其境一般及时地、无限制地观察这个空间内的事物。在这里，可以任意摆放虚拟扬声器的位置，呈现出动态的声音效果。虚拟环绕声技术可以利用双声道立体声的硬件，在不增加声道和音响素材的前提下通过被电路处理过的声场信号使聆听者感到声音来自多个方位，从而产生仿真的立体声场。VR虚拟音响则可以利用其独有的全景声场模拟算法，在将环境声和虚拟声源精确地还原在三维空间里的同时，支持聆听者头部旋转和移动情况下的声场重建。

综合起来说，基于双声道的虚拟环绕声技术的VR系统使聆听者获取更优质的听觉体验，根本原因在于利用一些声学效应产生来自不同方位的声像，由此不再局限于仅仅处在水平方向上的声像。①具体来看，虚拟环绕声原理应用了人耳听音的几种效应，分别是双耳效应、耳廓效应、人耳的频率滤波效应以及头部相关传输函数等。双耳效应指出，同一声源到达两耳有细微的时间差，同时还具有强度差和相位差。而耳廓效应主要是说耳廓在人的听觉系统对外部声源的定位过程中能发挥非常重要的作用。人耳的频率滤波效应主要是说人耳对不同频段的声波有着不同的定位判定方法，比如相位差可以定位20至200赫兹的低音，强度差可以定位300至4000赫兹的中音，而时间差主要用来定位高音。头部相关传输函数则主要是关于不同方位的声音在人的听觉系统中产生相对不同的频谱的。把虚拟环绕声技术用到电子音乐的创作中去，就可以利用“三维声像”生产出不同于以往的电子音乐效果，甚至可以通过创作者在虚拟世界中的位移而不断引发“三维声像”的重建，碰撞出更新颖的音乐效果。这将催生实时交互式电子音乐作品的新突破，甚至有助于将舞蹈与电子音乐创作相结合，产生实时交互的电子音乐舞蹈作品。

概言之，VR环绕声的出现使得电子音乐创作的探索空间大大拓宽。在虚拟世界中，创作者可以随意摆放不同乐器的“三维声像”，追求自己满意的结果。当然，这也需要研发人员在虚拟世界中再建一个小的虚拟世界，即“三维声像”世界，以方便创作者去摆放。通过不断进行大量的这方面的创作尝试，就会逐渐探究出一些创作规律。而或许比这更加令人兴奋的是，我们可以利用VR环绕声在电子音乐的创作中实现“用户位移感”，让人的位置的移动带来“三维声像”的改变。从艺术功能角度来说，VR环绕声在电子音乐创作中如果广泛应用，不仅可以为传统的电子音乐的创作添加新思维，还可以培养一种全新的听觉审美。基于虚拟音响的“不设限”，有望突破过去的电子音乐创作中的意象空间与音响空间，诞生新的创作技法体系。

综上所述，随着VR建模技术、虚拟环绕声技术、VR硬件等方面的不断成熟，VR应用于电子音乐创作的前景越发良好。笔者大胆设想，VR的普及将会对未来的电子音乐作品的听觉效果产生比较明显的影响，并推动电子音乐创作技法的创新和发展。而借力VR的实时交互式电子音乐创作，甚至可以参与到催生新的艺术创作方式的历史进程中去。