从Ambisonics到双耳听觉——VR电影声音制作方案研究

张 莹，沈希辰

(1. 上海大学 上海电影学院，上海 200072; 2. SounDoer.com，上海 200233)

自2012年虚拟现实(Virtual Reality, VR)电影首次在圣丹斯电影节亮相以来[1]，其新颖的观影模式和精彩纷呈的感官体验，使之无论在技术实现还是艺术展现方面都获得了广泛的关注．之后短短几年间， 随着VR设备产品、内容产业和技术支撑日渐成熟，整个VR行业都进入了爆发成长期[2]，因此2016年被称为VR元年[3]．

VR时代的到来使人们看到了电影世界更多的可能，同时也对其实现方式，尤其对视觉影像的实现方式投入了大量的研究，包括以Oculus、Sony和HTC为代表的呈现设备的开发，以及在VR电影拍摄设备、技术和流程等方面的研究[4]．而在VR电影声音技术方面，虽有广泛的探讨，却始终没有形成一个明确的方案．主要原因在于，作为VR电影最重要的特征之一——空间化，声音在这方面早就超前于影像发展起来了，在过去的几十年间形成了种类繁多、特点各异的录音、处理和还音技术与方式，而这些方式如何同当下VR电影相融合，尚未有清晰的梳理．基于以上现状，本文从VR电影的听感理念出发，结合目前主流的观影方式和未来可能的发展方向，提出了一种从Ambisonics到双耳听觉的VR电影声音制作方案．

1 VR电影的听感理念

1.1 作为电影的VR内容

VR 作为一种新兴的数字媒体技术，同诸多领域发生了结合，催生了大量与VR相关的内容．这些内容在呈现技术和手段上有相似之处，但是在核心内涵上又有所不同．VR技术对于电影的意义，正如Penrose Studios公司出品的VR电影《火柴》(Allumette)的编剧兼导演Eugene Chung所提到的： “VR是一种新生代的叙事手段”[5]．由此可见，作为电影的VR内容的核心内涵是叙事，虽然在呈现过程中有交互的部分，但是这种交互仍然是为故事剧情线索服务的．这也是VR电影同其他VR相关内容(比如以娱乐为核心内涵的VR游戏)的区别所在．因此，VR电影是以虚拟现实技术为手段，以叙事为核心，追求沉浸式体验的电影形式．

1.2 VR电影中的声音表现

基于以上对VR电影的界定，以及VR技术所能实现的虚拟世界对感官世界的重构，VR电影中的声音特征主要体现在空间化、沉浸感和临场感，即通过声音的手段形成一个逼真的“外在世界的幻象”[6]，使观众能够真正地置身于电影故事之中．

从传统的“观看”电影到通过VR技术“进入”电影，电影声音内容从原来的矩形空间扩展到了一个以观众为中心的球形空间中，并且观众能够自主地选择观看的方向(即视线方向)，由此带来的声画体验的变化是非常明显的．观众可以听到来自各个方向的声音，并且声音能实时地跟随视线方向而变化，这就和现实世界中人们对声音的感知一样，能够动态地判断声音的方位、强弱和移动等特征和行为．

2 VR电影声音的实现技术

2.1 传统电影声音技术的局限性

以5.1、7.1为代表的基于音箱/声道(channel-based)的多声道环绕声技术是传统电影实现空间声的主流技术．其在数十年的发展过程中，一直致力于通过不断增加声道数的方式，追求与理想声场近似的空间感知．但是这种空间声技术在VR电影中的局限性也是非常明显的．首先，使用扬声器组进行声场重现的方法对原始声场只能近似还原，无法精确重构，存在着最佳的听音区，即“甜点区”或“皇帝位”，而在此区域外的听音感受会有所下降．其次，由于传统电影是有固定观看方向的，因此观众前后的音箱设置是有主次之分的，这种设置对于没有所谓的“正前方”的VR电影而言显然不太适用．最后，在还音方式上，无法实现头部追踪，无法将人耳对于声源空间的主观感觉进行量化处理．

关于空间声技术的其他研究，虽然基于扬声器阵列的声场重现技术(如波场合成技术(Wave Field Synthesis, WFS))能够产生真实、自然的空间听觉效果，聆听区域也比较宽，但重放系统非常复杂[7]，考虑其声学建设投入、重放环境和制式兼容、实现难度等因素，在VR技术发展的现阶段，无法很快地适用于VR电影声音的实现．

2.2 VR电影声音技术的基本要求

从上述对传统电影声音技术局限性的分析中可以看到，VR电影声音的实现需要考虑几方面的问题： 一是对原始物理声场较为精确的还原以及对聆听区域的优化；二是在确保整体空间一致性的前提下，能够对观众个体进行头部追踪，使每个观众个体听到的内容能够根据观众视线的变化实现自适应；三是还音方式能够被迅速移植到当前的VR技术中，适应当前以VR眼镜或头盔为主流的观影方式，同时在VR技术发展到新阶段后，有相当的拓展性．基于这些考虑，从Ambisonics到双耳听觉的VR电影声音制作方案是一个可探索的方向．

2.3 从Ambisonics到双耳听觉

Ambisonics技术开发于20世纪70年代，它是一种基于空间谐波展开而逐级逼近水平面或空间声场的方法[8]．该技术能够记录下以听者/话筒为中心的整个球形空间的声场信息，将信息以Ambisonics B-Format的音频文件格式进行保存，并且能够基本实现精确重放．与5.1、7.1等多声道环绕声系统不同的是，Ambisonics 格式中的音轨并非对应到实际的扬声器通道，而是包含了声场方向信息的独立编码信号[9]，它可以通过解码转换，以双声道立体声、5.1、7.1，甚至是更多数量的扬声器阵列形式来输出重放．

正是基于这样的特点，Ambisonics 在VR电影声音制作中就有了自身的优势： 一是在声音的拾取和重放上能够包含来自各个方向的声音信息，在声场还原方面更为精确；二是能够以一种确定的音频文件格式保存和交换这些声音信息；三是能够根据实际情况，通过对音频文件的进一步计算处理，实现多种形式的输出重放．

在VR技术发展的现阶段，以双耳听觉为基础的立体声耳机输出仍然是主流．那么如何使Ambisonics声音适应双耳耳机输出，并且能够实现头部追踪，对声源空间进行主观化处理，基于头相关传输函数(Head Related Transfer Functions, HRTF)的虚拟声技术是一个可利用的方案．HRTF表述了头部及耳廓等对声波的散射作用以及由此产生的双耳差[10]，它相当于一个滤波器，通过对来自某个方向的声音进行频段上的处理来模拟声音从该方向传来的效果，并且使用普通的立体声耳机就能听到这种效果．

由此可见，将使用Ambisonics技术获取的音频文件，通过实时的HRTF处理，实现双耳重放，是一种既可满足现行VR电影声音要求，又具有相当拓展性的方案．以下将详细论述其制作流程．

3 VR电影声音的制作流程和思路

3.1 流程概览

图1是基于Ambisonics和双耳听觉技术来实现的VR电影声音制作的流程，大致分为Ambisonics音频文件的制作、Ambisonics音频同VR视频整合、VR头显设备方位数据的接收、Ambisonics虚拟扬声器、HRTF 处理和双耳音频输出等步骤．

图1 VR电影声音制作流程Fig.1 Work flow of VR film sound

3.2 Ambisonics音频文件的制作

首先要获取和制作 Ambisonics 音频文件，这是VR电影声音设计中非常重要的一步工作．基于目前已有的工具，大致有以下3种途径： 使用 Ambisonics 话筒拾取同期声；使用数字音频工作站(digital audio workstation)制作；使用游戏引擎(game engine)和音频中间件(audio middleware)制作．

3.2.1 使用 Ambisonics 话筒拾取同期声

与传统电影不同的是，VR电影拍摄需要使用特制的摄像机阵列或全景摄像机来采集以摄像机为中心的、各个方向的影像，并通过后期拼接来合成360°空间的影像．针对这样的拍摄方式，最直接的同期声录制方法是，将 Ambisonics话筒与摄像机放置在同一位置，利用 Ambisonics 的特性直接记录下以摄像机/话筒为中心的所涉空间的声场信息．

这种拾音方式的优点在于，录制得到的音频文件可以直接与视频文件在时间线和空间位置上相匹配，一步到位，简单快捷．而缺点在于，无法进一步对录音素材中的各个声音元素做单独的处理．该拾音方式对拍摄现场的声音环境有较高的要求，更适合于以VR方式拍摄的新闻纪录和直播等无需对声音做艺术加工处理的场合．

图2 Ambisonics话筒Fig.2 Ambisonics microphones

当然，这并不是说 Ambisonics 话筒拾音在VR电影声音制作中就毫无用武之地了．作为一种拾音方式，使用 Ambisonics 话筒拾取获得的环境声素材，可以被更直接地运用到VR电影声音制作中去．

目前在技术上比较成熟的Ambisonics话筒有： CoreSound的TetraMic、TSL的SoundField SPS200，以及可进行高阶Ambisonics(High Order Ambisonics，HOA)录制的Eigenmike Microphone球形话筒，如图2所示[11-13]．

3.2.2 使用数字音频工作站制作

对于VR电影来说，对对白、音效和音乐等各个声音元素做单独的技术处理和艺术加工是必不可少的．因此，一种较为成熟的制作方式是，在数字音频工作站中对声音素材进行剪辑和混音，然后导出 Ambisonics 格式的音频文件．

与传统电影声音制作稍有不同的是，用于VR电影声音制作的数字音频工作站必须支持至少4声道的多声道音轨(multichannel)，需要使用插件工具对声音进行空间定位(spatialization/panning)，能够实现实时的立体声耳机回放监听(binaural playback)，以及能够同VR视频同步播放．

以数字音频工作站 Reaper 和插件工具 FB360 Spatial Workstation 为例，其制作界面如图3所示．Reaper 支持创建最多64个声道的音轨，而且相较于其他支持多声道音轨的工作站软件来说，价格优势也非常明显．FB360 Spatial Workstation 是一套支持多种音频工作站、功能齐全的插件工具，其中包括了对每一轨声音进行空间定位的空间化(spatialiser)插件、设定房间模型参数和控制双耳监听的控制(control)插件、VR视频播放器、将从音频工作站中生成的音频文件转换成适配各个平台的 Ambisonics 编码器等．利用上述这些工具，声音设计师可以像以往做传统线性媒体那样，在音频工作站软件中完成声音后期制作并导出音频文件．

3.2.3 使用游戏引擎和音频中间件制作

除了实景拍摄之外，现在越来越多的电影开始使用CG技术来构建虚拟角色和场景．对于声音而言，同样可以借助游戏引擎搭建一个虚拟的三维空间来模拟VR影片中的声场环境．

在游戏引擎中，具有空间坐标信息的声源可以被放置在三维空间的各个位置，引擎中的摄像机(camera)就相当于实际拍摄时的摄像机．我们可以根据影片中的内容来绘制引擎中相对应的声源的方位、运动轨迹等行为，以及镜头的行为．这样就相当于把VR电影中与声音相关的信息和镜头同声源之间的相对关系，以一种更为可控的方式还原到了游戏引擎中．然后可以借助引擎或者音频中间件中的功能来生成得到 Ambisonics 文件，用于与视频文件合成．

以音频中间件 Audiokinetic Wwise 为例，其制作界面如图4所示．Wwise在2016.1版本中更新了 Ambisonics管线(pipeline)，支持最高至三阶的Ambisonics音频素材导入和播放，支持将 Ambisonics 转换至双耳监听，支持多种插件效果处理，以及可以利用内置的录音机(recorder)工具来录制出 Ambisonics 格式的音频文件[14]．

图4 Wwise制作界面Fig.4 Interface of Wwise

另外，对于主要依靠CG技术制作的动画片来说，采用基于游戏引擎的声音制作方式会更为可控和快捷．以Oculus Story Studio出品的VR动画短片《亨利》(Henry)为例，影片的声音制作除了使用 ProTools、Reaper等数字音频工作站之外，还用到了音频中间件 Wwise 来与引擎 Unreal 配合，短片最终的渲染也是在引擎Unreal中完成的．由此可见，在VR技术普及之后，电影和游戏两大媒体之间所谓的界限变得越来越模糊了．

3.2.4 Ambisonics音频同VR视频整合

在Ambisonics 音频文件的拾取和制作过程中，可以得到以 Ambisonics 方式编码的多声道WAV文件，所以直接在视频剪辑软件中将该音频文件与VR视频在时间轴上对齐并导出即可．至此，声音设计师的工作就告一段落了．

需要注意的是，目前有两种主要的Ambisonics B-Format格式： FuMa[15]和ambiX[16]，其技术参数稍有不同，不同的设备或平台可能会采用不同的格式．因此，在制作和导出 Ambisonics 音频文件时需要针对不同设备或平台做出相应的调整．

3.3 实时处理

3.3.1 头显设备方位数据的接收

合成出包含了Ambisonics音频的VR视频文件之后，就可以在支持VR视频播放的VR头显等设备或者视频平台上观看了．VR视频播放器会对视频文件进行解码，并实时地接受来自检测观众头部运动的传感器的数据．

3.3.2 虚拟扬声器

在播放过程中，Ambisonics 音频文件经过解码之后再次还原成一个空间声场，其中包含的声音相当于是从球形空间中各个方位的虚拟扬声器(virtual speakers)上发出来的，如图5所示[17]．

图5 Ambisonics 虚拟扬声器Fig.5 Ambisonics virtual speakers

3.3.3 HRTF处理

在上述 Ambisonics 虚拟扬声器的基础上，当观众转动头部变换视角时，虚拟扬声器与人耳之间的相对关系也会随之发生变化，同时相对应的HRTF也会实时地对来自各个虚拟扬声器的声音做处理，来模拟从该方位发出的声音效果．各个虚拟扬声器处理之后的声音会被合并成双声道立体声信号来输出．整个Ambisonics到双耳实时信号的过程如图6所示．

图6 Ambisonics到双耳信号的实时处理Fig.6 Ambisonics to binaural real time processing

3.4 输出

通过双耳音频输出的信号，直接用双声道立体声的耳机就可以聆听效果．值得一提的是，双耳音频的听感效果对声音的音质有一定要求，所以建议佩戴频率响应和隔音性能较好的封闭式耳机，而不是小型的入耳式耳塞．

4 系统拓展

正如上文所提到的，Ambisonics 是一种与声音重放系统设置相独立的空间声技术，因此它可以通过进一步的编解码，同目前常用的多声道环绕声系统的扬声器设置相兼容，也可以通过扬声器阵列形式实现更精确的重放，如图7所示．

图7 VR电影声音制作系统拓展Fig.7 Development of VR film sound production system

5 结 语

通过对VR电影声音制作方案的研究可以看到，运用Ambisonics和双耳听觉技术，可以基本满足VR电影对声音听感的要求，实现声音的空间化、沉浸感和临场感．同时，该方案能够运用现有的相关软/硬件设备进行声音的前/后期处理，能够通过目前主流的VR设备实现重放．并且，随着VR技术的不断发展，该方案也能够适用于各类非耳机的扬声器重放格式，无论在以多声道环绕声为主的传统电影院，还是在可实现理想空间声场的VR电影院，都具有相当大的适应性和拓展性．

致谢： 本论文为2016年度上海大学电影学高峰学科成果！

[1] 王岩明.试论VR电影还音制式的未来发展趋势——从电影声音的空间定位方式谈起 [J].现代电影技术,2016(5)： 29.

[2] 艾瑞咨询.2016年中国虚拟现实(VR)行业研究报告 [R/OL].(2016-03-04).http：∥www.iresearch.com.cn/report/reportlist.aspx?searchkey=%D0%E9%C4%E2#s.

[3] 孙 略.VR、AR与电影 [J].北京电影学院学报,2016(3)： 13.

[4] 李金辉.隐蔽在现实中的虚拟——虚拟现实VR视觉影像创作谈 [J].北京电影学院学报,2016(3)： 22-27.

[5] Penrose Studios. Introducing allumette [EB/OL].(2016-06-21).http：∥ivr.baidu.com/original/s576905786a06.html.

[6] 安德烈·巴赞.电影是什么？[M].崔君衍译.北京： 文化艺术出版社,2008： 17.

[7] 谢菠荪,管善群.空间声的研究与应用——历史、发展与现状 [J].应用声学,2012,31(1)： 19.

[8] GERZON M A. Ambisonics in multichannel broadcasting and video [J].JournaloftheAudioEngineeringSociety, 1985,33(11)： 859-871.

[9] 刘 阳,谢菠荪.Ambisonics声捡拾与重放音色的双耳听觉模型分析与实验 [J].声学学报,2015,40(5)： 718.

[10] 谢菠荪,管善群.虚拟声技术及其应用(上) [J].应用声学,2004,23(4)： 44.

[11] TetraMic官网. Introduction： TetraMic single point stereo & surround sound microphone [EB/OL].[2016-09-29].http：∥www.core-sound.com/TetraMic/1.php.

[12] SoundField官网. Freedman electronics group breaks ground into ambisonic audio-purchases 360-degree surround microphone market leader, SoundField, from TSL products [EB/OL].[2016-10-05].http：∥www.tslproducts.com/soundfield/soundfield-sps200-software-controlled-microphone/.

[13] Eigenmike官网. Digital signal processing,acoustics and product design [EB/OL].[2016-10-05].https：∥mhacoustics.com/products.

[14] Wwise官网. Ambisonics in Wwise： Overview [EB/OL].[2016-10-05]. http：∥info.audiokinetic.com/ambisonics-in-wwise-overview.

[15] MALHAM D. Higher order Ambisonic systems [D].UK： University of York,2003.

[16] NACHAR C, ZOTTER F, DELEFLIE E,etal. Ambix—Suggesting an Ambisonics format [C]∥3rd International Symposium on Ambisonics and Spherical Acoustics.Lexington，KY： ISASA, 2011.

[17] Google VR. Spatial audio： Overview [EB/OL].[2016-10-05]. https：∥developers.google.com/vr/concepts/spatial-audio.