近十年国际“音乐视像”前沿应用及相关研究综述

■孙尚杰

（中国音乐学院，北京，100101）

孙尚杰，中国音乐学院音乐声学专业硕士研究生，主要研究方向为音乐多媒体。

本文为2017年北京市社会科学基金项目“北京市西山文化带特色小镇声音景观设计”（项目编号：17YTC028）阶段性成果

众所周知，音乐是一门诉诸听觉的艺术。随着当代音、视频技术的快速发展，近年来有越来越多的艺术家将音乐与图像、图形和视频技术与艺术相融合，由此诞生了一类新的艺术形式，即“音乐视像”（music vision）。2005年重庆出版社出版的《音乐视像——15位当代音乐录影带导演全接触》一书将“音乐视像”作为音乐录影带的别称。在笔者看来，这个词更加强调听觉与视觉在相互交融后的呈现方式，由此与所谓“音乐可视化”（Music visualization）产生了区别：音乐视像并不包括与音乐可视化系统设计相关的领域。当然，音乐视像的概念还是包含在音乐可视化之中的。

音乐可视化是一种以视觉为核心、以音乐为载体、以大众为对象，借助多种新媒体技术，通过画面、影像来诠释音乐内容的、视听结合的传播方式。而这也就是说，当今的“音乐视像”已经不仅局限于诠释音乐，更在颇多领域有所拓展。本文将从“音乐视像”发展环境的变化及其应用领域两个角度，简要分析近十年来这种艺术的多元化生长态势，并尝试通过分析“音乐视像”本身，理解其如何调动人类的多种感官相互融合。

一、与“音乐视像”相辅相成的硬件和软件环境发展

“音乐视像”的崛起离不开视觉工业的快速发展。而由于其呈现依旧需要载体，所以也反过来催生了对硬件与软件的需求。下面对此略作整理。

声音信息提取技术这具体又分两类情况。第一，借助计算机信息处理能力和编码识别能力的提升，通过傅里叶分析、固定窗口等典型的变换方法，可以将自然音频中的音频信息提取得更为全面。第二，对于结构性音频（比如MIDI），可以通过协议转换，直接获取其相关声音信号。

全景技术的广泛应用本文所提到的全景技术，主要聚焦在音频和视频两个方面。在音频上，环绕全景声系统在近来十年内快速发展，且广泛应用在多个使用场景——从大型剧院到电影院，从家庭影院到手持移动便携设备。这使得音乐视像在声音方面的体验水平有了显著的提升，为“声临其境”打下了基础。而在视频上，随着全景影像技术逐步投入影视创作，使得拍摄视角得以延伸，为沉浸式的音乐视像打下了视频方面的基础。

三项关于“现实”的技术这是指虚拟现实技术（virtual reality）、增强现实技术（Augmented Reality）和混合现实技术（Mixed Reality）。其中，虚拟现实技术也简称为虚拟技术，又称虚拟环境，是利用计算机模拟产生一个三维的虚拟世界，为用户提供视觉等感官的模拟，使之仿佛身临其境，几乎即时、无限制地观察三维空间内的事物。出于人们对影像沉浸化的需求，虚拟现实技术迅速发展，改变了单一视角加切换模式的影像呈现方法，再配合全景声技术，给人们带来了视听体验的一次飞跃。从简单的三维音乐可视化，到目前暂为极致的、以假乱真的全息投影，这样的体验已在逐步进入普通大众的生活。

增强现实技术指对摄影机视频中场景的位置及角度进行精算，加以图像分析技术，让显示屏上的虚拟世界能与现实世界场景结合起来并能展开交互的技术。与虚拟现实技术创造独立的沉浸环境不同，增强现实技术基于已有场景，利用技术手段来提升交互体验，将声音、可视化操作、视觉画面融为一体。在原有音乐视像的基础上，它将沉浸式虚拟艺术与真正的表演艺术紧密结合，给观者带来的是比虚拟现实技术更有“日常感”的视听结合体验。

混合现实技术的意思是结合真实和虚拟世界，创造了新的环境和可视化效果，让物理实体和数字对象共存并能实时相互作用，以用来模拟真实物体。虚拟现实与增强现实能提供带有各自特点的沉浸感受，但在未来人们很可能追求更深层次的沉浸交互体验，需要我们将前二者与光学追踪、动作捕捉等技术进行紧密结合，利用各种新的手段，将视听联觉发展为通过全身的感官进一步使用两种现实技术进行互动体验，从而继续接近真正的“虚实结合”。

以上三种技术的发展，为音乐视像在二维、三维空间的体验方式打下了坚实的基础，使得音乐视像能在沉浸式、半沉浸式、非沉浸式之间自由选择。在音乐欣赏中，人类希望沉浸在音乐的世界里，并希望“看见”那些音乐中的各类元素，从而开始借助三种关于“现实”的技术，为音乐视像提供多种体验模式，令更多的优秀音乐作品从此具备了全方位的沉浸感。

二、“音乐视像”的应用领域

音乐视像的应用领域很多，但鉴于其最容易引起公众注目的应用领域目前还是与演出有关，所以这里将其分为倾向于“创作呈现方式”的和倾向于“提取与使用数据”的。当然，这种分法的出现，也与近十年来计算机的运算能力，以及其图形、编码技术的不断更新换代有关，可以说第一种是以多种途径在音乐中辅以人造的数字化影像，第二种则是依赖信息提取技术的发展，通过生成的“音乐视像”进行反向分析和整理应用。

（一）倾向“创作呈现方式”的应用

这类应用具体来说又分为三种情况：最基本的视像播放、基础演出视像应用，以及实时沉浸交互应用。其中，最为简单、直观的音乐播放视像源于音乐播放器的单一可视化效果（如Windows 媒体播放器中自带的可视化效果），其目的显然不在于交互，而仅在于提升播放界面的美观度。在目前的音乐可视化发展过程中，该呈现方式主要是通过对一些底层的音乐信息（如律动）施加捕捉算法来实现的，在此不赘。下面重点来看基础演出视像应用和实时沉浸交互应用。

基础演出视像应用此方式主要是对声音的物理特性进行提取，将由声波带动产生的物理现象作为音乐表演的辅助手段，目的是将声音形象化。这一视像应用主要围绕“音流学”（Cymatics）一词展开。该领域在漫长的科学探究过程和大量的音乐表演中不断进化，常见的呈现方式基于以下几类。

第一，克拉尼图形。该现象由德国物理学家克拉尼（Ernst Chladni）最早发现，其基础实现方式是将硬质粉末（细沙、米粒等）撒在薄板上，令薄板振动，粉末就会排出各种图案，并随着振动频率而改变。此类呈现方式在当今演出中已逐渐脱离实物展示，而是基于精准的声波捕捉和高效的图形运算制作出来的，图1是几个例子。

图1 由声波捕捉和电脑运算合成的克拉尼图案

而近几年以来，随着LED 屏幕在演出中的广泛应用，克拉尼图形也经过编辑，更加贴合演出音乐或情景的需要，如图2所示。

图2 现场演出中经过合成编辑的克拉尼图形［源自《Pechou（*LLND）Live VJ New Year Eve 2017-2018》视频截图］

第二，鲁本管（Ruben's Tube）。它由德国物理学家鲁本（Heinrich Rubens）于1905 年发明，以图形方式显示声波与声压之间的关系：在金属管内充满可燃气体，与扬声器连接，不同的音频会形成不同的压力波，进一步再通过压力波作用来影响火焰的高低，如图3 所示。当今，鲁本管也偶尔会在音乐演出中出现，作用以烘托舞台气氛为主。

图3 现场演奏中的鲁本管（源自LG公司广告《Cymatic Jazz》视频截图）

第三，铁磁流体激发。这与克拉尼图形有一定相似之处，但是因为能形成立体化的“针刺反应”，就为三维的音乐视像提供了新的呈现方式。而且，这种手法能通过记录磁场关闭后的涟漪效果，诠释不同的声音状态，如图4所示。

图4 铁磁流体被激发状态（源自Nigel Stanford作品《Cymatics》视频截图）

以上呈现方式的局限在于，它们主要出现在现场演出与视频制作中，以表演者为主导，互动性还是较为缺乏的。

实时沉浸交互视像应用此类应用需要前面提到的虚拟现实、增强现实与混合现实技术，将音乐视像作品中的视觉表达部分用幻影成像技术进行制作，再将三维建模生成的虚拟影像投射到空中，形成独立的演出区域，带给观众很深的沉浸体验。同时，还要利用增强现实技术，将投射的虚拟影像与现实的演出场景进行无缝衔接，创造一个基于现实而又超越现实的时空，充分增强观众的交互体验。比如“初音未来”作为日本创造出的虚拟音乐偶像，既有动漫形象，又有独特的合成嗓音，由此在开办其“演唱会”时，就可以将其进行三维建模成像并投射，如图5所示。

图5“初音未来”虚拟影像演唱会

（二）倾向“提取与使用数据”的应用

这方面的应用对各类社会场景的涉及似乎更为广泛，主要包括以下几个方面。

音乐教育领域在该领域中，音乐视像的应用主要可分为两个层次。其中，第一层次针对的是受众更为广泛的普及教育。我们知道，对普通大众而言，欣赏古典音乐的一个主要障碍便是缺乏系统化的音乐听赏训练，从而在理解音乐的结构和思想方面有困难。而通过音乐视像对古典音乐作品进行逐层提取，将多元素、多声部的音乐进行逐一的视像呈现，可利用视听联觉帮听众更好地建立起对音符与音乐联系的认知。

第二层次的应用则是针对更为专业化的音乐教学。在相对更高端的音乐演奏活动中，许多音乐专业的学生甚至一些音乐家都难以在动态表达上达到理想水平。这是由于对音乐动态的表达是主观的，在教学和排练沟通中往往花费很多时间也达不到预期效果。如果通过计算机辅助生成已有演奏版本的动态图像，与需要评估的演奏进行实时对比，那么这种可视化的教学方式当有利于学习和排练，辅助我们在音乐教育过程中对音乐动态进行掌控。这种呈现方式以2016 年在瑞士成立的一个项目“音乐之眼”（Music：Eyes）为突出代表（如图6），这个非营利性组织致力于利用流动的音符节奏动画对音乐教学施以辅助。具体来说，它通过以下三种方式进行。

图6“音乐之眼”项目负责人展示将乐谱中的音符转化为色彩动画（源自“音乐之眼”《See.Heal.Feel》视频截图）

第一，通过制作流动的音符节奏动画，在各种视频平台传播，以新的形式进行音乐普及。第二，基础教学——让复杂的音乐片段通过流动的音符节奏动画变得更清晰，更便于学生去理解。由于“音乐之眼”在流动动画中采用颜色、形状分层的展现方式，在制造视觉刺激的同时，也在一定程度上激发了学生对音乐中的创意的探索。第三，延伸教学——“音乐之眼”制作音符节奏动画并非停留在对乐曲的分层次解析上，此过程也是可逆的，即“音乐之眼”的互动学习平台可以将音乐体验转化为视觉创作，让学生可以创建自己的动画，使得每个动画都具有个人理解的成分，而且此过程还可以多人合作完成。

图7“音乐之眼”互动学习平台的多人合作展示（源自“音乐之眼”主页）

音乐治疗利用已有的色彩、图案心理学的研究成果，可以将音乐元素录制为有目的的数据，并转化为对应的音乐视像。这一思路可以在音乐治疗中形成两类利用方式。

第一是心理疾病的辅助治疗。在目前的音乐治疗中，以功能音乐为主的治疗方法已较为成熟，但其所激发的感官刺激相对单一，而心理疾病的来源通常并非单一感官的刺激。由此，可视化音乐治疗便是题中应有之义。播放音乐，对应改变环境灯光，以及生成对应的治疗用可视化图像，能使患者的感官得到多通道刺激，有助于治疗部分心理疾病。

第二是为听力障碍人士进行联觉感官训练。聆听音乐虽然对普通大众来说十分简单，但对听觉障碍人士就是一件难事。利用音乐视像，将值得聆听的乐曲做成对应的视觉作品，并辅以其他感官渠道的刺激，可以弥补他们听觉上的不足，帮助他们参与音乐听赏活动。上文提到的“音乐之眼”项目便可以为听觉障碍人士提供聆听音乐的新方式，从而锻炼他们的感官联觉。

音乐特征分析音乐不仅是聆听的艺术，也是音符的艺术。音符所排列出来的谱面便是最直接的音乐视像，它包含了大量的音乐特征。有经验的音乐家出于多年的音乐训练，在查看乐谱时便能“看到”其中包含的声音，并能通过演奏将其转化为音乐。但是，这种最直接的音乐视像并不适合应用到普通大众身上，而应采用更为简单、专一的可视化元素对其进行分析呈现。基于现有的音乐信息提取技术，可以将多种音乐元素进行分离，这给音乐特征分析提供了更为直接的结果。利用音乐视像对音乐进行特征分析也可以大致分为两类情况：一是特定音乐作品的可视化分析，二是作品之间的可视化对比分析。笔者认为，可视化手段在给作品之间进行对比分析时更为直观，可以让人在短时间内更为有效地理解大量曲调之间的相似性，或是不同艺术家的个体特征差异。在音乐特征中，调式的改变与和弦进行的变化，在每部乐曲中都存在共性和差异。

美国学者马尔迪洛西安（Arpi Mardirossian）和周依莲（Elaine Chew）通过生成一段音乐中和弦进展和音调分布的二维图，并通过时间和调性序列上的层叠对比，创造出一种新的音乐可视化工具。①Arpi Mardirossian，Elaine Chew，Visualizing Music：Tonal Progressions and Distributions，ISMIR（International Society for Music Information Retrieval Conference），2007.两人用该工具分析了贝多芬的《c 小调钢琴32 变奏曲》（WoO 80），并识别出乐句中8个变调主题的离散关系，从而体现了作品由c小调开始，在乐段中先后呈现F 大调、c 小调、C 大调、c小调、f 小调，最终又回归c 小调的过程。在该工具中，西方古典音乐回归主调的特点得以充分展现。

两人还将两首亚美尼亚传统音乐用此工具进行分析，得到两个序列对应图（如图9）。可以看出：亚美尼亚传统音乐大多是从一个调开始，并持续一定的长度，然后转到相邻的或同主音的大小调，最终调式不会回归开始的主调。由此，便可以在视觉上区分西方古典音乐与亚美尼亚传统音乐的转调方式。

图8 贝多芬c小调钢琴变奏时间与音调序列对

图9 两首亚美尼亚传统作品调性时间序列

音乐资料特征分类在CD 音频时代，人们的音乐欣赏通常是以播放专辑的方式进行的。由于CD 唱片有着直观的专辑封面，因此就逐步建立了“唱片—专辑封面”的某种“通感”。（当然，黑胶唱片和卡式磁带也有类似的效果。）不过，这种具有“视觉体验”的音频产品从音乐视像的角度来说还是比较初级的，不能完成大量音乐信息的管理。

随着智能便携设备的发展，流媒体音乐逐渐取代了CD 音乐，音乐信息也逐渐有了细致的分类属性。因为早期的信息提取以唱片的文本信息为主，所以音乐资料的管理也趋于文本检索，并形成了当今的音乐数据库。

而在相对成熟的地理信息技术的支持下，音乐资料在特征分类上能进一步结合可视化。①Stefan Leitich，Martin Topf，Globe of Music：Music Library Visualization Using GEOSOM，ISMIR，2007.当前，许多人已经习惯在移动设备上使用地理信息系统（GIS）（国内如高德地图、百度地图），通过旋转、倾斜和缩放来进行地图信息的检索。将这种可视化交互带入音乐资料的查找与筛选，并结合音频信号的特征提取分析，就可以为用户提供更多的可能性，如图10所示。

图10 利用地理信息建立可视化分类

以单个地区为例，日本的研究者上原美咲（Misa Uehara）和伊藤贵之（Takayuki Itoh）应用双散点图的可视化方式，对20 位日本流行音乐作曲家的作品的和弦进行、调式、元信息以及声学特征做了提取，在一个散点图中记录声学特征与调式的关系，在另一个散点图中记录和弦进行与元信息的对应关系，②Misa Uehara，Takayuki Itoh，Pop Music Visualization Based on Acoustic Features and Chord Progression Patterns Applying Dual Scatterplots，open-access article distributed under the terms of the Creative Commons Attribution 3.0 Unported License，2015.如图11所示。

由双散点图可以较为清晰地分析出样本中的20 位音乐家在曲调上的相似性，看出艺术家之间的个体特征关系对比。大量数据所构成的散点图可以呈现日本流行音乐作品中典型的和弦进行模式，并记录在作品中使用了哪些和弦进行。在笔者看来，这类应用不仅总结了相应地区的音乐特征，使其在全球音乐特征分类中更加清晰明了、更加具有代表性，还对于上述信息的提取、呈现与分析大有帮助，同时也有助于发掘听众的偏好，对音乐推荐技术可以起到一定的推动作用。

图11 日本流行音乐作品特征提取形成的散点图示例

通过对音乐视像的软硬件环境进行介绍和分析，不难看出，音乐视像的多元化发展离不开周边技术的支持。从多元的信息提取手段，到音视频全景技术的普及化发展，再到以假乱真的沉浸式现实技术门类的跨越式发展，音乐视像在呈现手法上渐趋成熟。而具备这样特点的音乐视像，也在音乐教育、音乐治疗、音乐特征分析和音乐资料特征分类等领域展现了其独特作用。音乐视像通过刺激听觉和视觉，以“视听通感”提升了听众的艺术感悟能力，并能反作用于音乐中的多个领域，以视像片段帮助创作和理解音乐。在此影响下，辅以科学的手段，视觉和听觉今后应该会结合得越发紧密，并存在巨大的发展空间。通过音乐视像，调动多种感官相互融合，使其听觉中复杂的心理与精神信息逐渐以具象展现，也可以触发更深层次的情感共鸣。