音画交互设计在音乐演出中的联觉表达要素

靳媛媛 周帆扬

摘 要： 音画交互设计是数字媒体技术不断发展，并结合实际应用而催生的新兴设计领域，是以数字媒体为重要媒介平台、对声音和视觉要素的关系进行的探索。在音乐演出中，音画交互设计能够以跨界的方式拓展动态媒体的表现形式，从而创造多感官联觉的审美体验。论文从音画交互设计的视听映射、成像媒介、交互方式三个维度入手，分析其在音乐演出中的联觉表达要素，以期为该类演出提供借鉴。

关键词：音画交互设计；音乐演出；联觉表达；视听映射；音乐可视化

中图分类号：J61 文献标识码：A

音画交互设计是数字媒体时代背景下发展的学科方向，是对视觉艺术和声音艺术关系的探索，其最早出现在实验动画的声音可视化理论中，随着媒体技术的进步和文化艺术的发展，范畴包括视觉音乐、实验性影片、视听表演、生成艺术、互动装置和VJ艺术。[1]在音画交互设计中，艺术家或设计师通过建立特定的“声音—画面”对应、转换和同步规则，并借助新媒体技术更加有效地刺激观众的视听联觉。音画交互设计表达方式较传统艺术领域有明显的区别：第一，其本身具有非常明显的跨界特性，涉及了声音艺术、视觉艺术、心理学、新媒体技术和交互技术在内的多个学科领域；第二，在传播和呈现方面，音画交互设计以数字媒体为重要媒介，且具有相当的实时性和表演性；第三，对观众而言，这种多感官的联觉体验也将带来更加直接而强烈的艺术感受。因此，音画交互设计的联觉表达并不是指视觉表达和听觉表达的“堆积式”叠加，而是由产生协同效应的各个感官系统合成的一个整体。音画交互设计以其独特方式不断拓展音乐的艺术内涵，丰富音乐的情感表达，并为声音艺术开辟了新的欣赏和理解途径。

当下，音画交互设计发展迅猛，欧美地区已形成了数个知名的新媒体视听音乐节、艺术节和论坛沙龙；在国内，以上海音乐学院、中国美术学院为代表的各大艺术院校也相继设立了音画交互设计专业或是相关的数字媒体艺术学科，积极地推动音画交互设计在演出中的创作实践迈入新的阶段。然而因其实验性，音画交互设计的理论研究与其设计实践之间始终存在较大的差距。通过对音画交互设计联觉表达的分析研究，可以更好地理解其相关的各种逻辑系统和艺术化的表现手法，从而促进音画交互设计形成更为完善且普适的理论体系。本文试从音画交互设计的视听映射、成像媒介、交互方式三个维度入手，分析其在音乐演出中的联觉表达要素，并归纳各要素不同演绎方式的特征与优势，以期丰富音画交互设计的理论资料，同时为之后该类演出的创作实践提供借鉴参考。

一、视听映射

在视觉艺术领域，音乐一直是艺术家们的创作源泉之一，然而音画交互中的音乐可视化研究并不局限于艺术层面，更与科技、人文等领域的研究成果息息相关。“映射”（Mapping）原为数学名词，指两个元素的集之间元素相互对应的关系。通过建立适当的属性关联以实现音乐与视觉的同步，称之为“视听映射”（Audiovisual Mapping）。音乐作为一种抽象艺术，其视听映射建立在视听联觉的生理机制和心理机制上，然而在音乐演出中，观众所产生的视听联觉，往往因个人的生活经历、文化背景、社会环境等差异而各不相同。因此，视听映射强调的是从宏观方面视听信息间某种整体联系和转换规则，而不特指其中各元素的唯一确定的对应关系。[2]根据对不同的视听转换规律特点，音乐可视化的视听映射可以分为自然映射、直觉映射、逻辑映射、叙事化映射、数字化映射和多通道映射等。

（一）自然映射

基于物理学的自然映射（Natural Mapping）又称“物理映射”，指通过物理手段，实现视听媒介的传递与转换。[3]在物理学中，声音的本质是由声源物体振动而产生的一种机械波，这种波形的产生贯穿声音振动的整个过程，因此声音与图像之间有着固定的对应规律。以音流学（Cymatics）为代表，利用不同的声音引起的共振刺激颗粒、流体和气体媒介震动以展现出客观的视觉化图像。随着技术的发展和创意的生产，这种通过物理实验手段实现音乐可视化的映射模式被结合以多种艺术装置呈现和记录。

（二）直觉映射

基于心理学的直觉映射（Intuitive Mapping），以语音符号学（Phonetic Symbolism）为代表，以人类普遍的认知体系为基础，从心理学角度分析通感联觉，探究人类在处理视听语言之间关联性时具有的共通心理倾向，在解释和还原人们听音乐时，思维里根据音乐旋律或音符律动形成某种具有普遍性的特定景象，如纠结缠绕的毛线球、正在延展的裂纹或跳动的火焰，等等。

（三）逻辑映射

基于人类感知基础的逻辑映射（Logical Mapping），指根据预先设置的逻辑关系参照和匹配不同体系的信息以建立系统的对应关系。例如，通过分析音乐的频率、振幅、音色和图像参数之间相对应的物理特性，以及其与人类普遍性的感知规律之间的逻辑关系[4]103-105，并通过相应的图形运动、色彩变幻和画面切换体现音乐的情绪起伏。虽然逻辑映射并不具有绝对的普适性，但针对一些共通感受能够探索并总结到一定的规律，例如，音乐的频率高低与画面明暗的对应关系——高频音通常对应较亮的视觉意向，低频音则往往匹配较暗的视觉意向。

（四）叙事化映射

基于受众群体情感认同的叙事化映射（Narrative Mapping），也稱为情节映射，指通过某一特定的叙事性视频片段中的具体情节来对应音乐的情感表达。这种映射模式脱胎自歌剧、音乐剧等包含有具体情节故事的舞台表演，主要用于影视和游戏类的主题视听音乐演出，通常会直接使用其所属的影视或游戏作品中的视频片段作为视觉设计的基础素材，其画面的叙事情节尤为具体。对于此类音乐演出的观众而言，影视或游戏作品中人物、场景和情节已经和音乐形成了非常具象的视觉和情感关联。作为一种小众文化的艺术表达，这些特定的叙事化映射虽然不一定具备科学严密的视听映射逻辑，却能够给特定人群带来非凡的情感沉浸体验。

（五）数字化映射

基于数码生成艺术（Digital Generative Art）的数字化映射（Digital Mapping），是指利用数字技术以及计算机算法实现的视听对位方式。其原理类似于个人电脑中音频播放器的音乐可视化动画，在演出中通过程序软件读取和分析输入声音样本中关键信息的参数数据，并将数据变化同其匹配的图像参数进行动态转换。[5]58-69数字化映射并非独立于此前的几种映射方式的全新模式，而是在不同的映射方法中应用数字化的实时信息分析和运算方式。

（六）多通道映射

多通道（Multichannel）源于计算机技术名词，原指计算机与人类感官系统相对应的多个信息输入和输出通道。多通道映射，是指在声音与视觉信息之间建立起多重的映射通道，使不同映射属性之间相互影响而实现综合的视听效果，并发挥出不同映射手段间的互补性。在各艺术门类中，音乐艺术具有明显的非物质性、数学性和抒情性，其构成元素能够被轻易地采集分解，但整体蕴藏的情感表达却复杂而微妙。对于大多数的艺术家和设计师而言，完成某一种数学关系式的视听映射对照关系并不是创作活动的目的——一方面，单一映射模式仅针对音乐中包含的特定信息进行分析，然而在某些情况下这些特定信息具有明显的局限性，难以反映出音乐演绎的动态特征；另一方面，通过单一映射模式生成的图像在形式和内容上往往趋于近似，长时间观看容易产生视觉疲劳。因此，艺术家和设计师通常会参考多种视听映射模式进行视觉设计，根据表演的整体需求组合切换，并在适当情况下对视觉或听觉采用留白的处理手法，实现理性因素与感性因素的平衡，从而提升最终的呈现效果，使视听结合的演绎可以被观众更好地感知和体验。

二、成像媒介

在音画交互设计中，成像媒介决定画面的视觉质感，常见的舞台成像媒介包括舞台灯具、LED屏幕、投影，所呈现的视觉效果也各具特色。此外，新型技术的不断升级迭代赋予了艺术家和设计师更为广阔的创意空间，大量曾经停留在概念中的艺术形式也得以一一呈现。

（一）数字灯具

随着数字化技术的迅猛发展，舞台灯光领域也大步迈向数字化时代。从专业音乐厅、音乐节舞台到院校剧场，所用的灯具及控台多数都采用了数字化控制；配合数控烟机、雾机以及其他的舞台布景实体，能够完成复杂的视觉效果构建，通过集成实施一体化控制，呈现丰富的视觉效果，与视听主体内容形成整体的视觉体系。

（二）LED屏幕

LED屏幕设备一直被广泛地应用在各类舞台，相比原有的采用固定化装配方式的大尺寸舞台LED显示屏，新型舞台LED屏幕形式和功能愈发多样：LED地砖屏能够大面积铺装，并能结合机械臂或是数控升降台完成复杂的位移或是升降动作；轻量化的LED屏幕模块轻便易用，其存储运输、安装拆解、编码控制更加便捷，能够快速组合成造型奇特且更具空间层次感的显像阵列；在其基础上发展出的柔性LED屏幕更为轻薄，以硅树脂制等软性材料替代了玻璃面罩，具有可弯曲的特性，弯曲时图像平滑美观，可根据需要拼接组合成弧形、柱形等曲面显示屏，进一步丰富了LED屏幕的表现形式。

（三）投影

作為一种漫反射的成像方式，投影填补了LED屏幕作为直接光源的局限性，赋予了舞台美术设计全新的创意理念和表现形式，让音乐可视化设计的视觉呈现层次感得到极大的提升。此外，幻影成像技术（Phantom Imaging）可以在理想状态下呈现出逼真的虚拟立体效果；光雕投影技术（3D Projection Mapping）也被称为“空间增强现实”，能够以多种材料和结构表面作为成像介质，对其进行视觉重塑；传统舞台、音乐厅的演出空间给音画交互设计在尺寸和形式上的发挥形成了一定的制约，而投影融合技术（Projection Fusion）可以为复杂环境中的大面积投影提供保障。除了为舞台设计各类造型的投影屏幕组合，一些主题性的音乐可视化项目直接以名胜和地标作为光雕投影的成像媒介。通常这类成像介质本身即具备独特的视觉造型和文化内涵，且往往具有丰富的肌理感、巨大的视觉跨度和强烈的形式美感[6]30-34，能够产生更为强烈的临场感受，进一步刺激和强化观众的视听联觉。

三、交互方式

（一）基于时间轴的模拟交互

以迪士尼动画影片《幻想曲》（1940）为代表的早期音乐动画，逐步发展成为当代的音乐视频。在此类音乐动画的创作中，艺术家和设计师通常以音乐的时间轴作为基础，制作与之高度同步的视频动画。当此类视频动画应用在音乐演出时，音乐的演奏与之同步方式类同卡拉OK——演出前设计师或艺术家根据理想的音乐演奏效果预先设计并制作视频内容，演出时视频无法变动，演奏者须严格把握其表演，以确保音乐能够和视频时间轴时刻保持同步。这并不是一种真正的交互方式，但在制作团队缺乏交互设备和相关技术支持的情况下，这种“假交互”具有无与伦比的可实施性和经济性，通常能够准确地传达艺术家或设计师希望表达的交互理念，通过表演者不断的练习，甚至能够呈现出超越真实交互的细腻效果，因此一直被各类演出广泛采用。

（二）基于即兴演绎的影像骑师艺术

由于现场演奏具有即兴性，具体的演出进程和效果受到包括观众反应在内多方面因素影响。即兴演奏难以与成品视觉影像长时间保持同步，音乐动画式的模拟交互方式势必会在一定程度上限制即兴演出的艺术表现效果。20世纪70年代产生了影像骑师VJ（Video Jockey）这一职业，其对应的VJ艺术在广义上可以用来描述任何实时操控的视频表演，主要目的是为现场观众提供与音乐表演高度同步的视觉体验。在许多音乐节舞台、LIVEHOUSE等音乐演出现场，各类视频素材由专门的VJ师进行操控，VJ师或是根据演出情况通过程序及时对预设的视觉画面做出调整，或是根据其专业技能为任意音乐即兴制作相应的视觉画面。这种即兴的视觉设计虽然较为主观，却同样能带来良好的艺术体验。

（三）基于结构性音频的视觉程序

结构性音频MIDI（Musical Instrument Digital Interface）意为乐器数字化接口，是替代数字音频波形的音乐代码。区别于常见的mp3、wav等格式的自然音频，MIDI以音符的数字控制信号来记录音乐，其传输的不是声音信号，而是音符、控制参数等指令。自1983年MIDI协议1.0版本定制以来，经过近40年的发展MIDI已成为编曲界最广泛的音乐标准格式。在使用到MIDI系统的音乐演奏中，MIDI系统将演奏者对乐器的各种操作转换为数字信号，负责视觉设计的艺术家或设计师会将视觉图像预先写入程序，藉由实时输入的MIDI信号中音色、音高、音长等信息触发程序中相对应的视觉图像，并结合VJ师的宏观操控调整，呈现更为出色的音画交互效果。

（四）基于传感技术的交互

如同数字化映射将输入的声音样本作为控制图像的参数，基于传感技术（Sensing Technology）的交互方式通过设置不同的传感器，在音乐演出现场实时采集特定对象某一状态的关键数据，并作为控制相应图像变换的参数输入预设的视觉程序。包括对表演者动态的数据采集，如乐器演奏的触后姿势、乐团指挥的指挥动作，演出中的舞蹈和表演等；对观众群体反应的数据采集，如掌声音量的大小、坐下或站立的姿势、手中荧光棒的挥舞方向等；对环境状态的数据采集，如室外光线、温度、湿度等。虽然目前的主流音乐演出对这种交互方式的运用还十分有限，但可以预见的是，随着动态捕捉技术（Motion Capture）、体感技术（Somatosensory Technology）、可穿戴智能设备（Wearable Smart Devices）及5G技術等科技的进一步发展和介入，传感技术必将在音画交互设计领域大放异彩，使多种感官获得更高形态的融合。

四、结语

音画交互设计是一个涉及范围极广的学科方向，它通过视听映射、成像媒介、交互方式等多个维度的协同作用给予观众独特的联觉体验，在科艺融合的新时代中具有广阔的发展空间。艺术家和设计师可以通过对音画交互设计联觉表达的探究，挖掘更丰富的艺术内涵，创造更多元的美学风格，探索更深层的艺术理念，促使音画交互设计形成更加独特的发展，为后现代文化注入新的生命力。

参考文献：

[1]吴敏洁.氛围音乐概念下的音画交互设计研究[D].杭州： 中国美术学院，2019.

[2]李雨蒙.交互类声音视觉化的设计表现方法研究[D].大连： 大连理工大学，2019.

[3]徐百鸣.声音可视化中“音流学”的研究与探索[D].杭州： 中国美术学院，2018.

[4]耿凌艳.音乐可视化设计中的映射探究——以Thayer情绪模式与伊顿色彩理论的对应关系为例[J].装饰， 2017（7）.

[5]张屹南.音乐可视化设计中的多通道映射模式研究[J].设计艺术研究，2014（4）.

[6]付阳.装置艺术在展览中的场域视觉逻辑探究[J].世界美术，2021（1）.

（责任编辑：万书荣）