聆听色彩

申佳君

摘要：文章基于感官设计视角，探索并建构听觉替代视觉的数字景观设计原则与体系。在盲人听觉特质及身体的先验空间性前提下，运用色彩-情绪-声音映射方法，总结自然环境色彩映射为声音的流程，在此基础上，提出“印象派”声音映射理念，搭建基于盲人感官体验的数字花园交互平台，为盲人及其他弱势群体带来更多的人文关怀，同时通过物理空间和数字空间之间的数据转译，探究“空间”再造的方式，为社会与环境挑战提供可持续的解决方案。

关键词：感官设计 色彩映射声音 声音生成系统 沉浸式交互空间 “空间”再造

中图分类号：TU986 文献标识码：A

文章编号：1003-0069（2021）04-0143-03

引言

当代科学技术的发展，使设计开始进入到非物质的视、听等感觉层面，形成以人类认知神经科学系统为依据的“感官设计”。人的五大感官系统每天从我们生存的世界提取信息，并通过大脑的释译获得感知。视觉在人类感觉系统中占主导地位，听觉是次于视觉的重要感官，如何以数字交互技术结合色彩、声音获得更丰富的身体经验，使得设计进入一个自然、数据、人的感觉链接的体系，让设计表达的艺术层面是基于科学基础上的合理呈现，是未来设计的重要领域。

“感官设计”的发展也为世界范围内一直备受关注的公共卫生问题一盲人群体，提出了解决方案。盲人通过听觉感知和认识外部世界。听觉相当于盲人的眼睛，盲人可以通过听觉补偿视觉缺陷。如何在跨感觉通道重组机制基础上，创造性地应用色彩映射聲音、通过数字交互平台的信息处理来创造独特的空间体验、实现“空间”再造，是本研究试图探索的主要内容。

一、盲人感官设计的生理机制

（—）盲人的听觉神经机制：盲人通过非视觉感知和认识外部世界，听觉是盲人最重要的感觉器官。一般认为，盲人失去视觉后，听觉会变得异常敏锐，这是由于失去视觉后的盲人往往伴随着行为代偿。脑成像等认知神经科学研究发现，盲人行为代偿的神经机制之一是大脑皮层的跨感觉通道重组，即盲人的视皮层并没有因为视觉剥夺而失去作用，而是广泛地参与了其他感知知觉任务。许多行为研究证实了这个猜测。因为视觉的缺失，使得原本控制视觉器官所在的大脑区域开始向其他方面延伸和变通，这就使盲人群体虽然视觉缺失，但是其他的感觉器官却异常敏锐。

（二）身体的先验空间性：梅格·庞蒂提出“身体图式”（body schema）用以说明身体与世界的联系，其开启了主体与世界互动关系。身体并不是外在于世界的对象，而是连接世界的入口。身体具有一定的空间性，伸开手臂衡量可以感知物体的尺寸，身体从它先验的空间性出发与世界产生交互。梅格·庞蒂将“身体图式”的隐喻扩展到整个世界，主体的内部与外部世界不再有隔膜，而是呈现一定的互动规律，世界被理解为身体经验的升华，盲人以知觉感官为线索构建对于世界的整体认知，以自发的记忆、想象与意义捕捉来实现对世界的建构。

二、色彩映射声音的方式探索

基于以上盲人听觉特质及身体的先验空间性背景，本研究从探索色彩数据转译声音的方式入手，主要针对色彩和声音之间的情感类似物为基础展开，为色彩转译声音创建一个情绪与色彩对应的框架，并整理相关的数据转译工作的工作流及声音映射理念。

一种宽泛的视觉与声音的转换方式，被称为“映射”（Mapping），它是指在一种预设的法则下将不同领域之间的信息进行转换。比如将音乐分解成离散的数据信息，再从数据信息转换为数字图像。，这是一种音乐可视化技术（图1）。但是，如果映射只是简单地将音乐和视觉以数据为桥梁一一对应转换，就会丢失艺术的情感，而趋于机械的逻辑转译。作曲家艾略特·卡特曾就一种颜色对应一种音符的简单方式发表言论：如果不是不得要领就是肤浅的。色彩是对事物特殊表征的描述，色彩本身并没有情感，色彩的情感是在不同频率色彩的光信息作用于人的视觉器官，通过视觉神经传入大脑后，经过思维，与以往的记忆及经验产生联想，从而形成的一系列色彩心理反应。在色彩与声音的映射中，为了确保最终呈现声音效果的灵动，就要考虑在这两种艺术形式中建立一种情感等值关联，实现色彩与声音映射过程中的情感封存，这就需要首先建立一套颜色能够被描述为情绪的体系。

情绪分类是一门复杂的学科体系，很久以来一直没有一套标准的系统能够涵盖所有情绪分类，1998年，心理学家Thayer，R.E.提出一个简单而独特的情绪分类模式，他用压力和能量构建坐标轴，横坐标用快乐（Happy）到焦虑（Anxious）代表压力程度，纵坐标用平静（Calm）到活力（Energetic）代表能量程度。横纵坐标划分出的象限四极分别表示了“满足、沮丧、生气勃勃、焦虑/疯狂”的情绪维度，而这种情绪维度又与“压力和能量”的递变相互吻合，“满足”表达了一种快乐和平静，“沮丧”表达了一种平静和焦虑，“生气勃勃”表达了快乐和活力，“焦虑/疯狂”表达了一种由焦虑导致的激昂情绪。这个情感模式维度可以直接用于概括复杂的色彩情绪特征。

作为包豪斯最重要的教员之一，约翰·伊顿（Johannes Itten）关心色彩的情绪特征，伊顿的色相环呈现了他对于色彩对比与调和的理解，任何相对位置的色相是一组对比色，以三原色作为基础色相，由三原色及其二次、三次混合后的色彩通过有秩序的构成达到调和，调和在这里指每3个处于等边三角形位置的色相，当它们被完全混合之后，呈现的是令视觉均衡的中性灰色。约翰·伊顿的色相环充满了音乐的特性，每一组调和色使人不禁联想到音乐中最为常见的三和弦。而这种在对比与调和中形成的有秩序排列的色彩体系可以直接与Thayer提及的情绪模式相叠加，而表明色彩对应的情绪类型，这也印证了伊顿的色彩表现理论，他以色彩的温度和活力划分不同色彩的属性，温暖而激昂的色彩代表着美好、光明，冰冷而消沉的色彩代表着丑陋与黑暗。同时，色相环中色相通过明度渐变产生的颜色也能在情绪模式坐标轴中找到对应的坐标区间，从而衍生出新的情绪类型。色相环与Thayer情绪模式的结合成为人们探寻富于变化的色彩情绪理论的基础工具。（图2）

三、色彩映射声音的流程设计

本研究以望江山的一处平地作为“盲人花园”的实验场地（图3），对自然环境色彩进行视觉映射听觉的实验。除了应用色彩-情绪理论，研究将“印象派”绘画色彩理念与声音表现形式结合，对用声音表现现实环境色彩的理念进行了创新。

第一步，色彩数据采集与呈现。用照相机定点拍摄望江山一天当中24小时的实景照片，在Photoshop中打开实景照片，将图片转为像素化（Pixelation）（图4），从像素化后的图像我们可知，自然环境色彩通过图像数据软件的处理，被转化为一系列有明确位置和匹配单一色彩数值的小方格。被转化的图像是对实景地自然环境色彩进行了初步的色相分布呈现。

第二步，色彩情绪分析。通过将转化后的色相组合对照色彩-情绪分析图进行匹配，实景空间中的自然环境色彩便可以映射为不同的情绪模式，选取12张像素化后的实景色彩进行分析：整体来看，每一幅图都能归结为某种主要的色彩情绪，但在主要的情绪象限划分中又各自不同，有的暗淡消沉中带着活力，例如图g;有的满意满足中带着沮丧，例如图a;有的焦虑疯狂中带着沮丧消沉，例如图i;有的活力四射中带着满意满足，例如图i。色彩组合的微妙在于，每组色彩都融合了不同象限的情绪，这样的实验调查为下一节的声音系统设定提供了可参考的框架，为形成一种富有生机的算法。（图5）

第三步，声音映射。不同时间采集到的色彩数据转化为像素后呈现的是自然界光与色在时间变化中的不同的气氛，它反映了时间在不断流动的本质，这也正是“印象派”画家的创作观念——表现转瞬即逝的现实（the fugitive reality），“印象派”画家强调光及其氛围的变化现象，每一幅画都根据季节和时间的不同而有所变化，再现光影交织的瞬间景观。受到印象派绘画启发的印象派音乐认为音乐可以提供一种意象，不必去转述一则故事，印象派音乐以音色音响作为其核心，用织体、音色和响度取代旋律的呈示、对比、发展和再现，消解了旋律声部的统治地位，像印象派绘画的纯色并列一样，印象派音乐创造出不断闪烁的强烈“色彩”。这种“印象派”艺术理念，可以作为“盲人花园”声音映射的出发点，勾勒和展现自然环境中的色彩不确定性和永无止境的瞬间性，还原感官的感知本质，进而彰显一种别样而独特的真实观。在这种理念下，在色彩映射声音的过程中初步完成色彩数据采集与呈现、色彩情绪分析后，就可以利用Processing实现对色彩数据的程序计算，继而转化为一系列的音色、音响，转化的过程中需要按照情绪一色彩对照表进行匹配映射为不同情绪区间的声音。

由此，映射的過程确保了色彩与声音的元素等值，并在视觉与声音信息之间建立了情绪匹配的属性关联，同时，在数据信息转换过程中，采用“印象派”艺术理念，通过一种实时转化，声音最终呈现了一种观念上的现实主义的聆听。

四、色彩与声音互译的数字交互平台设计

（一）数字交互系统设计：在对色彩映射声音的模式、工作步骤进行了梳理与探索之后，本研究尝试建立一套实时色彩数据转化生成为音乐及可视化图形的一体化数字平台，制造一个听觉的城市色彩系统《盲人花园》。

本次工作流的研发重点内容包括以下几点：（图6）

一是数据输入，主要是对现场色彩数据（Color）的采集，内容包括色相、明度、饱和度等。采集对象包括复杂的自然环境参数（Environmental）、路人（Passers）、盲人（Blindman）。

二是数据映射过程的实现，包括媒体控制界面（Media Instrument）的设计、局域网无线信号传输（Internal Network）、前期声音设计系统（Design/Pre-Son）、色彩分析系统（Color Anyalyzer）、色彩-情绪分析系统（Color-Emotion Anyalyzer）、中枢处理系统（Central Process System）、音乐/声音生成系统（Sound System）、图形生成系统（Graphic System）。

三是数据输出，包括最终生成的空间声场（Sound Field）、整合空间与介质的投影（Environmental Proiection Mapping）。

根据前期实践，可总结出基本的数据处理流程：

第一步，数据采集。通过预先布置在空间区域内的视象采集设备（Camera）将数据采集区域周围的自然环境色彩以及随机进入的盲人、路人的色彩通过有线数据传输实时传输至场控电脑主机。

第二步，数据分析。自然环境色彩及盲人、路人的色彩被接入编写好的色彩分析程序中，在存储器上经过预先编写的程序运算，实时得出色相、明度、饱和度等程序分析结果，接着通过色彩一情绪分析系统推演出实时输入的色彩块面的情绪区间并呈现在电脑端。

第三步，数据处理。一方面，在音乐/声音生成系统中根据前期对声音的风格化设计（印象派），将色彩数据映射为声音，并以平板电脑终端将实时声音数据通过无线传输至场控主机，另一方面，通过图形生成系统，将色彩数据转换为图形，同时将投影仪与电脑图像信号输出端通过HDMI线链接，并通过分屏器将图像信号同步投射到全息纱幕上，如此一来，实时色彩数据不仅生成空间声场，而且生成整合空间介质的图形内容，并实时呈现在体验者面前。

第四步，数据流动。有三种生成《盲人花园》的方式：实时转译自然环境、盲人、路人24小时的色彩数据。一天中每小时数据，可以选择某天。—月中每天数据，包括最高，最低和平均值。从而使输入的色彩数据时时刻刻闪动变化，形成数据的流动，保证现场体验者的实时互动体验效果。

（二）声音生成系统设计：在本项目中，如何让数据经过一种富有生机的算法被转换为多种音色的序列，制造一个听觉的城市色彩系统，是一个重要的议题。因此，在一体化工作流研究设计中，建立一套面向盲人群体的实时色彩数据转化生成为音乐的前期声音设计系统和音乐/声音生成系统是重要的环节。结合上一节总结的“印象派”声音映射理念，用音色、音响取代旋律、发展，注重声音的表现力和生动性，以及情感的表达。

混音器，《盲人花园》可以生成三种声音：一个由max/msp gen内部制造的序列器与合成器所生成的噪音风格，由外部音频和采样系统生成的弦乐合奏音色，包括断奏和连奏等各种演奏法，由外部音频和采样系统生成的马林巴音色。自然環境色彩数据包括每日和每时每刻，每日早晚温差（光线）用来控制音量。调试控制系统将自然环境色彩数据及盲人、路人的色彩数据所转换的原始音高再转换为各种调试，包括一个（中国风格）的五声调式。一个简单的节奏控制器，用来控制音乐生成的速度。测试过程中选择2020年5月16日当日小时的数据（图7），来触发一个弦乐合奏的音色。音高受色彩数据影响，音量受温差（光线）影响。马林巴的音高不是每个数据驱动一次，而是不断在前后两个数据之前游走，打破数据的表象连接，增强其诗意化。当路人的色彩数据趋向某个特定的饱和度值时，噪音系统会发出一个“挤压”来增加戏剧性。过去24小时数据被转换成钢琴音色与乐谱。当月每天色彩数据饱和度的最高，最低和平均值将分别自由的触发弦乐合奏的不同演奏法。实时转换的色彩数据具有流动性，会使该系统产生永不重复的演奏法组合。数据的转换混合了科学客观性和艺术化情感。

（三）沉浸式交互空间设计：沉浸式交互空间设计是《盲人花园》一体化工作流的最后一个核心环节，根据Kinect体感设备的精度范围、场地空间尺寸、投影尺寸范围和人的感知尺度最终确定了一个由一系列几何结构的夯架组成的9.9米9.9米的正方盒子半透明空间，空间立面采用全息投影纱幕，可在自然环境中呈现较理想的视觉效果。在空间场地的中央位置，移植两棵树，树高于空间外墙立面，这两棵树既可以作为行人停歇时依靠的支撑，也可以与周围的树木协调一致，这个设计体现了使交互空间融入大自然的初衷，而非简单的用格子驯服现实。出入口设计在立面斜角相对的角落，为的是给投影预留足够完整的画幅。空间投影采用4台工程投影仪，投影仪通过HDMl线和高清数字分配器连接电脑进行图像信息传输。图形是由传感器实时记录的自然环境、盲人、路人色彩数据存储为数据点，再由数据点转换生成的可视化几何图像投影回物理环境之中，触发视觉画面的同步变换，由此，《盲人花园》生成了，它的空间内部是色彩映射出的声音场域，外部成为可观看的数字景观（图8、9）。

结语

（一）数字景观的生成：《盲人花园》将时间光线中变幻的自然环境色彩映射为声音，声音为盲人提供感受自然景观与人文景观的可能性，这种感受是主体获取外界信息后与内在心理认知交叠而形成内在感知空间，是盲人在限定的物质空间中借助“身体图式”使得心理体验延伸而走向本真生活的过程。声音也为明眼人建构物理空间与数字空间的感知层叠，获得更丰富的心理认知提供途径。《盲人花园》利用深感摄像头捕捉自然景观与人文景观的色彩，通过数据编程处理触发同步变换生成图形，图形为明眼人建立了可视化的公共空间景观。

原研哉说过，人不仅仅是一个感官主义的接收器组合，也是一个敏感的记忆再生装置，《盲人花园》将某一场地的地理、气候、人文特质以及人的流动利用数据转译系统形成新的关于时间和空间的视听感觉刺激，它们将和人的再生记忆相互交织而成为一幅宏大图景，形成以人为中心的数字人文景观设计。它将给盲人及其他弱势群体如儿童、老年人和残障者等带来更多的人文关怀。

（二）“空间”再造：同时，《盲人花园》具备的交互性，让各种景观借由声音与图形传递出不同的信息，建构了数字空间连绵不断的表现性，实现了一种“空间”再造。例如，每一个进入花园的人由于自身的色彩进一步激发了声音的多重变奏，形成一种差异层次的混合听觉空间。交互生成的“空间”也会随着时间的推移，形成基于时空异质要素变化的流动“空间”。以2020年5月16日为例，每小时的色彩数据表征为不同的声音后，描述了自然现象和人们活动的不同场域，一天分别为节奏跳动的“白天剧场”、略微暗淡音色的“夜晚剧场”、流动、旋绕、活泼感的“人来人往”、节拍缓慢的“独自一人”、泛音铺陈的“无人环境”。“空间”的流动性抵抗了平面单一的“瞬间”空间体验，这一特性，是对诸多未能实现与使用者的互动、且难以给人带来变动愉悦乐趣的传统景观空间的背离，它为推动一种新的链接自然、人与数据的开放公共空间的创造提供了新的视角与可能性。