因子分析法建构音乐“意象图式”的设计研究

朱文涛，殷俊

因子分析法建构音乐“意象图式”的设计研究

朱文涛，殷俊

（江南大学，江苏 无锡 214122）

研究因子分析法构建音乐“意象图式”的可行性，为提升视听沟通提供一种通用的设计方法。以Bossa Nova音乐视觉设计为例，通过设计调查，将音乐的听觉感受转换成语意描述和图像描述，提取其中的图式因子，再结合因子分析法构建这种音乐风格的视觉意象图式，最后通过设计不同倾向性的方案，验证其合理性。将因子分析法构建的意象图式应用到设计方案中，能够让人们在听音乐的情况下准确选择出视觉设计方案和音乐听觉的匹配程度。意象图式作为一种潜在的结构性认知，能够通过因子分析法准确构建；将因子分析法构建的意象图式应用到视听设计实践中，能够提升提设计过程中感官跨模转换的准确性和包容性，进而增强设计方案与群体感知的匹配程度。

因子分析；音乐视觉；意象图式；波萨诺瓦

随着新媒介的发展，多感官之间的交互转化日趋广泛[1]，早在2000年，意大利著名动态艺术团体The Group T的成员乔万尼·安切斯基（Giovanni Anceschi）就在米兰理工大学开展设计课程，研究如何激活跨感官形成认知优势[2]。然而，每个人的感知经验都不相同，如何面对更多受众形成跨感官的认知与传达？这可能也是一个通用设计的问题[3]。在2020年东京奥运会的开幕式上，爵士钢琴家上原广美展现了高超又有活力的音乐技艺，却有很多普通观众抱怨无法理解这种融合爵士乐（Jazz fusion），音乐家夸张的动作和妆容也没能让普通观众建立对音乐风格的理解与认同。这让我们想到风格独特的音乐是否也可以通过视觉意象让普通受众获得跨感官的认知。

“意象图式”（Image Schema）就是一种天然具备跨感官优势的研究工具，它其实是人们所有感官经验下对事物整体认知的一种分类框架[4]。而通过对某种感官“意象图式”的建构，有助于转为更广泛理解与传达的视觉形象。“意象图式”的概念最早可以追溯到康德所定义为“原发想象”（productive imagination）的规则[5]。美国认知哲学家马克·约翰逊(M.Johnson)在其专著《心智中的身体》中对“意象图式”概念进行详细解释，其关键在于人类感知过程的两个特征：反复出现的某种感性经验；经验之间具有内在结构[6]。这个术语在阿恩海姆(Rudolf Arnheim)的视觉思维中也经常使用。早在20世纪90年代，“意象图式”就作为一种研究工具被引入设计领域，探知交互界面中的感知行为[7]。音乐视觉化是跨感官设计中的研究重点，“意象图式”可以作为一种音乐转化视觉的辅助设计工具，不仅提供了训练感知表达能力的方法，而且能够不局限于视听的个体化表达，唤起更多受众视听感知的共鸣，推广应用到更多跨媒体设计领域。

“意象图式”的特点在于共同经验的抽象结果，这就需要更多样本与量化方法介入，才能合理进行建构。本文以一种新派爵士乐波萨诺瓦（Bossa Nova）为例，探索如何通过质性与量化结合的因子分析法建构音乐“意象图式”，并推演出相应视觉设计方案来检验其合理性。

1 音乐视听“意象图式”的研究思路

1.1 跨感官“意象图式”

在感受音乐过程中，人们普遍都会形成一系列跨感官的意象经验，例如人们对和谐音程的听觉经验的描述，可能是甜蜜、清新、平稳、微风等，这些“意象”描绘是个人化且丰富的。但“意象图式”反映的是意象的重复出现与抽象结构，当某些感受描述反复出现，且在视觉上有某种内在结构，比如甜蜜、朦胧与浪漫的描述反复出现，并形成合理的视觉组合关系，我们将其视为某种“意象图式”。

蒙德里安最后的作品《百老汇爵士乐》，色彩明亮，通过抽象线框和跃动色块，营造出摇摆不定、生机活泼、现代工业的感受[8]，塑造人们对于爵士乐在视觉认知上的共同经验，可以理解为早期爵士乐的“意象图式”。随着数字技术的发展，音乐转化为音频信息，随机与视觉建立映射，这又常常会缺乏音乐感知经验和情感的表达[9]。让音乐的视觉符合受众的集体经验与共同感受，并形成生动的核心语意，可能是打动人们情感的关键。

1.2 研究方法和对象

本文尝试采用因子分析法，更为准确地分析人们聆听音乐的意象经验。这是将信息重叠、复杂的变量归结为少数几个综合因子的一种统计分析方法。基本思路是通过对音乐感受语意和视觉的感性描述样本进行相关性的分析和计算，最终归纳为几个“意象因子”，通过“意象因子”构建某种音乐的意象图式。

本文以Bossa Nova音乐为例进行分析，有两个原因：其一，这种新派爵士乐独成一格，轻松柔和，有着独特的切分节奏，具有较高识别性，容易被听众归纳和划分；其二，这也是一种独特语意的拉丁音乐，有着南美文化背景，经常作为各种电影场景的配乐，能够让听众产生丰富的感官联想[10]。以其独特性为范例，可以进一步推导其他音乐风格的“意象图式”与设计应用。

1.3 实验思路与步骤

音乐“意象图式”研究采用实验方法，目的在于对音乐感受样本中的潜在“意象因子”（公因子）进行提取与分析，并通过设计应用加以验证。分为三个步骤（见图1）：

1）材料获取。让调查对象在感受音乐过程中，对音乐画面进行语意描述，在配乐电影中选择符合语意的图像。将采集的语意词汇和图像汇总后进行筛选，提取复现频率最高的词汇与图像作为因子分析的主要材料。

2）因子分析。根据词汇的语意差异和五级粒度量表，让调查对象依据音乐感受对筛选后词汇与图像进行匹配得到平均得分，再使用因子分析法对得分进行分析，提取潜在公因子，归纳图像和语意词汇，从而构建音乐的意象图式。

3）应用与验证。对某一歌曲信息内容进行分析，根据意象图式，呈现音乐信息的差异视觉方案，最后通过实验对方案进行对比评价，以此判断其意象图式的合理性与有效性。

图1 研究方法框架

2 音乐“意象图式”的建构

2.1 样本词汇和图像的筛选

对34名职业背景为视觉设计师、交互设计师、美术教师、音乐教师的对象进行访谈，他们均为长期欣赏音乐的爱好者。在访谈过程中，调查对象需要听3首波萨诺瓦风格的音乐，受访者根据音乐的听觉感受对意象中的画面进行描述，例如：“在一个夏天的傍晚，微风吹拂，两个人依偎在天台”，再以形容词的方式总结其中的视觉感受，从而获得音乐感受的语意词汇。

这些词汇属于个人对音乐的经验认知，音乐的感受除了个体经验外，更多来自共识的经验积累，人们往往在音画或视听作品中获得这样的经验。因而，让实验对象主要在10部Bossa Nova配乐的电影中截取合适自己语意描述的3幅画面，从而完成对音乐感受的视觉描述。最终一共获得音乐感受描述的102张图像和239个词汇，作为因子提取的来源。

由于获取的图像和词汇数量较多，内部缺乏一致性，需要对词汇和图像进行再次筛选。通过删除情节画面、相似形态画面、语意或风格明显异常样本，再对图像以随机的方式进行选择，得到具有相对一致性的21个图像样本集，如表1所示。参考频率从高到低选择具有相对一致性的11个关键词汇，分别为轻松的、浪漫的、朦胧的、象征的、柔软的、暧昧的、惬意的、优雅的、平和的、含蓄的、模糊的。

表1 图像样本集

Tab.1 Image sample set

2.2 词汇与图像关系的建立

在语汇提取和图像筛选之后，两者之间的关系结构被打乱，无法形成对应，所以需要进一步对语意与图像进行匹配，通过量化方式构建两者关系。首先，将关键词汇与其反义词汇形成对立词组：轻松的-紧张的、浪漫的-现实的、朦胧的-明晰的、象征的-自然的、柔软的-硬朗的、暧昧的-直白的、惬意的-痛苦的、优雅的-粗犷的、平和的-激烈的、含蓄的-奔放的、模糊的-醒目的[11]。

结合里克特量表[12]，将词组通过予以差异映射成规范的5级粒度量表，当数值越大，则图像越接近音乐视觉意象感受。例如“轻松-紧张”的5级粒度划分为非常紧张、紧张、一般、轻松、非常轻松，其对应的分数从1到5逐级递增[13]。

再次通过实验将词汇量表与图像样本进行匹配。实验对象根据音乐感受，使用11个词汇量表对21个图像进行评分，得到图像语意平均得分（见图2）。

为了确认数据有效合理，将对其进行检测。通过统计分析软件对得分数据进行信度（克隆巴赫信度）和效度检验（KMO和巴特利特效度）。通过检验，克隆巴赫系数为0.86，大于0.7，KMO取样适切性数为0.728，大于0.6，巴特利特球形检验的值小于0.05，说明数据适合进行一步分析[14-15]。

2.3 音乐意象的因子分析

虽然得到每个图像和语意程度的对应，但不同对象提供的图像与音乐感受存在偏差，而且每个图像和语意之间的关系结构仍然是零散的，因此，需要进一步量化分析，提取音乐、图像与语意之间相关性的公因子，对语意和图像进行分类和筛选。

根据样本的均值得分，通过主成分分析法计算其方差解释（见表2），将语意词汇归为三类。其中，三类的方差贡献率分别为40.78%、33.86%、16.15%，总方差贡献率为90.79%，说明第一类是音乐视觉感受主要影响因素，其次是第二类和第三类，分类对原始解释的信息损失较少[16]。

图2 图像的语意评分

表2 方差贡献率

Tab.2 Variance contribution rate

根据计算成分矩阵和图像的公因子得分，最终得到三种公因子对应的语意和图像（见表3）。第一种因子：语意描述为惬意的、轻松的、平和的、暧昧的，对应的图像是2、5、7；第二种因子：语意描述为含蓄的、朦胧的、模糊的、柔软的，对应图像是1、19；第三种因子语意描述为浪漫的、优雅的、象征的，对应图像是4、13。

通过对“公因子”的语意和图像进行直观分析，可以发现，第一类因子主要和视觉内容隐喻的情绪有关，可以归纳为“情绪意象”因子。第二类因子主要与视觉元素结构的清晰度和色彩的对比度有关，可以归纳为“形式意象”因子，第三类因子和画面整体风格类型有关，可以归纳为“类型意象”因子。Bossa Nova音乐的“意象图式”由这三种因子构成，各个语意在归类的情绪、形式和类型上对图像进行释义与描述。

经过分类后可以看的，语意描述仍较冗余，例如“惬意的”和“轻松的”语意相似，且属于同一意象的描述，所以将同一类型语意接近的语意词汇进行合并，最终得出7个代表性的语意词汇的描述：轻松的、平和的、暧昧的、朦胧的、柔软的、浪漫的、象征的。结合上述的分析，总结出相对直观和完整的波萨诺瓦音乐的视觉意象图式，如表5所示。

表3 旋转后的成分矩阵

Tab.3 Rotated component matrix

表4 因子得分

Tab.4 Factor score

表5 Bossa Nova音乐的意象图式

Tab.5 Image schema of Bossa Nova music

3 意象图式的应用与验证

3.1 音乐的“意象图式”到视觉方案

虽然得到了波萨诺瓦音乐的视觉“意象图式”，但图式是否合理及如何应用还需得到进一步论证。根据上文的分析结果，对《来自伊帕内玛的女孩》（The Girl from Ipanema, Single Version）这首歌曲进行视觉方案的设计创作。

这首歌创作于1962年，是Bossa Nova音乐的代表作，为三段曲式，有着典型的切分节奏与和声，配器包括木吉他、钢琴、萨克斯、贝斯、闭镲。音乐讲述的是在巴西依帕内玛海滩与一位女孩偶遇的故事[17]，提供了具体的视觉内容与叙事信息，视觉内容包括沙滩、海洋、女孩、男孩、太阳、吉他、萨克斯、音符、基督像、海岬、帆船等。音乐的前奏、主歌、间奏、副歌、尾奏分别对应相遇和幻想的叙事。根据Bossa Nova音乐的意象图式，结合音乐的三段曲式结构，创作三幅音乐感受的画面，作为视觉音乐方案1（见表5）。

“情绪意象”因子的语意描述为轻松的、平和的、暧昧的，对应的视觉图像有花絮、海滩和人物，分别是自然空间环境和人物关系的描述，暗示着所在的环境氛围引起人们的经验情绪。因而在音乐视觉的三个画面中，重点突出沙滩、海洋、海峡等环境内容，通过远景空间感营造平和的氛围，以自然环境中的身体隐喻轻松的感受，并以两性关系描绘暧昧情绪。

“形式意象”因子的语意描述为朦胧的、柔软的，对应图像为光晕与女性轮廓，构图较为松散，细节模糊处理，强调圆润曲线，质感柔和，色域较小，对比度不高。因而，三个视觉画面都降低了整体的清晰度、颜色饱和度、对比度，以暖色为主，弱化形象的内在细节，减少画面的结构框架，笔触柔软模糊，形象概括化处理。

“类型意象”因子的语意描述为浪漫的、象征的，对应图像为超现实的形象符号与优美的女性化表达。因而，三个视觉画面都注重女性气质表达，尽量减少形式内容的冲突与男性化的力量感，在第三个画面通过两性形象与萨克斯、耶稣像、音符等形态的自由组合，呈现各种象征的想象。

3.2 验证与评价

通过“意象图式”形成的音乐视觉化方案是否更符合人们的音乐感受？这需要进一步的验证。根据相同的音乐内容，以意象因子的反向操作设计另外三个不同视觉方案，作为对照检验，见表6。

在音乐视觉方案2中，因子2和因子3为反向处理，因而在形式处理十分硬朗，轮廓细节清晰，色彩对比度强，以自然主义的方式处理现实的人物和景物。

在音乐视觉方案3中，因子1和因子2为反向处理，因而在画面情绪上表达出紧张和激烈，在形式上也表现出尖锐和锋利，因子3是正向的，所以画面风格仍是具有想象力和女性倾向的。

在音乐视觉方案4中，三种因子都是反向处理，所以画面表现出紧张和激烈的情绪，对比强烈和硬朗的形式表达，消除画面中的想象空间和女性气质。

为了保证方案在跨感官条件下有效，将实验对象82人分为两组，每组41人，进行分组对照实验：第一组不听音乐选择图像与音乐标题的符合程度，第二组同时感受画面与音乐，根据直观感受选择方案与标题的匹配程度。

最终结果表明（见图3），第一组四个方案的符合程度是：方案2>方案3>方案4>方案1，在没有音乐感受的情况下，对象选择的倾向性不明显，方案1最不符合，而写实程度较高的方案2最受欢迎；第二组符合程度的顺序是：方案1>方案2>方案3>方案4，选择的符合程度倾向性明显，符合因子影响的比例，方案1的符合比例达到92.11%。

表6 音乐视觉方案

Tab.6 Music visual scheme

图3 音乐视觉方案评价结果

通过实验，验证了依据“意象因子”创作的方案1最符合人们对于音乐的感受，从而进一步验证“意象图式”和设计方法的合理与有效性。

4 结语

本文对波萨诺瓦音乐“意象图式”的建构仅仅是个案范例，目的是论证这种方法可以成为一种“通用性”的跨感官研究工具，为设计决策提供参考。通过本文的研究，基于因子分析法的音乐“意象图式”可以遵循以下方法路径进行构建：通过受众的转换听觉感受获取语意描述和图像描述；使用语意差异评价图像，建立数据关系；检验数据关系的信度和效度；使用因子分析法对语意进行降维并计算图像的因子得分；根据语意描述的维度和图像的因子得分，选择出具有代表性的词汇和图像。

本文将感性的感官认知进行量化分析作为设计思路的参考，旨在提升跨感官设计在情感传达上的有效性，从而激起更多受众的共鸣和认同，为拓展视觉设计方法提供了新思路。但是，研究还存在两个主要的不足：其一，音乐“意象图式”的构建方法比较烦琐，在实际的应用中会影响设计的效率；其二，方法研究选用的音乐类型是知觉特征明显的波萨诺瓦节奏型音乐，验证的歌曲是该类型的代表曲《来自伊帕内玛的女孩》，对“意象图式”构建具有明显的引导性，如果是针对知觉特征不明显的音乐，“意象图式”的构建可能会不准确，无法为设计师的决策提供参考。因此，音乐“意象图式”构建的便捷性、准确性和广泛性还值得进一步探讨，也是后续研究的方向。

[1] 金思雨, 覃京燕. 基于计算机图像风格迁移的音乐可视化智能设计研究[J]. 包装工程, 2020, 41(16): 193-198.

JIN Si-yu, QIN Jing-yan. Music Visualization Intelligent Design Based on Image Style Migration[J]. Packaging Engineering, 2020, 41(16): 193-198.

[2] ANCESCHI G, RICCÒ D. Research of Communication Design: A Synesthetic Approach[J]. Proceedings of the 《Design Plus Research》International Conference, 2000: 1-7.

[3] 姜莱, 于震, 王鹏飞, 等. 音频驱动跨模态视觉生成算法综述[J/OL]. 图学学报, 2022: 1-9. (2022-01-04). https://kns.cnki.net/kcms/detail/10.1034.T.20211231.1911.006.html.

JIANG Lai, YU Zhen, WANG Peng-fei, et al. Literature Survey on Audio Driven Cross-Modal Visual Generation Algorithms[J/OL]. Journal of Graphics, 2022: 1-9. (2022-01-04). https://kns.cnki.net/kcms/detail/10.1034. T.20211231.1911.006.html.

[4] 雷晓东. 概念流利与图式理论[J]. 山西师大学报(社会科学版), 2010, 37(S3): 150-152.

LEI Xiao-dong. Conceptual Fluency and Schema Theory[J]. Journal of Shanxi Normal University (Social Science Edition), 2010, 37(S3): 150-152.

[5] 徐永顺. 基于意象图式的多域异构数据可视化设计研究[D]. 无锡: 江南大学, 2019.

XU Yong-shun. Research on Visualization Design of Multi-Domain Heterogeneous Data Based on Image Schema[D]. Wuxi: Jiangnan University, 2019.

[6] JOHNSON M. The body in the mind: the bodily basis of meaning, imagination, and reason[M]. Chicago: University of Chicago Press, 1987

[7] HURTIENNE J, . Physical Gestures for Abstract Concepts: Inclusive Design with Primary Metaphors[J]. Interacting With Computers, 2010, 22(6): 475-484.

[8] 耿凌艳. 音乐可视化设计中的映射探究——以Thayer情绪模式与伊顿色彩理论的对应关系为例[J]. 装饰, 2017(7): 103-105.

GENG Ling-yan. Study on the Mapping of Musical Visualization: Illustrated by the Case of Thayer's Mood Model and Itten's Color Theory[J]. Art & Design, 2017(7): 103-105.

[9] 贾国军. 论蒙德里安油画的设计艺术[J]. 装饰, 2005(10): 89.

JIA Guo-jun. On the Design Art of Mondrian's Oil Paintings[J]. Art & Design, 2005(10): 89.

[10] 王天娇. 新派爵士乐波萨诺瓦(Bossa Nova)风格的创作特征研究[D]. 长春: 东北师范大学, 2016.

WANG Tian-jiao. The Characteristic Research of New Jazz Bossa Nova[D]. Changchun: Northeast Normal University, 2016.

[11] 汪玉金, 谢诚, 余蓓蓓, 等. 属性语义与图谱语义融合增强的零次学习图像识别[J]. 图学学报, 2021, 42(6): 899-907.

WANG Yu-jin, XIE Cheng, YU Bei-bei, et al. Attribute and Graph Semantic Reinforcement Based Zero-Shot Learning for Image Recognition[J]. Journal of Graphics, 2021, 42(6): 899-907.

[12] MUTHÉN B, KAPLAN D. A Comparison of some Methodologies for the Factor Analysis of Non-Normal Likert Variables[J]. British Journal of Mathematical and Statistical Psychology, 1985, 38(2): 171-189.

[13] 辜俊丽, 宋端树, 崔天琦, 等. 基于AHP与TRIZ的残障人轮椅设计[J]. 包装工程, 2019, 40(24): 187-193.

GU Jun-li, SONG Duan-shu, CUI Tian-qi, et al. Design of Wheelchair for the Disabled Based on AHP and TRIZ [J]. Packaging Engineering, 2019, 40(24): 187-193.

[14] KAISER H F. The Varimax Criterion for Analytic Rotation in Factor Analysis[J]. Psychometrika, 1958, 23(3): 187-200.

[15] 张芳兰, 刘龙吉, 姚宛彤. 面向关键用户需求的踝足矫形器定制化设计方法[J]. 图学学报, 2021, 42(5): 841-848.

ZHANG Fang-lan, LIU Long-ji, YAO Wan-tong. Customized Design Method of Ankle-Foot Orthosis Oriented to the Needs of Key Users[J]. Journal of Graphics, 2021, 42(5): 841-848.

[16] 甘翔, 高文华, 张瑞秋. 基于因子分析法的图标设计评价方法[J]. 图学学报, 2018, 39(4): 706-710.

GAN Xiang, GAO Wen-hua, ZHANG Rui-qiu. An Icon Design Evaluation Method Based on Factor Analysis Method[J]. Journal of Graphics, 2018, 39(4): 706-710.

[17] REILY S A. Tom Jobim and the Bossa Nova Era[J]. Popular Music, 1996, 15(1): 1-16.

Design and Research on the Construction of Music "Image Schema" by Factor Analysis

ZHU Wen-tao, YIN Jun

(Jiangnan University, Jiangsu Wuxi 214122, China)

The paper aims to study the feasibility of factor analysis to construct music "image schema", and provide a general design method for improving audio-visual communication. Bossa Nova's music visual design is taken as an example. With design interviews, the auditory sense of music is transformed into semantic description and image description. Schema factors are extracted, and then combined with factor analysis to construct the visual image schema of this musical style. Finally, different schemes are designed to verify the rationality of the image schema. As a potential structural cognition, the image schema can be accurately constructed by factor analysis. The application of the image schema constructed by factor analysis to the practice of audio-visual design can improve the accuracy and inclusiveness of sensory cross-mode conversion in the design process, thereby enhancing the matching degree between the design scheme and the perception of the group.

factor analysis; music visualization; image schema; Bossa Nova

TB472

A

1001-3563(2022)24-0159-08

10.19554/j.cnki.1001-3563.2022.24.018

2022–07–03

教育部人文社科青年基金项目《音乐视觉化：“艺术联觉”观念与设计方法谱系》（18YJC760157）

朱文涛（1980—），男，博士，副教授，主要研究方向为视觉设计的文化与观念史、新媒体环境下的视觉设计理论与方法。

责任编辑：马梦遥