国画与民乐的视听觉通感实验研究

湛颖 高妍 谢凌云

[摘要]采用语义联想的方法，进行基于视听跨模态语义一致理论的国画一民乐的通感研究。经主观实验验证，该方法能在视听匹配中提升国画审美感知，在演艺科技行业的多媒体创作与视听融合方面有广阔的应用前景。

[关键词]国画;民乐;视听觉;通感;联想实验;多媒体

文章编号：10.3969/j.issn.1674-8239.2019.05.004

1引言

视听觉通感是多媒体创作中的一个基础课题，视听多媒体的语义和美感的一致是艺术作品的重要组成部分。为了探究观众对多媒体艺术的跨模态感知机制，需对大众的视听觉审美联想和通感进行深入分析。审美和文化背景有着密切的关联，所以，本文以中国传统文化中的国画为对象，研究其与民乐之间的通感关系。

该研究通过问卷调查、因子分析（factor cmcdysis）的实验心理学方法，获得5个国画主要美感因子及高频形容词汇，并将它们应用于64幅国画的审美评价。接着，进行国画画面到民乐美感的通感实验。根据实验结果，在民乐库中配对相应的乐曲，进行视听通感条件下美感增效的实验验证。结果表明，相对于单独欣赏国画而言，在国画与产生通感的民乐同时呈现的情况下，被试能获得更多的艺术美感。

2国画与民乐美感的视听觉共性

音乐和绘画是不同的艺术形式，根据李伟的研究，中国画独特的艺术形式、空间表达及审美意涵，与民乐有天然的内在联系。徐复观认为，“线实际上是对中国古典音乐的一种造型，使它表现为一种可视的东西”。中国文化艺术广泛包含“线”的概念，国画中工笔画以“线”作为主要艺术表达手段;民乐“吹拉弹打”中的管乐和拉弦音乐也是典型的线型音乐。

中国画的线造型在曲折的线条表达中具有类似建筑的飞动之美，在起、承、转、合的细节变化中，体现音乐般的节奏美。这种视觉艺术与听觉艺术之间的感知关联，就来自于通感。“当你使用几种声音或色彩的组合来作画或作曲时，有时候你会感到你的手指像被针扎似的微微作痛，有时会感到你的手指像在抚摩丝绸和天鹅绒，康定斯基认为，艺术创作者有时会产生不同的感觉通道的通感。

通感研究表明，感知上的跨模态一致性（cross-modol correspondences）是产生通感的前提。跨模态一致是由Chorles Spence于2011年提出的概念，目前得到广泛采用。视听跨模态一致是多年实证研究总结出的、人类对视听信号的一种感知特性，有研究认为，它是通感的一种神经基础。在以往研究中，跨模态一致有三种基本模型，即统计一致、结构一致和语义一致。其中，语义一致指视听觉信号的特征（identity）或含义（meaning）的匹配与否，本文的视听多通道感知实验也基于此概念進行。

本文将基于视听跨模态一致及国画与民乐的视听审美共性，面向国画、民乐的视听觉通感，使用实验心理学方法，探索国画的听觉联想问题。

3实验过程

3.1国画美感范畴获得

通过词频筛选、问卷调查和因子分析“方法，获得国画的五个美感因子。查阅《现代汉语词典》《美学辞典》等文献，综合获得每个因子释义和高频词集，见表1。

3.2国画美感评价

通过互联网搜索等渠道，收集筛选国画信号64幅，通过主观评测的方式对它们进行美感类别评价，评价标准为从表1中的“名称”栏里五者择一。把20名被试（其中女性11名，男性9名，平均年龄24岁）对每幅画的最多频次被选美感作为其主要美感，获得结果分布，见表2。

3.3国画的听觉通感

国画到民乐的通感实验，通过选择描述内容的方式进行。其中，用于描述联想内容的词汇及民乐美感因子见表3。表格通过与3.1节类似的实验方法获得，为民乐的美感主要因子和对应词汇。

联想实验全程在光照合适、隔音良好的室内完成，屏幕的色温、亮度等情况被调整为被试观看舒适、且适合呈现国画图片的程度。在实验过程中，所有国画信号在背景为纯黑色的屏幕上放映，显示器型号为DELL1504FP，屏幕分辨率1024×768，方向横向，画作以原长宽比尽量平铺适配整个屏幕。被试总人数12人，女性7人，男性5人，平均年龄24岁，年龄标准差1岁。

被试在观赏每一幅图片后，被要求联想一个音乐情景，然后在表格中选择适合描述该情景的形容词。每个信号的对应形容词表格，为表3中第三列（“词集”部分）所有形容词的一个随机乱序版。对于所有25个词汇，可选个数不限，但被试需对所选词汇进行合适度从高至低的排序。

3.4美感提升验证

依照联想实验的结果，从民乐数据库中查询符合联想结果的民乐，见表4。由被试进行单独欣赏国画的单通道，和国画、民乐同时呈现的双通道这两种情况下的美感强度评价。美感分值为1～9的整数，1为最低强度美感，9为最高强度美感，单双通道分别进行评分。

该部分实验参与人数13人，男性6人，女性7人，平均年龄24岁，年龄标准差1岁。实验在光照合适的室内完成，屏幕的色温、亮度等情况被调整为被试观看舒适、且适合呈现国画图片的程度。使用监听耳机AKG K240MKII播放民乐，校准到使人能听清声音细节、且听感舒适的程度。单通道实验中，所有国画信号在背景为纯黑色屏幕上放映，以原长宽比尽量平铺适配整个屏幕;双通道实验中，民乐同步于配对的国画呈现。

4实验结果

4.1语义关联分析

按照表2中国画美感分布类别，统计对应的高频联想词汇分布，照词频和排序优先度顺序列于表5。

从表5中所陈列的词汇，观察到所联想音乐语义与国画美感类的语义关联较密切。另外，国画所联想的音情境并非由单一的民乐美感组成。以气势为例，其所联想到的民乐就由深沉、激昂等复杂的美感等二级词汇组成。

4.2美感关联分析

依照表5中各类民乐美感形容词被选频率在五个民乐美感中的分布，统计国画美感与所联想民乐美感之关联，绘制国画一民乐语义联想拓扑图，见图1。观察发现，国画听觉语义联想结果与被联想内容有较强语义关联，“轻柔”和“深沉”美感的民乐在增强多通道美感方面，有比其他美感更广泛的适用性。

4.3美感增效

单双通道美感变化见图2。整体来看，所有美感都能得到10%以上增幅，证明本文方法在提升美感上有一定效果。另外，本文方法对越负向的美感越有美感增强效应。具体来说，萧瑟、清幽二者，在情绪上更偏向负向，也更容易在视听双通道匹配中得到美感增幅;本身更为积极正向的美感，如生机、雅致、气势三者，则相对来说不易在语义匹配的双通道感知中得到增强。

5总结

本文的研究基于视听觉通感，提出基于国画审美和语义联想的视听通感研究方法、美感提升方法。经过主观评测实验验证，该匹配方法相较于单通道国画视觉美感感知，可以实现一定程度美感增幅。通过语义联想的通感方法进行视听美感融合，可为多媒体创作提供一定参考。