基于Leap Motion的中国古琴声画结合交互设计研究

○陈 童 王 妍 赵 琦

一、中国古琴声画结合交互设计的现实需求与文化意义

中国传统艺术中，音乐艺术与绘画艺术有非常密切的联系。绘画传神，音乐传情，音乐艺术与绘画艺术在感官刺激与意象生成方面是相通的。正如《高山流水》中讲到的“意在高山、意在流水”，表达了古琴音乐与山水意象的相互转化。①在国外的艺术研究中也有类似的观念，例如法国新作曲家德彪西提出用音乐色彩表现景物的明暗、层次、色调、强弱等感官效果，同样体现了“乐中有画”的艺术内涵。

在我国传统文化的发展历程中，声画结合的艺术传播形式有着强烈的现实需求。在全球化文化艺术发展的需求下，数字时代，数字化表达与传播成为文化传播的主要方式。2011年党的十七届六中全会在《中共中央关于深化文化体制改革推动社会主义文化大发展大繁荣若干重大问题的决定》中提出了“实施文化走出去工程”。建设社会主义文化强国的宏伟目标，明确指出要“开展多渠道多形式多层次对外文化交流，广泛参与世界文明对话，促进文化相互借鉴，增强中华文化在世界上的感召力和影响力”。同时在非物质文化遗产保护方面目前正在向数字化保护的方向发展，2012年5月17日，由科技部、中宣部、财政部、文化部等12个单位组成的国家文化科技创新工程联席会议，会议通过了《文化科技创新工程纲要》，在纲要中列出了一系列与科技相关的“重点工程”，旨在将非物质文化遗产利用数字化技术的方式来加以保护。声画结合艺术作为传统艺术的代表，其数字化是“文化走出去”工程的一部分，也是我国非物质文化遗产数字化保护的方式之一。

对中国古琴声画结合交互设计的研究，有利于探讨古琴音乐艺术与山水画艺术的关系，是对我国传统艺术理论的深化。声画交互设计通过输入不同节奏、音调、旋律的声音信号驱动三维山水场景的转换，是对传统艺术精神的数字化创新方法的探索。同时，文化的认知是通过感知来获取的。梅洛·庞蒂曾说：“世界就是我所感知的那个东西。”沉浸式的声画体验可以使我们更好地感知文化。②通过艺术体验获得文化感知，是对艺术审美体验理论的深化。在互联网技术高度发展的今天，世界正向全球化的趋势发展。全球化导致本土文化的缺失。“80后”、“90后”在全球化背景下成长，是传统文化认知缺失的主要群体。通过基于交互技术的中国古琴声画交互设计，把声画结合的艺术特征直观地表现出来，使不同文化教育背景下的青少年群体能够更好地认知中国传统艺术的独特风格，为中国文化的认知提供了新方式；也对我国传统文化的发扬与传播提供了新方式。

二、古琴音乐与山水画艺术语言的交互性

康定斯基在《艺术的精神》中对音乐与绘画的语言交互性做了阐述，他认为音乐是以音响方式表达艺术者心灵，是一种抽象的意象，而不是对自然现象的复制。因此画家要表达内心生活，就会将音乐方法用于绘画艺术，于是产生了绘画的旋律、数学的抽象结构、色彩的复调。③绘画、音乐传递的情感信息都由意象派生而来，以“象”造音，以音画“形”。绘画采用色彩、线条、光线等抽象形式来表现画家的内在感情，这种抽象的艺术语言表达方式与音乐语言的表达特点相契合。

1.古琴音乐的时间与山水画的空间

古琴音乐的时间流动是内心构造“音型”的过程。古琴表达的空间并不能被视觉直接感受，而是不确定的、在时间中流动的“虚像”，随声赋形。古琴音乐在时间的表达方式上有着独特的空间意识，即“远”。通过音律营造“远”的意境。与山水画中的笔墨行迹展示“远”的空间感相比，琴乐是以节奏与音律唤起“远”的意蕴。古琴弹奏中的琴音有虚实声韵之分。声为实音，韵为虚音。古琴在弹奏过程中，以揉、吟、绰、捻、按、拨等“笔法”与轻重缓急的力度表达时间。古琴按琴弦犹如山水画中的提笔，其笔锋与旋律类似，延长的按弹音可以营造意境，而意境的营造是音乐的时间性表达转化为空间性表达的过程。

山水画空间以自然空间作为构造基础，凭借自然空间的审美经验，构造山水意象空间。从空间意识角度来说，山水画中的空间意识实质上是视线的流动。或由远及近，或由高转深，趋向于一种节奏化的行为。而正是由于高低起伏、阴阳明暗的空间才构成这种节奏化。从创作方式来说，与西方绘画光影烘托与几何透视的方式不同，山水画的创作以散点透视为核心，以抽象的笔墨方式创造一种流畅的“以气而势”的音乐性，造型于抽象与具象之间，由时间表达空间的时空合一的艺术空间，其空间表达特点具有节奏化、时间化。

音乐是非具象化的存在，音乐要素没有实体材料，没有具象形体，其组合创造的是虚幻的时间，因此我们可以说音乐思维具有抽象性。山水画的创作思维则趋于平面化,主要表现精神内涵，而不以追求具象为目标，这种形而上的抽象思维也是古琴音乐与山水画共同的思维特征。

2.古琴音乐的旋律与山水画的线条

古琴琴曲以音高曲调为单位，将旋律单调单线化，从而勾勒“时间的线条”，使音乐线性化地呈现。旋律是琴曲的线条元素，这种“线条”不能表达具象，但以声调、音色、弹奏的方式来勾勒情感曲线。在作曲方面，古琴琴曲的谱写一般以单线的形式游动绵延，重视心理的流动，曲谱的旋律谱写遵循一定规律，即上一句的末音与下一句的首音是同度，或者高八度（低八度）。这种手法被形象地描述为“鱼咬尾”。在《春江花月夜》中此规律贯穿整曲，逻辑严密，各曲句间承前启后，颇有韵律诗的押韵手法，因而说乐中有诗，诗中有画是再确切不过了。规律性的谱写方式给作品以诗文的韵律感，体现了古人向往自由的平和内心世界。④谱写的婉转起伏，仿佛山水画笔墨的断续，线条勾勒的留白，在琴曲中则表现为婉若游龙的软线条，欲断还连。

自山水画问世以来，线条作为最基本的造型手段收自然万象,以形而上的方式表现物象与意象，营建心灵审美图式，线条在山水画艺术中有着无可替代的地位。在山水画中,山体的来龙去脉、奇石的皴法用笔、以及树的苍劲高低到水的流向曲折，都是以变化的线条来表现的，线条的变化构成了画面的流动感，艺术表现特点符合音乐的旋律性。同时，线条的旋律性变化也体现在粗细长短、浓淡虚实、枯润干湿等方面。传统山水画善于利用线条的变化表现不同的心理感受，例如稳重庄严以直线条的平稳变化呈现，轻盈活力以曲线条的舒展变化呈现，宏伟的心理则以粗线条勾勒等等。线条的变化营造的心理感受使得线条具有了旋律性。

由此可见，绘画的线条与音乐旋律在情感传达的表达上是交融贯通的，两种艺术种类的语言交融性超越了形式，构造相通的情感表达模式。

3.古琴音乐的意蕴与山水画的气韵

从古至今，艺术家通常把“韵”视为创作追求的最高境界。在艺术领域，南朝就有关于“韵”的研究：“气韵”的绘画六法等，“韵”不但是一种艺术境界，更是一种超凡脱俗的态度。“韵”本身就是具有音乐属性的情感，其音乐美是直观感觉的综合性，诉诸于人的内心，以声音触动精神，是节律美与精神美的统一，体现艺术主体与情感的交融。绘画艺术中将“韵”定义为“气韵”，音乐艺术中“韵”表现为“意蕴”。

古琴音乐的山水气韵所表现“乐中有画,画中有乐”，使音乐与绘画得到了融会贯通，它所展现的山水气韵不仅仅是“曲尽其态”的表述，更是“曲尽其情”的升华，它是艺术家主观情感的表达，是自然之气与主体之气的统一。

在传统山水画艺术中，气韵是传统山水画思想的基本范畴，是作品的生命体中神采的反映，也是绘画艺术生命精神的核心体现。气韵是作品本体生气与风采的流动，因而我们常说“气韵生动”。而“韵”本身也是艺术作品和谐节奏的概括，自身就潜伏着音乐感。

三、中国古琴声画结合交互设计的实现方法

中国古琴声画结合交互设计是以古琴音乐与其音乐情感相对应的春、夏、秋、冬的山水意象为内容，利用数字化手段将两者艺术相关性进行直观的表达，为传统艺术的数字化表达提供了新的方式。本交互设计首先是基于Leap motion手势的虚拟乐器交互平台；其次也是一种基于Unity3d平台的虚拟水墨意象创作方法，包括典型的春、夏、秋、冬四季的水墨意象；同时也是声画结合、虚拟古琴驱动的声画互动平台。本系统由Leap motion虚拟古琴模块、虚拟三维山水场景模块与声画交互模块三个模块构成。通过虚拟古琴输入声音信号，古琴音乐的节奏、韵律变化驱动虚拟三维水墨风格山水场景的变化，将抽象的音乐意象变成可视的山水画面，是一种画由乐驱动、乐由画表达的声画交互设计，具体的结构图以及流程图如下所示：

图1 交互设计的系统结构图

图2 交互设计的流程图

1.基于Unity3d的基础三维场景的搭建

在对古琴音乐旋律与意蕴、山水画的线条与气韵的充分分析的基础上，总结声画结合交互设计场景搭建的基本要素。场景采用全景式构图，场景从上到下依次为天空，层叠的山峰、林立的树石，湖泊，场景构图突出树下的古琴。远山湖泊以及云烟和植物为辅助构图，构图整体具有远近高低的层次感，表现整体的主次呼应关系。

主要场景元素包括天空、地形树木、水面以及古琴模型。三维场景中的天空采用天空盒方式构建。天空盒笼罩在整个场景之外，在渲染场景之前渲染。其中包括6个纹理并应用天空盒着色器，从而营造地平线上复杂天空的感觉。有关地形树木生成的算法主要有两类：一类是为了生成更加真实的地形的算法，另一类是为了优化渲染效率而设计的算法。一般使用基于高度图的方法，即提供一个保存地形高度数据的文件，通过读取高度图中的高度数据，即可绘制出对应的地形。但这种方法对处理大型地形场景以及具有镂空、怪石地貌的场景就无能为力了，这就需要基于Voxel的地形算法。Voxel翻译为体素。Voxel的思想不是采用多边形的方法来描述地形，而是用线性差值的办法生成自然连续的起伏地形。同时自带裁剪功能，它的复杂度只和需要的视野以及分辨率有关。基础三维场景中另一个重要元素就是水面的实时生成，目前对水面的建模包括3类，（1）基于几何模型的方法即由波型函数构造曲面来表示水面。（2）基于物理的方法，即求解Navier Stocks方程得到水面的具体形状。（3）基于谱的分析方法，利用海洋统计和经验模型通过大量正弦波的叠加来模拟水面。本交互设计通过正弦波叠加，同时利用2个凸凹纹理实现水面的动画效果，通过实时的纹理映射实现水面的反射、折射和菲涅尔等水面视觉特征。最后古琴模型采用3d建模软件制作，并结合手工绘制的漫反射贴图、法线贴图和高光贴图从而达到逼真的渲染效果。

2.基于节点可视化编辑的四季渲染方法

在Unity3d引擎中,所有的图形渲染必须通过着色器来进行。着色器就是一小段程序，它负责将输入的网格以指定的方式和贴图、颜色等组合起来输出到屏幕。Unity3d中包括3种类型的着色器：表面着色器、顶点和片段着色器和固定功能着色器。着色器一般采用ShaderLab语言编写的，同时需要配合外部的纹理、颜色以及参数设置来工作。

为了简化着色器的开发过程并增加艺术工作者的可访问性，本交互设计实现了基于节点的可视化着色器编辑工具。该工具定义的着色器由若干个节点组成，每个节点有对应的输入输出接口。并提供 Diffuse、Diffuse Power、Normal、Specular等19种不同的节点类型。通过序列化节点，并动态地调整节点的类型、输入、输出等参数来达到生成着色器的目的。这种方法将可视化设计着色器的手段提高到了崭新的高度，提供了自由灵活的、基于直觉的方式来创建着色器。除了提供可视的、直观的界面及操作方式之外，还具有卓越的性能优势，包括实时的着色器预览、基于能量守恒的光照模型、基于图像的光照模型、顶点动画以及DX11的细分曲面技术和置换技术等。基于节点的、可视的着色器编辑器不仅仅方便了艺术家的艺术创作，同时也提供了最新的技术性能，为声画结合的场景渲染提供了有力的工具支持。

3.基于Leap Motion手势识别的虚拟演奏

在虚拟乐器和虚拟演奏方面，激光竖琴是目前为止最为成功的虚拟乐器了。激光竖琴一般是指一架没有琴弦的竖琴，取而代之的是明亮的光束，使用者只需拨动光束，便如同拨动了琴弦，依然可以演奏一段旋律。由于在实现原理上的限制还无法表现双手和弦等复杂的演奏技法，所以在实用性上有很大的限制。而随着Leap Motion的推出，对人手识别的精确度又上升到了新的高度。通过在空间中精确地检测手型及运动，包括微小的指尖运动，从而可以精确地模拟弹奏动作。本系统主要包括手的检测模块、手势的定义模块以及场景模块组成：

（1）手的检测模块由单片机以及相应的摄像头组成。单片机通过内置的两个摄像头从不同角度捕捉的画面，重建出手掌在真实三维空间中的运动信息。检测的范围大约在传感器上方的25毫米到600毫米之间的倒四棱锥。可以检测在此范围的手掌的列表与信息、所有手指的列表与信息，手持工具的列表与信息。所包含的信息包括：旋转的轴向向量、旋转的角度、描述旋转的矩阵、缩放因子和平移向量。

（2）演奏的手势定义模块通过检测到手的信息之后，定义相关的演奏手势，古琴的手势定义根据古琴教育家顾梅羹教授的《琴学备要》作为参考。

（3）由乐器演奏实时驱动的场景没有更多的要求，只要定义相关的变换属性即可，系统的灵活性较高。

本系统对手的检测灵敏度非常高，可以实时检测到手指的微小动作；手势定义的算法具有非常好的鲁棒性，演奏手势的识别稳定、自然、流畅。

4.基于动态属性修改的声画交互

声画交互可以看作一种将听觉形象化的技术，其中所涉及到的实时渲染、自然效果仿真、计算复杂性等是计算机图形学及多媒体方面研究的热点。纵览目前已经实现的声画交互，其声画交互效果主要有波形图、色彩变换、烟雾特效等表现形式，画面较为单一，还没有具有完整主题的可视化效果出现。本交互设计实现了一个主题鲜明、与古琴音乐充分结合、具有四季交替山水画风格的可视化效果。表现为由Leap Motion识别的演奏手势驱动下，平滑、流畅地进行古琴演奏。其中虚拟场景的天空、山、树、水等在演奏古琴音乐频谱的驱动下，平滑地四季交替，构成一幅赏心悦目的图画。

本交互设计利用频谱可视化算法将古琴音乐的频谱的数值属性与山水场景的四季属性相关联，当弹奏虚拟古琴时，由于声音属性在不断变化，山水场景将进行相应的四季更替变化。为此首先需要实现的就是计算音乐的频谱，音乐的频谱是决定音色的要素之一，是指不同频率的谐波及泛音相对于基频（也就是音高）的强度。在Unity3d引擎中一般利用AudioSource的GetSpectrumData方法来计算音乐频谱，Get－SpectrumData方法的参数包括采样率、采用时间和采样方式。在此基础上形成本交互设计的声画交互系统，其中包括：

（1）声画交互管理模块：是声画交互的主要模块，用来管理音乐频谱的计算以及可视化的方式。具体管理的内容包括音乐的通道、窗口的尺寸、窗口的类型和音乐源。其中音乐源用来生成古琴音乐的可视化数据。

（2）数据组模块：用来封装可视化频谱数据，同时用来指定特定的频率范围，例如Bass、Mid和High频率。内部的属性包括数据组的名称、数据来源、子数据组的数量、频率范围起始和截至索引以及对频率的升压和消减方法。

（3）控制器模块：包括频率控制器、随机控制器和正弦波控制器。控制器主要用来控制属性的范围。

（4）修改器模块：用来利用音乐频谱的值修改指定元素的属性。其中包括：动画状态属性修改器、粒子发射器属性修改器、游戏对象属性修改器、灯光属性修改器、材质插值修改器、材质属性修改器和目标修改器。

（5）触发器模块：和控制器和修改器直接交互，通过音乐的频谱触发某种属性的改变。其中包括动画状态属性触发器、粒子发射器属性触发器、游戏对象属性触发器、灯光属性触发器、材质插值触发器、材质属性触发器和预制散播触发器。

图3 交互设计的效果示意图

四、中国古琴声画结合交互设计的传统文化认知分析

通过中国古琴声画结合交互设计的实现，有利于对中国传统文化的体验、传播与认知。首先，音乐作为精神文化，是这一族群所共有的音乐观念和音乐行为活动，是族群之间进行身份识别、认同的标志，同时也是族群内部成员之间维系情感的纽带。每个民族都有它自身的音乐文化传统,人们可以通过这样的密码对其身份进行认同和归属。其次，琴乐历来被称为“文人音乐”,山水画也被称之为“文人画”。无论是孔子提出的“操琴通乐”是君子修养的最高层次,还是古人将“琴棋书画”作为有君子修养的必备条件,古琴与文人、君子的象征关联非常牢固。⑥再次，无论是古琴音乐的风格、内容、象征，还是礼仪、教化、政治，在儒家思想的系统中，琴乐的社会功能属性实现了专属于该体系的文化认同的构建。古琴音乐的功能意义在于礼仪，而礼仪则有助于德性的培养，礼仪教化进步则有利于国家的治理。最后，道家思想对古琴音乐的认同观念在于音乐与自然之间的关系。因此，古琴音乐所蕴含的“天然”、“物我合一”、“无为”等要素表达了传统道家的文化诉求。

因此，实现基于Leap Motion的中国古琴声画结合的交互设计，通过基于虚拟现实设备与手势识别技术的古琴音乐的虚拟演奏，以及基于实时渲染与实时着色器生成的文人山水画三维场景的构建，真实而又生动地表现了中国传统音画的意蕴与气韵；通过声画结合的互动体验设计，利用虚拟演奏以及山水场景相应的实时变化，这一切提供了更具视觉震撼力的互动体验，强烈地传达了中国传统文化的审美情趣。同时声画结合的交互设计可以在有支持设备的互联网平台上运行，大大拓展了中国传统文化的传播方式和途径，对具有不同文化背景的外国人以及青少年群体体验、认知中国传统文化具有十分积极的作用。