石窟中交互音画舞蹈演出的音画实现

申佳君，李曼妮

（浙江音乐学院音乐工程系，浙江 杭州，310000）

龙游石窟坐落于浙江省龙游县城以北衢江北岸。它是一座大型地下洞室群，开凿年代可能是2000多年前的西汉时期。龙游石窟是中国古代最高水平的地下人工建筑群之一，集人文、艺术、工程技术于一体。

“2019龙游石窟国际音乐盛典”①在龙游石窟举办，在不同的石窟内呈现了风格各异的15场演出。其中，4号石窟以“声筑图腾”为主题，采用全息影像技术，让观众享受到特殊声场环境下的沉浸式演出体验。石窟作为一种特殊构造的物理空间，如何在传统演出模式的基础上，再结合影像和声音的互动演绎，探索新的视听体验。

笔者以龙游石窟4号洞交互音画舞蹈演出为例，探讨石窟作为演出场地的优势与困难，阐述音画设计的意象，分析在石窟空间物理特性基础上利用投影和互动技术实现音画与舞蹈表演的交互，为国内同类型场地数字演出设计提供一定的借鉴和启示。

1 石窟环境及舞台布局

“2019龙游石窟国际音乐盛典”的一场交互音画舞蹈演出地为龙游石窟的4号洞，面积约2000 ㎡，入口处是一个平台，右侧为陡峭石壁，左侧是盘壁而下的石阶，从窟口到窟底超过20 m，阶道长度在50 m以上；洞内有3根擎柱，呈三角形分布，其中体积最大的一根擎柱加装了钢架减振系统，如图1所示，为后续投影设备及扩声设备的安装提供了基础保障。窟底地势较为平坦，平坦的底部整体呈喇叭状，擎柱及其防护围栏低于整体底部20 cm，形成“凹”形。

图1 四号洞空间格局

石窟场地可容纳300位观众，每天下午和晚上进行两场演出。龙游石窟的特殊场地形态给演出的声场和投影系统的设计带来了一些限制因素。经过实地勘测、现场环境分析，综合演出需求，利用仿真软件设计出了声音和光影交互演绎的初步方案。场地整体布局及设备的摆位如图2所示。

图2 4号石窟的场地布局及设备摆位

2 扩声系统的设计

美国斯坦福计算机与声学研究中心（CCRMA）的创始人约翰·强宁（John Chowning）在翻阅了龙游石窟的一本相册专辑后，对石窟如何改变人的感官与声音之间的听觉关系产生了极大的兴趣，于是对石窟内部进行了数字声学测试。

2.1 影响扩声系统设计的因素

（1）4号石窟呈喇叭状，声源在洞底发声时，会产生号角效应，可以让声音传得更远，特别是号角方位声音投射得更集中、音量更大。同时，由于洞壁为石质且不规则，造成声音扩散不均匀，混响时间偏长，洞内测得的混响时间为RT60=4.6 s。因此，这是扩声系统设计时需要着重解决的问题。

（2）4号洞的昼夜温差在4°左右；同时，湿度大，白天天气晴朗时空气湿度在60%左右，夜晚湿度加深。这种对湿度和温度随昼夜交替而改变的现象，对投影及扩声设备的使用有一定影响，因此，这也是要考虑的问题。

（3）为防止扩声设备进场后因大功率播放声音，其特殊频段与石窟的固有频率形成共振，导致洞体坍塌引发安全事故。故在设备进场前，使用专业频谱分析设备及音频分析软件对石窟的共振频率进行测量和分析，得出结论：其共振频率为212 Hz和415 Hz，为扩声系统设计提供了精确的参考值，也为4号石窟的声学研究提供了确切的数据参考。

2.2 扩声系统架构

针对前期调研的结果及演出的实际情况、石窟管理方的要求，为保证观众听音时不会产生声音浑浊、染色、不平衡、声像定位不准确等声缺陷，可直观感受到来自正前方舞台的声音效果，利用哈斯效应原理，使用补声音箱，合理缩短声音到达观众的距离，让直达声先于石窟内部的反射声到达听众的耳朵，有效解决了长混响下清晰度不够问题，以及声音的特定频率扩撒不均匀等问题。扩声系统框架如图3所示，设备配置见表1。

表1 扩声系统设备配置

图3 扩声系统框架

对于扬声器系统的设计，场内设计并布置了7只（含1只舞台返听）扬声器，安装位置见图2。其中，Meyer Sound Up-4xp三分频扬声器4只，用于观众区左右两侧及前后声场补声；Clare Brothers KiT12两分频全频扬声器3只，用于立体声主扩及舞台返听。

通过对石窟声学环境的研究与数据分析，兼顾防范石窟建筑牢固程度可能引发的安全问题，结合观众区听音响度的需要，选用了上述两种可以满足功率及频响要求的扬声器。其中，Clare Brothers KiT12两分频全频扬声器为现场提供立体声扩声，分别放置在中央水池的两侧，与观众区地面高度差110 cm。4只Up-4xp为观众区提供补声，观众区呈倒转“7”字形，在观众左侧、右侧及前、后各布置了1只 Up-4xp用于补声。这种设计的主要作用是使声音到达观众的距离尽量缩短临界距离，使其以直达声为主，减少临界距离以外混响声的影响。这也是临界距离在扩声设计中的应用。观众可以获得清晰的音响效果。对于扩声系统的调控，使用苹果电脑上安装的Avid Protools HD12进行设置。根据参演的作品的表现内容和形式进行了声道设计，并结合场内扬声器的点位布置进行IO声道的设置，使观众欣赏清晰的、与观看画面吻合的音响效果。

3 投影系统的实施

3.1 空间环境对投影系统设计的影响

经过对场地空间环境的勘查及研究，发现以下问题对投影系统设计造成影响。

（1）非常规的空间限制了空间立面的延展。4号洞只有一面较完整的倾斜石壁可以作为投影区域，根据观看视角，让观众面朝倾斜的石壁落座；同时，观众区左右恰好分别为石窟出入口，便于观众入席路径体验。

下肢康复训练后期，患者需要接受主动训练来提高主动参与度并且进一步促进肌肉力量的恢复。因此，提出了基于模糊自适应阻抗的主动训练控制，通过检测人机交互作用力来判断患者的主动运动意图，基于人机交互作用力提出主动控制算法。在主动训练时，引入阻抗控制保证康复机器人与患者下肢的相容性，并且采用模糊自适应逻辑对阻抗参数实时调整。

（2）石窟顶部呈45º斜面从底部伸，墙壁、岩柱壁和顶板布满数厘米宽的条纹，每道条纹上规则地刻着与条纹垂直的刻线，构成了精美的图案，见图4。这样的表面纹理在演出投影时是需要避免的，因为它将干涉影像的色彩、形状。针对这个特殊的场地环境，为体现空间特色，专门设计了与表面纹理匹配的影像内容，让虚拟图像与现实空间交汇。

（3）在窟底中部有一矩形蓄水池，池的围栏顺应石窟地势呈左高右低的“凸”字形，高度差为40 cm，池底安装有照明灯具。但因池深较深，且灯光微弱，并不会过多映射到倾斜的窟顶，不会破坏投影所需要的暗空间环境要求。

3.2 投影系统的实施

场地条件和投影系统是实现演出作品呈现的重要因素。

对于投影系统的实施，采用的投影设备见表2，投影机的位置也根据测试效果进行了调整。为尽量使画面与舞台成为一体，而不是让观众的视线在两者之间有跳跃感，投影机的基座比设计方案有所降低，使其与地表的高度差小于0.5 m。设计方案中，为了有更佳的视觉效果，考虑用2台投影机，根据预算情况，其中1台采用16:9、分辨率1080P的高清投影机，用于播放从Mac导出的实时画面，效果基本满足。

图4 石窟岩壁刀痕

表2 投影设备方案

由于石窟自然环境所限，与常规项目不同，空间投影搭建确立后，开始进一步确定舞台、观众区、灯光的位置。舞台根据投影位置而被限定，舞台高1 m，左右宽度27 m，前后纵深为11 m～13 m，图2中标注的4 m×4 m是舞台Kinect②舞蹈捕捉空间。舞台距离内测水池边缘约3 m。观众区和舞台区域的高度基本持平。灯具的数量与类型也在这一阶段与舞台设计一并考虑。演出时光环境要求为：投影区域避免灯光直射，避免使用泛光照明，不需要补充照明。考虑节目的需求，仅需要面光，因此，选用了几台成像切割灯，以及一些用于工作环境照明的灯具。在实际演出过程中，灯光设计则要结合投影画面内容关联编程。

4 交互系统的构成及交互音画的呈现

4.1 交互系统的构成

作品影像的呈现投影及交互系统（图5）实现。交互系统及制作包含Kinect的动态捕捉、体感设备及MaxMsp编程开发，交互声音模块，交互角色动态模块，实时粒子系统，Mapping投影系统，电脑操控台，以及交互界面、iPad界面的设计等。使用过程中需要注意一点，要为交互舞蹈节目的影像程序调试留出充足时间。

图5 利用交互系统的制作

4.2 交互音画的呈现

在石窟这个特殊形态场地设计交互音画的呈现，关键是要构建出符合场地的音画内容的意象创作，这种意象表达需要关联现实空间，下面以4号石窟演出8个节目中唯一的交互音画舞蹈节目《活水·幻象》（见图6）为例来论述。

对于《活水·幻象》的互动音画的设计与创作，石窟幽僻，上千年以水为伴，虽已将水退去，呈现的是斑驳、冷峻的红色岩壁，但设计意向还是以“水”作为创作表现的核心，用“水”建构一个意象，让“水”的音画再次回到石窟中。

4.2.2 意象与现实空间的关联实现

要将这种意象在物理空间中以实存景象呈现，需要采用新技术的手段实现创意设计的意蕴。尼葛洛庞帝在《数字化生存》[1]中认为，声音、图像等媒体元素之间可以通过数字信息进行相互转换与融合。阿斯特科试图用“连接主义”取代“艺术”一词，所有涉及任何既定复杂性的电子通信系统与电子媒体艺术实践从概念上说都是远程通信的，连接性是它的核心[2]。交互技术为这种连接性提供了可能。该作品的创作分为两部分。

（1）电子音乐

电子音乐《活水》③的创作，整体发展具有一种逻辑性、流动感。利用The mangle、IL gross beat、Kontakt等软件，对采集的水滴声、水中气泡声、水流声等声音素材，做Delays、Flanger、Distortion、 EQ和Reverse等处理加工，以及音高、音值、音强和音色等参数的处理，将水声进行逐层的变形，但在变形后的每一个音色中仍保留水的一种特征，增强声音表达力。

（2）影像创作及与舞蹈的交互

《活水·幻象》整个演绎过程中，利用数字交互技术，结合具体场地的独特构造，探索创作契合环境的影像、声音，并呈现动态的“交互”，实现场地自然做功的效果。通过Kinect体感摄像机采集和交互系统感知并转换舞蹈者的体态表达，构造基于音乐的实时动态三维影像，并运用投影矫正技术将影像投射在表演者身体上，跟随其运动，形成影像与人体的交互；同时，根据影像加入声音设计，从而实现前期设计的意象。

演员表演时，运动生成的抽象图形与石窟岩壁表面的刀痕纹理融合在一起，形成一种天然仿古的视觉效果。生成的影像与空间“拼融”在一起，在石窟岩壁上的发展、变化、消失，将石窟转化为天然的视觉影像空间，这种虚拟影像延续了现实空间；同时，还解决了石窟表面纹理对影像干涉的潜在问题。

图6 《活水·幻象》的现场视觉效果

5 结语

4号洞的交互音画舞蹈演出，结合特殊形态场地的现场，构建交互演出的创意，利用交互技术使各种媒介连接为一体，动员起人体的各种感官，尤其听觉和视觉，虚实结合，通过影像和声音实现演出意蕴与特殊形态场地共生，产生一种沉浸在古老石窟时空环境中的感觉，让表演更加具有可感知的诗性智慧。

注释：

①2019龙游石窟国际音乐盛典是浙江省文化和旅游厅打造全省文旅融合IP的主要项目之一，它让音乐在古老的石窟内华丽变身，融入“一带一路”文化交流合作行动，深入沿线国家开展文旅推介，学术科研等交流合作。

②Kinect技术是微软在2010年6月14日对XBOX360体感周边外设正式发布的名字，它是一种3D体感摄影机，导入了即时动态捕捉、影像辨识等功能。该技术开发了动感系统和动作捕捉，计算机可以领会指令，执行动作，通过身体动作、语音口令就可以参与指令，开启了人机交互技术的新纪元。

③电子音乐《活水》作曲者是浙江音乐学院音工系大三学生侯九亨。