增强现实技术融合下的戏曲艺术探析

黄荣丽+张燕翔

摘 要：新兴媒介催生下的影像世界使得我国传统戏曲陷入困境之中，为了改变这一困境，近些年来传统戏曲也在不断融入新元素。然而，受多种因素制约，在其舞台呈现效果上始终存在着代入感、空间感、体验感等多方面的不足。增强现实技术作为一种新兴技术，能够很好地弥补传统戏曲舞台呈现的不足，并开拓出新的增长与发展空间。本文主要从舞台呈现，观众体验和经济、文化与社会效益三个方面探讨增强现实技术融入之下戏曲艺术呈现的新模式，希冀能够为新技术融入之下我国传统戏曲文化的发展与弘扬提供一定的参考。

关键词：增强现实；虚实融合；传统戏曲；戏曲舞台

0 引言

如今，人类已经进入了一个“影像爆炸”的时代，人们时刻被形式多样的影像所包围，已无暇顾及传统的舞台戏曲。[1]加上传统舞台戏曲演出成本过高、表现力不足等原因，逐渐陷入低潮之中，发展缓慢，生存空间越来越小。然而，传统戏曲不仅具有深厚的美学意义，而且还具有丰富的文化内涵，它是结合了多种艺术形式的表演艺术，具有独特的审美特征和艺术感染力。其作为非物质文化遗产的一种重要形态在电子媒介盛行的当下，显得十分寂寞。为了改变这种现状，近些年来以灯光技术、LED屏幕显示技术、3D全息投影技术为代表的很多新兴技术开始被应用于舞台呈现之上。例如，2013年3月3日晚间，在安徽大剧院正式定稿演出的我国首部3D全息黄梅戏舞台剧《牛郎织女》。[2]虽然这些技术极大地拓展了舞台空间和视觉呈现形式，弥补了传统舞台呈现的不足，但这些结合模式更多的只是在营造舞台环境，丰富视觉语言，缺乏互动性以及沉浸感。

增强现实技术（Augmented Reality，简称AR）是在虚拟现实基础上发展起来的一项新技术。[3]它具有虚实结合、实时交互与三维注册[4]等特征，能够实现虚拟世界信息与真实世界信息的交融。近年来，AR技术被不断应用于教育教学、广告宣传、展览演示等诸多行业，但在传统戏曲舞台的应用上却仍是空白。

本文作者项目组于2014年度得到国家科技支撑计划《戏曲舞台3D技术集成与应用示范》项目支持，致力于将增强现实等3D技术与传统舞台戏曲结合，以弥补现有戏曲舞台表现力的不足，开创出更多的可能性。将AR技术应用于戏曲舞台之中，能够打破现有条件和传统模式的束缚，为戏曲艺术表现带来更为显著的交互性、空间感、沉浸感等。二者的融合可以实现演员与虚拟影像中的物体及特效进行交互，给演员更多的表现空间，也给编剧、导演等创作人员提供了更宽阔的创作空间。同时，可以给观众带来身临其境的沉浸感，为戏曲开拓出一种全新的艺术呈现、审美体验与发展空间，丰富广大受众的精神文化生活，创造出更多的经济、文化与社会等效益。

1 增强现实技术与戏曲融合的探索

增强现实技术与戏曲舞台的结合，具体而言，是应用增强现实技术将虚拟的效果、环境及物体与真实演员进行互动式、沉浸式融合。运用增强现实技术，借助体感交互、图像识别、位置传感等技术跟踪及识别演员的位置、姿势与动作，包括演员使用的道具的位置、状态等，然后根据舞美设计与剧情发展的需要，针对故事场景及表演呈现的方式与需求，通过透明投影幕在舞台空间里进行虚实融合互动呈现，将虚拟影像与演员的道具动作在舞台上进行实时匹配且在互动表演的过程中无缝融合，以实现最佳舞台效果呈现，增强观众审美体验。增强现实与戏曲舞台的融合，包括立体视觉呈现的舞台虚拟环境与真实环境的融合、真人演员与虚拟演员同台表演、真人表演与虚拟道具、特效、背景互动、虚拟特效与真实道具互动匹配等效果。下面本文将根据其结合模式与效果从舞台呈现、观众体验及经济、文化与社会效益三个方面展开进一步探索。

1.1 舞台呈现

（1）突破现有条件限制，增强舞台呈现效果。戏曲舞台呈现过程中诸多场景、特效及相关元素无法采用实体形式进行展现或使用道具无法呈现出理想的效果，这其中以神话类题材最为突出，如黄梅戏《牛郎织女》中的鹊桥相会。传统舞台对于这一类神话型场景大多采用背景或道具來呈现，如表现仙界，即在背景投映仙界图片或一群表演者托举云型道具在舞台上或走动或静止，这些方式难以营造出神话意境效果，也不方便观众的理解。借助AR技术将可以打破此类物理环境因素的限制，它能够将传统手段难以呈现的形象直观立体且动态地呈献。通过传感器与图像识别等手段，真人演员能够与虚拟影像角色同台表演。例如，《牛郎织女》中，牛郎的扮演者可以与虚拟影像创造出的拟人化老牛同时出现在舞台之上，且能够与其交流、互动。同样，借助这些手段，演员可以实现与虚拟道具、虚拟特效和背景等的互动。《牛郎织女》中的仙女沐浴时能够在舞台上溅起水花，鹊桥的形态随着牛郎织女的步伐和动作实时变化；《天仙配》中的难香只需摇动羽扇即可焚烧；《长生殿》中背景随着杨贵妃魂魄的飘荡实时变化，诸如此类。二者的融合，以丰富多样的手段与形式带来全新的舞台呈现效果。

（2）基于动作捕捉的实时交互，拓展演员的表现空间。在传统的戏曲舞台表演及影像呈现模式中，影像与演员的关系在形成之初就已经被限定——演员处于被动的状态，只能根据既定的影像及表演编排时序交互特性在一遍遍的排练中去配合影像。这种形式虽然在一定程度上能够带来绚丽的视觉效果，但无疑局限了演员表演的艺术空间，多重条件约束之下也很难达成理想的效果。AR技术实时互动的特点使得增强现实很适合在虚实结合的舞台表演中充当与演员有着互动、存在触发等行为的虚拟角色、虚拟特效、虚拟道具或背景。借助AR技术，通过体感捕捉、图像识别与匹配等相关技术，对表演者的动作进行实时捕捉，根据其动作去匹配相应的虚拟效果，实现演员在表演过程中与虚拟影像效果实时互动且完美匹配。如图1，虚拟特效根据表演者的动作与其进行匹配，伴随着表演者动作的改变，在形态上进行实时调整，以适应表演者动作的变化，进而实现演员与特效的实时互动与无缝匹配。

图1 戏曲表演中的交互式3D特效视觉效果[5]

二者的融合使主我关系发生变更，从演员被动配合影像到影像实时互动地配合演员的动作，化被动为主动。最重要的是，演员不再需要去根据前期排演的影像记忆而做出相应的匹配动作，也不再需要根据想象去表演互动效果。虚实融合之下的表演者，能够真正地与虚拟影像进行互动，在保持原有艺术本体特质基本不变的前提下，拥有能够即兴发挥的艺术表现空间。演员能够根据剧场环境、观众反应等综合因素进行实时的调整，掌握了一定的主动权，通过虚实互动也增强了其作品的艺术感染力，给观众留下更为深刻的印象。

1.2 观众体验

（1）感知与思想的延伸。第一，感知体验的延伸。AR技术的多感知性特征对于用户的感知系统而言，更具亲和力。在视觉层次和立体空间的延伸与拓展之上，无疑再一次为我们“打开了通向感知和新型活动领域的大门”。[6]观众不再仅仅用眼睛去看、耳朵去听，而是在视觉感知与听觉感知得到极大丰富的基础之上，产生了建立在想象空间的触觉感知。在视听经验和“身临其境”的沉浸感中，触感欲望得以激发和调动。各种感官互通互动，造成通感领域，形成一个超越视听空间的“触觉联觉空间”。[7]正如德里达所言——既是理论的（视觉中心的）又是“触觉中心的”（haptocentrique）哲学与某种被文化标识了的“身体”经验有关。[8]增强现实技术下，我们的身体经验在视听的极大丰富中被建构和解构，推动了身体知觉的前进。[9]以视觉感知、听觉感知与建立在想象空间的触觉感知等多感知系统去欣赏戏曲，开拓出新的感官功能，延伸人体不同的感知体系。第二，思想意识的延伸。“一切技术都是肉体和神经系统增加力量和速度的延伸”。[10]按照麦克卢汉的说法，媒介不仅是人类感官的延伸，也是神经系统即意识的延伸。AR技术作为一种新兴媒介手段，在延伸了观众的感官之外，更因其开创出新的可能性，使观众对于戏曲舞台等诸多方面的呈现产生一种新的意识。正如互联网的诞生催生出人类的互联网思维，增强现实技术的融合也可能会产生类似于“互联网+”的“AR+”思维。眼前一亮，促使脑洞大开，不仅仅在戏曲上，也会在其他方面创造出新的可能性，产生新的认知，使外在感官和内在思想都得以延伸。第三，多重感官相互作用，升华感知体验。除了感官与意识的延伸外，视听信息在加工整合的过程之中，存在广泛的相互影响和交互作用。利用视觉和听觉信息在空间中定位物体，形成物体与自己之间距离远近的知觉，是人们日常生活中常见而重要的一种空间知觉能力。[11]剧场舞台环境中，乐器声、语音、歌声、数字化声音等多声源声音的并发，在立体声同步播放系统的作用下，加之声音在剧场声学设计环境中的折射与反射，形成3D立体音场。观众置身于视觉与听觉的3D环境中，视、听两种剧场环境中最为真实的感官相互作用，相互增强。虚实融合的互动过程，使得感知体验效果更为真实，从而进一步沉浸其中。彼此增强下，全新的视听享受让观众与舞台的心理距离得以缩短。

（2）被动想象走向主动沉浸。按照谢尔德·尚克（Theodore Shank）在《戏剧艺术的艺术》中的说法，“戏剧艺术家的目的就是利用任何和所有可能的资源将虚拟的行为呈现为直接可视和可听的‘在场经验”。[12]戏剧的全部价值在于能否有效地利用舞台资源来模拟在舞台之外的“真实”的世界，使观众和戏剧之间产生共鸣和移情。[12]空间的参与不仅停留在观演关系上，它同样存在于空间和表演的连接上。传统戏曲由于多重因素的限制，无法直观地呈现一些重要元素，需要演员与观众去想象，将表演建立在想象的基础之上。例如，京剧《武松打虎》中的“虎”，作为整出戏的核心元素，传统表演都是采用真人穿着特定服装的形式，是演员与观众共识之下，真人演员彼此之间的打斗。这种形式难以呈现人与虎打斗的精彩场面，营造不出故事该有的紧张感与壮观场面，难以触动观众的神经。观众需要将真人演员想象成真实的老虎，无论从动作、神情，还是整体状态上都具有相当大的难度，感官体验的不足导致观众容易丧失兴趣。运用AR技术创造出“老虎”的虚拟影像，实现真人演员武松与虚拟老虎打斗，呈现“真实”、立体的打斗过程。观众不仅可以看见人与虎打斗的动作，更可以看见老虎从最初的凶猛到奄奄一息直至最后死亡整个过程中的神态变化。观众有一种“在场”感，仿佛处在人与虎打斗的真实场景之中，往前迈几步就能触碰到老虎，而非根据两个演员的动作去被动地想象“真实”的状态。

AR技术以其深度沉浸感融合，以及剧场环境中3D立体音场对增强现实视觉效果的再促进，为观众带来了更为逼真的体验。将其应用于戏曲舞台呈现之中，与现有的技术融合促进，不仅能够增强空间感，更能够减少观众不必要的被动想象。让观众有一种置身于内的沉浸感，不再是被动的信息接收者，而是试图以体验者的身份去与虚拟物体进行交互，主体意识得以增强，娱乐性、趣味性、清晰度和代入感大大提升。

1.3 经济、文化与社会效益

（1）节省人力、物力、财力，提升经济效益。目前，传统演艺行业发展缓慢，市场程度不高，主要受制于演出生产成本过高，而演出生产成本中，舞美道具费用占据相当大的比例。每场演出都需要将大量设备与道具进行转移、搭建，演出过程中也需要大量的工作人员进行配合。繁杂的道具，有的是专门为某个演出定制，无法循环使用，通用类道具即使能循环使用也存在着损耗、淘汰等情况，這些都是目前摆在戏曲舞台艺术发展道路上不可忽视的阻碍问题。AR技术与传统戏曲舞台的融合，以数字信息取代传统的布艺、纸制、木制等背景与实物道具，将大大减少舞美道具成本，并且创新文化艺术的表现形式。简单的电子设备可以替代大量的实物道具，不存在一次性浪费及运输与使用过程中的磨损等问题。演出过程中也不再需要单纯安装与配置道具的工作人员，能够很大程度上节省人力、物力与财力。另外，将AR技术应用于传统戏曲之中可以提升戏曲文化产品的品质和活力，为观众带来全新的舞台视听享受，满足观众日益增长的审美需求，吸引更多的观众去感受，提升我国演出市场在国际上的竞争力，实现更大的经济效益。同时，带动演艺行业的科技进步，扩大文化消费，促进科技、文化与社会经济等的综合发展。

（2）内涵价值的直观传达，有利于传统文化的弘扬与继承。传统戏剧作为我国精神文化的瑰宝，在艺术欣赏及文化推广方面都有极高的价值。AR与传统戏曲的结合，将传统手段难以呈现的形象直观立体地展现，减少表演者与观众的视觉场景想象，不仅拓宽了表演者的表演空间，更有利于戏曲所蕴含的意境及价值意义的传达。虚实结合的创新体验、身临其境的沉浸感，给观众多重感官的冲击，能够让观众形成更为深刻的印象，促使价值理念传播更为透彻，也会提高人们对于传统戏曲的认知，加深对传统戏曲的理解与感悟。传统戏曲文化的传播力与影响力增加的同时，更可以改善当下社会传统戏曲遭遇的窘迫境遇，吸引新一代年轻观众的加入，以新鲜的血液、满腔的热情去研究、继承和发展我国的优秀传统文化。

（3）多重社会效益的可能性创造。科技与传统的结合，AR融入戏曲的舞台呈现，产品、模式、体系、思想等在此之上的融合延伸，“内爆”与“外爆”产生的多重效应，交互作用、相互影响，现有基础上的拓展以及可能性的全新创造，都会带来不可估量的社会综合效益。例如，AR技术与传统戏曲舞台成功的结合模式不仅可能会形成增强现实戏曲产业，衍生出众多周边产品，也会对其他行业产生辐射效应，促使更多行业去探索与AR技术的结合模式，这一切都还有待我们去发现与挖掘。

2 总结与思考

AR技术与传统戏曲舞台的融合，除了給以上几个方面带来的变革与影响之外，也会对其他领域产生一些影响，如对于传统戏曲的创作与审美方面。以编剧为例，AR与戏曲的结合，技术性因素得以突破，编剧可以根据AR的技术特征进行更自由的创作，开拓出新的创作模式与创作领域。在审美方面，全新的体验形式与多重感官的延伸会产生不同的审美需求，这就要求编剧、导演、演员等要充分考虑到观众的多重感官审美需求，尤其是触觉性审美这一新的领域，从多重感官的审美需求着手去开创戏曲舞台艺术呈现的新形式。要研究新模式下的观众心理美学，根据观众的感知、卷入与反馈等行为与心理因素进行调整、变更与创作。

然而，AR技术作为一种新兴技术，是多重价值的矛盾与统一体，自然也不可避免地会陷入“科技是把双刃剑”这一长期探讨的哲学话题。每一种艺术形式都具有其异于其他的独特之处，戏曲艺术自然也具有其固定的审美范式。一味地以新技术手段进行展示，如果把握不好尺度，可能会使戏曲本身蕴含的价值意义削弱或丧失。投入大量的资金、人力等却形成适得其反的效果，就违背了对其进行技术性融合的最初目的。此外，这种开拓对于那些没有运用或难以运用新兴技术的戏曲也会产生不小的冲击，可能会使其陷入更为窘困的状态。需要明确的是，新兴技术可能会对社会大众的思想观念产生冲击，如果不能够把握尺度，会产生诸多负面问题。例如，在舞台上虚实融合审美尺度的把握方面，不能一味地去追求绚丽的效果，而产生负面影响，要在道德和法律的基础之上，把握好度的衡量。

新的技术手段与基于此的思维开拓，易使人陷入盲目追求的状态。创作者和体验者等都可能会一味地去追求AR技术所带来的绚丽效果，而忽视了戏曲原有的价值内涵与审美取向。所以，作为技术手段的AR技术的运用要么必须建立在力求保持原有艺术本体特质基本不变的前提下，只是对其进行补充和拓展，并非本质上的改变，要么就创造出一种全新的增强现实式戏曲，与传统的戏曲艺术形式区别开来，形成特定的增强现实式艺术。

总的来说，技术只是手段，关键在于如何掌控。增强现实技术与传统戏曲舞台的融合如何趋利避害，发挥最大的效益，还有待继续探索。

参考文献：

[1] 樊飞燕，韩顺法.新媒体时代舞台艺术的奇葩——多媒体戏剧[J].文化艺术研究，2009（5）：190.

[2] 皖澳合作首部3D全息黄梅戏“牛郎织女”定稿演出[EB/OL].中国新闻网.http：//www.chinanews.com/cul/2013

/03-03/4610766.shtml，2013-03-03.

[3] 李青，张辽东.基于增强现实的移动学习实证研究[J].中国电化教育，2013（01）：116.

[4] Azuma R，Baillot Y，Behringer R，et al.Recent advances in augmented reality[J] . Computer Graphics and Applications，IEEE，2001，21（6）：34.

[5] Zhang Yanxiang，Fangbemi Abassin Sourou . "Third-Person"Augmented Reality-Based Interactive Chinese Drama

[A] . 2015 IEEE International Conference on Culture and Computing[C]. 2015：44.

[6] 埃里克·麦克卢汉（加），弗兰克·秦格龙.麦克卢汉精粹[M].南京：南京大学出版社，2000：422.

[7] 董立人.新兴传播媒体与人的全面发展[J].世纪桥，2008（14）：152.

[8] 德里达.书写与差异·访谈代序[M].张宁，译.北京：三联书店，2001：18.

[9] 苏焘. 3D技术时代的媒介延伸与感官重构[J].新闻界，2011（4）：99.

[10] 马歇尔·麦克卢汉（加）.理解媒介：论人的延伸[M].北京：商务印书馆，2000：127.

[11] 周柳.视觉和听觉对三维运动信息的不同感受性[D].西南大学，2007：I.

[12] 孙冬，Man-Wah Luke Chan .论当代西方戏剧中的“在场”[J].外国文学研究，2010（05）：147.

[13] Laura U.Marks，郝敬班.《触摸——感觉理论和多感官媒体》序言（节选）[J].当代艺术与投资，2010（08）.