增强现实技术在舞蹈和戏剧中的应用

[美] Flavia Sparacino1, Christophcr Wren1, Glorianna Davcnpor1, Alcx Pcntlandl著 柳杨译

[摘要]介绍利用增强现实技术扩展舞蹈和戏剧的表现，借助实时的基于计算机视觉的身体跟踪和手势识别技术，以及Mcdia Actors软件，在舞蹈和戏剧中通过图像、视频、音乐、文本与演员共同表演，拓展传统表演空间与艺术形式。

[关键词]舞台表演；增强现实；互动式虚拟环境（IVE）；舞蹈空间；戏剧空间；建模技术

1引言

为表演者搭建的互动舞台，可以协调和同步表演者的手势、身体动作和语音，以及投影图像、图形、表现文字、音乐和声音。笔者已经开发了两种协作技术：一种是光学的，不受束缚的，能实时跟踪人体；另一种赋予数字媒体感知能力，表现能力和交流能力，类似于人类演员。

在舞蹈中，笔者进行了人体运动音乐和图形增强的研究。建立一种“舞蹈空间”（DanceSpace）：由舞者的动作生成音乐和图形的舞台，即一小组乐器附着在舞者的身体上，并产生与柔和的背景音乐作品一致的旋律配乐；同时，表演者将图像投影到一个大的背景屏幕上，用身体作为画笔。在这种情况下，计算机的角色可以看作一个“助理编舞”，该系统能够在演奏者使用他们的身体作为界而创建或排练一个片段时即兴创作配乐。当编舞者希望基于身体动作来创造舞蹈表演而不是遵循预选的乐谱时，这是一个很大的优势。

在剧院里，笔者做了手势、姿势和语音增强方面的研究。在即兴“戏剧空间”（TheaterSpace）中，笔者设定了一种情境，演员能把自己的想法以动画、文本的形式投射在舞台上，进而与自己的想法相互作用。在这种情况下，计算机的角色是通过使用感知和表达媒体，与真实演员合作进行表演。

在下面的章节中，笔者将描述互动式虚拟环境（Interactive Virtual Environment，IVE）舞台，利用实时光学人体跟踪系统和Media Actors软件架构，提供舞蹈空间和即兴剧场空间的艺术和技术细节。

2 IVE舞台技术

互动式虚拟环境舞台是一个大约4.6 m×5.2 m的房间，要求良好且恒定的光照，还有固定的背景：大型投影屏幕占据房间的一侧，安装在屏幕顶部的向F指向的广角摄像机容许IVE系统跟踪表演者，如图1所示。通过使用实时计算机视觉技术（Wren，1997：Darrell，1996：Oliver，1997），能够解释表演者的姿势、手势、身份和动作。显示屏上方安装有相控阵列传声器，用于拾音和语音处理。安装在旋转云台上的窄角摄像机也可用于精细视觉感应。一台或多台计算机用于实时监控输入設备。

IVE没有额外的学习成本，表演者不必花费时间适应、清洁设备或解开导线。IVE是为了更通用的目的而建立的，使得人们不用头戴式显示器、手套或其他装备，就能参与沉浸式的互动体验和表演（Wren，1996；Darrell， 1994）。通过摄像头和传声器遥感，人们可以自然而然地与大型投影屏上显示的素材进行互动。IVE目前只支持该空间中一名表演者以及多名观演者，笔者正在扩展跟踪技术，以支持多名表演者同时表演。

3实时计算机视觉输入系统

实时计算机视觉程序被称为Pfinder，即“人物发现者”（Wren，1997）。Pfinder是一种对单个表演者运动进行身体跟踪和解释的系统。该系统只使用指向舞台的广角摄像头，以及一台标准Silicon GJraphics 02计算机；采用颜色和形状的多类统计模型，将人从背景中分割出来，然后在各种视角下查找和跟踪人的身体部位。它采用“最大后验”概率的方法，使用简单的二维模型来对人体进行检测和跟踪。

Pfinder先建立场景模型，首先研究没有人的场景。当一个人进入时，场景中会看到一个巨大的变化，意味着Pfinder开始构建该人的模型，随着时间的推移，建立起一个像动态的“多团块（ multi-blob）”一样的结构。建模过程由人身体上的颜色分布所驱动，那些团块则代表着不同颜色的区域（见图2）。人体的头、脚、衬衫、裤子都会生成单独的团块。构建团块模型的过程由二维轮廓形状分析引导，该轮廓形状分析可以识别可靠标记身体部位的轮廓。

计算机视觉系统由几层组成。最低层使用自适应模型，将用户从背景中分割出来，使系统无需使用色键和特殊服装即可跟踪用户，同时识别用户轮廓内的色彩分段。这使系统能够跟踪重要的特征（手），即使这些特征不能从图形背景分割中辨别出来。这个附加的信息使得推导用户的一般三维结构成为可能，在下一层产生更好的手势跟踪，使用分割和团块分类的信息来识别有趣的特征：边界框、头、手、脚和矩心。最高层使用这些特征，结合人体的知识来检测重要的手势和动作。如果Pfinder被给定相机模型，它通过反投二维图像信息，利用假设平面用户垂直于平面地板，生成一个预估的三维位置。Pfinder可提供并行服务，为几个客户端提供数据，客户端可以连接和分离，而不会影响视觉程序。

4舞蹈空间

舞蹈空间（DanceSpace）是一个互动舞台，充分利用Pfinder的能力实时追踪舞者的动作。舞者身体的不同部位（手、头、脚、躯干）可以映射到构成虚拟身体的不同乐器，即驱动键盘。此外，计算机可以识别手和身体的姿势，用以触发音乐的节奏或旋律变化，并从计算机视频评估中生成绘制图像。

计算机生成的音乐由一个质地丰富的旋律基调组成，演奏期间在后台播放。当舞者进入空间时，一些虚拟乐器被无形地贴在其身上。然后，舞者用身体动作在背景轨迹上产生一个即兴创作的主题。在DanceSpace的当前版本中，舞者右手拿着大提琴，左手拿着电颤琴，脚上挂着铃铛和鼓。舞者的头类似于音量旋钮的作用，在接近地面时声音就会缩小。从舞者的手到地而的距离被映射到附在手上的乐器演奏的音符的音高。因此，当手在表演者的头上时，会弹奏更高的音符，而当手靠近腰时则会弹奏更低的音符。双手乐器以连续模式演奏（即从低音到高音，演奏者必须演奏其中的所有音符）。铃铛和鼓相反，是由脚部动作触发的一种乐器。双手的更具体的手势或手脚的组合可以在氛围音乐中产生旋律或节奏变化。舞者在整个演出过程中都可以将音乐“调”到自己的味道。生成的音乐在不同的交互式空间执行者之间差别很大。

随着舞者的移动，她的身体在构成表演空间的一侧的大屏幕上留下五彩的轨迹（如图3所示）。轨迹的颜色可以选择性地映射到舞台上舞者的位置，或更多“富有表现力”的运动线索如速度。图形是通过绘图生成的两个贝寨尔曲线来抽象地表现舞者的身体，第一条通过坐标绘制的曲线代表表演者的左脚、头部和右脚，第二条曲线代表她的左手、身体的中心和右手。小三维球体也被绘制到图形上映射表演者的手、脚、头和身体中心。以此作为舞者的参考，突出了屏幕上身体的风格化表现。多彩多姿的拖线代表舞蹈演员在演出中跟随她的虚影（图3）。

5Media Actors

在本节中，介绍创作互动表演新媒体建模技术：Media Actors。MediaActors包括：图片、视频、声音、语音、文字对象，它能够以可信的、富于美感的、具有表现力的和有趣的方式对运动和姿势做出反应。

Meclia Actors由三层组成：

（1）内容，它可以是文本、图片、视频、声音、语音、图形；

（2）感知层，负责“理解”，并解释表演者的姿势和运动；

（3）舞蹈组件，其选择在给定的语境下最合适的表达行为。该舞蹈组件负责合成演员的自主行为。

Media Actors的架构中（见图4），内容和内容的编排之间没有分离。Media Actors的舞蹈组件根据与演奏者的交互语境指定其行为。与提前设定r序列动作的脚本动画不同，提供了一个动作树，它由数字演员的内部动作或者演员的外部动作或者两者共同来驱动。因此，人与数字演员之间的相互作用的模型包含的可能性几乎是无限的树，而不是连续动作的线性序列。

6即兴戏剧空间

即兴戏剧空间（Theater Space）提供了在体现人类演员和媒体产生的演员与公众之问的互动，表演者利用IVE系统和MediaActor合力完成表演的编排。

笔者设想了一个戏剧场景，在这个场景中，可以看到一个人类演员与他自己的想法互动，而这一想法以动画的表现文本形式投射到大屏幕上。笔者将文本模仿为另一个演员，它能够理解和同步人类演员动作，文本、语调和手势。在一连串短剧中，笔者展示了一位女演员在审问自己的过程中做出重要决定。Media Actor以表現文本的投影形式扮演她的“自我改变”，并引导她做出最终决定。文本演员具有感应能力：可以跟随舞台上的用户，感应一套基本的手势，理解简单的单词和句子。其表现能力包括：通过排字行为显示基本情绪，如快乐、伤心、愤怒或兴奋。

7结论

笔者通过建立一个互动性舞台，容许将投影的图像与演者的手势、身体运行和语音进行协调和同步。建立这一过程为，首先构建IVE舞台，该舞台提供一个空间进行表演：然后通过计算机视觉技术对舞者的行为、动作和手势进行跟踪识别，利用Media Actor软件构建即兴戏剧空间，合力完成表演的编排。