数字化场域空间中虚拟化身设计要素分析

王晨，朱世范，邱信贤

1.哈尔滨工程大学，哈尔滨 150001；2.哈尔滨工业大学，哈尔滨150001

在社会学理论中，场域理论是关于人类行为及与其关联元素的一种描述。如果把“场域”拆开来看，其中“场”源于物理学概念，表示的是物质存在的一种形式，帮助人们理解物质间如何进行沟通、交流和相互作用；而“域”来自数学概念，代表了一个集合和定义在这个集合上的一系列操作。法国社会学家皮尔埃·布迪厄曾说：“我将一个场域定义为位置间客观关系的网络或一个形构，这些位置是经过客观限定的”，布迪厄认为人的每一个行为都受人所处的场域影响[1]，场域并非只能针对物理环境，也包括他人的行为和与此相连的许多因素，依赖形成的共识与制定的规则进行运作。因此，对于场域这一概念，可以总结为是一种人可以发生连接和相互影响的空间存在，而这个空间既可以是实体的也可以是虚拟的。它与游戏类似，人与物在规则下发生关联，出于场景设计（设计对象和建立在对象上的一系列操作）的需要，称这种以人的活动为核心，混合了现实与虚拟的空间形态为数字化场域空间。

虚拟化身是一种由人来扮演的数字化对象，在场域空间中，作为人的替身与数字化世界开展接触。虚拟化身是一种接口，也是一种角色形象，同时又在空间中发生。因此虚拟化身的设计离不开表演与体验、审美与感知、空间与交互。寻找涉及这些方面的虚拟替身设计要素，是进行设计实践的关键。同时，当前虚拟替身规模比较大，应用场景比较多，具备了比较好的案例分析条件和价值。文中主要从互动的角度出发，分析面向数字化互动环境，如何开展虚拟替身的设计工作。

一、场域与化身

自然场域包括光场、声场、重力场、磁场等，这些被设计师利用并将其设计应用于互动空间之中。人工场域主要是感知场或感知环境，无论混合现实还是在虚拟现实都由各种传感器组成。比如北京冬季奥运会场内的定位器，让冰雪特效在场地上奔跑的小舞者脚下绽放；TeamLab的《花舞森林与未来游乐园》中，地面的花朵会根据观者的动作和前进路线进行变化。数字化场域空间是一个泛指的概念，包括混合现实、展陈环境和公共艺术等所有涉及虚实混合的互动场景。在比较典型的MIT 媒体实验室《孩童之家（The Kids Room）》作品中，可以看到由多种感知器组成的人工场域里，参与游戏的人融合了多种角色身份，既是游客，也是体验者；既是用户，也是驱动数字对象的扮演者，或者参与故事情境的叙事者。而数字化身正是人们进入数字化场域的接口，用来引导人参与到空间中的交互事件，从而实现互动关系，生成场域空间。

化身不仅可以表现身体，还可以把对身体的意象通过数字化手段表现出来，是一种从知觉到意识的外显，也是身体意象到身体图式的转换。策展人史蒂夫·迪茨（Steve Dietz）对新媒体艺术的3个分类：“互动性（Interactivity）”“连接性（Connectivity）”“运算性（Computability）”，三者可以以任何方式组合[2]——这个论断也符合虚拟化身与所在的场域空间形态下的新媒体艺术特征。布迪厄认为场域也是游戏，而伽达默尔认为“游戏最突出的意义就是自我表现。”[3]而虚拟化身正是这种自我表现的媒介途径。

图1 数字人类别与图例

虚拟化身可以来自数字人（Digital humans）这一大的范畴，这个范畴还包括了虚拟人(Virtual humans)，数字替身（Digital doubles），还有一种就是深度伪造（Deepfakes）。数字人是一个比较广泛的概念，在外观上接近真实的人类，能够针对皮肤进行着色或有着高真实感的发质，在运动上有着精确的骨骼绑定和面部动画。正是因为数字人在这些方面与人类有高度逼真的表现，所以可以在视觉上拉近和用户的心理距离，并能带来更真实的情感交流。虚拟人是一种数字人，这2 个概念可以交替使用，但虚拟人的虚拟意思是对人物的身份而言，外表与职业都可以虚拟出来，比如虚拟主播、虚拟网红、数字助理、有影响力的IP 角色等，身份是虚拟出来的，可以认为是一种有工作的数字人。而反观数字人则是一个复杂、高端、昂贵的3D 资产。数字替身是一个真实人类的复制品，多是明星或名人。其目的不是创造一个随机的代理，或从头开始设计一个人，而是尽可能忠实地复制一个可识别的公众人物的外观和表情。从技术的实现上来讲，数字替身一般是用三维扫描的方式来创建的。比如数字化的奥巴马、纪录片飞向月球的张腾岳，游戏高尔夫大师巡回赛中的老虎伍兹和电影特效中的演员。文中要讨论的虚拟化身是在虚拟人和数字替身之间的一种类型，强调虚拟人的“角色”属性，在外观上可以拟人，主要是由用户来扮演或驱动的。要在场景里与内容互动，与他人互动，需要特定的空间与语境，因此认为虚拟化身更适合这一类虚拟角色的描述。

文中阐述的虚拟化身则多在沉浸环境、混合现实环境得以应用，在场域的概念下，从用户感知层面上进行设计。根据场域特点，将从“视角性（Perspective）”“具身性（Embodiment）”“在地性”（Localization）”这3个要素（简称为PEL）来分析如何进行虚拟化身的设计，提升用户参与度与体验感。

二、PEL设计要素分析

（一）PEL的提出

在虚拟化身的具体设计任务中，传统的设计与制作任务包括了对媒介的选择，涉及电影、电视、综艺、直播和互动装置等；对外观形象的设定涉及演员、歌手、主播和主持人等；对化身动作的采集涉及动作捕捉系统与体感设备等，以及对单向播报与双向互动的设计涉及视频与互动媒体等。目前，以传统的方式设计虚拟化身缺少设计方法与设计思路。爱德华·霍尔曾指出“在不同的距离上，感官能感知的信息是不同的，这将导致人们在互动中采取不同的行为”[4]。人们与媒介存在着距离，对视频来说，人们一般是远观，而互动场景则通常是近看，所以视域与行为存在着联系，影响着用户的行为，这一问题使设计团队在设计中提出并采用了“视角”的概念。同时，在实时互动场景中，为了便于研究，将数字化场域空间分为全沉浸场景与半沉浸场景。

全沉浸场景，即第一视角。例如头戴显示器等虚拟现实平台，互动设计需要考虑到用户体验的“临场”感，人是用习得的身体经验来驱动虚拟化身以获得“临场”感，这样在互动中的用户就显示出了“具身性”的心理特点，即用身体来建立和虚拟世界的联系。在全沉浸场景下，虚拟化身和用户同为一个身体，用户与化身之间没有距离，化身获得的反馈等同于身体获得的反馈。身体是直接的驱动器。

半沉浸场景，即第三视角。例如Teamlab 等混合现实环境互动平台，互动设计需要考虑虚实交织的“语境”如何影响用户感受所在现实空间，显示出了某种“在地性”，即场景会赋予作品以意义。在半沉浸场景里，虚拟化身不等同于身体，身体只是驱动化身，用户与化身之间有距离，因此作用于化身上的反馈，并不能作用于用户的身体上。这里的虚拟化身接近于牵线木偶，用户更像是操控，而身体是间接的驱动器。

基于此，针对全沉浸与半沉浸的数字化场域空间，提出了“视角性”“具身性”和“在地性”的设计理念，以此来完善虚拟化身的设计制作方法。

（二）虚拟化身“视角性”设计

虚拟化身的功能与应用定位需要基于对视角（Perspective）的选择，因此将虚拟化身分为两大类：“第一人称视角（First-person Perspective，简称FPP）”虚拟化身和“第三人称视角（Third-person Perspective，简称TPP）”虚拟化身。在互动中，用户以全知视角还是以限知视角看待虚拟化身在场景中的表现是一个关键的设计要素，在具身交互也有着进入“上手状态”和“在手状态”的区分。在全沉浸数字场域空间，第一视角增强了用户的临场感，虚拟化身与用户合二为一，交互界面被隐藏起来，虚拟化身作为交互工具使身体融入数字化空间之中，就像海德格尔所言“它（工具）并不构成我的对象，而是融入了活的‘事件’之中”[5]，身体更能直接与空间中的对象建立联系，产生情绪的连接。人们可以从这些VR作品中进行考察：以FPP的方式——虚拟化身固定或可以进行有限移动，如VR短片《入侵（Invasion）》，《大圣归来》等；以TPP的方式——虚拟化身可以自由移动，如VR游戏《渔夫的故事（A Fisherman's Tale）》等。

第三人称视角是用户以客观视角去控制虚拟化身或观看虚拟化身，化身在概念上接近“代理（Agent）”。用户对TPP 下的虚拟化身来说更像是一位旁观者，以全知的视角去看待自己和周围环境，这种形式在游戏中很常见，玩家可以通过多种输入方式实现对游戏角色的控制，可以依赖道具（如任天堂的Wii或Switch游戏机）作为控制端，获得“间接”体感。梅洛庞蒂认为人结合成长中的视觉、听觉、触觉和各种感觉，在动觉与感知中建立起与世界的联系，类似格式塔的“完形”，在身心体验上建立起一种身体在世界上存在的方式，并将其视为“身体图式”[6]。从视角上进行虚拟化身的设计，也是身体图式建构的一种选择。自我知觉理论（Self-perception Theory）认为人们从第三视角观察自己的行为和外表进行自我知觉，推断自己的态度、情感和内部特征[7]。在实践中，这些也成为很多装置艺术家的追求——丹尼尔·罗津（Daniel Rozin）通过不同材质塑造身体镜像化身，以装置和雕塑来探寻和改变观众的视角，观众变成了他们所观赏的艺术作品的一部分，见图3。克里斯·米尔克（Chris Milk）设计的《圣域的背叛（The Treachery of Sanctuary）》将人的身影转化为飞鸟与羽翼，观众通过化身感受异体幻化之美，见图4。拉斐尔·洛扎诺-亨默（Rafael Lozano-Hemmer）的《正在扫描（Under Scan）》等作品，擅长在交互中转换观众的视角，混合投影与影子，在社交网络与相应的各种虚拟身份泛滥的时代，让人对自身在虚拟化身中的自我进行反思，见图5。

图3 丹尼尔·罗津以不同材质做成的身体镜像

图4 《圣域的背叛》

图5 《正在扫描》

（三）虚拟化身“具身性”设计

“具身”是心理学的一个研究领域，具身认知理论认为身体感受与心理意向之间有着强烈的联系，强调身体知觉具有主动性，身体是知觉与环境互动的媒介，身体是构成对环境理解的重要组成部分[8]。可以说认知是心理的也是身体的，就如同情感是心理的也是身体的一样[9]。而建构在具身观上的交互则关注把人作为一个具身化的角色，用日常生活中已经习得的方式在物理世界中进行交互、理解与学习。

保罗·多罗西（Paul Dourish）[10]的《行动在哪里：具身交互的基础》中把“具身”确立为人机交互的一个基础概念，形成了人机交互领域内具身交互研究的基础。《存在：遥控机械和虚拟环境》（Presence：Teleoperators and Virtual Environments）上发表的《Evaluating Control Schemes for the Third Arm of an Avatar》定义了虚拟用户控制的第三只手臂从胸部向外延伸的三种方法[11]。这是一个以FPP视角来完成的研究工作。只有在FPP中用户才能习得对新生成身体的适应与控制，更多以具身的心理认知去理解身体，使用身体以及“幻肢”或“义肢”和虚拟的物理世界进行交互。幻肢理论解决的则是身体性向他物延伸的问题，梅洛·庞蒂认为“幻肢并非客观因果关联衍生的事物，更非我思的意识活动。唯有当我们找寻到联通“心理状况”与“身体”“自为”与“自在”，并让其可以合并的方式把第三人行为与个体行为可以规整至其所共处的外部环境里，幻肢才可以让二者完全混合。”[12]

具身性设计原则在大型互动艺术装置中经常得以体现。如由兰登国际（Random International）的艺术组织创作的《雨屋》中得以体现。《雨屋》的创作团队利用3D 摄像头检测在场观众，用感应控制系统来控制雨水，让观众在雨中穿梭而不用担心淋雨。他们在雨中游走、停留与驻足欣赏这周围的环境。在这个过程中，他们自身也成为《雨屋》装置艺术的一部分，并且在参与展览的过程中身心得到了与平日雨季体验不一样的愉悦感受。因此，《雨屋》带给观众一个用身体去感知、用心灵去体会的艺术场域。该案例不仅为大众展现了艺术呈现与感知的多样性，还为当代公共艺术空间展陈的场域设计提供了十分有价值的参考[13]。在这个场域中，身体和雨的关系构成了图式，人的认知经验不断发生着同化和顺应。因此，从具身角度上来说，场景的意义可在多个层面产生，由用户来创建意义和传递意义。

（四）虚拟化身“在地性”设计

图6 《雨屋》

从身体图式的角度来看，在梅洛庞蒂的直觉现象学中，身体从来都不仅是一个生物客体或者对象，它同时也是一个文化主体或主体的某种文化意识。情境性和文化性是身体图式的2 个核心要素。罗伯特·莫里斯（Robert Morris）1966 年的文章《雕塑笔记之二（Notes on Sculpture：Part II）》通常被视为早期关于场域特性原则的一个关键表述：艺术作品要“脱离作品的关系，使之跟空间、光和观众的视域发生关系”[14]。艺术设计的在地性的讨论包括地点特殊性、文化身份策略和艺术自治等，根据作品涉及的范围可以分为地域（Localization）、地点（Site-specific），在空间尺度上有所划分。而唐·伊德（Don Ihde）在《技术中的身体》中认为身体具有微观知觉和文化的宏观知觉经验[15]。对于公共艺术来说，在地性就是“不可复制”“非此地不可”，离开这个地方、背景，这个作品也就毫无意义了。场域空间也是由物理空间、信息空间和虚拟空间三元空间整合而成。在地性设计来自建筑设计语境，强调建筑与环境要和谐统一于所在地域特征或者根植于当地文化土壤，用自己的语言体系对设计进行构建，避免产生趋同化的作品。西班牙建筑师罗伯特·特拉达斯（Robert Terradas）认为建筑与场所之间的关系直接反应在设计之上，建筑设计应该尊重原有的场所特点而展开。这里的建筑既是空间，也是公共艺术所发生的场所。

数字化装置中，在地性设计很好地体现在了“穿越百年，叩问初心——‘时光之镜’沉浸式互动体验”活动之中。2021年，该活动在上海渔阳里广场举行。活动邀请5位青年演员饰演5位先烈，通过“时光之镜”体验亭，与当今的观众“对话”，现场观众与百年前在上海就义的革命先烈以演员化身的形式进行互动——“我是陈延年，你可能没有听说过我。我有一个有名的爸爸，他叫陈独秀。还有一件事情，你也不一定知道。96年前，我亲手给一个中学生戴上了红领巾，那是中国的第一条红领巾。”很多孩子听到了这句话，不由得为之动容。“在地性”设计，围绕当前的场景、叙事语境去发挥本地域文化特色或传统，可以跨越时空，使互动角色融入文化与历史元素以发挥“在地”的优势，从而提升观众或体验者的文化身份认同感，这也是在地性设计的目的之一。

三、设计实践

（一）以自适应姿态调整为机制的虚拟主播视角设计

此案例为笔者所指导学生的毕设作品。Dourish提出了具身交互设计原则，认为计算是一种媒介，互动是一种合作系统，让人们相互了解彼此在进行的工作与行动。其中，反馈系统的必要性体现在，通过反馈系统，人的行为能变为他人“可视”。这种“可视”的行为在虚拟主播中有着重要的设计应用。主播需要扮演者驱动虚拟化身进行表演，目前虚拟舞台的活动区域几乎都是平坦地面，被用作动作捕捉的基本场地环境，同时也保障表演者在表演过程中的安全。而在现实表演舞台中可能存在如楼梯、回廊等各种高低落差地形。若没有按照虚拟场地的场地进行设计，虚拟化身则无法与演员的动作同步。因此，对实时动作捕捉表演的虚拟环境展开了研究，利用反向运动学、比例微分（Proportional Integral Derivative，简称PD）控制等方式，最终实现平地环境下的演员表演到虚拟场景中化身动作的自动调整与适配。在这个案例中体现场域下第三人称视角的设计要素。首先根据需求给定表演者表演的目标行为，表演者根据目标行为进行表演；其次由动作捕捉系统转换为骨骼动画数据输入处理系统，经过动画姿态修正和物理模拟后得到最终输出动画，输出动画是最终展示给第三人称视角观众的内容，同时也将经过处理计算的效果反馈给表演者；最后让表演者结合反馈效果与表演目标调整动作幅度，整体流程与效果见图8（表演者坐在地上而虚拟化身坐在了椅子上；表演者在平地上行走，而虚拟化身可以在有坡度或台阶上行走）。

图7 《时光之镜》

图8 虚拟化身交互效果

（二）以东北乡村为文化在地的文博会互动作品设计

此案例为设计团队对在2019 年深圳文博会的策展作品。它也是一种可进行互动的环境媒体，即将设计作品放置于公共空间里与观众发生交互作用。环境媒体常见于广告宣传，是一种新式的媒介形态，它兼具媒体传播特点与环境设计理念，融入了数据分析、感知与交互元素后，环境媒体提供了拥有可以兼具连接、交互与计算的新媒体艺术特点，强化了人与环境的关系，人与人之间的关系，重塑了公共空间，因此具备了场域空间的特点。作品取名为《东北乡村过大年》，是一种想象性的预演（Imaginative Rehearsal），用作品来比拟人类使用符号或语言的过程，用皮影风格角色与画面，呈现一种东北乡土气氛的互动环境媒体。作品依靠普通摄像头对观众的身体动作进行捕捉，实时生成骨骼动画，进入到场景里来的观众即可驱动二维的虚拟化身。在互动中，化身可以点爆竹、贴窗花、打灯笼和赶小鸡，观众体验代入感，体验东北乡村过年的喜庆氛围。这个案例体现了第三视角表演驱动与在地性要素的设计，建立与体验者现有经验产生有意义联系的互动情境，提供了无标记点的动作捕捉为场域感知手段。约翰·杜威（John Dewey）将“情境”定义为“由主体及客体所构成的整体范围”，当体验者步入场域感知的范围后，便处于怀疑状态时，即构成了一种问题情境。随着适应环境的行为不断进行，体验者的焦点和区域转化会推动问题情境持续衍变。把身体经验转化为互动行为，从而将不确定性转向确定性，表现了身体知觉对行为意识的驱动[16]。此案例尝试了这种具身互动情境，让用户从不确定的意图转化为确定性的行为，建立身体姿态与虚拟化身的对应关系，在场域空间下完成交互叙事。

图9 《东北乡村过大年》

图10 《赛博的并置世界》

（三）以平行时空为场域空间的具身界面作品设计

此案例为设计团队在2020 年上海教博会的策展作品。设计团队在会上搭建了全息投影的作品，取名为《赛博的并置世界（Cyber Juxtaposition）》，作品通过即时通信方式建立了哈尔滨和上海2个空间的用户交流，这是一种跨越空间的连接，在这个作品中我们体现了在地性与具身性的数字化场域特征。策展地点位于上海西岸艺术中心，观众在公共空间中游走，依赖于广众他人的“在场”，人与人之间建立了共同体验的联系，人与自身建立了身份的联系，这种连接的构建是场域空间的关键要素。设计作品实现了以公共艺术为目标、以公众为体验对象、以公共空间为依归的艺术创作，强调了大众的参与和需求，并尝试体现一种人文和在地的关怀，人们需要纽带和连接，以身体空间的“完形”状态进行交流，作品在视觉体验上构建完整的具身形象。在具体的实践中，此案例打造了独特的室内建筑，放置了贴有全息膜的玻璃墙，人物形象以立体投影的方式呈现于镜面中，由于是透明薄膜，观众可以看到玻璃墙后面的布景墙，在布景墙上张贴了建筑学院土木楼的内部环境，主要是由二楼步入一楼大厅的台阶，整体呈现的视觉寓意是在校师生从土木楼向上海现场走来，使观众可以身临其境地感受到哈尔滨的观众。远在异地的观众相互挥手致意并进行了交流，在此情境之下，时空发生了重叠，拉近了2个城市之间的距离。

四、结语

虚拟化身在多种数字化场域空间中得以应用，并能够唤醒体验者的记忆，改变人与数字世界的关系，动人心弦，给人以设计之美的惊喜，可以引领体验者进入更深层次的思考境界。首先，设计者在设计互动场域空间的过程中，可以从视角设计出发，根据设计目标，选取用户与数字化身的距离，以第一视角设计使用户身体功能进行延伸，空间更具备临场感；以第三视角设计能够让用户对场景整体有所觉察，也可以重新审视自身，通过对化身形象的改变来得到对身体想象和再造。其次，设计者以具身观设计虚拟化身，建立身体、认知与运动的全方位体验，激活用户最鲜活、最生动的审美经验，使设计对场域空间下人的行为做出最积极的回应，融合信息世界、物理世界与心理世界，而虚拟化身就是这种融合的自然接口。最后，通过在地性设计，把作品置身于当前的环境中，虚拟化身不仅可以通过形象与风格传递地域文化元素，同时也可以结合所处空间，发挥公共艺术活动中用户的身份特点，以特定地点的角色身份进行互动，并通过场域进行时空连接与重叠，制作多重体验。在未来，基于视角、具身与在地，设计团队会进一步进行设计研究，增强虚拟化身的自主行为设计，提供浮露情感机制，增加不为用户控制的额外情感化表现动作，即使表演者没有情感的表达动作，也可以通过这种机制实现浮露情感行为，以增强虚拟化身的自主表达能力；继续构建场域空间，扩展物理的感知能力，增强虚拟化身的媒介特性，为具身交互找到更广阔的应用领域。