数字文化遗产中的具身化、缠绕性与沉浸式①

Sarah Kenderdine 文 尹 倩 译

（新南威尔士大学 国家实验艺术学院，悉尼 NSW 2052；上海大学 文学院，上海 200444）

博物馆是一个变形的、自动的、充满戏剧色彩的剧院，在那里很难分辨出谁是蜘蛛谁是蛛网、谁是机器谁是操纵者。它存在于我们的世界、我们的现代性的中心，存在于我们的世界不断增生的形象之中……

镜片历经了几个世纪的改进，博物馆的观众透过它，在虚拟环境中发现了“在场”（presence）（或字面上的“在那儿”）。这种在场性是技术对历史的浸入，是受一代代幻景（orama）、传感器和各种光学设备影响的结果。它相信奇迹和幻象，并通过技术特效进行传播。（Kenderdine and Hart, 2003）对这些光学设备历史的讨论可见于洞穴画、卷轴画、室内壁画、教堂装饰、魔灯、新世界（mondo nuovo）、各式幻灯（phantasmagorias）、17世纪至20世纪各式各样的“玩具”、珍奇柜（cabinets des curieux）、珍宝馆（Wunderkammern）、大型展览、温室和冬季花园。这些早期的博物馆形式都是建筑空间的一部分，其图像和关系激发了私人和公众的好奇心，并开启了知识的新维度（Bruno, 2002: 133）。

视觉文化理论家乔纳森·克拉里（Jonathan Crary）在其对19世纪视觉装置和现代性的分析中指出，“观察者的技术”（techniques of the observer）涉及一系列知觉的悬置和空间的扩展。在《知觉的悬置：注意力、景观与现代文化》（2001）一书中，他指出，某些因素与其他因素相比，更能使人为观察的方式具有成效。他没有接受占主导地位的、在电影中逐渐进化而来的叙事，而是展示了身体建构的政治历史（即身体根据观察装置的需要而不断改变的过程）。对他来说，留存至今的光学设备同时具备两个特征：首先，它们足够梦幻，具有创造幻觉和隐藏其创造过程的能力；其次，这些设备具有制造视觉体验的能力，而这种能力认定了身体是静止的、被动的。然而，今天的博物馆观众期待着寓教于乐（Macdonald, 2007），期望着一种激活所有感官的身体体验（Hooper-Greenhill, 2006）。沉浸式、交互式的可视化环境（immersive and interactive visualization environments，简称IIVE）的出现，是过山车发明以来身体的“被动性”所遭遇的最大挑战。在新一轮的文化遗产可视化浪潮中，沉浸式建筑及其相关的视觉、声学和算法技术，为绘制和修复有形和无形的文化遗产提供了有效的方式，如具身化、沉浸式、表现性和交互式的叙事。

本文的目的是研究沉浸式虚拟环境，以及它们如何支持了博物馆中对文化遗产的具身化阐释，并对数字人文学研究产生了广泛影响。沉浸式和交互式可视化环境（IIVE）为学者和公众提供了阐释考古遗址和材料的创新方式。由IIVE的物理和数字参数提供的动力，创造了于空间中存在和表现的新方式。对这种体验的理解给我们提供了一个分析框架，这一分析框架也有助于对这些体验进行越来越准确的评估。沉浸式系统的使用反映了一种日益增长的趋势——通过多模态（multimodal）、动觉（kinesthetic）和身体化的超媒体设计（somatic hypermedia design）来调动观众刺激的具身认知。具身化理论（embodiment theory）是探讨这些问题的一个视角。以下的分析能帮助我们深化对沉浸式博物馆（immersive museum）的理解（Bruno, 2002; Griffiths, 2008; Bruno, 2002; Griffiths, 2008）以及对文化遗产的分析（Kenderdine, 2007a, 2007b, 2013a; Bonini, 2008; Forte and Bonini, 2008; Flynn, 2013）。

细读具身化（Embodiment）相关理论，也有助于我们重新设想我们想在人机界面（humancomputer interface，简称HCI）的枢纽上构建的应用程序。随着人文学科越来越多地运用数字工具、可视化和交互手段，对具身的协同理解也变得越来越重要。新的界面设计更加强调具身化，例如用手势控制臂环Myo、用谷歌眼镜（Google Glass）把世界变成增强现实、用Oculus VR定制虚拟现实。①Myo: https:// www.thalmic.com/en/myo；谷歌眼镜: http://www.google.com/glass/start；Oculus Rift：http://www.oculusvr.com。技术鼓励动觉具身化（kinesthetic embodiment），与此同时，批判性理论也向表现、分布式体验和数字物质性的方向转变。这进一步打破了动作/反应（action | reaction）和虚拟/现实（virtual | real）的二元论。

重构可视化

可视化是当今社会一些最紧迫、最困难的问题的核心。可视化为艺术和科学领域的研究人员提供了提升认知水平的路径（Stafford, 2011），这对于在一个空前快速地生产和消费数据的世界中，该研究对可视化数据的新模式至关重要 （Keim et al., 2006）。然而，最近的可视化研究仍然局限于基于2D小屏幕的分析，将交互技术局限于“点击”、“拖动”和“旋转”上（Lee et al., 2010; Speer et al., 2010: 9）。此外，用户可用的像素数量仍然是人类对数据可视化认知的一个关键限制因素（Kasik et al., 2009）。越来越多的研究需要“无限”的屏幕分辨率，这直接导致了十亿级的像素显示器（gigapixel displays）的增长（如加州电信与信息技术研究所的 HIPerSpace）。应用于大规模数据集的虚拟现实系统越发专注于体现其多层次的复杂性，包括下一代沉浸式虚拟现实系统，如加州大学圣迭戈分校的StarCAVE（DeFanti et al., 2009）、加州大学圣塔芭芭拉分校的Allosphere、澳大利亚新南威尔士大学ICinema研究中心的Advanced Visualization and Interaction Environment（简称AVIE）以及伊利诺伊大学的CAVE2。①参见加州电信与信息技术研究所的HIPerSpace：http://vis.ucsd.edu/mediawiki/index.php/Research_Projects:_HIPerSpace；加州大学圣迭戈分校的StarCAVE；加州大学圣塔芭芭拉分校的Allosphere：http://www. allosphere.ucsb.edu; 新南威尔士大学iCinema研究中心的AVIE：http://www. icinema. unsw. edu.au/ technologies/avie; 伊利诺伊大学的CAVE2：http://www.evl.uic.edu/cave2；香港城市大学的ALiVE: http://alive. scm.cityu. edu.hk/visualization-systems/。

沉浸式在文化遗产可视化中的作用

本文广泛采用了目前开展的项目作为研究背景。另外，这项研究旨在透过虚拟具身化（virtual embodiment）——将文化遗产的体验引入到公共领域，尤其是博物馆——来重构数字叙事和数字美学。这项应用研究主要分为两个领域：一是重建数字文化档案，包括博物馆馆藏和文化地图；二是重新展示有形和无形的文化遗产。本文将通过介绍四个极具开创性的项目，对重建数字文化档案加以阐释，通过对《净土》（Pure Land）的案例研究，来探讨如何重新展示有形和无形的文化遗产。

数字文化档案的重新改造

IIVE旨在重新利用和建构数字档案（即“文化数据雕刻”：Kenderdine and Hart, 2011; Kenderdine and McKenzie, 2013）。Web 2.0时代，参与者文化的快速增长已使内容生产超过简单的访问，成为公共用户与数据库、档案和搜索引擎交互的主要动机。对各类数据的主动探索使得用户能够发现新的意义，而不是简单地访问信息。然而，互联网上已有的结构模型体现了一种数据库范式，在这种范式中，可访问性和参与性受限于“移动光标-点击”的技术，交互节点仅限于超链接。通过交互和其他探索和表示数据的模式，或许能获得更强的表现力，这可以通过几个突出的例子加以描述。

克里斯塔·萨默勒（Christa Sommerer）和劳伦特·米尼奥诺（Laurent Mignonneau）设计的“活网站”（The Living Web, 2002）是一个以“洞穴”项目为基础的交互式、沉浸式装置，是一次探索互联网作为交互式和沉浸式数据和信息媒介潜力的开创性尝试。在这个装置中，用户能身临其境地沉浸于互联网实时传输的图像与声音交织成的三维空间中。装置用麦克风接收用户的对话，并从网上生成和下载相应的图像和声音文件。用户与这些数据进行交互，并且更详细地探索其内容。“活网站”提供了一个全新的系统，用于直观、沉浸式和娱乐化地创建和检索信息。这项实践不仅允许多层交互，还是一种新的用于视觉分析的科学工具，可在一次科学实验中对1000多个图像进行比较分析（Sommerer et al., 2002）。

交互装置CloudBrowsing（2008-2009）是在德国卡斯鲁厄艺术与媒体中心（Zentrum für Kunst und Medien，简称ZKM）的全景实验室（PanoramaLab）中开发和展示的第一批作品之一，它以空间叙述的形式使用互联网数据（Lintermann et al., 2008a）。在当前版本中，用户可以在全景屏幕上浏览免费的在线百科全书和维基百科。360度的柱面屏幕变成了一个环绕用户的大型浏览器，用户可以在虚拟信息空间中全景式地活动。过滤机制确保此装置只显示公开的内容。

该项目让用户以一种全新的方式体验互联网的信息检索。正如开发人员贝恩德·林特曼（Bernd Lintermann）在一个视频片段中所描述的那样：

虽然我们的显示器只提供一个有限的框架和一个很小的窗口，通过这个窗口，我们只能部分地、线性地体验网络的多层次信息景观，但是通过CloudBrowsing，浏览网络变成了一种空间体验：搜索结果不是以文本链接列表的形式显示，而是以声音和图像显示。（Lintermann et al., 2008b）

CloudBrowsing展现了可视化搜索的潜力，用户主要通过可视化的方式来浏览数据，而不是通过维基百科的页面和超链接来检索数据；比起文本，它更看好视觉图像。“云浏览”让用户沉浸在与元数据相关的图像数据中，这些图像数据围绕特定语义轨迹排列。

Ecloud WW1（2012）由莎拉·肯德戴（Sarah Kenderdine）和邵志飞（Jeffrey Shaw）设计，是一个定制的9米宽、3.5米高的交互式3D投影环境，由香港城市大学的交互式可视化和具身化应用实验室（ALiVE）与欧洲数字图书馆（Europeana's 1914-1918）合作开发。欧洲数字图书馆是一个基于网络的众包档案馆（Kenderdine and McKenzie, 2013）。①参见CloudBrowsing：http://alive.scm.cityu.edu.hk/projects/alive/ecloud-2012。这个装置搜集了70000余张一战图像，背后是来自欧洲各地的2500个故事。该装置通过大规模的交互式观看体验，即时聚合此数据集的数字图像和相关元数据。另外，这个平台还作为一个具身博物馆技术学（embodied museography）的例子，为参与者提供了一个强大的体验工具，通过展示数字图像，让他们参与到一个不断变化的由战争创伤和社会记忆组成的情境之中。它还通过文化分析来设计用户生成的数据库叙事，为策展人和展览设计师提供展示和解释元数据的创新方法。

mARChive（2014）是澳大利亚研究委员会的“联结基金”（Linkage Grant）资助澳大利亚新南威尔士大学ICinema研究中心和博物馆（Morris，2014）的项目，同时也是维多利亚博物馆（Museum Victoria）藏品的新用户界面。该项目旨在通过将博物馆收藏的大量档案数据整合到360度的三维空间中，实现对十万条带有图像记录的数据云的交互访问，以探索视觉化检索（visual searching）和涌现叙事（emergent narratives）。除了在信息可视化方面的进步，一方面，mARChive解决了博物馆面临的一个普遍困境：其网站只展出了很小一部分藏品。例如，在维多利亚博物馆，展品比例仅占全部藏品的0.8%。另一方面，展示和阐释来自17个不同主题、搜集自社会各界的100000多件展品，包括土著资料、自然科学数据、社会历史和技术等，这既是理论上，也是实践上的挑战（Kenderdine and Hart, 2014）。

mARChive是在AVIE中进行的，AVIE是9个沉浸式平台之一，同时也是创作者进行新颖可视化设计的基础。②参见AVIE：http://www. icinema. unsw. edu. au/technologies/avie。AVIE是由ICinema公司开发的世界上第一款全方位（360度）3D全景屏幕（水平方向360度 × 垂直方向50度），直径10米，高4.5米。AVIE通过mARChive系统来实现信息可视化，响应了对身体交互、基于知识的界面、协作、认知以及感知的需求（Pike et al., 2009）。该显示系统代表了将mARChive与19世纪的全景图区分开来的强大特质：全景图像、空间音场、实时图像生成和交互性（McKinty, 2014）。一篇论文回顾了新媒体艺术的全景化历史，描述了其关键作品及其对具身化的启示（McGinity, 2007）。

沉浸式全景

在虚拟现实中，全景图像（panoramic view）是通过对图像空间的感觉运动探索（感觉自己在运动，实则是图像空间在移动），给人留下身临其境的印象。

如前所述，全景图是本文所描述的与虚拟现实技术相结合的可视化范式的核心。360度沉浸式全景图，是新的表现方式、体现方式、居住方式、导航方式和叙述方式的发展基础。众多学者曾对全景图的大众娱乐作用进行过大量分析，①参见奥特曼（Oettermann, 1997）、科门特（Comment, 2000）、奥尔蒂克（Altick, 1978）、埃弗里（Avery, 1995）。胡赫塔莫（Huhtamo, 2004）对所谓的“移动全景图”作了详细回顾和深入研究，发现此前的相关信息极为匮乏，并在2013年进一步研究了这一课题。这使得斯蒂芬·奥特曼（Stephen Oettermann）声称全景图像是“第一个真正的大众媒体……”（Oettermann, 1997: 7）。

在当前的媒介实践中，全景图像以“新视觉时尚”（the new image vogue）再次出现在大众视野中（Parente and Velho，2008: 79）。“新视觉时尚”是基于观众设计虚拟和现实空间的愿望设计的，它最大限度地提高体验者的沉浸感，并最终实现“在场感”（presence）。在数字遗产中，这表现为通过考古和历史数据，对历史场景进行数字化重建，或是模拟某个现实中的遥远场所的景象（例如，全方位地对某个考古现场作视觉和数据上的记录）。这种全景图像是一个虚拟空间，它贯穿了整个媒体发展史，有着社会文化的含义（Kenderdine, 2007c）。全景图像在当代虚拟现实中的重新出现，加强了本文讨论的主要概念：即IIVE显见的可供性与具身体验的关系。

讨论当代全景形式，需要介绍涉足全景艺术的媒体艺术家和工程师的作品。20世纪80年代中期以来，大型装置艺术家迈克尔·奈马克（Michael Naimark）（美国）、卢克·库切斯内（Luc Courchesne）（加拿大）、藤幡正树（Masaki Fujihata）（日本）和邵志飞（Jeffrey Shaw）（澳大利亚）一直致力于沉浸式全景图像的扩展叙事和增强设备的创作，为本文的讨论提供了很有说服力的案例。引用全景图像的开创性作品包括：迈克尔·奈马克的《移动电影》（Moving Movie，1977）、《位移》（Displacement，1984）和《此时此地》（Be Now Here，1995）；藤幡正树的《莫雷尔全景图》（Morel's Panorama，2003）；邵志飞的《此地——用户手册》（Place--A User's Manual, 1995）、《此地——鲁尔》（Place--Ruhr, 2000）和《EVE》（EVE, 1993—2004）以及邵志飞设计的《全景导航仪》（Panoramic Navigator, 1997）；还有卢克·库切斯内设计的《景观一号》（Landscape One, 1997）和《全景镜》（Panoscope, 2001）。

这些作品之所以引起人们的兴趣，是因为它们都是通过一系列视频实现了电影摄影的效果。它们还将沉浸式建筑与全景图像相结合，从而将新的数字界面的交互语言与运动的电影图像相结合。这些艺术作品为未来沉浸式互动电影的发展奠定了基础。

例如，迈克尔·奈马克寻访了世界各地的著名遗址，为《此时此地》录制全景图像。他使用安装在机动三脚架上的35毫米3D立体摄像机，在柬埔寨的吴哥窟、克罗地亚的杜布罗夫尼克、马里的廷巴克图和以色列的耶路撒冷等地拍摄360度动态场景。他的沉浸式项目包括投影到360度屏幕上的3D视频，结合空间声场和人类学方法，来处理虚拟旅程和文献记录（Grau，2003: 240-242）。《此时此地》让观众站在一个每2分钟旋转360度的平台上，让观众产生一种自己在图像前移动的错觉。同时，观众也需要步行，以面对一些位置固定的投影，以产生有效的动觉连接。《此时此地》让观众感到“仿佛火车在身边出站”②《此时此地》，迈克尔·奈马克设计：http://www. naimark. net/projects/benowhere. html。般的感觉。

早在1967年，邵志飞就在《塑料影院》（Corpocinema, 1968）中使用过球面投影技术，这一技术的实践在某种程度上挑战了平面屏幕的极限，并发展了“增强电影”（augmented cinema）和“环境电影”（environmental cinema）的概念，这些概念早已在绘画全景图中得以实践。这种方法在《环形影院》（Diadrama, 1974）中得到进一步发展，它由三个相邻的屏幕和三对同步的幻灯片投影仪组成，构成270度的视野。之后，邵志飞做了许多沉浸式的作品，聚焦体验者的身体感受，着重其视觉感受。无论是在通过投影的可视化窗口中，还是集成的视觉系统中，观众都被邀请进行特定的活动，并通过特殊设计的界面来实现场景的还原。①邵志飞作品目录：https:// www. jeffreyshawcompendium. com/。

正如理论家兼设计师列夫·曼诺维奇（Lev Manovich）所描述的那样：邵志飞的作品“在全景图像、电影、视频和虚拟现实中创造了虚拟空间，他把它们‘拆成了许多图层’”（Manovich, 2001: 282）。曼诺维奇指的是《此地——用户手册》（1995）和《此地——鲁尔》（2000），360度全景屏幕环绕着站在旋转平台上的观众。《此地——鲁尔》中的全景式虚拟空间在《此地——亨比》（Place—Hampi,2006）中得到进一步拓展。邵志飞的作品在虚拟现实中重塑了传统的全景图像。观众可以从一个虚拟空间前往另一个，每个空间都用圆柱体在地图上表示出来。当观众进入其中一个空间时，便会触发特效。这些作品有助于“描述和记录所描绘当地的社会和经济历史”（Grau, 2003: 240-242）。

全景图在虚拟式、沉浸式环境中的使用为虚拟空间赋予了新的意义。它“不仅是静态空间的拓扑、几何和逻辑结构”，还成了“空间适应计算机文化的新方式”（Manovich, 2001: 280）。虚拟空间的概念是上文所述的混合电影形式成功的关键。

文化遗产可视化中的具身化体现

2000年以来，邵志飞为博物馆创作了一系列作品，利用IIVE诠释了重要的文化场所，包括希腊奥林匹亚遗址、柬埔寨吴哥窟、印度威迦耶纳噶（亨比）的纪念碑、印度拉贾斯坦邦纳戈尔的眼镜蛇堡垒（The Fort of the Hooded Cobra）、中国敦煌和土耳其各地的许多遗址等联合国世界遗产。这些作品包括：《虚拟奥林匹亚》（Virtual Olympia, 2000）、《神圣吴哥窟》（Sacred Angkor, 2004）、《此地——亨比》、《纳戈尔之眼》（Eye of Nagaur，2008）、《亨比现场》（Hampi LIVE, 2010）、《此地——土耳其》（Place—Turkey, 2010）和下文的《净土》。

在本文中，我们使用了具身理论来研究两个虚拟旅游艺术装置，它们将一个考古数据集集成到两个不同的界面中，产生了独特的效果。这些装置来自敦煌研究院在莫高窟进行的数字化工作（激光扫描和超高分辨率摄影）。《净土：走进敦煌莫高窟》（2012，虚拟现实）②《净土：走进敦煌莫高窟》：http://alive.scm.cityu.edu.hk/projects/alive/pure-land-inside-the-mogao-grottoes-at-dunhuang-2012/。和《净土AR版》（2012，增强现实）③《净土AR版》：http://alive. scm. cityu. edu. hk/projects/alive/pure-land-ii-2012/。已经有了来自5个国家的30多万参与者，并受到评论界的广泛关注（如Kennicott, 2012和Kenderdine, 2013b）。本文在前人的基础上，运用哲学家马克·约翰逊（Mark Johnson）的分析框架，从具身体验（embodied experience）的角度对这两个项目进行了深入考察，从而拓展了早期的工作。马克·约翰逊的论文从宏观的视角，生物学、生态学、现象学、社会学和文化学的视角去分析具身体验（Johnson, 2007: 275-278）。在这两个项目中，沉浸式、交互式、可视化的架构以不同的方式组合，为世界遗产的多感官体验提供了案例。

《净土》中的具身化形式包括增强视觉、听觉沉浸、动觉激活、身临其境、增强技术、栖居、揭示、飞行、居住、旅行和行走。在这些装置中，参与者的感官世界期待着新鲜事物，以引发新的感悟。这种感官体验正是文化分析的前沿焦点——颠覆语言学和文本分析，而支持现象学和经验研究。博物馆专家林达·扬（Linda Young）评论《物质文化手册》（Handbook of Material Culture, Tilley et al., 2006）道：

……文本和视觉是我们理解物质文化的主要模式，［身体］（the somatic）挑战这两种传统模式，运用具身主体及其感受、感觉、认识、展现和体验的多种方式，创建了认知不同的人与物的关系的动态路径……物质性和感觉性，向感觉景观（sense-scapes）的概念敞开了大门——这是一个迷人的概念。（Linda Young, 2007）

具身化理论

具身化理论试图将思维（mind）理解为一组源自人类大脑和身体的物理过程，这些过程最终服务于人类在物理世界中的行为。具身化是多感官的，由视觉、听觉、触觉、嗅觉和味觉交互影响而产生。同时，具身化是通过情境和环境的缠绕、沉浸式和身临其境的体验构成，引起存在于世界的应急反应（emergent response）。正如哲学家马克·约翰逊所描述的那样，“理解自己的具身化属性是你最深刻的哲学任务之一”（Johnson，2007:1），虽然这对我们这些“具身化存在”来说，似乎是不言则明的。

对具身化理论的讨论包括几个广泛的研究和分析领域。第一个领域涉及现象学，在现象学中，个体在与周围世界相关的思想和行动中意识到自己的身体。现象学家莫里斯·梅洛·庞蒂（Maurice Merleau-Ponty）和美国实用主义者约翰·杜威（John Dewey）在《感知现象学》（Phenomenology of Perception）和《作为经验的艺术》（Art as Experience, 1934）著作中有相关阐释，对后来的具身化理论和具身化认知理论的发展产生了重要影响。

具身认知研究方面的学术资源包括理解信息传递和学习的神经过程，它使个体能够思考和行动。在第二代认知科学中，对具身认知（embodied cognition）的实证研究在心理学和神经科学领域非常活跃，包括“生成论”（enactivism）——正如瓦雷拉（F. J. Varela）等人于1991年首次提出的概念。生成论为认知主义、计算主义和笛卡尔二元论提供了另一种选择。为了使知觉构成经验，也就是说，要使其具有真正的表征性内容，感知者必须拥有并利用他或她的感觉运动知识。①参见Noë, 2004。另见欧盟委员会Network of Excellence on Enactive Interface：http://www.interdisciplines.org/enaction及Enactive Network: http://www.enactivenetwork.org。例如，一种生成式的学习方法，将人类的经验和知识的形成，看做其与环境展开的动态互动（Stewart et al., 2010; Noë, 2012; Hutto and Myin, 2013）。为学生创造的体验式、渐进式和动态式的学习过程超越了程序性学习的传统范式，这一研究范式在本质上是跨学科的，与神经科学、哲学、机器人学、人工智能、人机交互以及具身化认知的高级研究相一致（Minsky, 1986; Bateson, 1987; Clark, 2010）。

对具身化理论的接受也推动了美学、语言学和人类学研究和包括实用主义、现象学和生态学在内的哲学研究的激增（Johnson, 2007: 264; Shusterman, 2012）。最近，我们看到具身化理论在不同人文领域都产生了反响，例如建筑学（如Pallasmaa, 2011, 2012）、电影（如Sobchack, 2004; Bruno, 2002）、后过程考古学（post-processural archaeology）（如Pearson and Shanks, 2001; Tilley, 2004, 2008; Olsen et al., 2012）、人类学（如Howes, 2006; Mascia-Lees, 2011）、文化地理学（如Tuan 2001; Casey, 1998）、表演学（参见Salter, 2012; Giannachi et al., 2012）、艺术史（参见Parry, 2011; Crowther, 2009; Pinney, 2004①身体学（corpothetics）：人类学家和视觉理论家克里斯多夫·皮尼（Christopher Pinney, 2004）创造的术语，意思是“在身体上体现的美学”（corporeal embodied aesthetics）——也就是说，制作能够唤起观众身体反应的图像。印度的达山（darshan）被认为是一个身体学的案例。）、新媒体艺术（如Duguet et al., 1997; Shaw and Weibel, 2003; Grau, 2003）和数字文化遗产（Kenderdine, 2007a, 2007b, 2007c; Flynn, 2013; Forte and Bonini, 2008），在此仅举几个例子进行说明。

人机一体化

我们正处于一个转变的过程中，从一个由屏幕和设备构成的世界，到一个沉浸式体验的世界。（Krzanich，2014）

《净土》建立在用于大屏幕显示的各种虚拟现实模式的历史场景的基础上，这些模式强调通过全景沉浸（panoramic immersion）、立体视觉（stereoscopy）和增强技术来实现感官式、沉浸式的全景体验（参见Kenderdine and Hart, 2003对立体透视、身体和沉浸感的分析；Kenderdine, 2007a对全景图像和新媒体的深入讨论）。

《净土：走进敦煌莫高窟》（图1）建立在AVIE环境中。在这个直径10米、高4米的空间内，多达30名观众可以自由地体验虚拟、拟真的敦煌220窟。其中，手持式界面能实现观众与数字渲染的洞穴的交互，观众能从墙上看到壁画中的关键元素。利用敦煌研究院的高分辨率摄影与激光扫描数据技术，《净土》重建和再现了敦煌洞穴中的大量壁画。在360度立体投影的墙壁上，《净土》建构了一个沉浸式的虚拟环境，展现了敦煌洞穴中非凡的绘画和雕塑。观众可以获得在这座石寺内观看宏伟佛教壁画的仿真体验。除了构建一个强大的具身化空间，《净土》还利用了各种数字图像处理技术（如二维图像处理、三维动画和三维电影摄影）进一步增强其体验和阐释能力。

图1 《净土：走进敦煌莫高窟》

《净土AR版》（图2）通过移动媒体获取敦煌220窟的数据，创建了增强现实，创造了一种增强的“虚拟性”（Milgram et al., 1994）。观众手持平板电脑在展览空间内走动，能够看到洞穴的建筑，并通过移动设备的“窗口”探索洞穴的雕塑和壁画，而其他观众也不自觉地模仿。这是对虚拟洞窟中的壁画建筑一比一的动觉体验。在“洞穴寺庙”内，以1:1的比例观看其宏伟的佛教壁画。在一比一大小的展厅中，墙上印着一比一大小的敦煌220窟的多边形网格图，给了观众视觉提示，让他们对自己正在探索什么有了概念。平板电脑从一个物体转变为一个移动的取景设备，以展示在复杂的空间追踪系统的基础上建立的虚拟空间。

图2 《净土AR版》

《净土》中的具身化

身体将时间带入空间和景观的体验之中。因此，任何时刻的在场体验都是以过去为导向的，是这两者的融合。过去和现在相互交叠，过去影响现在，现在重新表达过去。（Tilley, 2004: 12）

在《身体的意义》（The Meaning of the Body）一书中，哲学家马克·约翰逊（Mark Johnson）概述了一种“具身化理论”，这一理论是以身体和思维何以在一个有机过程中共同运作为基础的。在约翰·杜威（John Dewey）的身体自然主义之后，约翰逊认为，我们所有的抽象概念和推理、所有的思想和语言——我们所有的象征性表达和互动——都与我们所有认知的具身化和经验的普遍审美特征密切相关。基于乔治·莱考夫（George Lakoff, 1999）的研究成果，约翰逊论证了一个命题：人类是隐喻性的生物。隐喻是抽象概念和推理的基础，从具身化体验的角度，真理也许不是绝对的。约翰逊向我们发出挑战，要求我们“停止把人的身体当作一种物体来思考”（2007: 275），他认为意义和思维同时在多个层面有具身化的特质：作为一个生物有机体（存在于世界中的肉体）、一个生态体（身体的环境背景）、一个现象体（集触觉-动觉于一体、用于生活和体验的身体）、一个社会体（主观的关系）和一个文化体（即构成“文化”的产物、制度以及行为）。具身自我（embodied self）的每一个方面都不能从其他方面独立出来，这意味着对具身自我的研究需要多学科的参与，必须接受多种分析方法的制约。

根据马克·约翰逊的设想，可以为《净土》的具身化属性构想一个五重框架。

1.生物有机体（The biological organism）（存在于世界中的肉体）在所使用的技术方面有着不同的限制，每一位用户-代理（user-agent）都带着天生的身体特质来到《净土》项目。

考古学家克里斯托弗·蒂利（Christopher Tilley）展示了一种通过感性的人类尺度而不是抽象的、分析性的视角来理解和解释过去的范式。他这样阐释岩画艺术：

图像学的方法通常主要是认知性质的……它是思维以一种无实体的方式进行回应……相比之下，动觉学的方法强调作为肉体存在于世界中的身体的作用。一般而言，我们感知的方式与视觉的表象有关，从根本上来说更与我们拥有的身体类型有关。身体对于我们而言既是限制也是约束，同时也使我们能够以特定的具身方式感知意象并做出回应。（Tilley, 2008: 18）

例如，《净土》的AR界面需要灵活的操作才能显示洞穴壁画：手臂将平板电脑举到高处、脖子凝视着天花板、膝盖和小腿弯曲让身体在壁画前蹲下、脚边刻着一个有洞穴建造日期的动画。

界面的运转需要用户-代理的具身化参与，这也就是现象体的形成。

2.现象体（the phenomenological body）（作为集触觉-动觉于一体、用于生活和体验的身体）提供了一种不同的基于现在而思考过去的范式。《净土》的交互性特征使虚拟洞穴从一个拟真的表现形式转变为一个虚拟空间，丰富了解释的层次性和多维性——如果有人在现场，是不可能完全看清全景的。例如，放大镜就像是一个义体（prosthetic device），使观众能够以十倍的放大倍数（material hermeneutics）来观察这些壁画。后现象学家和技术哲学家唐·伊赫德（Don Ihde）提倡一种物质解释学，这种解释学聚焦“让沉默的物体发出声音，使看不见的东西显现出来”（Ihde, 2005），这正是赋予洞穴以生命的方式。伊赫德的视觉解释学（visual hermeneutics）中的“物体”是通过义体——如望远镜和显微镜——来放大观察的，从而允许视觉拓展其边界。

通过为图像空间创建虚拟扩展，观众必须深入探索图像空间以发现其叙事主题，虚拟空间艺术作品允许观众同时担任摄影师和编辑者的角色。（Shaw, 2003: 23）

《净土AR版》不是一个被动的视频环境，而是一个交互式的作品，用数字模型精准地还原了220窟的真实空间。展览墙壁上的网格图和通过平板窗口在这些墙上看到的栩栩如生的壁画的结合，是在索引真实（indexically real）与幻象虚拟（phantasmally virtual）之间、在具身（re-embodiment）与离身（Ddis-embodiment）之间进行的操作。

因此，《净土AR版》在虚拟化和现实化的网络中编织了一系列微妙的悖论，这些悖论正好满足了动觉兴奋，这在所有观众对这个装置的震撼体验中显而易见。因此，它与远程呈现技术（technologies of telepresence）保持一致，这种技术将观众传送到一个虚拟的地点——从展厅传送到敦煌莫高窟。

接下来我们或可进一步分析现象体是如何延伸成为生态体的。

3.《净土》和《净土AR版》的生态体（the ecological body）（或环境背景）是截然不同的，对作品的体现方式和意义创造方式产生了不同的影响。它们都是存在于独立体系结构中的装置，只作了最低限度的解释（小册子除外）。《净土》是一个全方位的数据空间，在空间声场中渲染出虚拟洞窟，《净土AR版》则发生在一个明亮的空间（lit space）。在这两种情况下，虚拟洞窟都以1：1的比例渲染。其他展厅包括艺术双年展（2012年，上海）、博物馆（2012年，华盛顿）、大学展览馆（2012年和2103年系列展览）、书展（2012年，香港）、短期展览（2013年，马赛）和技术博览会（2013年，香港）。每个展厅都会吸引不同的文化受众，带来不同的观察角度和期待。由于莫高窟220窟永久对公众关闭，数字莫高窟成了大多数人体验的唯一通道。

全景界域（panoramic enclosure）的全方位潜能在用户被立体图像空间环绕的《净土》中得到充分体现。全方位的关注在某种程度上消解了以自我为中心的观点，因为在用户-代理的直接视野之外，总是有一些事情在同一空间内发生。此处可以引用有关异我中心和自我中心的认知概念和空间视角，其中“异我中心”（allocentric）是那些与一个可感知的、固定的外部框架（一个全面存在并且不同于自我的现实情境）有关的概念，以及包含个体和一给定客体或框架之间关系的与自我中心有关的概念。一幅全方位、沉浸式空间的认知地图允许同时进行以“他者”（allo-）为中心和以“自我”（ego-）为中心的解释（Blesser and Salter, 2006: 39-40）。①正如声音理论家布莱瑟（Blesser）和索尔特（Salter）指出的那样，不同的文化可能将其文化的不同方面联系为“自我”（ego-）或“他者”（allo-）。认知地图在不同的文化群体中会有所不同；在一种文化中，语言可能被空间化为以自我为中心（即，事物在与观众之间的联系被描述出来，而这正好利于为相对位置编码）。或者对于玛雅人来说，异向中心框架意味着他们对绝对位置有更好的感觉，便于在开阔的空间中行进（2006：39-40）。同时，观众都可以前往和观察空间中的任何地点，不需要考虑用户-代理与现实中的装置（带有放大镜、二维和三维动画等增强设备）的交互。

敦煌壁画描绘了唐初的佛经。北墙描绘了《东方药师净土变》（Bhaisajyaguru's Eastern Paradise Sutra）。东墙描绘了《维摩诘所说经》（The Vimalakirti Sutra），南墙是《西方净土经》（The Western Pure Land Sutra）。《净土》集中展示了北墙的药师佛的东方净土，描绘了药师佛的七种有治愈能力的法宝。佛像排列成一排站在莲花台上，下面有一个水池，旁边有24名乐师和4名舞者（图3）。这幅画讲述了药师佛的十二大愿，以及提供食物、饮用水、衣物、药品和精神慰藉。

图3 《净土：走进敦煌莫高窟》

我们看到了生态体是如何涉及观众的先验知识，它们可解码图像，从而成为文化体。

4.文化体（the cultural body）（即构成文化生活的产物、制度以及行为）。每一个装置都发生在不同的文化背景下，佛教从业者、学者和非宗教人士作为不同的文化体共同参与到这一空间装置中。有些人认识到壁画的空间意义和图像意义，而另一些人则体验到个性化的感受。正如许多具有精神意义的地点（如礼拜堂、墓地）一样，空间和图像的安排对于叙述的意义以及正确理解图像至关重要（Kenderdine, 2013a）。环境背景的正确性使观众能够在这个环境中寻求超越性的体验，而对于学者来说，色彩重构、动画和三维建模的准确性则具有更深远的意义。值得注意的是，相比亲自前往敦煌石窟，《净土》项目为学者提供了更好的访问现场的机会。向上移动到屋顶的能力（即向上飞行）和放大壁画的能力，为观众学习莫高窟文化提供了更多的机会。

文化体是敏锐的、解释学的，并以螺旋形式进入现象体。

5.社会体（the social body）（主观关系）。《净土》展示了单用户、多观众界面的动态性，这对博物馆作为社会化场所的概念很重要。在《净土》中，大多数人处于三方关系（用户-系统、观众-旁观者，以及观众对新兴交互技术的看法）中的一方。在《净土AR版》中，两个移动平板电脑允许两个用户（通常是3至10人作为一组）在平板电脑周围进行追踪。事实证明，这种方法在加强解释性经验的社会品质方面非常成功。一群人将始终跟随着用户对装置的使用，跟随、引导、示意、推动和拍摄用户视角的画面。这一互动对空间装置的解释以及对其性能的理解都是不可或缺的。有学者认为，每个人在体验的过程中都应该拥有自己的界面，但是此观点从某种程度上是对这种动态交互的否定，只会导向更为孤立的探索之旅。

在用户和系统之间，具身化的概念是首先受到关注的。具身化是一种“参与式”的状态，是探索情境交互的基础（Dourish, 2001）。就“系统-用户/观众-旁观者”的三分法而言，具身化意味着与包含情境的观众、交互系统、旁观者、共同用户、物理环境以及赋予这些实体的意义之间的相互关系（Dalsgaard and Koefoed‐Hansen, 2008 : 5; cf. Dourish, 2001）。

人-机交互的研究员解决了用户与计算机设备交互的问题（Reeves et al., 2005: 748）。借鉴表演理论（performance theory），用户是系统的交互者，而用户与系统的交互就是表演。正如达尔斯加德（Dalsgaard）和科伊福德-汉森（Koefoed-Hansen）所说：

在旁观者潜在的注视下，观众感知和体验与系统进行交互的方式，极大地影响了整个互动……由于这种潜在的对于旁观者注视的感知，观众在潜移默化中已转变为表演者。（Dalsgaard and Koefoed-Hansen, 2008 : 6）

认识这种内在关系的关键是他者的意识，它为个人活动提供了背景。用户的行为不仅与系统有关，而且还被这一认知所推动，即他或她对系统的感知是为其他观众带来的一场表演。达尔斯加德和科伊福德-汉森（2008: 31）称之为“表演感知”（performing perception）。

在社会层面上，观众的身体与生态体、现象体、文化体交织在一起。

评估具身体验

20世纪以来，对博物馆观众研究的发展反映了一系列不同的评价类型、教学方法、藏品和策展趋势。博物馆对其藏品质量和学术框架的重视已经演变成包括受这些特质影响的观众的研究。然而，研究本文描述的下一代具身体验需要新的分析和评估工具。观众在体验过程中产生的主观感受、情感活动及具身化的因果关系很难被记录下来——需要视觉化、交互式和参与式的沟通（Martinec and van Leeuwen, 2009）。正如本文所讨论的，当认知依赖于物理身体的特征时，换言之，当大脑以外的身体各部分在运作过程中扮演着重要的因果关系或物理构成作用时，认知就具身化了。然而，通过测量身体反应（心跳和/或面部识别）来获取体验者情绪状态是不可靠的（如Kaliouby and Robinson, 2005）。提高评估精度已成为新研究工具的焦点（Kocsis and Kenderdine, 2015）。I Sho U是围绕交互、内省和叙事化参与而设计的，用于确定观众的感受及反应。①参与者体验项目中心的 I Sho U：http://ishou.com.au。这是基于设计师在开发行为和情感可供性时所做的假设。通过I Sho U中的提问设计、交互和可视化方案，观众可以聚焦即时性、集体性和参与式的实践方式，以关注他们的情感、具身和认知状态。

I Sho U可以由博物馆评估人员在线编辑，发布在互联网上，并下载到平板电脑上。这些平板电脑由博物馆的讲解员分发给参观者。人均收集数据的时间平均为5分钟，每小时可进行数百次调查（与离职调查、观察等传统调查方法相比，这是一个很大的进步）。I Sho U通过累积数据和比较阐释，实时收集用户的在线反馈；此工具根据用户的输入进行音频挖掘和图像分析。

该应用程序通过技术界面和创造性可视化激励访客代理，并利用由访客主导的以设计为导向的整合性思想、行动和创造性数据收集。通过这种方法，参观者将成为IIVE和未来博物馆展览设计和建造演变的一部分。I Sho U总结了访客评估和不断发展的社会研究的基本作用，以影响和改进博物馆（现实和虚拟）的设计、展现和传播。这些工具的开发对于从用户的角度开始描述体验是至关重要的。

结 论

文化遗产资料的实验性界面的历史可以追溯到20世纪90年代，主要体现在当时具有影响力的媒体艺术家创作的一系列作品中。2015年，这些体验的强大特性得到了业界的认可，并且毫无疑问将成为屏幕（或无屏幕）技术和沉浸式环境进一步发展的基础。理解具身体验的基本性质将使人文学者、博物馆馆长和设计师在日益普遍的屏幕文化中站在阐述和定义意义的前沿。本文对两种沉浸式体验装置进行了详细研究，以总结具身体验的规律。《净土》的用户和观众根据其体验所创造的意义取决于五类身体的相互作用。通过解构《净土》，我们可以清楚地看到不同“身体”间的相互影响与共同作用：没有任何一个单独的部分可以被称为体验本身。如果我们能够清楚地阐明这些相互关系，那么我们所创造的各种社会和物理环境将对我们的思维和推理能力产生深远的影响。随着数据集的激增，对于设计可视化挑战的个性化和人性化解决方案的需求不容小觑。