从沉浸式图像到沉浸式视频的显示方式演变

骆駪駪

(北京电影学院影视技术系，北京 100088)

1前言

沉浸式空间，代表了相当多不同的含义。我们的讨论是在卢卡斯博士对沉浸式空间定义基础上，将其限定在人造空间的范围内：一个能触发个人感官(例如视觉、听觉、嗅觉、味觉和触觉(涉及温度知觉)、平衡觉以及动觉)的空间。

沉浸式视频是一个沉浸式空间中的图像显示。根据Ed Lantz的分类，沉浸式视频显示方式基本分为三类：小型单用户显示设备(头戴式显示器和桌面显示器)、中等规模的专为少数协作用户所设计的显示设备(CAVE、Powerwall)和为群体而设计的大型设备(dome、 IMAXDome)。Ed Lantz在2003年的SIGGRAPH会议上总结道，视觉上的沉浸应该满足如下几个特点：“(1)对整个视网膜的刺激；(2)产生强烈的存在感；(3)在大脑中的前庭区域产生骑乘或晕屏的反应；(4)视场角水平方向>140度，垂直方向>40度”。

本文集中在对沉浸式影像的发展历史和对当今主流大中型沉浸式影像显示方式分类的讨论上，梳理从沉浸式图像到沉浸式视频的发展和应用范围。

2沉浸式空间

说到空间，我们经常会问：“空间究竟是一个实体，是我们的感官和物理物体之间的关系，还是一个抽象概念？我们可以定义、创造和操控空间来创造审美体验吗？”

当我们查阅“沉浸式”(immersive)这个词的定义时，它的英文名词“immersion”来自15世纪末的拉丁语immergere，即表示完全被水浸没(《新牛津美语词典》)。现在，这个术语延伸到了计算机生成的图像。中国的古人对沉浸的定义与西方人相似。在许慎撰写的《说文解字》一书中，“沉”就是“陵上滈水也”，“浸”则表示“水”或“没”(mò)。庄子曰，“大浸稽天而不溺”。韩愈(769年-824年)在《进学解》写道：“沉浸醲郁，含英咀华”。这是“沉浸”第一次出现在古汉语的文本中，它指的是一种精神状态。在这一点上，正如珍妮特·穆雷(Janet Murray)所言，“沉浸是一个隐喻性术语，源于被淹没在水中的物理经验……在一种参与性的媒介中，沉浸意味着学习游泳，创作新环境并使之成为可能的事情……作为一种参与性活动，沉浸享受”。

在智人最早的表达形式中，就有对沉浸式体验的欲望。智人长期以来一直试图建立某种虚拟环境来满足他们对崇拜和其他方面的精神需求。在36000年前的拉斯科洞穴(图1)中所留下的大型动物洞穴壁画的克罗马农人，在古庞贝城神秘别墅中用马赛克塑造神像的古罗马人，在丝绸之路上的洞窟中描绘佛国胜境的中亚人，以及在清代紫禁城中倦勤斋内绘制全景画的中国画师，都证明了这一需求。

智人始终希望通过技巧和思想，在相对封闭的空间内构建令他们沉浸其间的虚拟世界。奥利弗·格劳(Oliver Grau)将其描述为“致幻景观房”(illusionistic landscape room)。

图1 Brimberg, Sisse. (n.d). 拉斯科洞穴壁画.[照片]2018年1月5日检索,来源：https∶//www.scriptmag.com/features/what-is-a-story-an-introduction

从上述例子中，我们看到东西方文化对沉浸式空间的认知有许多相似之处。作者认为，沉浸空间是一个独立的、相对密闭的人造空间，表现为一种虚拟环境或人类使用工具和技术所创建的空间；这个空间能够通过某种机制来触发人类的感官体验(更多是视觉和听觉)，从而激发记忆。对于沉浸体验，这是一个动态的过程，是从感官体验到叙事体验的渐进过渡。

因此，沉浸式体验的前提应该是选择用合适的人造空间来刺激感官。空间让身处其中的人忘记正常的时空，创造出不同的心理感受。而对于沉浸式环境的设计，又分为“无障碍”(类似CAVE系统)和“有障碍”(类似HMD系统)两种原则。这篇文章将主要集中探讨“无障碍”设计原则主导下所产生的沉浸式视频显示类别。

3从沉浸式图像到沉浸式视频

虚拟沉浸空间必须被归类为图像媒体的极端变体，因为它们的整体性，提供了一个完全可替代的现实。

3.1 全景图像与环幕

以庞贝古城的壁画和“致幻景观房”为起点，到18世纪中叶，艺术家们创造了一种全新的艺术风格：全景画(panorama)。埃尔基·胡塔莫(Erkki Huhtamo)认为，全景画及其相关形式：“Diorama”、“Georama”、“Cyclorama”、“Cosmorama”、“Kineorama”、“Poecilorama”、“Physiorama”和“Udorama”都是19世纪作家巴尔扎克在《高老头》一书中所提及的“在rama中对话”的各种变体。

1787年，苏格兰画家罗伯特·巴克(Robert Barker)通过描绘城市景观的图像，创造了“全景图”(panorama)这个概念。他首先给它起了法文名字：La Nature à Coup d’ Oeil(自然一瞥)。由于18世纪的政治趋势，法语成为“现代暴君”的语言，巴克不得不创造一个新名词panorama，其来自两个希腊词根：pan(全部)和horama(视野)。巴克的主要成就是解决了大型图像中众多复杂的透视挑战。后来，巴克把他的全景图移出了画框，建造了一座全景式的建筑。“1793年5月14日，世界上第一座特意打造的圆形大楼在伦敦莱斯特广场揭幕”。它被誉为“第一个真正意义上的大众传媒”。这座圆形大楼一直开放到了1864年，总共展示了126幅不同的全景图像(图2)。在当时，全景图被认为是人们逃避现实生活的一种好方法和好去处。

全景图意味着要在一个封闭的环境中创建一个尽可能跨越地平线的虚拟图像，最好的方法是在一个类似谷仓的建筑内立面绘制一个首尾相连的巨幅图像。全景图以错觉原理为依托，试图让观众感觉到他们已经进入了由图像代表的场景中。为了达到这一目的，观众首先要穿过一条黑暗的走廊，然后走上蜿蜒的楼梯，最后到达大厅的中央平台。观众在这个平台上四处张望，却无法看到被隐藏的底部，而巨型黑色幕布又阻挡了观众看到大楼的屋顶。斯蒂芬·奥特曼(Stephen Oettermann)认为，“在全景图中，打造出了供参观者四处移动的真实的图像空间”。这种形式非常吸引人，以至于在18到19世纪期间，全景画家花了大部分时间前往世界各个国家取材，并创作各种具有异国风情的全景图。至于全景图的内容，19世纪最为风靡的是战争主题，随后再是异国情调和传统城市主题。

图2 Mitchell, Robert. (1901年). 罗伯特·巴克(Robert Barker)在莱斯特广场上的全景圆形大楼(Oettermann, 1997年, 第 104页)

图3 莫奈和他的睡莲全景画, Giverny (King, 2016年,第433页)

到了20世纪初，全景图在艺术界的影响力越来越大。著名的印象派画家莫奈在他的晚年也开始创作全景画。从1915年到1917年，莫奈创作了许多单幅12m×2m的睡莲全景画”(图3)。莫奈试图在全景画中表现出花园池塘里的睡莲及周围环境，创造出“单张的连续画布的错觉”。

一些学者认为瓦格纳在19世纪所说的，创作一部融合所有艺术形式的舞台形式是受到了全景艺术的启发。瓦格纳的整体艺术(Gesamtkunstwerk)理论，可以解释为在物质世界中打造一个沉浸式空间。“瓦格纳的整体艺术是由戏剧视野驱动的，观众在戏剧的真实性中迷失了自我，从而创造出一种沉浸式的体验”。在瓦格纳看来，戏剧和歌剧是不可分割的整体。其次，这种艺术体验应当结合观众观看有趣表演时的感官体验，最终通过唤醒观众，引领他们进入更深层次的欣赏和体验。可以想像，瓦格纳和莫奈都试图创造一种最大化的感官体验给观众，从而将观者的思维从身体所处的真实环境中拉到艺术家所创造的虚拟世界中。

图4 1900年巴黎世博会上的Cineorama(全景电影)热气球. 拉乌尔·格里姆安·桑松(Raoul Grimoin Sanson). (1897年). Nouvel appareil permettant de photographier et de projeter sur un écran circulaire des vues animées panoramiques en couleur par le Cinécosmorama Sanson. patent nr. 272.517 (法). (Kiessling, 2017年, 第3页)

随着电影技术的出现，人们对观看活动图像和体验立体视觉的需求越来越强烈。19世纪末，一些人开始在全景图中运用电影技术进行展示，这再次唤起了人们对全景图的热情。1895年，查尔斯·蔡斯(Charles A. Chase)在美国伊利诺伊州的芝加哥成功注册了由16台投影机组成的旋转设备专利,被称为立体放映(Stereopticon)。这种设备首次亮相于1900年的巴黎世博会上，拉乌尔·格里姆安·桑松(Raoul Grimoin Sanson)用10个70毫米的电影放映机，在世博会的观景台周围投射出了一个360度连续的活动影像。参观者站在高高的观景台上环顾四周，就像站在一个升空的巨大热气球吊篮里，而周围环境的图像(直径30米)实际上就是十台放映机拼接后所投射的影像(图4)。

这样的展出形式延续至今。2015年的法国鲁昂市，一个名为“Panorama XXL”的项目开始展出，每年吸引了数百万游客前来参观(图5)。在这个全景剧场里，观众站上剧场中间的高平台，可以欣赏到哥特时期鲁昂城的城市景观、古典时期的罗马城市景观或者神秘亚马逊丛林的高清影像。

图5 Panorama XXL里鲁恩的哥特式景观. 2019年6月6日检索, 来源：PANORAMA XXL 网站, http∶//www.panoramaxxl.com/en/expositions/rouen/

随着技术的进步和高清放映设备的出现，全景环幕全面采用视频显示，彻底抛弃了静态的绘画形式。为了形成一个完美而巨大的弧形屏幕视频(120～360度)，它采用了基于软件的解决方案，包括几何校正和边缘融合技术，同时结合了扫描摄影和VR技术(比如：《神圣的吴哥》[2004年]、《地点-汉比》[2006年]、《纳高尔之眼》[2008年]和《人间净土》[2012年])。这进一步提高了环幕的观看性和趣味性，同时也逐渐发展出了一套适合环幕的影像叙事方式。

3.2 球幕

“Dome”是一个类似于空心球体上半部的建筑术语，其已经存在了数千年。在三维几何中，穹顶被称为2π球面度。像全景图一样，古人在穹顶上绘制图画，试图营造出某种“至高存在”类的沉浸体验。但是，全景图是一个圆柱空间，而穹顶则是球体的上半部分，甚至可以是下半部分(例如：2010年上海世博会的沙特馆)，这就意味着穹顶的透视及投射方式更加复杂。

20世纪20年代，蔡司公司首次将穹顶用作投影屏幕。(图6)蔡司公司最令人印象深刻的穹顶幕项目是1929年，在新建立的苏联，由钢筋混凝土构成的天文馆内的投影工程。其穹顶直径长达27米，可容纳1440名游客同时观看，使用当时最先进的蔡司哑铃型天象仪(Zeiss dumbbell projector)进行投射。这被认为是“社会主义苏联向其西方对手展示胜利的标志”之一。

图6 Jena镜头拍下的蔡司工厂屋顶上第一个投影天文馆的公开展览(1924年).图片由蔡司提供， 2019年2月7日检索，来源：蔡司官网, https∶//www.zeiss.com/planetariums/int/media/images/history.html

1963年，美国太平洋院线集团为影院和剧院展示了宽屏全景电影的新设计。20世纪70年代到80年代，电影业一直在努力提高电影的沉浸式体验。1973年，第一家IMAX球幕剧院在美国圣地亚哥的鲁本菲利特太空剧院与科学中心揭幕。球幕系统(最初称为OMNIMAX)，平均直径达23米，球冠面与地平面呈25度角倾斜，拥有300多个座位，“这给位于穹顶中心的观影者提供了水平投影角180度，垂直投影角122度(水平上方100度和水平下方22度)的观影角度”。1983年，Nelson Max在明尼苏达州科学博物馆的OMNIMAX剧院展示新型的球幕剧院图像，并描述了其设计和显示系统(图7)。

图7 Omnimax剧院, 1984年. (Max, 1983年,第 74页)

之后的二十年间，随着数字技术的兴起，各种球幕概念层出不穷：fulldome、halfdome、IMAXDome(旧称OMNIMAX)、水平球幕或倾斜球幕等概念纷纷出现。

相对于传统银幕，球幕影像在拍摄和展示图像的方式上有了很多改变。根据巨幕协会(GSSA)的定义，合格的球幕剧场的穹顶幕直径至少需要达到60英尺(18.3米)。这意味着，传统拍摄方式所摄制的影片并不适用在球幕剧场中放映。詹姆士·吉布森(James J. Gibson)表示，“使用球形屏幕时，可观看的图像达到160°，而不是通常电影院的20°或30°。但移动的影像可能会令人信服，也可能会让人很不舒服”。

由于球幕影像的独特性，其拍摄方式被称为球幕摄影术(Domegraphy),镜头通常有三种模式：兴趣点镜头、探索性镜头和体验性镜头。(图8)这三种镜头运动分别代表了三种叙事方式。同样的，巨大的球形银幕带来更多的技术问题，在Maren Kiessling的调查中，传统的30fps视频已经不太能满足观众的沉浸体验需求，似乎240fps视频才是未来球幕影像的最佳选择。

图8 球幕摄影术的模式，图片来源：©NSCcreative 2016

如今，世界各地的众多球幕剧院和球幕电影院都被用在教育和娱乐等领域。“多伦多的《宇宙探索之旅》和迪士尼乐园的《星际之旅》就是模拟技术和虚拟显示环境的首批娱乐应用之一”。近年来，随着三维立体电影技术的普及，球幕与其他体感设备(例如活动座椅、模拟气流设备、散发气味设备)结合在一起，为游客提供了更身临其境的体验(图9)。

图9 迪斯尼加州冒险乐园、未来世界、上海迪斯尼乐园三处的环游世界翔天之旅(翱翔·飞越地平线).该景点使用OMNIMAX屏幕. Bricker,Tom. (n.d). 环游世界翔天之旅评论. 2019年6月7日检索, 来源：Disneytouristblog网站, http∶//www.disneytouristblog.com/soarin-around-world-review/

3.3 佩珀尔幻像

1862年，约翰·亨利·佩珀尔(John Henry Pepper)教授和英国工程师亨利·戴瑞克斯(Henry Dircks)发明了一种完全不同的投影方法，称为“佩珀尔幻象”(the Pepper's ghost illusion)。当年，这个装置在伦敦皇家理工学院进行了首次演出。这是一种使用玻璃产生幻象的技术，玻璃的角度介于观众和舞台之间，舞台下演员的光线反射到台前的玻璃上。观众能看到玻璃上的幻象，也能看到玻璃后真实背景下，在舞台上来回走动的演员。(图10)佩珀尔幻象通常与全息投影的概念混淆。实际上，在电视或舞台上看到的大多数全息投影都是佩珀尔幻象的变体。这种表现形式特别适用于对模糊物体的展示，幻像突然出现或消失，会让空间变得神秘而奇妙。

图10 舞台上使用佩珀尔幻象. Tissandier, Gaston. (n. d). 《流行科学娱乐》伦敦: Ward, Lock, and Co., 伦敦. 第138页. 此书最初为1880年法语版. (Greenslade, 2011年,第 338页)

图11 Lemieux Pilon 4D art.(2008年). 《动画大师诺曼》 2007年. 2019年6月27日检索,来源 Lemieux Pilon 4D art, http∶//4dart.com/en/creation/2007/norman/

近年来，舞台表演越来越多地借助3D计算机生成的图像和投影设备来使用佩珀尔幻象，而不再是使用单独光源反射的演员。2007年，一部关于诺曼·麦克拉伦(Norman McLaren)生活和动画的戏剧《动画大师诺曼》登台亮相。该部制作精良的舞台作品于2007年在加拿大首演，之后风靡全球。这部作品是对四次奥斯卡奖提名的电影制作人诺曼·麦克拉伦的致敬，它结合了电影、舞蹈、音乐、戏剧和佩珀尔幻象等多种形式(图11)，期间把麦克拉伦的动画投射在倾斜的成像膜上，并与现场表演者的表演相互配合。

3.4 CAVE

20世纪70年代，媒体艺术家丹尼尔·桑丹(Daniel J.Sandin)和工程师托马斯·德凡提(Thomas A. DeFanti)加入芝加哥伊利诺伊大学的电子可视化实验室之后不久，又打造出了另一种投影视频系统。他们和正在攻读博士学位的学生卡罗来纳州·克鲁兹-内拉(Carolina Cruz-Neira)合作，尝试将计算机图形学和视频成像相结合。1991年，他们设计并建成了第一个洞穴式自动虚拟环境系统(Cave Automatic Virtual Environment)(CAVE)。CAVE系统用于相对封闭的正方形空间，该空间中配备了跟踪摄像机来捕捉用户的行动，捕捉到的动态实时反馈给图像处理系统。图像处理系统则通过投影设备将视频投射到空间的墙壁和地面上(图12)。

图12 CAVE在游戏中的应用.2019年6月27日检索, 来源 http∶//www.technobyte.org/2016/03/introduction-virtual-reality/

此装置把虚拟世界和真实世界融合在了一起。帕克写道：“与其他VR系统不同，CAVE的属性是通过真实与虚拟之间的相互作用而得以增强……(CAVE)在动画图像和精心安排的声音中，让你从内心深处意识到自己就置身在‘舞台上’”。但是，CAVE不适合多人游戏体验，因为“屏幕图像只显示被跟踪的一个人(即所谓的主要观众)”。CAVE系统的最初设计理念旨在突破头戴式显示器(HMD)系统的限制，并最大程度地减少对用户移动的限制。此外，它还提供了共享的虚拟和现实体验。目前，这项技术已广泛应用于建筑、艺术和工程设计领域中。

3.5 光雕投影

光雕投影，被称为Projection mapping，也称为空间增强现实(spatially augmented reality)，基于投影的增强现实(projection-based augmented reality)或基于投影的空间显示(projection-based spatial displays)。这是一种将视频投影到各种对象表面的映射技术,大多数学者把它归为增强现实。这项技术通过将图像投射到不同角度和形状的物体表面，可以增加现实世界中三维物体的空间。投射图像的形状与色彩是由软件创建的，由计算机预先渲染完成或实时生成。通常，光雕投影使用一个或多个投影设备将图像投射到空间中的一个对象或一组对象上。利用图像和投射对象在形状、颜色、饱和度与对比度方面的差异，创建具有视觉冲击的图像(图13)。

图13 新加坡国家美术馆的mapping演示.2019年2月10日检索, 来源https∶//www.green-hippo.com/spectacular-projection-mapping-opening-national-gallery-singapore/

按照布雷特·琼斯(Brett Jones)的说法，首个非平面投影实例是在1969年的迪士尼乐园的《鬼屋之旅》的开幕式上。光雕投影具有以下优点：(1)与传统的照明方法相比，投影映射更能创造动态、优美的环境；(2)与AR设备相比，投影映射为多个观众提供了共享的体验；(3)由于投影对象移动较少或具有固定的运动轨迹，因此投影映射的图像延迟较小；(4)从设计上考虑，投影仪容易隐藏，能让整体环境更加完整。

光雕投影和平面屏幕投影之间的最大区别，在于光雕投影必须考虑图像在Z轴(深度)上的表现。与平面屏幕不同，光雕投影的对象主要都是具有曲线(例如：汽车表面)或不同空间层次(例如：在建筑物立面之后或之前的阳台和支柱)的对象，因此，纠正多频道图像的失真问题就显得尤为重要。如今，大多数流行的光雕投影软件都走上了3D发展道路。通常，光雕投影的目标是静态对象。投射到动态物体上有时会出现问题，这是由于追踪系统延迟导致的图像位移以及不同图像亮度水平下现有算法的不稳定性所致。但近年来，随着图像追踪技术和图像算法的发展，越来越多的动态光雕投影作品开始出现(图14)。

图14 日本艺术家Nobumichi Asai的动态光雕投影作品《INORI -PRAYER》，2020年4月10日检索, 来源https∶//www.nobumichiasai.com/works/139/

光雕投影的应用越来越广泛，涉及到医学、教育、设计、娱乐和表演。最近，它在主题公园和博物馆中的利用率也非常高。马克·梅恩(Mark Mine)评论说：“基于投影的增强现实是提升主题公园和其他娱乐环境，并为其增添活力的强大工具。……它仍然是幻想工程师工具箱中的重要工具，有助于让主题公园娱乐节目中的建筑物焕发活力”。

4总结

沉浸式空间是一种追求虚拟世界的封闭人造空间。自古以来，人们就通过各种方式创造沉浸式的体验。狭义上的沉浸式空间最终被定义为一个可以完全改变现实场景的虚拟人工环境。而在这样的虚拟环境中，沉浸式的影像占据了触发人类感知体验的绝对的统治地位。