沉浸式体验:文化与科技融合的新业态

2019-10-10 06:34陈清荷
上海财经大学学报 2019年5期

花 建 , 陈清荷

(上海社会科学院 文学研究所,上海 200235)

一、引 言

沉浸式体验是当今文化与科技融合所形成的一种新型业态。它在先进科技成果的推动下,发展成为集硬件设备、软件内容等于一体的包裹型、多感官、即时型、可控型的体验系统。它在文化产业的领域中,衍生成为沉浸式演艺、沉浸式展览、沉浸式娱乐、沉浸式影视、沉浸式遗产保护等丰富的形态。它以大量的技术集成、快速的内容更新、广阔的市场应用,成为文化与科技融合创新的强大引擎和前沿领域,并且展示出日益广阔的应用前景。

沉浸式体验是当今世界上富有前瞻性和挑战性的热门研究领域。近年来,美国、英国、德国、日本等发达国家的政府部门、大学、智库、企业纷纷从不同角度对沉浸式体验进行了研究,涉及沉浸式的技术开发、投资与合作、市场应用、对外出口、人文和艺术等多个细分领域。比如:英国从2016年开始由英国创新知识转化联盟牵头,在英国国家科研与创新署支持的“创新英国”推动下,正式建立了“英国沉浸式”集群。这个集群具有鲜明的跨学科和跨行业特点,多次发布重要的研究报告,集聚了1 700多位行业领袖、研究者、艺术工作者、思想者、投资商、技术开发商等,鼓励他们之间开展密集的信息沟通、创意交流和商业合作,其目的是推动英国占据沉浸式技术和产品开发的全球领袖地位①Innovate UK,The immersive economy in the UK—The growth of virtual,augmented and mixed realty technologies. May 2018,www.innovateuk.ukri.org.。而英特尔公司的高层则公开宣布:真正的未来将始于数据。英特尔公司正在研究和探寻一种共享、分析和利用数据的全新方式,形成一种更加富于沉浸式、个性化的泛在智能互联体系。英特尔公司的有关专家指出:沉浸式体验的研究和开发,将驱动整个世界发生深刻、快速、令人惊叹的变革①英特尔公司副总裁兼客户端计算事业部总经理Gregory Bryant在2017年台北国际电脑展(Computex 2017)的开幕主题演讲,参看《Computex:英特尔构建沉浸式、个性化的智能互联》(http://www.sohu.com)和英特尔公司官方网站的报道(http://www.intel.com),2017年5月31日。。

从全球范围看,对沉浸式体验的研究不仅仅在技术开发的层面上,而且进一步深入到创新机制的层面上。沉浸式体验的发展水平体现了一个国家和城市创新机制所达到的力度和深度,它的产业化应用得益于一个优良的创新生态和营商环境。由于沉浸式体验是建立在新一代通讯、大数据、人工智能、智能装备、创意和数字内容等基础上的,所以能否聚合各领域的研发成果,促进科技、投资、创意、艺术、商业等主体的合作,就成为一个国家和一个城市能否在沉浸式体验领域形成融合创新优势的关键。中国要建设成为21世纪的文化强国,必然要在沉浸式体验领域占有重要的一席之地,这就要加强相关创新资源的整合,以此带动中国在科学技术和文化创意等多个领域的创新发展,并且推动广大人民文化消费的不断升级。

目前,国内外关于沉浸式体验的研究多从技术、新媒体、传播等视角进行研究,一些研究者主要是把沉浸式体验作为一种专业工具、一种传播手段来进行研究。而本文从文化与科技融合的新机制和新业态的视角出发,并把沉浸式体验作为一种文化产业新业态来进行研究。本文研究沉浸式体验发展的特点和规律,不仅深入分析了沉浸式体验的科技基础,而且研究了沉浸式体验的创意内容,以及两者如何深度融合的创新机制,进一步从全球文化软实力竞争的角度,借鉴发达国家的经验,对中国如何加快发展沉浸式体验项目,提出有针对性的对策和建议。

二、沉浸式体验的特征和意义

(一)从古典的探索到现代的体验

沉浸式体验与人类的进化具有深刻的联系。人类对于沉浸式体验的向往和开发,经历了一个漫长的历史过程。随着人类神经系统和思维系统的发育,人类很早就形成了一套复杂的感知、体验、记忆系统,并且通过人类独有的想象力不断拓展自己的体验范围。而人类去获得这种体验的过程,既是一种孜孜不倦的建构和探索历程,又是一种获得巨大快感和美感的游戏过程。

早在古希腊时代,柏拉图等学者就描述了“感官体验”的特点。尼采在分析“赫拉克利特式世界”时指出:游戏不是任意的玩耍,而是极为投入的创造,从而能够内生地形成秩序。游戏者一方面在全然地投入,另一方面又超越地获得静观,这正是它让人获得巨大快感体验的奥秘:“正如必然性与游戏,斗争与和谐必定交媾才能生育成为艺术作品一样”②弗里德里希·威廉尼采:《论救赎》,见《查拉图斯特拉如是说》,天津人民出版社2018年版,第32页。。尼采提出了日神和酒神的区别,也启迪后人进行思考:如果日神和酒神所代表的造型艺术和音乐艺术相互交融,融合了视觉、听觉、触觉等,就可以“随着这激情的高涨,主观逐渐化入浑然忘我之境”③尼采:《悲剧的诞生·尼采美学文选》,周国平编译,上海人民出版社2009年版,第27页。。这种沉浸式的体验享受,成为人类向往的一种美妙境界。

美国心理学家米哈里·契克森米哈在1975年提出了心理学术语“心流”(Flow或者是Mental Flow),指一种将个人的精神力完全投注在某种活动上的特殊感觉。人进入了一种全神贯注、犹如沉浸于惬意的水流中而不受打扰的状态,甚至忘记了时间的流逝,等到结束才发现已经过了很久。当人的心流产生时会伴随着高度的兴奋感和充实感,在事后也会留下难忘的记忆④米哈里·契克森米哈:《心流——最优体验心理学》,中译本,张定绮译,中信出版集团2017年版,第61页。。这种感觉大大超越了人在日常生活中的体验程度,进而引起人们对此的向往和迷恋。这可以说是较早有关沉浸式体验的系统描述。

(二)从真实的体验到虚构的世界

沉浸式体验随着生产力的进步而进入高级阶段。在工业社会之前,由于科技装备和消费水平的限制,人们所获得的沉浸式体验往往是碎片化、偶然性的,也难以成为人们广泛追求的消费形态。当人类进入后工业化时代,人们的消费跨越了追求价廉物美、物有所值、充分享受等阶段。新型视听、人工智能、5G、AR、VR等技术的应用又提供了实践的可行性,即借助于科技装备和创意设计,把高品质的体验发展为一种具有高价值量的消费形态,这才推动了人们对于体验(experience)消费的大力开发和广泛追求。正如美国学者B. 约瑟夫·派恩在《体验经济》中指出的:体验是人类历史上的第四种经济提供物。农业经济提供了自然的产品,工业经济提供了标准化的商品,服务经济提供了定制的服务,而体验经济提供了个性化的体验。当标准化的产品、商品、服务都开始出现产能过剩的时候,唯有体验是供不应求的高价值承载物。

作为后工业化时代的经济提供物,“体验是让每个人以个性化方式参与其中的事件”。它推动了多领域企业的转型,从标准化的商品和服务,转向提供各式各样的个性化体验。这些体验包括迪士尼乐园所提供的童话世界经历、乔丹品牌给人带来的篮球明星感觉,以及阿玛尼套装显示的奢侈品趣味。而沉浸式体验,是后工业社会中通过集成大量技术、智慧和创意,所创造出来的一种高价值经历。它是由主题设计所引导,根据现代逻辑所设计,用智能手段有效控制,汇聚了多种体验的高度集成形态。它是由专业机构精心设计、打造、运作、销售的一个符号系统,也是让受众沉浸于其中的一个服务过程。当沉浸式体验结束的时候,“人们仍然珍视它,因为它的价值就在他们心中,并且经久不衰”①B·约瑟夫·派恩、詹姆斯·H. 吉尔摩:《体验经济》,中译本,夏业良等译,机械工业出版社2002年版,第19页。。希望获得这种富有价值的、难忘的沉浸式体验,成为后工业化社会越来越强烈的消费需求,也是引领消费升级的一个前沿领域。

(三)形成全体验和超震撼的形态

沉浸式体验具有丰富的科技内涵和人文价值。在现代先进科技的推动下,沉浸式体验成为集硬件设备、软件内容等于一体的包裹型、多感官、即时型、可控型的产业形态。它超越了传统意义的演艺、影视、音乐、展览等媒介,而形成包括视觉、听觉、触觉等全体验的服务模式,提供给人一种集各种视听效果和多种媒介于一体,作用于人全身心的难忘经历。特别需要指出,沉浸式体验包含了丰富的现代逻辑。当它创造各种体验单元时,不但遵循了传统的形式逻辑、情感逻辑,而且大量采用了时态逻辑、量子逻辑、多值逻辑的成果,从而创造出既体现自由想象,又具有深刻逻辑力量的另类时空。正如国际多媒体协会联盟主席哈威·费舍所说:“虽然数字王国的本质是技术和二进制码,但它释放了在人类各个领域最天马行空的想象力”②哈威·费舍:《数字冲击波》,中译本,黄淳译,旅游教育出版社2009年版,第265页。。除了在医疗、工程、培训、军事等领域的应用,沉浸式体验在文化产业领域中,发展成为一种高价值的文化服务。它以主题叙事为聚焦,以沉浸式视听为效果,以现代逻辑为架构,提供给人以三元合一的价值体验,即直接的感官体验、间接的情感体验和内省的哲理体验。当前的沉浸式体验,正在成为文化产业领域中创新活力非常强劲、表现形式丰富多样的新业态之一。

沉浸式体验表达了深厚的人文意义。它让观众从真实的体验进入虚构的世界,传达了创作者对于自我、万物、世界、宇宙等内在秩序的新解读和新表达。正如以色列学者尤瓦尔·赫拉利在《人类简史》中所指出的:“能够讲述虚构故事是人类进化过程中极为重要的一次飞跃”。人类语言真正最独特的功能,在于“讨论虚构的事物”。只有人类才能讨论那些并不真正存在的事物,相信不太可能的事情。虚构故事的重大作用就在于,它能够发挥想象和逻辑的力量,以共同的愿景让人群进行合作,把虚构的事物化为现实。这是人类的力量被放大、胜过任何其他动物而能够主宰世界的根本原因①尤瓦尔·赫拉利:《人类简史》,中译本,林俊宏译,中信出版社2014年版,第198页。。这恰恰也是沉浸式体验能够直击人心、叩动心弦的根本原因之一。沉浸式体验把各类视听符号重新编码,把人引入由时态逻辑、量子逻辑、多值逻辑等所组成的另类时空中,极大地激发人的好奇心和想象力。正所谓“洞中方一日,世上已千年”。因为它采用了与人们日常生活截然不同的时空运动节奏和符号逻辑结构,从对话500年前的天才科学家和艺术家达·芬奇,到进入2050年的未来世界,再到星际穿越和访问火星。它们虽然是奇幻如梦的,但又分明是一个自主运作的真实世界。有鉴于此,沉浸式体验作为现代体验消费的一种,具有大奇观、超震撼、全体验、逻辑力的鲜明特点。人们在日常生活中获得的体验,或者在自然山水、传统影视和娱乐中的体验,可能只是其中的某一项,唯有在沉浸式体验的范畴中,才能把这四个方面进行充分整合,达到水乳交融的境界(参见表1)。

表1 沉浸式体验的基本特点

三、沉浸式体验的科技基础

(一)打造数字化的“准客体”

沉浸式体验是当代文化与科技融合创新的结果。虽然人类对于沉浸式体验的向往由来已久,但是,只有在信息化、数字化、智能化技术获得普及和大规模商业化应用的基础上,它才能具有普遍的可行性,并且将随着5G技术等前沿科技成果的大规模普及和应用,获得更加广阔的市场空间。它结合了基础理论、先进技术、现代逻辑、文化装备、大数据等,具有虚拟性、智能化、系统化、互动性等鲜明的特点。依托现有的发展水平,沉浸式技术和产品可以应用到工程、医疗、培训、农业、抢险、物流、军事等多个领域。而且,沉浸式体验给人们带来了前所未有的想象力、惊奇感、激情和快乐。正如尼采所说的,游戏者“既想要观看又渴望超越观看”,“既想倾听又渴望超越倾听”②弗里德里希·威廉·尼采:《悲剧的诞生》,中译本,周国平译,广西师范大学出版社2002年版,第175页。。沉浸式体验契合了人性中爱好游戏和娱乐的天性,它在创意、媒体、艺术、娱乐、展览等文化产业领域获得了非常广泛的应用。

根据“创新英国”的有关报告统计可知,接受调研的1 000多家英国沉浸式技术专业公司,共涉及22个市场细分领域。其中,介入媒体市场的公司数量在全部细分市场中占据的比重最大,约为60%;而介入培训市场、教育市场、游戏市场、广告市场、旅游市场、建筑市场、通讯市场的公司数量占比依次排在第二位、第四位、第五位、第六位、第八位、第九位、第十九位,共同占据了全部细分市场的大部分比重。该报告指出:几乎80%的沉浸式技术专业公司都涉及了创意和数字内容市场;2/3的沉浸式技术专业公司涉及了其他市场,从教育、培训到先进制造业等,通过提供沉浸式产品或服务在多个市场领域创造了多样化的效益。值得注意的是,媒体、培训、游戏、广告、旅游中的文化项目、建筑中的设计、通讯中的数字内容等,都属于文化创意产业的范畴(参见图1)。

图1 沉浸式技术专业公司所涉及细分市场的比重(英国)①Innovate UK,The immersive economy in the UK—The growth of virtual,augmented and mixed realty technologies. May 2018,www.innovateuk.ukri.org.

通过进一步研究可以发现:沉浸式体验之所以在文化创意产业领域获得广泛应用,是因为它所提供的内容,与自然景色和演艺、节庆、宗教活动等给人带来的梦幻感觉大不相同。后者是由自然界或者现场表演的人工所造就,而沉浸式体验则以数字文本、数字符号、电子音频、数字视频等数字物为特征。中国学者李三虎指出:不同于传统意义上的物质存在,从本质上说,数字物是通过二进制数字语言表达的“元数据”系统。“数字物不同于自然物而属于技术人工物,可以被称为‘数字人工物'”②李三虎:《从物性视角看数字世界》,《中国社会科学报》,2018年11月6日。。它们丰富多彩的表现形态,都可以还原为0和1的二进制数字表达。这种数字人工物,可以进入模块化、层级化的组织网络中,表现为信息表达、储存、链接、计算、再现等数字物性,由此演变出如移动、控制、修改、互动、感知、表征等各类属性。这种数字人工物不同于传统技术人工物(如建筑物、印刷品、书画、手工艺品等),可以被称为“数字客体”而与自然客体有所区别。这种数字客体是以数字为载体,通过创意设计而形成,人们可以通过视觉、听觉、触觉去全方位体验的符号化非物质形态。

信息技术产业的知名企业家王雪红指出:“人类正在进入一个不可思议的时代”,那就是沉浸式内容时代,它以“VR+AR+AI+5G+Blockchain=Vive Realty”即虚拟现实、增强现实、人工智能、5G技术、区块链等,创造出人与环境、主观与客观、真实与梦幻之间无数种鲜活灵动的关系①王雪红:《VR将超越智能手机》,《中国时报》,2019年3月26日。。文化产业领域中的沉浸式体验对新兴技术具有巨大的包容度。其奥秘在于:沉浸式产品和技术立足于数字客体,能够对各类数字技术和产品形成开源式的对接。各种数字新技术和新产品不断丰富了沉浸式体验,从而使得这一数字客体所构成的梦幻符号世界,越来越具有强烈的大奇观、超震撼、全体验、逻辑力等特征。

随着5G技术、物联网、大数据、人工智能等的发展,数字物正在逐渐替代人类的思维活动。如同竹简和纸张成为人类文字的承载物一般,数字物的“元数据”又必须依托电脑、通讯设备、电子显示屏等才能流通和运行。“皮之不存,毛将焉附”,它们是一种高度依赖特定物质关联环境的“准客体”(quasi-object)。从这个意义上说,沉浸式体验高度依赖于数字化载体、技术和装备系统的发展,而数字符号所表达的象征性内容越是丰富,数字化载体、技术和装备的价值就越大。它为发挥人的想象力、创造力和表现力提供了一个可以无限延伸、叠加、变化和进入的符号化非物质世界。这是从本体论角度来看,沉浸式体验之最本质、最重要的特点。

(二)集成大量的前沿科技成果

在沉浸式体验的发展过程中,集成大量的前沿科技成果,包括3D全息投影技术、虚拟现实技术(VR)、增强现实技术(AR)、混合现实技术(MR)、多通道投影技术、激光投影显示技术(LDT)等。这些技术或者是“嵌入”,或者是“推动”,深刻地影响着沉浸式体验的结构和内容。

重点技术之一:3D全息投影技术。3D全息投影是一种采用数字视听手段,记录、储存并且再现真实物体特点的三维图像。它通过运用干涉和衍射原理,投射到各类建筑物的立面和空间,让观众仅凭肉眼就可以看到立体的虚拟人物。随着全息投影技术的日益成熟和完善,它在沉浸式体验中的应用越发广泛。全息投影以其逼真的表现手法和清晰的三维立体表现效果,成为沉浸式体验的核心手段之一。它有助于最大限度地调动观众的视觉、听觉和触觉等,使之全神贯注地进入预先设计的情境中,可以极大地激发人的好奇心和想象力,获得进入另类空间和时间的感觉。

重点技术之二:VR/AR/MR技术。虚拟现实技术(virtual reality,VR),是一种可以创建和体验虚拟世界的视听仿真系统。它利用电脑和人工智能生成一种模拟环境,是一种多源信息融合的、交互式的三维动态视景和实体行为的仿真系统②刘玮:《视觉性与当代传媒文化研究》,《西部广播电视》,2018年12月25日。。艺术家利用VR技术打破数字符号空间与物理世界之间的界限,依托人机交互手段,把想象化为虚拟,把虚拟转化为可感知的现实,实现“虚中有实”、“虚实相间”、“实中有虚”的奇妙统一,从而赋予作品以丰富多彩的沉浸感。

增强现实技术(augmented reality,AR),是把造型、材质、色彩、强度等原本在现实世界中的实体信息,通过三维建模、场景融合、混合运算等数字化技术进行模拟仿真,在这个过程中把人工添加的信息包括数据、造型、色彩、文字等叠加进同一空间。这种增强型的虚拟现实可以直接为人类感官所感知,达到来自现实又超越现实的感官体验。AR把受众的体验带入三维时代,比平面二维更加具有立体感、真实感,为受众提供极强的现场感等。

混合现实技术(mix reality,MR),是虚拟现实技术的进一步发展,是一种将具有高度沉浸感的VR虚拟场景画面和体验者视频画面进行混合而输出的一种技术。混合现实技术是在合并现实和虚拟世界的基础上,形成的全新可视化环境。它在现实世界、虚拟世界、用户三者之间构建起一个交互反馈的信息回路,让人在MR系统中同时扮演了“监视者”与“被监视者”的双重角色。VR是纯虚拟数字画面,增强了用户体验的真实感;AR是虚拟数字画面加上裸眼现实,在不同空间中穿越;而MR是数字化现实加上虚拟数字画面,把虚拟对象投射到现实世界的信息系统中,并让用户与虚拟对象进行密切互动。

重点技术之三:多通道投影和激光投影显示技术。多通道投影技术是指采用多台投影机组合而成的多通道大屏幕显示系统。随着5G技术的发展与普及,多通道投影技术将提供超高清、低时延的视觉图像。它具有显示尺寸更大、时延极低、显示内容更丰富、显示分辨率更高的优势,同时还具有超强的视觉冲击力,形成让体验者沉浸其中的奇妙感觉。它是超大屏幕电影院、科学博物馆、展览展示、工业设计、教育培训、会议中心等空间,进行图形图像展示、场景营造的最优选择之一。

激光投影显示技术(LDT),是以红、绿、蓝(RGB)三基色激光为光源的显示技术。它具有色彩丰富、饱和度高、投射距离远、投影范围大等特点,并且可以在多种立面包括凹凸不平的建筑物立面和水幕等上呈现。它超越了人的肉眼可以看到的有限光谱,形成了更具震撼的表现力。激光投影显示技术应用领域极其广泛,包括舞台美术设计、水幕成像表演、灯光秀、模拟仿真、户外幕墙、展示展览等。从这个意义上说,沉浸式体验不仅仅是美化和描述人类的想象力,而且它本身就在改变和更新着人类的世界。

(三)以空间造境为核心业态

沉浸式体验是依托数字化准客体而建立起来的空间活动体验,空间造境是其核心业态,也是使得受众获得沉浸感的关键要素。它的空间造境主要分为三种形式,即纯空间意境营造、交互式空间营造和叙事性空间营造。它以不同的手段营造不同的空间意境,让人们沉浸在特定的情与景中,全身心体验设计者营造的氛围和主题。

类型之一:纯空间意境营造

纯空间意境营造是沉浸式空间造境最基础的一种手法。设计者确立一个核心主题,大量采用镜像多重反射、包裹式特效、多屏显示等手段,形成沉浸式的空间营造。比如被称为日本前卫艺术先驱,有“波点女王”之称的草间弥生,融合了绘画、软雕塑、装置艺术和行为艺术等表现手段,表现出超凡脱俗的想象力和创造力。她的作品融合了西方艺术和东方要素,把野性、奔放与梦幻、诗意等结合在一起,因而在世界许多城市受到了广泛的欢迎。她创作的沉浸式体验作品有《无限镜屋》《无限的爱》等。草间弥生的镜屋装置给人一种无限的感觉,让参与者沉浸其中,体验被自己的反射影像所包围的感觉。又比如兰登国际创作的《雨屋》,该沉浸式装置是由水、注塑贴砖、电磁调节阀、定制软件、3D追踪摄像头、钢梁、水处理系统、格栅地板等组成的。该项目营造的成功,得益于隐藏在其中的大量3D镜头和人工智能系统。3D镜头会监测游客的实时运动情况并及时上传给人工智能控制系统,精准地控制雨水以避开观众的身体,被称为“永远淋不湿的倾盆大雨体验”。

类型之二:交互式空间营造

交互式空间营造是以人机互动技术为基础形成的沉浸式体验品种。它融入了光学三维动作捕捉系统和新型视听表达等技术,让人与人、人与电脑、人与环境形成前所未有的新体验。意大利T.P.O.剧团创作的《魔毯梦花园》,就是一个妙趣横生的沉浸式儿童剧表演。美术家赫尔博邀请小观众一起参观四色花园。这里有象征森林的绿色花园、象征爱的红色花园、象征大地的黄色花园、象征海洋的蓝色花园。小观众仿佛被数字技术带入一个既虚拟如梦又触手可及的奇妙世界。正如英国《卫报》上的评论所描述的:“每一个动作触发的情景变化都像突然绽放的生命,我们仿佛闯进了一个色彩缤纷的真实花园①参看搜狐网2017年6月15日的报道:《魔毯梦花园》让孩子登上顶级意大利儿童剧舞台!http://www.sohu.com/a/149251764_769213。”。创造这一神奇景象的,源自装置在魔毯上的108个传感器。小观众可以化身故事中的主人公,通过随心所欲的姿势、移动、表情等释放情感和想象,与魔毯进行奇妙互动。这种自我和他人、梦境与现实、儿童与花朵、艺术与人生之间的有趣对话,将甜蜜的梦长久地留在小朋友心里。

类型之三:叙事性空间营造

叙事性空间营造以讲故事为主线,把空间进行叙事性的创新折叠。它仿佛把时间和空间当作两块手帕而重新折叠起来,包括对角折叠、多重折叠、对开折叠、扭曲折叠等,让沉浸式的折叠时空引导观众进入似真似幻的奇妙世界。如大型沉浸式戏剧《爱丽丝冒险奇遇记》有33个独特空间,每个空间都与剧情紧密相关且独一无二。观众会踏上精心设计的路线,在不同空间里“穿梭冒险”。观众也可以作出不同的选择,会进入不同的剧情空间,体验一对一的故事线互动;而水晶石打造的《黄山》等项目,结合INFOPLAY技术,让信息采集设备捕捉到的超高清画面得到最佳展现,内置的图像校正功能和图像色彩处理功能,使大屏幕展现的图像轮廓更清晰,画面更光滑,色彩表现能力更强。它可以支持多路不同的信号输入,实现多路信号的开窗口显示、窗口任意漫游和缩放、视频与计算信号任意叠加等功能,让观众享受四季黄山、飞跃云海、穿越奇松的沉浸式体验:黄山云海翻滚在脚下,四季更替犹如云烟浮动,怪松奇石耸动在眼前。

以上所述的沉浸式表现类型,表达了文化消费的三重体验:以视觉、听觉、触觉、嗅觉等为主的感官体验;具有叙事性和故事性的情感体验;追求价值认同的精神体验。德国哲学家瓦尔特·本雅明在《机械复制时代的艺术》中提出了“光韵”(aura)的效应。这种“光韵”效应来源于观赏者亲自面对原真艺术品所体验到的敬畏感与崇拜感。随着数字时代的到来,文化产品给人们提供的体验方式变得更加丰富多元,它所创造的膜拜价值和展示价值让渡给了体验价值,包括感官体验、情感体验和精神体验,而在这个基础上又形成了更高的膜拜价值。在文化产业的领域中,运用创意手段,针对市场需求,将多种文化价值融合为多元复合的交感体验,这正是沉浸式体验建立的基础之一。

四、沉浸式体验的创意内容

(一)内容创新与沉浸式技术的结合

沉浸式体验在不断集成大量科技成果的同时,对创意内容的开发提出了越来越高的要求。这与美国学者理查德·佛罗里达所提出的创意城市的3T理论,即技术、人才、包容性有异曲同工之妙②理查德·佛罗里达:《创意阶层的崛起》,中译本,司徒爱勤译,中信出版社2010年版,第286-290页。。它要求每一种新技术手段在沉浸式体验中的应用,必须承载相应的文化创意内容,反过来说,每一种新的叙事结构和主题设计,必须获得新技术手段的强有力支持和表达。

近年来,文化产业领域的沉浸式体验之所以获得飞速发展,就在于技术集成与内容创新的结合,不断地突破平衡,暴露出彼此的差距,又不断地融合创新,找到彼此的契合点,从而日益广泛地应用于多个领域。在全球化、数字化和网络化的时代,有可能通过高效的平台,把不同领域、不同学科的创意和要素整合起来,并且进行有效的转化,组成大量富有价值的新成果。这就是当代意义上的“美第奇效应”③弗朗斯·约翰松:《美第奇效应——创新灵感与交叉思维》,商务印书馆2006年版,第9-16页。。而沉浸式体验就处在科技与文化的交叉点上,又通过创新灵感和交叉思维进行产业化运作,培育和壮大了新的文化产业形态,如沉浸式影院、沉浸式戏剧、沉浸式KTV、沉浸式展览、沉浸式餐厅等,不断突破人们的感官边界(参见图2)。

正如哈威·费舍尔所指出的:“网络世界是一个虚构的世界,这里也有逻辑、价值观念、信息以及个人行为和社会行为,不过与现实世界差别很大。这两个世界之间存在一种辩证关系,它们一方面相互排斥、相互对立,另一方面又相互补充、相互管理、相互促进。”①哈威·费舍尔:《数字冲击波》,旅游教育出版社2009年版,第41页。这一段生动的描述,用来形容沉浸式体验的内容,真是恰如其分。可以说,以虚拟性、创意性、想象力为特征的沉浸式内容,在技术和内容的结合点上拓展了极为广阔的空间。

(二)沉浸式体验在文化产业领域的创意实践

1. 沉浸式影院和电影:全身心的探索

沉浸式影院通过环抱式的展示方式、立体式的音箱结构、数字化的展示内容以及AR/VR技术的应用,使体验者拥有身临其境的观影体验,沉浸其中,忘却自我。国内外许多5D影院、弧幕影院、360°球幕飞行影院(TOPDOME FLYING)等,正在营造多种“沉浸式”体验,显示了未来影院的发展方向。有的甚至成为一个城市的文化地标之一,如加拿大温哥华的沉浸式电影《飞跃加拿大》,全景式展示了加拿大从太平洋到大西洋的辽阔国土,奔腾的跨境大瀑布、冰雪覆盖的落基山脉、一望无际的红枫树林、自由奔驰的草原牛仔,让观众沉浸其中,融入其中,感受到加拿大特有的空间感和加拿大人“勇敢的心”。

许多沉浸式影院应用于博物馆、科技馆、展览馆等专业场馆,以专业影片围绕特定的主题进行内容定制,生动地传达了科学的精神和探索的魅力。比如上海科技馆拥有IMAX立体巨幕影院、IMAX球幕影院、IWERKS四维影院、太空数码影院等视听空间②参见上海科技馆,百度百科,https://baike.baidu.com/item。。当巨幕影院放映《亚马逊探险》等影片时,观众可以直接面对相当于6层楼高的巨幕画面,立体效果逼真,景物有伸手可触之感;四维影院是三维立体电影与一维环境效果的创新结合,当观众欣赏《蛟龙入海》等影片时,感受到海浪奔涌、跌入陷阱、海蟹咬腿等现象,与电影情境融为一体;球幕影院具有球幕电影和天象演示双重功能,让银幕倾斜30度,使观众身处灿烂的穹幕之下,为立体型的画面所包裹,观众在其中观看《海洋蓝色星球》,具有超强的悬浮感和沉浸感;太空影院是中国第一家采用视频拼接、图像处理、观众互动、电脑集成等技术综合而成的多媒体球幕影院,它提供的《宇宙大冒险》,让观众恍如乘坐宇宙飞船,享受“静坐一舟,傲游太空”的刺激和快乐。

2. 沉浸式演艺:颠覆性的观演体验

图2 应用沉浸式的文创产业新业态

沉浸式演艺的最大特色在于观众可以不受限制地游走于戏剧场景中,和演员们进行面对面的亲密接触与互动,打破传统戏剧中老套的台上台下形式,使观众可以更近距离地接触到故事情境、舞台等更多戏剧艺术的核心要素。沉浸式戏剧既有根据传统经典戏剧进行沉浸式改编的,也有直接进行沉浸式创作的原创戏剧,在传统的戏剧内容之上,科技手段的应用使沉浸式戏剧颠覆传统,迸发新的活力。沉浸式戏剧通常会利用声、光、电、特制道具等综合性科技手段来塑造故事场景,还原或者再现剧本里的经典画面,并根据剧情打造一个特定的表演空间。

比如著名的沉浸式演艺作品《Sleep No More》,根据莎士比亚的著名悲剧《麦克白》而改编。它设定的场景是20世纪30年代老上海的一个酒店。创作者把上海静安区一栋老大楼的五层改造成为90多个具有复古之风的房间,由30多位演员在不同的空间进行展示和表演。科技手段与戏剧内容的有机融合,使这出沉浸式戏剧兼具娱乐性和参与性。观众可以体验到酒店的衰败、卧室的豪华、医院的阴森;观众被允许触摸并使用道具,如翻开书本,或是在卧室的椅子上坐下;观众被全剧营造的诡异、阴郁的气氛所包裹,沉浸于其中。

3. 沉浸式娱乐:亲自登台的造境之举

沉浸式娱乐包括KTV,又称全息KTV、巨幕KTV等。沉浸式KTV依托人工智能、人机互动和数字视听等,把高分辨率图像通过虚拟场景显示技术、演歌交互式操作、多通道无缝同步技术等融合在一起,让KTV包间形成如梦如幻的视听效果①参见网易的报道:全景·巨幕KTV,引领沉浸式K歌新潮流!http://dy.163.com/v2/article/detail/D1OT72UJ0517HON2.html。。沉浸式KTV包间可随时切换主题,满足消费者对个性化与时尚潮流的追求。它把传统的唱歌娱乐与最新的影、视、听高科技手段相结合,把演唱包房发展成一个沉浸式演唱会现场,让空间的视听效果随着歌曲内容即时变化,使消费者体验到亲临登台的奇妙感觉。

比如华策文化科技公司将“全景沉浸式KTV”和“实时合成个人演唱会”概念应用到KTV娱乐行业。通过高科技立体投影技术配合现场环境,让KTV包房充满五彩斑斓的动感视频效果,让歌唱者置身于虚拟与现实的环境中,打造一场专属个人的“演唱会”,成为舞台聚光灯的焦点并形成MV视频即时分享。它提供了随时变换的立体视频场景,打破了以往千篇一律的沉闷状态,体现了新一代KTV的互动性和智能化效果,并大大增加了对忠诚顾客的吸引力。

4. 沉浸式展览:“大展览时代”的亮点

沉浸式展览通过光影、味道、装置艺术及舞蹈表演等,将特定的内容展现给观众。它利用光影与互动技术,将以往观赏为主的展览内容升级为体验度更高的经历。正如多位会展界的专家所指出:当代展览业突破了传统的展厅布陈方式,正在进入全景式、互动型、震撼式的新时代,也就是“大展览时代”。而沉浸式展览具有华丽的展示效果和全方位的感官体验,成为“大展览时代”最吸引眼球的展出形式之一。与传统展览相比,沉浸式展览能够更好地传播精神、烘托主题,通过设置互动体验环节增强参观者的参与感、体验感,使其对展览内容及主题产生共鸣。

比如由绽放文创投资有限公司携手敦煌研究院举办的“神秘敦煌”文化展,以全球最大的涅槃卧佛,呈现震撼人心的感官体验。更让人叹为观止的是,在敦煌现场都未必能观赏到的7个极具艺术意义的1∶1复原石窟,在“神秘敦煌”上灿烂展出。它们有别于以往“纯平面”、“静止型”的观展方式,而以360度的动感“飞天壁画”给予参观者沉浸式的感官震撼,成为用现代科技手段演绎世界文化遗产,推动中国文化走向世界的一个成功案例。

5. 沉浸式餐厅:美食文化的新境界

沉浸式餐厅是利用高科技手段对美食进行深度挖掘和再开发,是一种饮食文化与科技融合的典型体现。沉浸式餐厅主要运用全息投影技术营造“沉浸感”,通过大面积全范围的投影达到效果,即客人视野所见全是投影画面,从而会给用户带来极强的冲击感。沉浸式餐厅不仅能在味觉上满足客户的需求,而且将声、光、电与艺术设计完美结合,更满足了客户视觉、听觉、触觉等多方面的需求。虽然沉浸式餐厅目前还是一种较为新颖的沉浸式体验形态,成本较高,但其新鲜独特的饮食体验还是很受欢迎的。实际上,沉浸式餐厅是通过技术手段围绕食物讲述故事、宣传文化、陶冶情操等。通常而言,每道菜品都会有特定的主题,房间会加入与菜品相呼应的声音、灯光、特效等科技元素,而且效果会随着菜品的不同而不断变幻;沉浸式餐厅的席位、餐具等也都是根据食物定制的;科技的应用为食物增加了艺术感,更能达到“色香味俱全”的效果。

比如teamLab开发的深圳“花舞印象”艺术感官餐厅,邀集全球400位专家打造了11道暗含艺术装置的极致怀石料理。这一沉浸式餐厅通过数字影像链接食物与艺术生活,用艺术浸入美食,用色彩温暖生活,让顾客拥有一场视觉与味觉的极致体验。它运用全息投影营造出高雅的经典美食。这里的餐桌、花架、酒杯等都是可以投射光影的“隐形幕布”。它利用科技手段营造出花瓣飞舞的氛围,而且根据每道菜呈现不一样的场景。当料理与器皿被放置在桌子上时,从器皿中诞生的鸟儿,会顽皮地停到树枝上;当观赏者静止不动时,鸟儿会亲昵地停到他的手上,而当环境变得嘈杂时鸟儿则会飞走;摇曳的风铃声,会催促海中花依托器皿而绽放;任何被放在桌子上的物品,都会被人工智能检测到。

由此可见,创意、科技、金融、人才等的有机结合,是创造沉浸式体验新内容的有效途径。沉浸式体验结合了新型视听技术、混合现实、光影投射等高新技术和装备,极大地鼓励了人的自由想象力和创造力,把原本只能束之高阁的珍贵资源转换为高价值的文化消费服务,同时探索了人与自然、人类与世界的新关系,使人类将艺术从物质中解放出来,并使之能够跨越边界。有鉴于此,它不但具有文化与科技融合的创新示范意义,而且日益显示出广阔的市场应用前景。

五、中国发展沉浸式体验的对策思考

(一)要突破“科创+文创”的关键领域

根据联合国贸易和发展会议颁布的《世界投资报告(2017)》,数字经济已经成为全球经济发展和社会发展的新动能,“科创+文创”正在成为主要国家争夺的产业制高点。许多发达国家和新兴经济体依托数字经济,积极开发智慧型、科技型、创意型的文化消费产品。它们争先在文化与科技融合的前沿抢占制高点,希望通过战略性布局和投资,形成“牵一发动全身”的优势,改变人们的文化消费体验方式,开掘出前途无限的市场新蓝海。根据“创新英国”的有关报告,英国是目前世界上创意经济最发达的国家。英国方面斥资1000万英镑打造的“未来故事学院”,重点支持沉浸式叙事的创意培训和研究计划,还资助了32个探索沉浸式体验的创新性试点项目。这其中既有探索全新沉浸式马戏团体验的项目,也有采用虚拟现实方法的博物馆珍贵藏品体验项目等①参看英国艺术与人文研究理事会2018年10月发布的信息,www.ahrc.ac.uk。。在英国专业性沉浸式公司的沉浸式产品和技术出口的全部市场中,美国市场占35%、欧洲市场占27%、中国市场占4%、中东市场占2%、东南亚市场占2%。中国市场在英国沉浸式企业的产品和服务出口市场中共占据约6%的市场份额(参见图3)。

对上述情况进行深入分析,可以发现沉浸式体验作为数字经济与文化产业相结合的前沿领域,与一个国家和地区数字经济的发展水平密切相关。根据联合国贸易和发展会议颁布的《世界投资报告(2017)》,数字经济是一个充满活力的结构。它犹如7块芯片组成的场域,包括全球经济的数字化、电子商务、数字内容、数字解决方案、互联网平台、信息技术软件和硬件通讯七个方面,它们相互支持而且相互依托。从全球范围看,发达国家的互联网人口占比为83%,主要业务涉及互联网的企业占比为81%,而发展中国家的互联网人口占比为39%,主要业务涉及互联网的企业占比为38%;包括中国在内的亚洲国家互联网人口占比为49%,主要业务涉及互联网的企业占比为60%①UNCTAD:World Investment Report 2017—Investment and Digital Economy,p. 167,p.189.。此外,在设立数字经济的促进机构和海外贸易机构等方面,北美和欧盟等发达国家都明显领先。这从一个侧面反映了沉浸式体验在中国文化产业领域中应用的规模不大,中国沉浸式体验的对外进出口贸易规模相对较小,这与中国数字经济的整体发展水平有一定的关联。

图3 英国沉浸式企业的出口市场偏好情况②Innovate UK,The immersive economy in the UK—The growth of virtual,augmented and mixed realty technologies. May 2018,www.innovateuk.ukri.org.

“与其临渊羡鱼,不如退而结网。”在文化与科技融合的大趋势下,中国要通过技术集成与内容创新的有机结合,大力发展沉浸式体验等前沿领域,加快进行战略性的谋篇布局,突破“科创+文创”的关键领域与核心技术,同时,要积极推动沉浸式体验项目的进出口贸易,在全球沉浸式技术和产品市场上占有重要的一席之地,为增强国家文化软实力提供未来发展的有力支撑。

(二)要形成多学科联合攻关的优势

发展沉浸式体验离不开多学科、多领域的联合攻关。它涉及新型视听、人工智能、混合现实、全息投影等前沿技术,也涉及文化装备等工程领域,更需要大量的文化内容创意。开发沉浸式体验的新形态,需要把原创内容与前沿科技进行创新组合,形成两者在内容、技术、管理、运营等方面的有机结合,尤其要把重视基础研究、推动持续革新的科学精神,与鼓励天马行空、倡导大胆想象的艺术思维结合起来,形成“一半是火焰,一半是海水”的奇妙组合。这已经成为文化与科技融合创新的制胜关键。2018年,流媒体巨头奈飞(Netflix)的市值一度超过了名列世界500强的沃尔特·迪士尼公司。两者的竞争在技术开发与内容原创等各个领域展开。奈飞通过由工程师、统计学家、创意专家组成的团队将影片推荐引擎的效率提高了10%,又自主开发了《纸牌屋》《王冠》《马可波罗》等影视作品;而迪士尼则宣称:WDI幻想工程师是迪士尼最独特和最出色的团队,它由优秀的创意专家、设计师、工程师、建筑师等组成,其中包括150人的WDI中国团队,成为真正的幻想驱动引擎。又比如著名的teamLab,也邀请艺术家、工程师、CG动画师、数学家、建筑师等专业人士,组成了跨学科的“超级技术专家”(ultra technologists)团队。有鉴于此,中国首先要依托长三角、粤港澳大湾区、京津冀等大城市群,发挥人才密集、科技发达、国际化程度高、创新生态和营商环境优良的优势,形成发展沉浸式体验等文化产业新业态的增长极,再带动广阔的区域,逐步形成规模化优势。

(三)要高度关注年轻一代的需求

发展沉浸式体验必须高度关注年轻一代的需求,尤其要把握“85后”、“90后”、“00后”等“千禧一代”大规模进入文化消费市场的趋势。根据“创新英国”的报告,沉浸式是一个深受年轻人喜爱和最容易激发想象力的产业群组。有鉴于此,针对年轻人来开发沉浸式技术和产品,已经成为2/3以上专业公司的共同选择①Innovate UK,The immersive economy in the UK—The growth of virtual,augmented and mixed realty technologies. May 2018,www.innovateuk.ukri.org.。近年来深受年轻人喜爱的《爱丽丝梦游仙境》《Sleep No More》《正经动物园》等项目,恰恰迎合了年轻人的审美和消费偏好。作为全球人口最多的发展中大国,中国拥有数量最大的沉浸式消费群体,而“千禧一代”则是沉浸式消费的中坚力量。这一批新时代群体,是在中国改革开放时代特别是中国加入WTO和融入全球经济体系、互联网广泛普及等背景下成长起来的,他们在文化消费方面具有接受多元、喜爱刺激、迎合时尚、泛娱乐化、喜欢互联网、熟悉二次元/多次元、愿意为优质文化服务付费等鲜明特点。而从更加广阔的国际视野看,根据麦肯锡全球研究院的报告《城市化的世界-城市与消费阶层的崛起》,到2025年全球将有10亿人口新进入“消费阶层”的行列,将激发30多亿美元的市场需求,而他们主要集中在中国、印度、巴西等新兴经济体中。有鉴于此,中国发展沉浸式体验,要把本土和相关国家的年轻人作为最主要的目标群体,加快进入这一具有重要市场价值和社会意义的蓝海空间。

(四)要在开放中集聚全球创新资源

文化与科技的融合创新,是当代世界范围内探索的前沿领域。它依托三个基本条件:第一,高度依赖优质资源,即把文化资源、资本资源、技术资源、制度资源等进行优化整合,以满足市场的需求;第二,高度依赖人才,积极发挥知识型人才的想象力和创造力,形成绵绵不绝的内生动力;第三,高度依赖对开放和多元包容,以促进不同文化基因的交汇,形成融合发展的竞争力优势。习近平主席指出:“过去40年中国经济发展是在开放条件下取得的,未来中国经济实现高质量发展也必须在更加开放的条件下进行。”②习近平在首届中国国际进口博览会开幕式上的主旨演讲(2018年11月5日),中国共产党新闻网,www.cpcnews.cn。在互联网、大数据、区块链和5G时代,中国必须应用多渠道、多语种、全媒体、多品种、全链条的立体网络,依托产业基地、高等院校、专业论坛、研发平台、战略联盟、科创板等节点,吸引全球创新资源集聚和整合。经党中央、国务院同意,中国证监会于2019年1月30日颁布《关于在上海证券交易所设立科创板并试点注册制的实施意见》,明确要重点支持新一代信息技术、高端装备、新材料、新能源、节能环保以及生物医药等高新技术产业和战略性新兴产业,推动消费市场的升级。各地只有抓住这一有利态势,在沉浸式体验等领域吸引全球的优质资源加入,才能在文化与科技融合创新方面激发更加澎湃的活力。

六、结 语

推动文化与科技的融合创新,发展新型文化业态,提高文化产业规模化、数字化、专业化水平,是中国发展文化产业、建设文化强国的必由之路。文化与科技的深度融合,既为科技产品注入文化内涵,又使文化资源获得创造性转化和创新性表达。在当代综合国力的竞争中,谁率先把握了文化科技融合的潮流,谁就可以打开文化生产力增长的“阿里巴巴”秘诀,也就把握了文化竞争力的密钥。沉浸式体验既是文化与科技融合的产物,又是当代社会消费升级的必然需求,对它的研究将有广阔的前景。在未来针对中国沉浸式体验的发展研究中,不仅要高度关注“科创+文创”的关键领域,推动形成多学科联合攻关的优势,探索进入全球文化产业价值链和供应链的路径,而且要敏锐把握广大人民群众特别是年轻一代,在数字化、智能化、网络化背景下,不断追求新体验消费的需求,促进中国文化产业领域的沉浸式体验获得更加广泛的市场应用和可持续发展。