李锦绣 林泽斐
探索与交流
面向数字人文的沉浸式数字叙事:现状、路径与展望*
李锦绣 林泽斐
(福建师范大学社会历史学院,福州 350117)
沉浸式数字叙事是融合沉浸式叙事与数字叙事的新兴叙事形态,目前已在数字人文项目中得到应用。本研究对沉浸式数字叙事进行全面调研,旨在为沉浸式数字叙事实践提供参考。调查总结沉浸式数字叙事的应用场景和实现路径,发现当前沉浸式数字叙事的应用场景主要涉及四大领域,实现路径综合采用了多种叙事主体组织形态、叙事策略和技术手段。基于调查结果,建议沉浸式数字叙事实践可向平台化、多技术栈、多模态方向发展。最后,以“闽台缘历史文化虚拟仿真实验教学项目”为例,提出一种实用的沉浸式数字叙事项目建设策略。
数字人文;数字叙事;沉浸式数字叙事
叙事是人类最古老、最基本的文化行为之一,它既是人类传播社会记忆的方式,也是构建民族文化认同的重要工具。在“构建人类命运共同体”的大背景下,通过多元化的叙事手段讲好中国故事,有利于传承文化遗产、消弭文化鸿沟、提升国家文化软实力。
数字人文是计算机科学与人文学科相结合形成的跨学科研究与实践领域,近年来已成为学界关注的一大热点。数字叙事是数字化环境下的一种新兴叙事形态,同时也是数字人文项目的典型实现手段之一。伴随着VR、AR、3D建模、全景摄影等沉浸式数字技术的快速发展,沉浸式数字叙事开始得到学界的关注。与传统叙事形态相比,沉浸式数字叙事通过数字仿真设备还原现实场景,构造出具备沉浸式体验的叙事空间,并可利用软、硬件技术实现受众与叙事环境的深度交互,具有广阔的发展前景。
目前,面向数字人文的沉浸式数字叙事仍处于探索初期,学界对于其应用场景和实现路径缺乏足够研究。基于此,本研究搜集整理国内外数字人文领域的沉浸式数字叙事项目,分析其应用场景和实现路径,为数字人文机构开展同类项目提出参考建议,并以“闽台缘历史文化虚拟仿真实验教学项目”为例,提出一套实用的沉浸式数字叙事项目建设方法。
叙事(storytelling)即对故事的讲述[1],这些故事既可以是真实的历史或个人经历,也可以是虚构的神话、小说或电影。叙事可基于多种途径传播,如口耳相传、音乐、舞蹈、绘画和文字均为传统的叙事媒介。数字叙事(digital storytelling)是传统叙事在数字化环境下的延伸,采用基于比特的数字信息(而非实物或模拟信号)记录和传播故事,传播媒介包括但不限于互动游戏、影视作品、移动应用、社交网络、智能玩具等,与传统叙事形态相比,数字叙事往往具有更好的交互性[2]。
沉浸式叙事(immersive storytelling)是从另一维度对叙事类型的划分,意指一种使故事受众具备身临其境体验感的叙事形态,其内涵包含两个方面:一方面,沉浸式叙事通常涉及某种沉浸式工具或技术的使用(如VR眼镜、服装道具乃至某种仪式);另一方面,沉浸式叙事蕴含着一种在心理层面专注于故事的沉浸式体验[3]。值得注意的是,以XR(Extended Reality,扩展现实)为代表的沉浸式数字技术并非沉浸式叙事的必要条件,沉浸式戏剧、剧本杀等叙事形态同样带有沉浸式叙事的基本特征[4]。显然,沉浸式叙事并不等同于数字叙事,但二者间存在一定交集,即沉浸式数字叙事(immersive digital storytelling)。
本研究所指的沉浸式数字叙事,是一种基于沉浸式数字媒介的叙事形态,此类叙事形态通常采用XR技术构建虚拟空间,从而营造出具备高度沉浸感的叙事环境。需要说明的是,数字叙事既可应用于人文领域,也可应用于非人文领域,如许多科普作品、自然科学纪录片也以叙事的方式呈现。在本文中凡提及“沉浸式数字叙事”,均指代人文领域的沉浸式数字叙事。
学界对叙事的关注由来已久。早在古希腊时期,亚里士多德就在《诗学》一书中对叙事理论进行了系统性论述[5]。1969年,法国文学理论家托多洛夫在《〈十日谈〉语法》一书中首次提出了“叙事学”一词,宣告叙事学作为一门学科正式诞生[6]。叙事学关注叙事以及叙事结构对知觉的影响,其研究对象主要包括虚构文本、纪实文本、戏剧结构等。随着数字技术的普及,互动小说、具有叙事性的电子游戏和虚拟现实叙事等数字叙事形式也成为叙事学所关注的对象[7]。
数字人文领域对数字叙事的研究方兴未艾,相关研究主要涉及两个方面。一是数字叙事在人文领域的适用场景与应用价值,如Barber[8]认为数字叙事是人文学科研究和教学的新机遇,并总结了数字叙事在人文学科的应用场景;丁家友等[9]阐述了数字叙事在人文领域的应用情境及意义。二是数字叙事在具体人文应用场景中的实现路径,如Earley-Spadoni[10]探讨了在考古学中GIS与数字叙事相结合的应用模式;冯惠玲[11]提出在数字记忆项目中,可通过故事数据化和数据故事化两种途径应用数字叙事;周琼等[12]提出数字叙事在人文教育中的教学设计策略。
作为数字叙事的分支,目前对沉浸式数字叙事的专门研究十分有限,已有研究主要聚焦于特定支撑技术、特定应用领域的沉浸式数字叙事形式,如Mystakidis等[13]介绍了基于第二人生(second life)的沉浸式3D教学环境构建;Bucher[14]通过对基于VR的沉浸式叙事先驱和创新者进行了访谈,探讨了沉浸式叙事的基本原则,以及这些原则如何被应用于VR沉浸式叙事项目;周雯等[15]总结了VR全景叙事在电影领域的应用特点和不足;余天亮[16]调查了VR影视动画的叙事结构与叙事手法。沉浸式数字叙事在人文领域的应用场景、实现路径均为该领域进一步发展亟待探索的问题,而在现有研究中,尚缺乏对相关问题的全景式调研。基于此,本研究搜集整理该领域项目案例,分析总结沉浸式数字叙事在人文领域的应用场景和实现路径,在此基础上提出实践建议。
为调查沉浸式数字叙事的典型应用场景,本研究通过国内外文献数据库、搜索引擎等多种途径进行网络调研。通过分析相关研究与实践项目发现,当前沉浸式数字叙事主要被应用于文博展示、影视创作、人文教育和社会记忆四大领域。
博物馆是开展沉浸式数字叙事活动的理想场景。传统博物馆展览侧重于文物和非物质文化遗产,观众虽可近距离观看展品,但囿于物理空间,通常无法对展品进行360°全方位观赏。更为重要的是,传统陈列方法难以实现观众与展品间的深层次交互,这易使观众将展品视为单纯的艺术品,忽略其历史文化背景及展品之间的链状联系,进而产生审美疲劳。
利用沉浸式数字叙事,观众可以模拟特定人物进入虚拟化的艺术世界或历史环境,以第一人称视角沉浸于展览的文化背景中,体验展览内容、全方位观赏展品,从而理解展览的深刻内涵,激发共鸣。例如,英国维多利亚与艾尔伯特博物馆为2021年的《爱丽丝:越奇越怪》()展览设计了一款VR互动应用,用于模拟刘易斯·卡罗尔经典作品《爱丽丝梦游仙境》中的奇幻世界。观众戴上VR眼镜后,可360°体验爱丽丝从兔子洞中跌落后看到的景象,并与作品中的著名角色互动,如解开毛毛虫令人心烦意乱的谜语[17]。值得指出的是,沉浸式数字叙事并非对传统展览形式的替代。譬如在《爱丽丝:越奇越怪》展览中,首先基于实体展览空间构建了《爱丽丝梦游仙境》的模拟环境以陈列实物展品,然后在展厅开辟小块区域用于VR体验,故沉浸式数字叙事是对传统展览的有益补充。
叙事是影视创作的题中之义。影视产业的发展始终伴随着叙事技术与技巧的变革,是沉浸式数字叙事应用中极具活力的人文领域。当前影视创作中的沉浸式数字叙事多以VR电影的形式体现,VR电影是VR技术与电影艺术相结合形成的新兴电影形态,与传统电影最大的区别在于视角广度的不同。传统电影受到摄像机镜头“画框”的局限,观众的视角仅能跟随镜头视角被动移动。利用3D建模和VR技术,可以构建出360°的沉浸式虚拟环境,观众可在其中自主改变观看视角,这不仅大大丰富了电影中的视觉信息,还能让观众感受到传统电影无法提供的自由度。
就创作形式而言,相关作品可大致分为实景VR电影和动画VR电影两种形式。前者采用全景VR设备拍摄现实场景的多视角影像,然后将其拼接为360°视频并进行后期处理,其拍摄形式在一定程度上类似于传统实景电影,但拥有更佳的沉浸感。例如,2021年上映的国内首部青春爱情题材VR影片《时光投影里的秘密》[18]使用全景VR摄像机拍摄,分为男女双视角版本。观众佩戴VR眼镜自主选择观看角度,以主角视角感受剧情的发展,产生身临其境的观影体验。尽管实景VR电影具有良好的沉浸式观影体验,但全景拍摄也对场景布置和演员调度等环节提出了更高的要求。相比之下,动画VR电影借助3D建模、动作捕捉系统构建完全虚拟的360°场景,这既能充分展现VR电影的空间深度和想象力,也能避免拍摄穿帮等一系列问题。此类电影的典型代表为迪士尼公司在2019年推出的《神话:冰雪奇缘》(),通过VR动画形式还原了母亲向孩子讲述以《冰雪奇缘2》为背景的睡前故事场景[19]。
叙事有利于表现社会事件的完整发展过程,故人文学科教育常贯穿着叙事元素。如何以直观生动的形式开展叙事,是人文学科教育创新的关键课题,而沉浸式数字叙事恰好为人文教育中的叙事提供了独特的解决方案。相比传统叙事方法,沉浸式数字叙事可综合使用多种沉浸式解决方案,为学生带来身临其境的沉浸式学习体验;同时,此类教学形式可借助3D模型模拟历史事件或虚拟场景,使传统教学叙事中口头难以表述的细节得以生动呈现。
人文教育领域的沉浸式数字叙事多涉及三类应用情境:一是面向课堂教学的数字叙事,如美国教育与游戏提供商Schell Games面向中学课堂教育开发了一套名为《历史建构者VR》()的VR应用,学生可借助VR一体机配合该应用以3D替身的形式扮演中学课本中的8位美国重要历史人物开展演讲,并导出表演作品与老师和同学分享[20];二是面向专题教育的数字叙事,如江西理工大学开展的“VR+红色教育”借助VR技术,使学生“穿越”至“中央苏区时期”,通过3D建模技术还原大柏地伏击战、第三次反“围剿”和长征第一渡等一系列历史事件,帮助学生理解毛泽东的军事思想和红色政权建设实践[21];三是教材的立体化呈现,如意大利儿童教育出版商AR Market出版了一系列AR儿童读物,读者使用平板电脑或智能手机扫描图书时,将展示与当前页面相关的3D动画模型,从而以新的互动形式来体验故事[22]。
社会记忆是一个社会全体成员的社会经验总和[23]。随着历史变迁,社会记忆的完整性易遭到破坏,故社会记忆的构建工作是社会发展的重要课题。社会记忆可基于多种载体长期保存,档案文献、实物遗迹、口述历史、影像记录等均为社会记忆的表现形态。相比纪录片等传统影像记录形式,沉浸式数字叙事可将历史与现实时空融为一体,增添了更为全面生动的维度。
沉浸式数字叙事在社会记忆领域的一种典型应用是对档案和文化遗产进行沉浸式加工,如英国广播公司(BBC)制作的VR应用《1943柏林闪电战》()基于1943年9月BBC战地记者跟随英国轰炸机轰炸柏林时所记录的真实音频记录,采用3D技术重建了与音频对应的VR视频影像[24]。借助VR设备,用户可以化身战地记者登上轰炸机,逼真地体验飞机在柏林上空飞行时防空炮弹在飞机四周爆炸所产生的惊险感受。Force Field所开发的VR应用《安妮·弗兰克之家》()对《安妮日记》()作者安妮·弗兰克的藏身之所进行了3D建模,观众可利用VR技术在虚拟的安妮·弗兰克之家中漫游,对《安妮日记》形成更为深刻的理解[25]。除对已有素材进行再加工外,另一种典型的应用形式是构建原生的沉浸式数字叙事作品,此类应用多使用全景VR摄像技术替代传统摄像机进行纪录片拍摄,如联合国儿童基金会参与拍摄的VR纪录片《西德拉上的云彩》()记录了一名12岁的叙利亚儿童Sidra在约旦难民营中生活、学习和玩耍的全景影像[26]。观众可跟随全景VR摄像机镜头全方位体验艰苦环境下难民的真实生活,从而产生对难民的同理心,达到了良好的募捐效果。
沉浸式数字叙事是一个具有强实践性的领域。任何沉浸式数字叙事项目,都涉及叙事主体、叙事策略和技术手段3个要素。本节从这3个要素出发,总结现有沉浸式数字叙事项目的实现路径。
确立叙事主体是开展沉浸式数字叙事活动需明确的首要问题。对于“叙事主体”这一概念,目前学界尚无统一清晰的界定,一般认为,叙事主体即“讲故事的人”[27],其通常涵盖叙事作品的创作者、组织者等群体。
沉浸式数字叙事涉及前沿信息技术与人文学科的融合,故其叙述主体也呈现出多元化、复杂化的特征。一个典型的数字叙事项目常涉及三类主体:策划者、创作者和技术提供者,他们或由不同的群体构成,或由同一群体身兼多种角色。从叙事主体的组织形态来看,大致可分为“定制化”与“平台化”两种类型,前者由三类叙事主体紧密合作,完成一个或多个定制的叙事项目;后者则由策划者和技术提供者构建一个技术平台,然后由创作者以类似众包的形式构建叙事作品。
下面以前文提及的《爱丽丝:越奇越怪》和《历史建构者VR》为例进行说明。前者为“定制化”的典型代表,该项目由维多利亚与艾尔伯特博物馆作为策划者主导开展,英国PRELOADED游戏工作室作为技术提供者负责VR应用的开发,VR应用中的场景则基于刘易斯·卡罗尔经典作品和冰岛艺术家Kristjana S Williams所绘制的超现实主义插图构建,故这一项目为上述各方紧密合作的产物。后者为“平台化”的代表,该项目由美国Schell Games游戏工作者策划与开发,但该工作室仅搭建了一个开放的VR平台,平台用户则承担了创作者的角色,中学生可基于该平台定制角色的服装和道具,扮演历史人物并录制分享演讲视频。
叙事策略是叙事主体根据叙事内容选用适当的叙事方法和手段,以达到最佳叙事效果的一种策略。目前,学界和产业界对于沉浸式数字叙事的叙事策略尚无清晰一致的看法,本研究认为媒体人Dolan等[28]针对360°视频叙事策略的观点可较好地泛化应用于沉浸式数字叙事领域,并且认为可从“存在”和“影响”两个维度来看待360°视频叙事。“存在”即观众所扮演的角色:或为故事的观察者(看故事的人),或为故事的参与者(扮演故事中的人物);“影响”即观众对剧情的影响力:或为被动的(观众只能看着故事展开),或为主动的(观众对故事进程有一定可控性)。
基于上述两个维度,可以衍生出如图1所示的4种沉浸式数字叙事策略:观察被动型、观察主动型、参与被动型和参与主动型。①观察被动型策略与多数传统电影的叙事策略类似,受众只是故事的被动观察者,不在故事中扮演任何角色,也不具有除全景浏览以外的高级交互特性,前述《神话:冰雪奇缘》《西德拉上的云彩》均属于此类;②在观察主动型策略下,故事受众不扮演故事角色,但可以主动控制故事情节,如在《安妮·弗兰克之家》应用中,观众可在虚拟住所中自主漫游;③在参与被动型策略下,受众在故事中扮演角色,但不具备对剧情发展的控制权,例如在《1943柏林闪电战》中,观众以战地记者温福德·沃恩-托马斯(Wynford Vaughan-Thomas)的身份体验剧情发展;④参与主动型是4种策略中具有较高沉浸感和交互性的叙事形式,受众不仅能在剧中扮演角色,还能与其他角色互动,甚至改变故事结局,如前述《爱丽丝:越奇越怪》《历史建构者VR》应用均为典型代表。需要注意的是,沉浸式数字叙事的效果受到故事剧本、流畅度、清晰度等多方面因素的影响,因此不能简单地认为参与主动型叙事总是具有最佳的叙事效果;同时,较强的沉浸感和交互性往往意味着较高的开发成本。
沉浸式数字叙事是沉浸式技术与人文结合形成的叙事形态,故技术手段是实现沉浸式数字叙事的关键要素。沉浸式数字叙事过程中涉及的技术复杂多样,且可以以多种方式组合应用。本研究根据技术手段在叙事过程中介入的时机,分为内容生产手段和内容分发手段予以讨论(见表1)。
沉浸式数字叙事中的内容生产,即生成与叙事内容相关的沉浸式环境及元素。目前沉浸式数字叙事项目中的内容生产技术主要涉及3D建模和全景拍摄两种类型。前者采用动画方式构建沉浸式环境和元素,构建过程大致分为3D模型构建和3D场景构建两个阶段。首先采用3DsMax或Maya等建模工具构造人物和建筑(有时也采用3D扫描仪或照片拼接等方式快速建模),然后将3D模型导入Unity3D或Unreal等3D场景开发引擎,设计人物动作、交互逻辑和特效等。后者通过360°全景摄像机的多个摄像头拍摄实景视频或照片,后期处理时将这些画面剪辑为360°全景画面。此外,少数项目还将二者结合,在视频中添加3D模型元素(如人物或建筑),从而实现虚实结合。
沉浸式数字叙事中的内容分发,指以何种分发渠道将沉浸式叙事作品传递给用户进行体验。当前沉浸式数字叙事项目中的内容分发大致依托于以下途径:①针对VR一体机或VR眼镜设计专用的VR应用软件,例如前文提及的《爱丽丝:越奇越怪》和《安妮·弗兰克之家》应用分别基于HTC Vive和Oculus一体机进行设计,该方案依赖于专用硬件设备,为降低单位用户成本,许多项目通过租赁VR一体机[29]或设立VR体验亭[30]等形式为用户提供廉价或免费的解决方案;②开发基于手机或平板电脑等移动设备VR/AR应用程序,此类方案无须用户购置专用设备,同时易于利用设备摄像头实现AR特效,缺点在于设备屏幕较小,但可以借助于Google Cardboard等方案实现近似方案①的用户体验;③采用基于PC的桌面虚拟现实方案,首先构建Web或桌面应用程序,然后使用PC屏幕作为观察虚拟空间的窗口,通过鼠标、键盘实现与虚拟世界的交互,该方案的实现较为简便,适用于教学等应用场景。
沉浸式数字叙事是数字叙事的前沿领域,尽管当前已出现众多沉浸式数字叙事项目,但此类项目的开展仍有进一步优化的空间,本章节对开展沉浸式数字叙事实践提出若干建议。
如前所述,当前沉浸式数字叙事的组织形态可大致分为“定制化”与“平台化”两种类型,从内容创作方式上看,二者的差异类似于互联网信息的专业生产内容(PGC)和用户生产内容(UGC)模式。在当前的项目实践中,采用“定制化”的沉浸式数字叙事项目数量远多于“平台化”项目,究其原因,一方面源于沉浸式数字叙事涉及的3D建模、App开发等技术过于复杂,不利于普通用户定制开发;另一方面,许多叙事项目仍采用中心化的思路进行建设,未能更好利用普通用户的创作潜力。
新媒体的快速发展见证了普通互联网用户如何利用博客、播客等媒体形式分享个人生活体验,网络信息的消费者和生产者之间的界限已变得日益模糊。随着沉浸式数字技术的门槛不断下移,未来的沉浸式数字叙事有必要更加关注“平台化”的叙事组织形态,鼓励用户分享自身构建的沉浸式叙事作品。在这一视角下,沉浸式数字叙事项目的建设者,不应将项目视为一个最终已完成的作品,而应试图构建一个活跃的“生态系统”,使每个用户都有机会成为数字叙事作品的创作者和传播者,将“精英叙事”转变为“平民叙事”。
沉浸式数字叙事可采用多样化的内容生产和内容分发技术,这些技术解决方案具有一定的互补性。对内容生产而言,3D建模技术的优点在于可脱离现实世界,构建出极具想象力的纯虚拟环境,且用户在叙事过程中可以扮演环境中的角色自由行走,具有良好的沉浸感和互动体验;缺点在于开发成本高、建设难度大,通常需要由第三方技术提供商定制开发。全景拍摄可以较好地反映现实环境,开发成本低,建设难度小,便于以“平台化”形式进行建设,但互动体验受到一定限制,用户仅能自由选择观看视角,无法在叙事空间中自由行走,同时拍摄也受到地理环境和天气条件的限制。对于内容分发而言,采用VR一体机作为分发设备可获得最佳的沉浸式体验,但通常也具有较高的开发成本和硬件设备要求;以移动设备或桌面PC作为分发设备开发成本和设备成本较低且便于管理维护,但设备的沉浸感体验相对较弱。
当前的沉浸式数字叙事项目多采用单技术栈建设形式,在内容生产和内容分发方面通常仅采用单项技术,这使叙事项目的适用场景和目标受众在一定程度上受到限制。因此,对于大型的数字叙事项目,可以考虑结合3D建模和全景拍摄作为内容生产方式,同时支持多样化的分发渠道,综合多种技术手段的优势增强叙事体验和传播效果。
所谓多模态(multimodal)沉浸式数字叙事,即同时采用触觉、视觉、听觉、嗅觉等多种感官的沉浸式数字叙事形态。传统沉浸式技术多基于视觉和听觉构建沉浸式感知,随着技术发展,近年来出现了一系列基于触觉、嗅觉和味觉的沉浸式解决方案。例如,Meta公司所研发的触觉手套可通过调整内置充气护垫的充气率,对手掌的不同部位施加压力,伴随着视觉和听觉信号,产生身体接触实物的虚拟感知[31]。OVR研发的嗅觉VR模块可以与VR一体机配合使用,当用户在虚拟世界接近篝火、海洋、土壤、玫瑰等特定对象时释放相应气味[32]。通过在沉浸式数字叙事中添加此类多模态感知技术,可借助多种感官刺激创造出更具沉浸感的叙事环境,这有助于增强受众对故事的认知和体验。当然,多模态感知技术目前处于发展中,如何轻便、准确、高效地模拟这些感官感受,并将其应用于数字叙事中,仍待未来探索。
沉浸式数字叙事项目的建设是一个系统工程,需要从建设成本、实施效果和人员组织等多方面综合考量。当前,国内尚缺乏足够的沉浸式叙事项目实施案例,本章节综合前述建议,结合“闽台缘历史文化虚拟仿真实验教学项目”实践提出一种实用的沉浸式数字叙事项目建设策略。“闽台缘历史文化虚拟仿真实验教学项目”是福建师范大学面向历史学专业《中国古代史》和《闽台缘历史文化》课程设计的虚拟仿真实验教学项目。该项目将沉浸式数字叙事与海峡两岸历史渊源与文化传承相结合,帮助学生树立海峡两岸同根同源的理念。针对历史叙事和现实叙事,项目采用了两种不同的叙事方案。
课程教学过程中,需要通过历史叙事反映海峡两岸交往的史实。针对此类应用场景,项目根据闽台历史文献、文物古迹及传统风俗习惯,由合作企业利用3D技术构建出虚拟的历史场景。学生通过角色扮演的方式参与故事发展,还原历史事件的发展过程。例如,在项目所设计的“闽台郊商”(郊商为从事台海贸易的商人群体)故事中,学生扮演一位清代乾隆年间台湾省台南市的郊商,经历过渡海峡到福建从事贸易及衣锦还乡的过程。在此过程中,学生需依次完成货物选择、港口选择、船舶选择、在闽贸易和衣锦还乡等实验步骤。在内容分发方面,采用了基于桌面虚拟现实的解决方案,学生可借助PC以类似3D游戏的方式完成故事体验。
除历史叙事外,课程教学中还涉及海峡两岸民俗文化方面的现实叙事。对于此类叙事,项目构建了一个可支撑全景VR视频上传、播放的开放平台。学生可自主选择叙事主题与拍摄地点,使用全景摄像机拍摄与叙事相关的360°全景视频。视频内容中的叙事成分可以通过人物访谈方式叙述,也可通过画外音讲述。拍摄完成的全景视频经后期合成、配音、剪辑形成完善的叙事视频上传至开放平台。此类全景叙事视频可以通过VR一体机、移动设备或PC三类终端进行观看,其中PC端还可在全景视频播放过程中插入相关教学问题,实现与用户的课堂互动。
综合来看,“闽台缘历史文化虚拟仿真实验教学项目”采用了多技术栈混合模式,且在民俗文化叙事方面基于“平台化”叙事组织形态,这既可发挥平台用户的创意,帮助学生建立起探究式学习能力,又可节约内容建设成本,不失为一种权衡成本与叙事效果的建设方案。
沉浸式数字叙事是基于沉浸式数字媒介的叙事形态。通过调查发现,当前沉浸式数字叙事主要被应用于文博展示、影视创作、人文教育和社会记忆四大场景。在当前的沉浸式数字叙事项目中,叙事主体的组织形态涉及“定制化”与“平台化”两种类型。在叙事策略方面,存在四种典型的沉浸式数字叙事策略:观察被动型、观察主动型、参与被动型和参与主动型。沉浸式数字叙事具有较强的技术性,当前项目多采用3D建模和全景拍摄进行沉浸式内容的生产,并通过VR一体机、移动设备和PC为终端进行内容分发。
基于调研结果,本研究认为开展沉浸式数字叙事实践应强化“平台化”叙事组织形态,构建多技术栈混合的解决方案,探索多模态沉浸式数字叙事。值得指出的是,沉浸式数字叙事是一种尚处于发展阶段的叙事形态,如何进一步拓展其应用领域、构建适应沉浸式技术发展的叙事理论等,均是未来需要进一步探讨的课题。
[1] 阿瑟·阿萨·伯格. 通俗文化、媒介和日常生活中的叙事[M]. 姚媛,译. 南京:南京大学出版社,2006:4.
[2] MILLER C H. Digital Storytelling:A Creator’s Guide to Interactive Entertainment[M]. London:Routledge,2014.
[3] GRÖPPEL-WEGENER A,KIDD J. Critical Encounters with Immersive Storytelling[M]. London:Routledge,2019:11-13.
[4] 李韵亭. 互动演绎下的沉浸式戏剧[D]. 昆明:云南师范大学,2021.
[5] 李志雄. 亚里士多德的古典叙事理论研究[D]. 杭州:浙江大学,2007.
[6] 陈岩. 试论电影空间叙事的构成[D]. 南京:南京艺术学院,2015.
[7] 张新军. 故事与游戏:走向数字叙事学[J]. 武汉理工大学学报(社会科学版),2010,23(2):248-252.
[8] BARBER J F. Digital storytelling:new opportunities for humanities scholarship and pedagogy[J]. Cogent Arts & Humanities,2016,3(1):1181037.
[9] 丁家友,唐馨雨. 数字人文视角下的数据叙事及其应用研究[J]. 情报理论与实践,2022,45(2):121-128.
[10] EARLEY-SPADONI T. Spatial History,deep mapping and digital storytelling:archaeology’s future imagined through an engagement with the digital humanities[J]. Journal of Archaeological Science,2017,84:95-102.
[11] 冯惠玲. 数字人文视角下的数字记忆——兼议数字记忆的方法特点[J]. 数字人文研究,2021,1(1):87-95.
[12] 周琼,蔡迎春,欧阳剑. 数字人文教育中的数字叙事教学[J/OL]. 图书馆论坛:1-10[2022-07-21]. http://kns.cnki.net/kcms/detail/44.1306.G2.20220310.1601.004.html.
[13] MYSTAKIDIS S,BERKI E. The case of literacy motivation:playful 3D immersive learning environments and problem-focused education for blended digital storytelling[J]. International Journal of Web-Based Learning and Teaching Technologies,2018,13(1):64-79.
[14] BUCHER J. Storytelling for virtual reality:methods and principles for crafting immersive narratives[M]. London:Routledge,2017.
[15] 周雯,徐小棠. 沉浸感与360度全景视域:VR全景叙事探究[J]. 当代电影,2021(8):158-164.
[16] 余天亮. VR环境下影视动画的叙事结构及语言手法[J]. 艺术品鉴,2022(20):141-144.
[17] V&A. Curious Alice:the VR experience[EB/OL].[2022-07-06]. https://www.vam.ac.uk/articles/curious-alice-the-vr-experience.
[18] VR影片《时光投影的秘密》拍摄背后的故事[EB/OL]. [2022-06-15]. https://www.khhbw.com.cn/article/2925-65.html.
[19] DISNEY. Watch myth:a frozen tale[EB/OL].[2022-07-05]. https://www.disneyplus.com/movies/myth-a-frozen-tale/1N00Fn9eajzi.
[20] SCHELLGAMES. History maker VR[EB/OL].[2022-06-20]. https://historymakervr.schellgames.com.
[21] 许子威,张是卓. “VR+”带你穿越时空学党史[N]. 中国青年报,2022-02-22(009).
[22] AR MARKET. AR market junior[EB/OL].[2022-07-10]. https://www.arealitymarket.com/en/ar-market-junior-en/.
[23] 哈拉尔德·韦尔策. 社会记忆:历史、回忆、传承[M]. 季斌,王立君,白锡堃,译. 北京:北京大学出版社,2007:6.
[24] 1943:Berlin Blitz[EB/OL].[2022-06-21]. https://www.labiennale.org/en/cinema/2018/lineup/venice-virtual-reality/1943-berlin-blitz.
[25] ANNA FRANK HOUSE. Renewed VR tour Anne Frank’s secret annex[EB/OL].[2022-06-15]. https://www.annefrank.org/en/about-us/news-and-press/news/2019/7/4/renewed-vr-tour-anne-franks-secret-annex/.
[26] WITHIN. Clouds over Sidra[EB/OL].[2022-06-22]. https://www.with.in/watch/clouds-over-sidra/.
[27] 宋家玲. 影视叙事学[M]. 北京:中国传媒大学出版社,2007:177.
[28] DOLAN D,PARETS M. Redefining the axiom of story:the VR and 360 video complex[EB/OL].[2022-07-31]. https://techcrunch.com/2016/01/14/redefining-the-axiom-of-story-the-vr-and-360-video-complex/.
[29] Come and discover Notre-Dame of Paris in a new light[EB/OL].[2022-07-31]. https://www.eternellenotredame.com/en/.
[30] GRAHAM K,DHANDA A,TOUSANT K,et al. The VR Kiosk How observant passive VR storytelling enhanced the physical tour of parliament hill and disseminated the rehabilitation project[C]//23rd International Conference on Virtual System & Multimedia(VSMM). IEEE,2017:1-7.
[31] Inside reality labs research:meet the team that’s working to bring touch to the digital world[EB/OL].[2022-07-25]. https://tech.fb.com/ar-vr/2021/11/inside-reality-labs-meet-the-team-thats-bringing-touch-to-the-digital-world/.
[32] OVR. INHALE:a VR wellness experience proven to reduce stress and promote relaxation[EB/OL].[2022-08-01]. https://ovrtechnology.com/wellness/.
Immersive Digital Storytelling for Digital Humanities: Current Situation, Realization Path and Prospect
LI JinXiu LIN ZeFei
( College of Social Development, Fujian Normal University, Fuzhou 350117, P. R. China )
Immersive digital storytelling is an emerging storytelling form that integrates immersive storytelling and digital storytelling, and has been applied in digital humanities projects. This study conducts a comprehensive survey of immersive digital storytelling, aiming to provide a reference for immersive digital storytelling practice. Investigate and summarize the current application scenarios and implementation paths of immersive digital narratives. The survey found that the current application scenarios of immersive digital storytelling mainly involve four major areas. In terms of implementation paths, a variety of narrative subject organization forms, narrative strategies and technical means are comprehensively adopted. Based on the survey results, suggestions are put forward that immersive digital storytelling practice can develop in the direction of platformization, multi-technology stack, and multi-modality. Finally, taking the “Fujian-Taiwan History and Culture Virtual Simulation Experiment Teaching Project” as an example, a practical immersive digital storytelling project construction strategy is proposed.
Digital Humanities; Digital Storytelling; Immersive Digital Storytelling
(2022-10-04)
G250.7
10.3772/j.issn.1673-2286.2022.10.009
李锦绣,林泽斐. 面向数字人文的沉浸式数字叙事:现状、路径与展望[J]. 数字图书馆论坛,2022(10):41-48.
* 本研究得到福建师范大学本科教改项目“新文科背景下的《数字人文》课程建设”(编号:I202101011)资助。
李锦绣,女,1996年生,硕士研究生,研究方向:数字人文。
林泽斐,男,1983年生,博士,副教授,通信作者,研究方向:数字人文,E-mail:linzf@fjnu.edu.cn。