孔冰欣
仿佛江风猎猎。
人在小舟上,船行天地间。其实连人带船整体移动的速度也称不上快,但两岸飞流直下似银河倒悬,金粉朱光溅起满腔“吾与君同”的壮怀,这一刻,如果醉得够厉害,你只会觉得自己在飞。
脱下VR眼镜,《新民周刊》记者从苏东坡的赤壁回到了现实的魔都,在上海图书馆东馆美术文献馆(以下简称上图美术文献馆)的“雪泥鸿爪——沉浸式VR交互游戏”里,悟到了历史彼岸与此间红尘可以完全共通的一点灵犀——
人生到处知何似,应似飞鸿踏雪泥。往日崎岖何足虑,吟啸徐行送风雨。
今年夏天,中国文青盖章认定的老法师、老朋友坡仔很忙。
关于他的纪录片《定风波》在央视播出了;上海书展主宾省的主題是“四川的东坡 世界的苏轼”;就连记者无聊时下载的某款国风武侠手游,都特意安排了坡仔支线,只是剧情比较夸张:诈死后,苏先生隐居杭州,玩家为了他灵隐求鱼、龙井问茶、闹市卖扇,结果伊呵呵笑着又云踪杳渺了,害得一位千里迢迢赶来追星的痴心女粉丝(退休歌姬)扑了个空,而玩家已无力吐槽:子瞻兄,侬究竟有几个好妹妹……
“雪泥鸿爪——沉浸式VR交互游戏”,则是近来“坡仔嘉年华”五光十色的文化产品中,最让记者感到惊喜的。其“碧空卷微云”“孤光为谁来”“河汉落酒樽”“水天浮起四座”的四个场景,取自聂子述《郁孤台法帖》(现唯存上图馆藏宋拓孤本残帙二册)。跟着前人的足迹,玩家庄周梦蝶,先是来到了熙宁四年(1071年)的杭州,采莲西湖,徘徊林泉,随遇而安;然后见证了元丰二年(1079年)的身陷囹圄,樯倾楫摧,孤鸿只影;再然后被贬至远离汴京的荒僻黄州,混迹渔樵,出入阡陌,穿林打叶;最后,日啖荔枝,酒煮生蚝,登亭远眺——群山掩映,然一轮红日冉冉升起,于是,所有对生命的热爱,也因此全面苏醒了……苏轼是谁?入雪泥鸿爪境,东坡照众生,众生皆东坡。
值得一提的是,坡仔不同时期的展品,如《试院煎茶》、游虎跑泉诗刻、月梅图、南海浴日亭诗刻等,于“雪泥鸿爪”各章巧妙嵌入,呼应特定的创作背景,亦堪称点睛之笔。“河汉落酒樽”一节尤其惊艳:置身茅草屋,梁上孤零零的钱串、灶台上渐渐冷掉的红烧肉,捎带几分“空庖煮寒菜,破灶烧湿苇”的寒意。走出小院,竹林披雨雾;扁舟一叶,稳泛沧浪空阔。惊鸿浮光质感的BGM响起,四周高耸的崖壁上,上图馆藏的苏轼小楷精品《赤壁赋》,以及美术馆馆员书写的《念奴娇·赤壁怀古》自眼前掠过,而旅程的尽头,是天际千古相迎的皎皎银轮——挟飞仙以遨游,抱明月而长终,当是时也,明月不笑多情人,愿与坡仙共逍遥。
化身东坡游赤壁。
上海图书馆历史文献中心研究馆员、“雪泥鸿爪”项目策划人黄薇向《新民周刊》记者介绍道:“几乎每一个中国人,都会在人生的不同境遇里与苏轼相遇。我们吟诵他笔下的诗赋,游览他走过的山河。他在天上,也在人间。这次的‘雪泥鸿爪,也是上图美术文献馆与来自上海戏剧学院(上海市虚拟环境下的文艺创作重点实验室)的开发团队的二度合作,非常感谢上戏创意学院副院长铁钟的支持与付出。”
据悉,铁钟带领的上戏开发团队尝试运用AIGC技术中的人工智能图像生成技术,探索人工智能协作艺术创作的可能性。团队使用自然语言的处理技术,将围绕每个场景的主题文字通过AI系统(Chat GPT-3.5)描述为可感的文字关键词,进而向AI绘图系统提供提示和布局,实现对图像内容的自动生成。根据不同软件的特性,前期主要采用Midjourney完成草图绘制;后期采用Stable Diffusion加关键词引导的方式,旨在获得更稳定可控的创作效果。以一千多张图片为训练数据,团队广泛试验Dreambooth、LoRa和Hypernetworks等不同的训练方式,旨在“调教”出效果最佳的专属风格模型,激发国风山水的多样想象。“用比较通俗的语言来讲,就是我们广泛参考AI生成的画面,依靠虚幻引擎进行数字创作及场景的搭建与深化。此外,这个项目还用到了OptiTrack Motive系统对真人进行三维空间的数据记录提取,将摄像机跟踪数据与VR场景、动捕数据及虚拟形象组合、渲染,实现了数字虚拟人和VR场景的深度融合。”
与上图美术文献馆之前推出的VR互动游戏不同,“雪泥鸿爪”不再以单独的作品阐释作为切入点,而是铺垫苏轼生平游踪的线索,将一代文豪的诗赋还原到具体创作的历史场景,从而导引玩家主动领悟山水与书法、自然与人文的彼此成全。不知不觉,旁观者竟成画中客,在现代科技的加持下,人们辗转于江南、岭南、海南,待日光破晓飞鸟出,宦海沉浮、料峭迷雾、胸中暗郁,终一扫而空。黄薇分享了一些她个人的策划心声:“很多人问过我,你们这次为什么不干脆还原一个真实的赤壁?其实,团队追求的恰恰是‘艺术性。‘雪泥鸿爪里的赤壁,参考了武元直的画意,最后的呈现,既兼顾了工笔山水的细节,又加入‘黑科技发光粒子,更具视觉冲击的国风场景,显示了数字创意产业在技术创新方面的巨大潜力。”
为了营造如梦似幻的震撼效果,项目的后期优化花了很长时间。仔细凝视所谓“黑科技”粒子,原是碑帖上的文字幻变而来;水面的反光、云与月的位置、鸟的飞行轨迹,都做过反复的调试,精益求精;清幽、朦胧的色调,亦富有古色古香的仪式感,便于玩家“一秒入戏”……团队的终极目标是:程序要跑得动,审美要带得动。
黄薇表示,“雪泥鸿爪”不是谜题破解,不是通关任务,不强行在玩家耳边絮絮叨叨地灌输文博知识点,“戴上VR眼镜,只须静静感受就可以了。如果你的确被打动,那么试玩后你自会再去搜寻更多的东坡往事,了解他的生平”。
2023年 5月19日起,上图美术文献馆即推出展览“游目骋怀——北宋书家的人文之旅”,以馆藏宋四家(苏轼、黄庭坚、米芾、蔡襄)的碑帖为基础,带领读者穿越到北宋文人的山水世界。作为展览中出现频率最高的“顶流”(共有14件相关的碑帖作品),东坡引无数观众竞折腰,善解人意、与时俱进的馆方,遂趁势举办了一系列关于坡仔的文化活动,包括6月11日的一蓑烟雨任平生·苏轼共读会,6月22日端午节的以书祈福,“粽”享安康——跟着北宋F4过端午,7月16日的“纸上艺林”第三讲《黄州寒食帖》,8月12日起开放的“雪泥鸿爪”等等。8月22日起,展览“斯文不灭——宋代摩崖石刻里的文字风景”与市民朋友见面,“雪泥鸿爪”将与之密切配合,亟欲体验全套游戏者,请速于上图官方小程序预约周末的活动名额。
《新民周刊》记者获悉,有87岁的退休教师在报纸上看到相关信息,奔赴上图问询VR游戏;另有读者电话预约,想带高龄的老母亲体验一番“雪泥鸿爪”的妙趣。不只老人家们兴味盎然,小朋友们也玩得开心,这场“雪泥鸿爪”的大梦,寓教于乐,余韵无穷。
梦境很美。同时,“造梦”的冲动,正成为当下一股不可阻挡的潮流。
随着Roblox(世界最大的多人在线创作游戏)在美国的上市,元宇宙的商业化之路渐次明晰。在中国国内,依托技术发展和成本降低,文化IP向数字转化的速度也逐日加速;被谈论多年的“元宇宙文娱”,似已悄然落地,开始成为普通人可以消费的文化内容。如“消失的法老——胡夫金字塔沉浸式探索项目”,系全球首个在埃及胡夫金字塔内部和周围环境进行扫描勘测,后于虚拟引擎上以1∶1高精度重建还原的沉浸式项目。游戏中,黑猫形象的巴斯泰托女神(Bastet)会引领观众登上金字塔顶,将吉萨高原的风光尽收眼底。如组合了《风起洛阳》《昆仑迷宫》《火星营救》等多个VR全感剧场的“X-META|机遇时空”国潮元宇宙主题乐园——拜马亲王孵化出的历史同人大IP所赐,戴上VR头显的玩家能化身剧中人物,在大唐的神都上蹿下跳,与春秋道斗智斗勇,戏精附体且痴且癫。又如西岸凤巢的《三体·引力之外》沉浸式体验剧、1933老场坊的“迷塔城1933”元宇宙沉浸式景区等等。
河汉落酒樽,明月来相迎,小玩家惊叹不已。
与上述纯商业项目相比,上图历史文献中心各展馆打造的数字媒体展览,更注重文化内涵的挖掘与实验性技术的探索,讲究的是“戏玩载道”。2022年,美术文献馆首次推出“灵境石语——VR沉浸式交互游戏”项目,令观众置身作品产生的时空情境,通过积极互动,消除与文物之间的距离感,以全新的眼光审视、慨叹、理解之。上图馆方举例,“灵境石语”一期项目中,馆员在“石不语——碑帖艺术与建筑文化”的数十件展品里,选择了《九成宫醴泉铭》《城隍庙碑》《龙藏寺碑》等三件作为VR互动游戏的对象。因上图的镇馆之宝《四欧宝笈》里的《九成宫醴泉铭》中,还有一幅著名书画家吴湖帆亲手绘制的《九成宫》图,故策展方与开发团队灵机一动,将碑文故事复原到中国青绿山水风格的虚拟场景中,让玩家变身唐太宗,再现“涌泉”的经典时刻。而为了复原《龙藏寺碑》所在地河北正定隆兴寺摩尼殿壁画,策展团队仔细绘制了该殿的平剖面图,从佛像的位置到香炉的形制,无一遗漏。“去年的‘灵境石语一期项目获得了学界、业界和观众的一致好评,还拿到了2022年中国数字人文年会优秀项目最佳互动奖。今年的‘雪泥鸿爪是‘灵境石语二期项目,也等于是我们和上戏的开发团队再接再厉,第二次携手合作。”
事实上,上图东馆建设之初,上图历史文献中心即开始在多年累积的数字人文项目和研究的基础上,尝试性开展数字化与文旅展示相结合的实践。如位于上图东馆一楼、以上图馆舍变迁为主题的“阅·动70”展项,生动演绎了70年来图书馆经历的三次重大变迁和转型。又如上图东馆地方文献馆的“上海之源”系列数字展,吸纳了上图“上海年华”项目组十数年的整理与研究硕果——
“上海之源·文化年谱”,以时间视角重现近代上海城市文化不断孕育发展的历程,着重体现文化史重要元素的关联与演进。文化年谱的视觉呈现状如大树,寓意绵延生长、传承有序的旺盛生命力。观众在现场触屏后,代表近代上海文化历史事件关键词的“种子”,从树根向上围绕竖轴螺旋生长出枝干,散开形成年谱树的巨大树冠。12种颜色,指向12种不同文化类别,覆盖新闻、出版、戏剧、戏曲、美术、电影、建筑、文学等诸多领域,且人物、社会团体与地标建筑盘根错节,往往点开一个,背后就牵涉到另一个,海量信息纷至沓来,仿若奔涌不息的赛博洪流。
“上海之源·文化地标”,则以上海红色革命纪念地、上海优秀历史建筑、上海不可移动文物和老上海影戏院四个主要板块为核心,将其还原定位在20世纪20、30、40、50年代及现代等不同历史时期的城市空间,集中展示知名海派文化地标的前世今生。馆方结合上海舆图资源,以Touchdesigner实时交互多媒体设计联动Kinect互动技术,打造了体感控制互动展向,创造出绚丽多彩而饶富趣致的沉浸式阅览体验。除了中共一大纪念馆、申报馆大楼、四行仓库等历史建筑,对于诸如卡尔登大戏院、上海大学青云路校区等名噪一时,却又遗憾未能保留至今的“消失的老友们”,该展项的3D复原显然有助于激发今天的观众追索建筑隐秘的意愿。
未来,“上海之源”系列数字展还能根据数据资料整理的情况,不断进行深化拓展,与上图业已建设完毕的线上程序“初心之地——寻找红色革命纪念地”“寻找武康路”等实现更多的联动。
总的来说,这一届观众熟谙ACG文化,日常看的是国外最新大片、沉浸式戏剧,玩的是3A大作、剧本杀、真人密室,希冀攫取他们的视线,不放点大招是不行的。“雪泥鸿爪”这样的VR游戏,倘若预备“会当凌绝顶,一览众山小”,剧本必须更接近一流电影级别,建模精度、声光变化、操作感的细节,也必须做更进一步的优化处理。唯有苦心孤诣,不断打磨,才能构建出隔绝现实的梦幻场域,玩家穿行其间,全情投入,经历了历史的冒险,触摸到文明的碎片。
老玩家寫了表扬的感言。
论制作水平,“灵境石语”等数字化项目可以代表较高水准的多媒体展项体验;但是,在实际的服务过程中,团队也遇到不少现实的问题。目前,该项目仍作为线下展览的附属产品,未能获得独立的开发预算和空间,导致题材受到限制,运用场景也较为局限。而参考消费市场上相关文旅项目的解决方案和运营经验,VR展完全可以成为文博机构新的展示平台和服务项目。另外,设计思路上,“灵境石语”一期和二期分别尝试了“重交互”和“重场景”的两种模式。一期更偏重于知识传递和观众交互,在内容呈现和博物馆教育的层面更具代表意义,但现场实践中却导致对部分观众教育成本过高,操作体验不甚友好。二期项目偏重沉浸式的氛围,现场体验感优于一期,但不熟悉苏轼生平背景的玩家,或认为缺乏有效信息的获得途径。
“灵境石语”一期项目中搭建的VR体验场景。
《四歐宝笈》中吴湖帆绘制九成宫场景。
策展团队仔细绘制了摩尼殿的平剖面图。
“上海之源·文化年谱”,观众在现场触屏后,海量信息纷至沓来,仿若奔涌不息的赛博洪流。
上图馆方表示,GALM(gallery - 画廊,library - 图书馆,archive - 档案馆,museum - 博物馆)俨然大势所趋,“四位一体”值得拥抱。而无论是商业项目还是公益项目,VR游戏等多媒体技术的介入,能够突破传统媒介限制,让观众彻底“身临其境”“有感而发”,是真正对“让收藏在博物馆里的文物,陈列在广阔大地上的遗产,书写在古籍里的文字都活起来”的最好诠释。接下来,上图东馆家谱馆计划于国庆节的时候推出配合家谱馆全新展览的AR交互作品。“内容上,我们会挑出三件珍稀家谱来讲述若干属于上海的城市故事。比如从董其昌的家谱谈起,看海派文明的一个发展脉络,‘阅人;从讨论徐家汇和徐光启、陆家嘴和陆深,从青龙港到上海务的一段段岁月变迁,‘阅城;从《广东中山北岭徐氏宗谱》(填补了中国人参加第一届世博会历史的最早纪录),分析西学东渐,‘阅世界……技术上,我们在向多人交互的目标努力(类似于从单机游戏到网游的转变)。欢迎大家届时来上图打卡!”
“上海之源·文化地标”。