故宫博物院数字VR剧场的多元化应用

张雨辰

关键词 VR技术；数字剧场；文化传播；新媒体

中图分类号 G2 文献标识码 A 文章编号 2096-0360（2021）16-0024-04

虚拟现实技术（英文名称：Virtual Reality，缩写为VR），是20世纪发展起来的一项全新的实用技术[ 1 ]。虚拟现实技术囊括计算机、电子信息、仿真技术于一体，其基本实现方式是通过计算机模拟虚拟环境从而给人以环境沉浸感，虚拟现实技术具有存在性、多感知性、交互性等特征，深受博物馆行业的关注与青睐。早在2003年，故宫文化资产数字化应用研究所（简称数研所）就开始进行虚拟现实技术的探索，建立了一套多通道VR展示系统，利用计算机实时渲染技术将虚拟的紫禁城以不同于平常的视角展示出来。

随着技术的发展，数研所数字VR剧场先后经历了两次展示系统的迭代更新。使用清晰度更高的投影设备，同时改造渲染系统的架构，使渲染性能、稳定性以及便捷性都有较大的提升。截至2020年，数研所在该系统上陆续开发了10部《紫禁城·天子的宫殿》虚拟现实系列节目，对于展示传播故宫文化起到了非常重要的作用。

随着观众对于文化需求的日益增长，以故宫博物院为代表的中华优秀传统文化也越来越受到重视，相关的文化活动发布会、论坛、学术讲座以及会议不断的增加，数字VR剧场的使用率也达到了新的高度。与此同时，也从以下三方面看到了不足：

1）数字VR剧场使用场景单一，无法匹配现阶段多元化的使用方式。由于系统设备是根据VR节目自身特性所集成，无法将设备沿用与其他应用场景当中，团队调研国内多家博物馆的数字剧场、VR影院和球幕剧场，都存在只能播放特定影剧内容的情况，系统设备无法针对不同内容转换使用场景。只能使用VR系统外的投影设备进行内容的投射放映，又由于数字VR剧场为弧幕剧场需要对展示画面进行复杂的几何矫正，所以展示效果受到极大的影响。

2）VR节目全部以介绍故宫古建筑为主题，缺乏对可移动文物的专题VR节目。由于系统和软件技术的限制，主要以故宫古建为视角进行设计开发VR节目，对于186万件故宫所藏珍贵文物的系统介绍相对较少。

3）数字VR剧场运营维护成本高，难以支撑博物馆数字化展示业务的可持续发展。现有投影系统为汞灯光源投影机，灯泡更换时长短成本高且该设备配件老化，输出图像信号不稳定，在使用过程中存在风险。

针对以上三个方面的问题，进行了深入的调查研究，并着手对数字VR剧场多通道展示系统进行大规模的升级改造工程，致力于建设一个多元化智慧数字VR剧场。

1 提升传统VR展示效果

数字VR剧场原有基于三台2K级汞灯光源投影机组成的前端投影展示系统，通过对弧幕进行融合拼接，形成一个高4.2米、宽13.5米的投影画面，拼接后画面总体分辨率为4 250×1 200像素点。对于汞灯光源来说其损耗程度与投影的使用时长成正比，虽然三台投影的画面一致性保持正常，但是投影光源出现亮度及色彩饱和度下降的问题。目前数研所制作的虚拟现实节目，模型精度按照4K级以上标准进行采集和加工，现有前端展示系统已不足以匹配高精度、高拟真度三维数据的展示需求。

为解决这个问题，利用现阶段主流4K激光投影设备（Barco UDX-4K22）作为数字VR剧场前端投影系统部分的投影机。该投影机具有4K UHD（3 840×2 400）分辨率和20 000lm光输出，同时恒定光输出（CLO）功能也能始终提供恒定的亮度和颜色，而且采用三片DLP（数字光处理）芯片使画面展示色彩空间提升到Rec.709标准以上，确保能够显示精准的色彩。在运营成本上，由于采用的使激光荧光光源，可以避免灯源成本、维护成本以及图像闪烁的问题。

基于传统VR节目展示需求来建立逼真的视景仿真环境，需要对多通道投影进行拼接融合，利用投影机内置的自动曲面几何图像纠正系统和Blending融合系统，将位于多个投影机的投影区域重合部分的画面亮度做由明到暗的过渡处理，使得不同投影机生成的图像可以平滑过渡[2]。经过验证，拼接融合系统处理后的图像，可以实现多通道投影在弧幕上的无缝显示效果，达到了预期指标要求。

此次前端投影系统部分升级改造完全剔除了原系统的缺陷，从色彩的锐利性和稳定性、亮度的稳定性、画面的精细度与一致性等各个方面都有了非常显著的提高，运营成本则显著降低。拼接画面物理分辨率达到8 720×2 400像素，而通過投影4K增强功能可以使分辨率提升到11 626×3 200像素，相比于原来投影设备拼接而成的画面精细度提升了4倍。同时激发后台渲染图形工作站的最大性能承载力，在保证程序运行流畅的基础上，对每块显卡实现4K内容的渲染输出，使得VR节目的沉浸感和临场效果都获得极大提升，为接下来新展示方式和剧场延伸性的探索提供了平台和可能性。

2 探索新展示方式

传统VR节目主要依靠特定的虚拟现实渲染引擎进行开发，三个通道的分别独立渲染画面之后进行软件系统的帧同步，同步后达到画面的一致性从而实现120度可观赏视角虚拟场景的展现，在此过程中利用了投影机角度视角模式（Angular FOV），但是这种模式本身存在局限性，它无法将有弧度的屏幕在Windows视窗下融合为一个整体，即使内容已经相对完整，但是展示方式却存在单一的情况，这就产生了数字化展示过程中的局限性。为此我们尝试了新的投影方式，前端投影系统加载新的平行视角模式（Collimator FOV）并利用NVIDIA Mosaic多屏显示技术，通过矫正几何画面能够将三台投影机在有弧度的屏幕下形成统一的Windows视窗画面。

平行视角模式的引入使我们对于故宫文化遗产的展示方式有了更多的可能性。随着近几年商业游戏引擎的快速发展，特别是其优异的画面特效、可定制性、多平台和组件化开发，越来越多的文博数字化展示内容也利用游戏引擎进行设计和制作，更利于大众化的传播并取得了不错的效果。对此，数研所运用新的系统平台和游戏化引擎开启全新类目的故宫文化遗产虚拟现实节目开发工作。

故宫博物院现有书画类（绘画、法书）藏品127 006件/套，目前故宫博物院对于书画类藏品的展示方式除了传统线下展览以外通过“数字文物库”和“故宫名画记”两个网页展示栏目进行欣赏，尽可能扩大资源开放力度来激活数字文物的价值。但是故宫书画类文物的采集精度可以达到数十亿级像素级别，线上展示的方式无法将超高清的书画资源数据进行淋漓尽致的展现。中华传统文化需要根据文物的不同种类进行多元化的展示工作，这就需要结合新的数字展示技术与展示方法，以沉浸式、交互式的方式来欣赏传统书画。

《韩熙载夜宴图》是五代十国时期南唐画家顾闳中的绘画作品，现存宋摹本，绢本设色，其风格基本反映出原作面貌，且达到相当高水平，堪称流传有绪的古代绘画珍品[3]。与传统VR节目不同，书画藏品的展示以二维影像为主，所以不能用以往透视视角进行数字化展示，需在制作引擎里使用正交视角对书画藏品二维影像数据加以利用。在实际制作过程中，由于《韩熙载夜宴图》数字影像精度极高（最高达到600dpi），数字VR剧场的超高精度屏幕易产生摩尔纹（摩尔效应）从而影响观赏效果。对此，在开发过程中利用Mip映射（Mipmapping）技术，通过制作多个层级的影像贴图在虚拟相机远近不同的情况下，转换适当的影像级别，这样不仅产生更好的视觉效果，也能将减少实时渲染的负担[4]。

之后利用局域网搭建可交互式的展示平台，平板设备作为客户端控制数字VR剧场大屏幕进行可视化交互，开发三种互动模式：故事模式、分镜模式和热点模式。故事模式以自动化讲解的方式将《韩熙载夜宴图》学术研究成果以及所蕴含的知识点，通过简单易懂的可视化语言表达出来，形成10分钟的VR节目；分镜模式和热点模式主要面向基于数字VR剧场的学术交流，学者可以自主选择交互热点进行可定制化的讲解和展示。

将VR剧场与二维书画影像结合，并通过合适的技术手段和巧妙的阐释设计，从而形成新的数字VR剧场展示方式。突破以往VR技术用于三维内容的展示界限，将中华传统书画以另一种形态展现给大众。

3 数字VR剧场的延伸性

上一代数字VR剧场受硬件系统和软件平台的限制，仅限播放虚拟现实节目，无法实现其多功能性。通常数字剧场需要承接更多的线下文化传播活动，观影周、学术论坛、文化讲座以及发布会都是提升博物馆自身影响力的主要方式。文化的数字化工作，需要切实的场地进行“孵化”与“传播”。基于数字剧场、数字影院来举办更多、更丰富的文化活动，这就需要数字化展示场所有更为多样的使用功能，以此来满足不同使用场景。所以说延伸性是判定博物馆数字VR剧场是否具有可持续发展的重要指标。

一般来说，传统的巨幕数字演播厅容易实现应用于不同的使用场景，而对于球幕以及弧幕等演播厅设备，由于受异形屏幕的限制，不易实现系统设备的多功能复用。例如，球幕数字剧场多数情况下只能播放特定技术和制式的2D或3D数字影片，在播放其他数字内容时受屏幕畸变影响大，而且需要更加复杂的投影系统来满足使用需求。特别是在当今世界新冠肺炎疫情肆虐的大背景下，越来越多的机构选择视频电话会议的形式开展工作，所以画中画、多窗口等会议功能需求凸显，弧幕在这一方面有着得天独厚的优势。

此外，提升数字VR剧场的复用性能够有效降低博物馆的运营成本。如今越来越多的博物馆为了提升自身品牌效应，会定期举办学术会议及产品的发布会，公道甚至出彩的发布会给新产品的推出形成正面的影响。所以，通常情况下博物馆行业会寻求公关公司的帮助利用更好的展示系统平台搭建发布会现场环境，一般情况下硬件设备的租赁占活动总经费的20%以上[5]。博物馆行业的品牌传播，要把重点放在品牌内容的打造，通过数字VR剧场的硬件系统复用性降低活动成本，将更好的内容呈现给公众，从而提升博物馆公共文化服务效率。

新一代数字VR剧场采用模块化的系统定制，每种系统模块尽可能的实现功能分离，每个系统模块尽可能的实现多方位接口。根据预设使用场景，构架数字VR剧场的可交叉式系统布局，多种模式相互组合实现各种应用场景。作为显示系统构建的核心设备——多通道演示融合处理器（画中画处理器），一方面负责链路三台投影机与多台高性能工作站的信号输入与输出交换，另一方面负责多路超高清信号通过画中画功能同时在弧幕上呈现。以往数字VR剧场中间链路由信号显示矩阵和融合设备共同组成，升级后无需分步控制，减少中间环节从而降低信号延时，提升信号稳定性。对于面向公众的数字VR剧场来说，系统稳定性是运营过程中非常关键的指标，其良好的稳定性能够降低运营成本，提升放映产能[6]。

除显示系统升级以外，对声音系统也进行了杜比全景声（Dolby Atmos）的升级，其突破了传统意义上5.1、7.1声道的概念，能够结合影片内容，呈现出动态的声音效果，更真实的营造出由远及近的音效。

博物馆领域经常会举办国际间的交流活动和会议，通过同声传译设备可以保证演讲者在演讲的同时，内容被同声翻译成指定的目标语言，通过另外的声道传送给与会代表。

对于数字VR剧场来说，除了能够播放傳统的虚拟现实影片以外，还需要扩大系统软件技术路线，运用诸如人工智能、AR、感官体验、主动立体等先进技术来打造更为丰富的博物馆领域播放内容，这是现阶段博物馆数字剧场应当具有的技术延伸性。同时，通过不同功能模块的组合叠加，可以变化不同的使用场景，以此来应对各类应用需求，这是现阶段博物馆数字剧场应当具有的场景延伸性。只有两者相互结合、相互作用，才能够使博物馆数字剧场保持相对长久的先进性和易用性，提升数字剧场在博物馆整体建设中的影响力，提高数字剧场利用效率。

4 总结

通过此次系统性的数字VR剧场升级改造，在现有的多通道VR系统的基础之上，搭建了一个更为稳定、更加先进，同时具有一定功能拓展性和延伸性的博物馆展示系统，实现了数字VR剧场的可持续发展的目标；同时，从系统角度出发，提供了一个与时俱进的、可供文化服务、传播与研究的综合平台；从文化创造的角度出发，新的数字VR剧场为故宫数字化的传播与展示提供了更为强大的支撑和平台。

参考文献

[1]陈浩磊，邹湘军，陈燕，等.虚拟现实技术的最新发展与展望[J].中国科技论文，2011（1）：6-10，19.

[2]马瑶.3D异面投影融合技术研究与系统实现[D].长春：吉林大学，2016.

[3]刘伟冬.欢宴的另一面：解析《韩熙载夜宴图》[J].东南文化，2002（12）：64-69.

[4]唐丽玉，彭国均，舒娱琴.Mip-map技术在三维实时仿真中的应用[J].福州大学学报：自然科学版，2004（1）：25-28.

[5]丁一哲.BTL模式的博物馆运营成果评估：以韩国国立海洋博物馆为例[J].福建文博，2018，104（3）：83-89.

[6]方丽瑜.虚拟现实技术在博物馆领域的可持续发展：以故宫虚拟现实系统升级改造项目为例[C]//融合·创新·发展——数字博物馆推动文化强国建设——2013年北京数字博物馆研讨会论文集，2013.