南京博物院线上虚拟展览的创新与实践

詹徐昊

(南京博物院,江苏 南京 210016)

0 引言

博物馆是为社会及其发展服务的非营利的常设机构,是对人类与环境的见证物进行收藏、研究、传播和展示的场所。随着信息技术的快速发展以及“互联网+”概念的提出,数字博物馆已日渐进入公众视野[1]。为了解决传统博物馆的局限性,摆脱“展柜+实物+说明牌”的传统展陈形式,更新“图片+文字+视频”的讲解手段,越来越多的博物馆尝试发展线上数字博物馆。数字博物馆是利用计算机技术,特别是信息技术、多媒体技术和网络技术,把各类博物馆的收藏、研究、展示、教育等方面用数字化的方式表现出来的博物馆[2]。

数字化是博物馆未来的发展趋势,是现代科学技术及文化事业发展的必然结果。如何真正做到让文物活起来,让展览走进千家万户,走进大众的生活,是当代博物馆人需要探讨和思考的课题。为积极落实国务院《关于进一步加强文物工作的指导意见》(国发〔2016〕17号)和《关于积极推进“互联网+”行动的指导意见》(国发〔2015〕40号)[3],南京博物院积极探索展览数字化的可行性方案。近年来,南京博物院利用人工智能三维数字化采集技术并整合数字化信息,搭建三维文物数据库,开发数字体验文化产品,在全平台推广精彩的展览和重点文物,提升数字内容质量,为官网和官微提供更多的多媒体素材和资源。南京博物院力图结合博物馆的性质和功能,综合利用计算机技术、通信技术、多媒体技术、虚拟现实等科技手段,建立一个技术先进、资源丰富的数字化展示平台,而线上虚拟展厅的开发就是其中重要的一环。

1 南京博物院虚拟展厅项目的发展历程

1.1 虚拟展厅建设的初步探索与实践

南京博物院(以下简称“南博”)的虚拟展厅项目早在2012年就开始进行了最早的尝试。根据数次的调研并综合了博物馆的实际情况,决定采用当年较为常见和高性价比的制作方案,即“数码相机拍摄+全景软件拼接+三维虚拟漫游制作”的方式。本研究通过3种不同工作流串联起一整套的拍摄制作方案。在这一期间,制作团队对南博的重点展览进行了虚拟导览的制作,同时对全国近100家一级和特色博物馆进行展厅空间的拍摄采集工作,制作了近二十余家博物馆展厅的虚拟导览,通过大量的实际工作积累了丰富的制作经验。

1.1.1 利用相机进行现场照片的采集

现场照片的采集工作是通过人工选点的方式,用数码单反相机在展厅空间进行定点360°的拍摄,每隔15°拍摄1张高清照片,一共拍摄24张,每张照片要保证有15%的重叠区域,一般一个展厅需要拍摄30多个点位,也就是将近1 000多张照片。拍摄完成后,制作团队将这些照片进行整理分类。

1.1.2 利用PixMaker Pro软件生成全景照片

制作团队采用网络上免费的全景照片拼接软件PixMaker Pro对整理好的照片进行导入拼接处理,通过软件自动的计算以及手动的纠错偏差,可以生成1张完整的高像素的全景照片,最高可达21 064×4 026像素,这样前期拍摄的每个点位都可以生成1张高像素全景图。

1.1.3 利用三维虚拟漫游软件制作虚拟展厅

制作团队将生成的全景照片导入三维虚拟漫游制作系统中,加上第三方的平面导览图,通过软件将其串联起来,形成初步的虚拟漫游场景,再通过添加场景热点、包含雷达扫描效果的交互式地图、设置漫游路线等一系列操作后创建出较为专业的交互式虚拟漫游效果。但因为采用的是3个系统相互配合串联的方式,所以导致在相互的协调性和工作效率上显得不够合理,而且拍摄的过程需要人为对场景的曝光、白平衡等参数进行合理设置,这对摄影师的专业性有一定的需求。同时,大量的照片整理和拼接工作也消耗了相当长的时间。一次性拼接成功率并不高,制作流程相对烦琐。这为后来南博继续创新和探索提供了依据和经验。

1.2 一体化拍摄设备首次在虚拟展厅搭建中的应用

2017-2019年,随着数字化技术以及网络技术的进步和发展,通过3套不同系统搭建的工作流程已经不能很好地适应这一时期南京博物院对虚拟展厅的更高需求,一体化的拍摄制作方案已经成为行业主流,制作团队通过大量调研和比对,根据自身的实际需求最终选择了四维看看这一品牌的拍摄设备。

1.2.1 四维看看一体化全景相机的工作流程

一体化全景相机的工作流程主要是通过将全景相机与摄影师的手机相连接,通过相机上的2个摄像头自动拍摄展厅照片,每一个点位拍摄完成后直接在App生成三维模型,做到所见即所得,通过强大的后台模型计算能力,在所有拍摄完成后就可以查看已经生成的虚拟展厅,结束后在电脑端进入后台可以对场景进行一定程度上的自定义操作,如添加热点,为文物添加音乐、图片等。这样一整套流程下来,制作一个虚拟展厅只需要大约2天的时间,与原来3套流程相比,大大节约了时间,简化了步骤。

1.2.2 采用一体化拍摄设备取得阶段性的成果

近两年,制作团队借助一体化设备为南京博物院的每一个特展都制作了相关的线上虚拟展厅,大约有10余个成功上线,例如:《穆夏》《意大利文艺复兴》《毕加索》《金色阿富汗》等。同时,南京博物院逐渐形成了自己的线上虚拟展览模式,走出属于自己特色的发展之路。

1.3 利用全新三维空间建模技术搭建高质量的虚拟展厅

2020年至今,随着后疫情时代的来临,观众对于线上展览的需求与日俱增。进入新时代,数字化技术的发展突飞猛进,大量的高新技术和手段层出不穷,不仅需要更高效、更自由的制作流程,也需要更高精度级别的一体化拍摄设备。随着分辨率的不断提高,人们对多媒体影像质量的要求也越来越高。

1.3.1 四维看见全景相机的基本工作流程

基于这些年项目团队对四维看看系列产品的认可,通过与乙方无数次的互相沟通和反馈,厂商积极响应甲方的需求,使得该系列设备可以不断地迭代升级,不断地自我革新。这一阶段采用了最新的四维看见一体化拍摄设备,这套设备采用了全新的建模采集方式。通过旋转双摄像头对现场进行全方位的连续拍摄,拍摄完成24张照片后,再利用AI技术同时将其组合建模,旋转1周约耗时1 min,也就是1个点位只需要1 min即可生成即时三维模型,同时因为加入了更大尺寸的传感器,提升了成像质量、解析力和画面纯净度,所以在画质上也有较大的提升,能提供具有更高像素和分辨率的图片,能让三维模型收纳更多的细节、保留更多真实世界的信息。有了高像素的加持,四维看见相机输出的三维模型可以支持4倍放大,文字细节也能清晰保留。与前期拍摄流程同时升级的还有后台的编辑制作能力,全新的制作界面和功能给制作者提供了更自由、更开放的自定义操作。

1.3.2 线上展览资源库逐渐形成与完善

南京博物院利用四维看见全景相机在这期间一共拍摄制作了《考古江苏》《浮世绘》《宋韵》《大江万古流》 等数十个特展的在线虚拟展览,并同步在官网和官微平台上线发布。这些展览获得了博物馆行业内以及广大观众的认可和喜爱。南京博物院逐步形成了一定规模的线上展览资源库,为观众提供了更优质、更便利的线上参观体验。

2 南京博物院虚拟展厅的拍摄与制作技术流程

2.1 虚拟展厅的前期拍摄技术规范与流程

目前,南京博物院的线上虚体展览项目已经成为院内每年的常规工作。项目团队每年要配合特展、大展制作相配套的高质量三维在线虚拟展览4～6个。截至目前,已经形成了比较成熟的规范化制作流程,总体的制作流程分为3个部分:虚拟场景的前期采集拍摄、三维模型的搭建以及虚拟展厅的后期合成制作。

2.1.1 南京博物院对虚拟展览技术要点的规范

制作团队根据多年的经验并结合当前的实际需求,对线上虚拟展览制作的技术要点做了如下的规范:(1)虚拟场景最少为720°全景影像,分辨率为8 K以上。(2)每个虚拟场景必须添加不少于25件重点文物的图文信息介绍。(3)虚拟场景中每个点位的距离最多不能大于2 m,要保证场景的浏览流畅性和逻辑性。(4)构建展览知识关联结构,并在虚拟展厅中进行融合展示。(5)场景的拍摄曝光要求准确,平衡环境与展品之间的曝光值,不能出现曝光过度或曝光不足的情况。(6)所有三维虚拟展厅的运行不得要求浏览者安装第三方插件,支持H5。

2.1.2 拍摄前期展厅踩点流程

笔者以南京博物院最新的特展《莫里斯-英国工艺美术设计展》为例,重点展示虚拟展厅制作的具体工作流程。第一部分是对实体展厅场景进行数字化采集拍摄。在开始拍摄之前,摄影师会前往展厅实际踩点,主要是熟悉展厅具体展线布局,提前规划好将要采集的点位。一般情况下,会根据实际参观流线和空间布局,按照距离2 m为1个拍摄点从展厅入口处开始采集。

2.1.3 全景相机与手机App连接的拍摄方式

拍摄者通过手机上的App,将Wi-Fi热点与全景相机连接成功后即可开始拍摄。四维看见全景相机采用了双目方案,通过旋转双摄像头对场景连续拍摄24张照片后进行建模,旋转1周约耗时1 min,如图1所示。具体操作流程:在设备参数设定页面下端即可选择拍摄方式,拍摄方式分为左右拍摄和同步拍摄。设备每完成1个点位的拍摄之后,会对图像数据进行自动拼接并呈现预览效果。支持在预览图中检查拍摄的情况。确认拍摄情况后,可把设备移动到下一点位,重复以上步骤。拍摄方式:选择左右拍摄新建场景,相机开始拍摄,镜头环绕1周,共拍摄6次照片,每次拍摄都会记录点位上的3 D信息。这里的“左右”指的是拍摄者面对设备上的LED屏幕时的左右。

图1 高效的现场拍摄方式

(1)开启“左右拍摄”开关,并点击“确定”。

(2)设备上的镜头开始启动。人站到设备镜头的背后,按下手机App上的快门。

(3)一个角度拍摄完成后,相机自动旋转,按下快门按钮,镜头拍摄启动。如此循环,挨个点位拍摄,直至将所需要采集的场景拍摄完毕。

《莫里斯-英国工艺美术设计展》一共拍摄了103个点位,涵盖了展厅主要参观流线上的所有路径点,根据以往的经验,一个大约800～900 m2的展厅,基本上要拍摄采集100个点位以上才可以达到相对的完整性,当然采集的点位越多,观众线上参观的体验感会更强、更真实。

2.2 虚拟展厅三维空间模型自动搭建工作流程

2.2.1 计算机自动进行三维空间的建模工作

制作团队将拍摄好的数据通过网络上传至四维看见的云后台,等待上传完成后即可开始自动进行二维转三维模型的计算。具体的计算原理是将一组二维照片作为数据输入,通过计算机软件进行全自动化处理,软件自动通过相机定标后确定相机位置,初步对对象进行稀松的点重建,在此基础上进一步进行稠密的点重建,最后是在稠密点重建的基础上对三维场景进行稠密的面重建。在三维点云模型的基础上,通过数字测绘,整体输出三维点云模型和点云平面切片信息、点云剖面切片信息以及点云立面切片信息,由点云平面切片信息、点云剖面切片信息以及点云立面切片信息共同构成了数据翔实的三维测绘图,数据精度在毫米级别[4]。所有的计算处理全部交由软件后台进行,无需人工干预和操作,大大简化了工作难度,提高了工作效率。

2.2.2 计算机自动进行三维模型的材质贴图工作

三维模型制作完成后,软件会继续进行下一步深加工,对搭建好的三维模型进行材质贴图。贴图是赋予模型材质的工作。所谓材质是指物体表面呈现出的颜色、透明度、反光度、粗糙程度等质感的表现,可以通过参数的调节获得展厅中的材质类型,也可以使用贴图坐标将制作好的二维图片直接贴在模型的表面。通过贴图可以更加真实地呈现出现实展厅中模型所塑造的物体属性,达成虚拟展厅对真实世界的反应效果。

2.2.3 计算机自动进行三维模型的渲染工作

三维模型完成了自动贴图之后还需要通过三维软件中自动运算的渲染功能,将前面几步的工作合成并最终呈现为动态文件,将这个动态文件输出,就是最基本的成品--线上数字展览。不管是模型贴图制作的静态效果图还是运动轨迹制作的动态文件,都需要渲染后才能输出成品,而渲染是由渲染器完成的。渲染器按照渲染质量从低到高开始渲染,主要采用有线扫描、光线跟踪以及辐射度渲染等方式,需要注意的是渲染质量越好需要的渲染时间就越长。渲染烘焙要把握好对图像采集器、抗锯齿过滤器、内建预置、细分采样等参数的设置。大场景进行烘焙时宜采用CompleteMap设置,需要表现较为细腻的模型时可选用LightingMap设置。

2.3 虚拟展厅的后期编辑制作流程

在完成了建模、贴图和渲染等步骤之后便可以进入该流程的第三部分,即后期制作。可以通过PC端的后台进入后期制作编辑页面,现在展现在制作者面前的是一个完整的计算好的虚拟展厅模型,这时可以通过后台的编辑界面所提供的多种自由的自定义选项来对场景进行后期处理和编辑。

2.3.1 场景及初始画面的编辑

制作人员首先选择“场景”编辑界面,在“场景信息”里面输入《莫里斯-英国工艺美术设计展》的展览文字介绍和信息,同时也可以链接文本信息,直接将文本地址链接到此。该信息将作为观众进入虚拟展厅时首先展示出的内容,接着要确定观众进入页面后所展示的虚拟展厅的主画面,在“基础设置”选项里选择“初始画面”,点击设置,画面中会出现一个白色的线框,手动将白线框移动到合适的位置(一般为展厅入口处)以此来确定初始画面。

2.3.2 场景美化的设置

完成初始设置后,将对每个点位的场景曝光进行具体的调整。因为整个拍摄和计算过程是计算机自动处理完成,机器自动对场景的曝光和色彩进行判断,遇到一些大光比的场景难免会出现曝光过度或曝光不足的情况。因此,制作人员需要手动对具体场景的曝光度和色彩进行调整和优化。选择“场景美化”选项,找到需要调整的某一个具体点位,点击下方的“调节”按钮,这时界面右边会出现4个可以调整的选项,分别是“亮度”“对比度”“饱和度”和“色温”。根据需要逐一调整数值,可调范围从-20至+20,处理完成后可以选择“应用到所有场景”,一键完成对整个虚拟展厅所有点位的画面调整。

2.3.3 场景添加热点信息的设置

曝光设置完成后,就可以进入后期制作中最重要的一个步骤。系统为制作者提供了丰富的人机交互功能,可以通过添加若干“热点”,对展览中的重要文物和展项加以图片、文字、音频以及视频的介绍和展示。通过三维场景与信息展示之间的互联控制最终达到在三维展厅中以虚拟现实方式展现,而多媒体信息会以热点的形式嵌入三维场景。用户点击即可出现图片、文字或者音视频,可在整个场景中自主观看重点区域的内容。自主选择热点查询,点击页面即可跳转至该热点模块区域,进行浏览。

2.3.4 热点功能的扩展应用

制作者还可以通过编写脚本信息来控制视频的播放、暂停、显示和隐藏等功能,也可以在展项中加入语音介绍。后台允许添加的图片支持JPG、PNG、TGA等格式,音乐支持MP3、WAV等格式,视频支持AVI、MP4、MOV、MPG、FLV等格式。通过热点在场景窗口中嵌入文字、图片、网页、视频,语音解说等,结合各种多媒体展示手段,对展品的基本信息、背景文化进行拓展介绍。在《莫里斯--英国工艺美术设计展》中,制作者一共添加了23个图文热点和1个视频热点。在图文热点中,可以把多张文物的高清图片嵌入其中,让观众可以自由地点击并放大观看,视频热点可以嵌入高清的视频,与展厅里的视频同步,观众可以自由地开始播放或随机暂停和关闭。通过上述的流程和步骤才算完成了虚拟展厅从前期拍摄到后期制作的全部工作,将制作好的虚拟展厅链接通过网络发布上传,在审核通过后即可在官网和官微等平台对公众发布。

3 线上虚拟展厅的未来及意义

3.1 虚拟展厅是展览数字化的重要体现

线上虚拟展厅作为博物馆数字化的一种重要表现形式,它克服了现实文物与藏品陈列受空间和现场展示的限制,通过数字化,利用虚拟空间、图像及三维等多媒体技术进行网上展览展示,满足了参观者的多种需求。数字化的展示方式,可以营造多维的展示效果,帮助参观者在没有人工讲解的情况下就能自主了解关于展览展品更丰富的背景信息并获得更真实的场景体验。首先这种线上的陈列方式不会占用有限的实体陈列空间,而且仅仅利用观众个人的移动终端和计算机等设备即可达到展示的目的。这在多数时候能够成为文物展品展示的有益补充。其次,借助先进的计算机技术和多媒体技术,文物展品的数字化展示比传统的实体展示具有更全面、更丰富、更逼真的效果。

3.2 虚拟展厅在博物馆发展中的重要作用

自2017年南京博物院正式开始启动线上虚拟展厅项目以来,笔者所在的制作团队一共拍摄制作了近20余个展览的线上虚拟展厅,总浏览量接近10万余次,其中不乏一些年度大展如《金色阿富汗》《兄弟王》《融合》《宋韵》《大江万古流》等,这些线上展览也都受到业内外的广泛好评。今后,南京博物院还将继续探索线上虚拟展览更多的可能性,下一步会计划和社会服务部等业务部门合作,将展览相关的语音导览和讲解内容与虚拟展厅相融合,丰富观众的参观体验,争取做到与线下展览同步,让三维虚拟展厅最大程度地拓展线下展览的维度,扩充展览内容,丰富展览的形式。同时,南京博物院还将继续创新发展博物馆实体空间的展示信息与虚拟空间信息的有机整合,用于实现信息互动,真正做到空间信息与引导系统“以人为本”,使馆藏文物信息数字化,使信息传递网络化,最终实现文物展品展览的范围无限化。为观众提供更为全面的展览信息与更自由的参观路线将会成为现代博物馆数字化展示设计的主要发展目标。

4 结语

南京博物院通过这些年的创新与实践,在线上虚拟展览的探索上一直在不断努力,从一无所知到目前已逐渐形成了具有南博特色的线上展览模式,在这一过程中笔者坚定数字多媒体技术是未来博物馆数字化发展的重要因素,将更多更新的数字技术应用于博物馆中,为展览展示服务,拓展展览展示空间,让传统博物馆和中华民族优秀的文化历史走进千家万户。同时,线上虚拟展厅作为对实体展览空间的补充和拓展,在未来将会起到越来越重要的作用。今后,南京博物院将继续大力发展和及时更新线上虚拟展厅,丰富其展示内容,提升其展示质量,更好地为公众服务,为公众提供更丰富、更高质量的博物馆数字资源。