莫高窟第249窟VR（虚拟现实）展示系统的设计与实现

金良 薄龙伟 宋利良侍 吴健 俞天秀

内容摘要：敦煌研究院经过多年探索和潜心研究，运用摄影和计算机等技术保护手段，保存和重现莫高窟壁画、彩塑等文物的数字信息，形成了大量的数字成果，通过对外展览展示的形式呈现给各地的观众。然而目前莫高窟的展览方式缺乏互动性与趣味性，另外受到展览周期与空间的限制，在展览过程中无法完整展示文物的相关信息，在参观过程中大众都是被动接受，参与性不足。所以设计一套具有生动性、趣味性、互动性的展示系统，在展示莫高窟文物、更好地传承莫高窟文化方面具有重要意义。

关键词：数字化;展示系统;互动体验

中图分类号：K854.3;K870.6  文献标识码：A  文章编号：1000-4106（2021）04-0133-09

Abstract：After years of intensive research and exploration， photography and computer technologies are now being used by the Dunhuang Academy to protect， preserve， and reproduce the murals， painted statues， and other cultural relics in the Mogao caves. A great amount of digital information has been preserved， much of which is open to the public in the form of exhibitions. There are many shortcomings in the traditional， physical Mogao cave exhibitions that were previously available， however， chief among which was a lack of interaction and organization. Furthermore， limitations on exhibition cycles and spaces severely limited the amount of information that could be displayed about the exhibition items. Generally speaking， the information of the exhibitions is conveyed in a way that forces visitors to be passive observers of the cultural relics in the caves. In consideration of the previous state of these exhibitions， this research believes that designing a set of well-organized， scientific， and interactive display systems is essential to better displaying the cultural relics of Mogao.

Keywords：Digitization; display system; interactive experience

0 前 言

莫高窟的壁畫和彩塑历经千余年自然因素和人为因素的破坏，已经存在不同程度的病害，游客数量的持续增加也给莫高窟带来了巨大的压力和挑战。如何在保护文物的同时向观众呈现莫高窟的石窟艺术与历史文化，使观众能与莫高窟进行全方位、近距离的“亲密接触”，将是我们急需解决的问题。本系统借助AR/VR技术，集成莫高窟第249窟现有的数字化成果，搭建一套可移动的互动体验系统。本系统具有趣味互动性，沉浸感强;可以解除时空的束缚，身临其境地感受莫高窟第249窟丰富的人文艺术，让观众了解敦煌的历史文化与魅力;同时可减少人为因素的影响，更好地保护敦煌莫高窟的文物，通过在各地举办的展览，把不可移动的文物“搬”出莫高窟，让观众可视、可听、可感地体验敦煌艺术[1]。

莫高窟传统展览通常采用陈列的方式把临摹作品或数字化成果展示出来（图1）。参观过程中观众只能通过文字介绍或现场讲解等方式被动地接受，展品信息的传递是单向的，从而造成观众的主动参与性不足。另外，由于自然和人为因素，很多珍贵的文物产生了“病变”或遭到不同程度的破坏，需要在特定的环境中展出。因此，借助AR/VR以及多媒体等数字技术，使不可移动的文物“活”起来，用文物模型代替珍贵的实体文物并呈现给大众。在展览过程中，广泛地应用AR/VR以及多媒体等数字技术，丰富展示手段，使展览更加具有生动性和互动性，在参观过程中调动观众的积极性，增强观众对展览内容的了解，因此具有重要的意义[2]。

1 国内外研究综述

上世纪90年代初期，欧洲一些博物馆便开始用虚拟现实技术开展文物的展示活动，例如卢浮宫博物馆、普拉多博物馆。这种展示模式不但可以妥善解决博物馆空间有限的问题，同时还可以将文物的信息详细展出，使观众更加深入、全面地了解文物历史，强化展示的趣味性及互动性。

由于各方面因素的影响，虚拟现实技术在国内发展的时间相对较短，但是最近几年国内诸多企业以及科研单位开始高度重视虚拟现实技术，并大力推动虚拟现实技术的发展与应用。1990年“863计划”把虚拟现实技术的发展纳入其中，近几年虚拟平台互动展示被广泛应用于各个行业，例如医学、教育、新媒体等，均取得了较为突出的应用效果。

2 总体设计

2.1 设计目标

本系统将设计一个用第249窟洞窟模型代替实体洞窟的交互平台。展览过程中用户可在预先划定好的体验区域内任意移动，操作交互手柄查看第249窟的详细信息并与洞窟模型互动，身临其境地感受石窟氛围，其他观众可观看投影屏幕来了解展览内容。

2.2 总体架构

结合系统设计目标以及展览需求，设计第249窟VR展示系统的总体架构。主要包括体感交互设备、展览系统软件和存储服务器。

体感交互设备与系统软件通信，在运行过程中对用户的行为、用户的空间位置等信息进行采集;展览系统软件对体感交互设备进行精准控制，同时整理分析设备所采集的信息数据，结合实际需求形成相应的操作指令;存储服务器主要包括两种类型：数据库服务器、文件服务器。

2.3 系统需求分析

系统借助体感交互设备来获取用户的空间位置，对用户的动作进行快速采集。系统软件对采集到的数据进行分析，同时对用户所做出动作的含义进行快速识别，然后进行逻辑处理，并发送指令将其映射在文物模型上，文物模型将会根据接受到的指令进行变换。

2.3.1 功能需求分析

本系统最重要的是要实现人机交互，系统应当对用户行为进行快速识别，然后才可以更快地响应用户操作，确保用户获得较为理想的体验效果。对上述需求，系统要通过体感交互设备才可以实现对用户影像、动作进行快速采集的目的，并对人体所作出的一系列动作进行跟踪，构建一个合理完善的交互界面，同时分析、处理、存储用户信息。因此，本系统软件应具备以下功能：

1. 显示功能

主要作用是把体感设备识别出的图像真实、清晰、快速地显示出来。本系统即把第249窟内部的场景与用户的动作全部展现，显示效果与用户的交互体验感存在直接关联。

2. 交互功能

主要作用是提供交互界面供用户选择，用户操作交互手柄选取感兴趣的文物模型进行参观、浏览。

3. 动作识别功能

本系统的“动作” 并非表达想法或阐述具体问题，而是传输一些简单的指令信息，主要是体感交互设备对文物模型进行控制的操作指令。

4. 文物模型控制功能

文物模型控制功能会响应操作指令，例如文物模型会随着参观者的动作进行移动、变换等。

2.3.2 性能需求分析

为确保系统运行过程中的安全性与稳定性，设计系统时要在满足功能需求的前提条件下，严格规定其性能需求。主要包括下列五个方面：

运行性能：通常情况下本系统应用场景为科技馆、博物馆等，此类场所人流量较大，所以系统软件需具备较快的响应速度。按照所展示的具体内容，读取速度应当在2秒之内，运行过程中资源消耗量要降到最低。

稳定性：系统运行过程中，需要持续为观众提供展示服务，为了提高服务质量、确保时效性，系统必须保持长时间稳定运行，同时还应当具备较强的异常处理能力。

安全性：在文物信息存储方面要确保安全性，本系统采用数据库备份，保证数据的安全。

易用性：本系统在应用中需考虑各年龄段的用户，为了让所有人都能够熟练使用系统，在设计过程时要遵循人性化设计的原则，对内容进行合理化编排。

扩展性：为了更好地满足各种场景的展示需求，同时方便系统进行业务扩展，系统应预留易扩展的功能接口。

2.4 系统设计

开发系统软件时，要对系统软件的总体方案进行合理规划，为系统提供安全、稳定的架构。本小节主要对以下两方面内容进行阐述。

2.4.1 总体结构设计

根据系统的功能需求和性能需求分析，可把系统细化为三层：一是用户层，二是数据处理层，三是采集层。下图（图2）详细介绍了系统的总体架构。用户界面层的主要作用是对用户需求进行分析，为其提供相应的信息数据，并提示用户不同操作的具体状态;数据处理层的主要作用是分析体感设备采集的数据;数据采集层的主要作用是对用户位置信息进行快速采集与定位[3]。

1. 用户界面层

主要作用是实现人机交互，为用户的各种操作行为提供详细、真实、全面的信息数据，内部包含多个部分，如UI交互、影像显示、模型变换等。

（1）UI交互

本系统软件的人机交互与传统人机交互之间存在较大差异，传统人机交互主要是用键盘或鼠标响应用户的操作。本系统是利用用户位移、手部交互等方式对系统软件界面进行操作处理，当成功识别用户的行为后，软件将会快速响应用户的一系列操作行为。

（2）影像显示

系统软件读取数据后，把第249窟的洞窟模型展示在界面上，用文物模型取代实体文物增强互动性，提升用户的体验感。

（3）模型变换

主要包括模型的移动、隐藏等功能，可提升参观活动的趣味性，使用户在参观过程中具备较强的参与感，实现与文物模型进行交流互动的目的[4]。

2. 数据处理层

数据处理层主要包括两方面内容，一是动作识别;二是数据存储。主要作用是快速处理、传输数据，并将数据直接存储于数据库中。

（1）动作识别

数据处理层会对体感交互设备采集的所有信息数据进行快速分析，然后结合实际情况把用户从原本的图像中单独分割出来，再通过Graham扫描算法提取用户凸包，根据动作操作协议，生成操作命令。

（2）数据存储

其主要作用是存储与备份文物信息、模型位置、用户交互信息等。

3. 数据采集层

系统软件在运行过程中，数据采集层发挥着不可替代的作用，处在软件结构的最下层，主要作用是实现用户坐标数据的采集、定位并传输至处理层。

2.4.2 系统数据流程

下图详细展示了數据流程（图3），其中用户与文件服务器为外部实体，P1为体感设备的数据处理，主要处理F1交互动作数据与F2位置信息数据，生成D1交互数据与D2位置信息数据，把数据发送给P4并将P4的处理数据通过F3返回至用户并在界面显示。

3 系统软件模块设计

为确保系统的各个模块均可以实现相应的功能，系统设计严格遵循模块化设计的基本思想，把软件细化为不同模块，如识别模块、显示模块、模型控制模块等，不同模块之间进行有效协作，形成一套合理、完善的文物模型互动展示软件。下图为软件模块详情（图4）。

3.1 显示模块

用户通过显示模块融入到洞窟模型中，因此显示质量将会对用户的操作体验产生直接影响。显示模块主要利用体感交互设备对用户的空间信息数据进行快速采集，获取场景中的用户动作，然后通过文物存储模块读取文物模型，进行虚实融合，从而进一步实现增强现实效果的目的（图5）。

体感设备获取第249窟场景的影像与文物模型信息实时叠加，进而形成增强现实的影像，最后将文物模型信息进行渲染，呈现到显示器上。使用户能够切身体验真实的第249窟场景与虚拟信息交相辉映的生动效果。

3.2 交互模块

为确保用户与软件之间实现深度交流，系统在交互模块中设计了交互按钮和文物列表选项。交互按钮包括菜单按钮、返回按钮等。文物列表包括一系列动画，能够实现渐入渐出的整体效果，用户交互体验得到显著提升。结合体感设备所具备的特点，把三维坐标数据输入，借助系统软件进行快速处理，取代鼠标实现隔空响应功能。

交互按钮共包括三种不同的状态，即经过、按下、离开，能够避免意外触碰而引发的问题。当用户与平台进行交互时，其具体过程为：通过体感交互设备获取用户的三维坐标数据，然后用交互手柄控制虚拟光束去激活交互图标。如果虚拟光束未处于交互范围之内，交互图标将不会响应操作;如进入交互按钮区域，交互图标将会发亮提示用户进行操作;如果虚拟光束离开按钮区域，那么交互按钮将会发生变化，即恢复至初始状态。通过移动虚拟光束用户可选择自己感兴趣的文物模型（图6）。

交互按钮被触发后，显示模块就会响应动作，即把与之相对应的文物模型呈现在界面上（图7）。

3.3 动作识别模块

主要作用是对用户的动作进行快速识别，成功之后将会把相应的指令发送至文物控制模块，对文物模型变换进行快速处理。本系统在进行设计的过程中，共设计了四种不同的动作协议（表1）。若用户所做出的动作不在这四种动作协议范围之内，那么识别模块就不会做出响应。

3.4 文物控制模块

根据用户不同的动作，系统对文物模型变换过程进行严格控制，并制定详细、完善的操作协议（表2）。若用户所做出的动作不在这三种动作协议范围内，那么识别模块将不会做出响应。

4 系统实现与测试

依据现有条件和设备，构建合理完善、安全稳定的系统软件平台，主要包括：显示器、体感交互设备、数据库等。同时还必须依托于相关硬件，下表（表3）详细列出了软件的运行环境。

软件运行前必须进行一定的准备工作，具体内容包括下列两个方面：对体感交互设备、PC端等各个方面进行全面检查，判定是否存在异常状况;运行软件系统，检查体感设备的指示灯是否处于正常工作状态。

4.1 功能实现

4.1.1 显示界面

用体感交互设备采集用户动作，显示模块读取第249窟的3D模型并在界面显示。用户通过移动头部和手部的动作来模拟真实环境下的位置变化，查看不同位置、不同角度下文物模型的细节。系统会根据用户调用的洞窟模型从服务器选择模型文件生成主界面，并根据用户位置信息实时显示模型（图8）。

4.1.2  交互功能

当用户站在定位器之间，设备启动红外定位器，系统可以采集用户的手柄以及头部移动的坐标，通过定位器的位置判断，将移动空间的数据传输给软件处理并显示在界面上，最后通过软件界面查看采集到的视频流。

通过上述动作采集，体感交互设备跟踪和定位用户的动作，把用户的坐标数据直接传输至交互模块，再对其坐标数据进行分析，将结果直接赋值于虚拟光束，此时用户的手发生移动，那么虚拟光束会处于高亮状态（图9a）。当用户将虚拟光束离开当前界面，虚拟光束则会取消高亮状态（图9b）。

4.1.3 动作识别功能

根据本文制定的动作，分别为手柄移动、点击按钮及扣动扳机，通过这三种动作，系统会给出相应的效果反馈。

用户站在定位器之间，分别做出上述三种动作，查看动作识别的效果。动作识别模块可以识别出用户按照文物操作协议做出的动作，如果没有按照操作协议做动作则识别失败。

4.1.4 文物模型控制功能

此模块功能用来控制文物模型的变换，包括文物模型的移动、出现和隐藏。用户通过动作识别模块功能向文物控制模块发送控制指令，文物模型能够出现变换。

用户通过交互手柄选择一个文物模型，当用户扣动交互手柄的扳机时，文物模型会出现并通过图像增强显示出来（图10）。

4.2 系统测试

4.2.1 功能测试

通过实际运行系统，系统的主要功能模块均已完成且能够正常运行。系统的功能测试与处理结果如表（表4）所示。

4.2.2 性能测试

通过第二节的分析可知本系统的性能主要包括以下四方面内容：

稳定性：经过反复测试，系统均可以保持正常运行，不会发生死机或者崩溃等问题，稳定性能方面符合标准。

运行性能：显示模块、文物控制模块是耗时最高的两个部分，通过上一节的测试，响应速度、运行效率均可以满足相应的要求，所以运行性能方面符合标准。

安全性：只有工作人员才可以對文物模型信息、用户信息等进行调阅查看，安全方面符合标准。

易用性：在应用该系统之前，用户仅需学习相应的操作规程便可以熟练操作，所以易用性方面符合标准。

4.2.3 软件实时性验证

在对体感交互效果进行评价时，软件的实时性是其最佳的衡量指标。对软件的实时性来讲，其主要受到两个方面的影响：其一，电脑性能;其二，软件结构。因此需要对耗时较高的功能进行严格测试，如文物模型读取时间、按钮触发时间等。

通过测试，在大部分时间下CPU的空闲率均在65%以上;文物模型控制模块、动作识别模块运行时，CPU负载虽然会有所提高，但并不会对整个软件的运行产生不良影响。OBJ模型的大小通常为80M，软件读取时间为2秒左右，并不会对用户交互体验产生影响。此外，文物模型的变换延时时间也不会对用户的体验感造成影响，由此可见，软件的实时性也符合标准。

经过上述测试与分析可知，本系统软件的各个模块功能均满足设计要求。

5 結 语

本系统根据传统文物展示方面所存在的不足，结合实际需求设计莫高窟第249窟VR展示系统，经过对系统功能进行测试，各功能模块均满足要求。但由于本人经验不足、能力有限，再加上实验条件、时间等因素，本系统仍存在诸多不足，需进一步优化，不足之处具体体现在下列两个方面：

1. 通过该系统，用户可以与虚拟文物模型进行实时互动，对模型变换过程进行严格控制，但是系统中所包含的文物模型相对较少。在未来的研究中，可以尝试通过PhotoScan软件把文物照片直接传输至系统，或者利用3D文物扫描的形式把文物直接转变为3D模型，如此一来，建模成本、建模时间将大大降低。

2. 系统应用中其可能会产生诸多问题，如在展示的过程中每次只能一个用户体验，参观人数较多的时候用户必须排队。在未来的研究工作中，可以开发一些以AR技术为基础的开发包，使用户通过个人手机终端便可以实现与虚拟文物模型互动。

参考文献：

[1]吴健.石窟寺文物数字化的内涵：融学术、技术、艺术于一体[J].敦煌研究，2015（2）：125-129.

[2]王向强，黄俊，张作运. 基于Kinect虚拟文物互动展示系统的设计与实现[J].微型机与应用，2017，36（2）：41-43，47.

[3]李大丁.体感技术在敦煌艺术交互展示中的应用初探[J].敦煌研究，2015（5）：115-119.

[4]董叶芊.Unity3d产品虚拟展示技术的应用研究[J].无线互联科技，2017（17）：144-145.