基于虚拟现实技术的黄梅戏数字博物馆设计

王 广 军，王 鹏 林，贾 玟 卿，杨 笑 笑，陈 晓 慧

（1.安庆师范大学安徽省智能感知与计算重点实验室，安徽安庆246013；2.安庆师范大学计算机与信息学院，安徽安庆246013；3.安庆职业技术学院电子信息系，安徽安庆246001）

黄梅戏是我国重要的非物质文化遗产，在众多戏曲种类中，黄梅戏得益于现代传播手段如电台、影视等传播形式，得到了广泛地传播。随着社会的发展，新技术手段和文化娱乐形式日渐丰富多样，黄梅戏除了保持传统的戏曲文化优势特色外，也需要在传播和呈现方式上适应新时代的大众需求。如何趣味化、互动化、便捷化地展示黄梅戏戏曲值得积极探讨。数字媒体技术发展为黄梅戏的多样呈现提供了新思路，如数字化的舞台效果[1]、便捷的移动应用[2]、短视频[3]等，让黄梅戏文化的传播形式能够与时代同行。

近年来虚拟现实（Virtual Reality，简称VR）发展迅速，应用于各个领域。所谓虚拟现实，即构建模拟现实的三维虚拟场景，通过视觉、听觉、触觉等方式沉浸虚拟场景之中，达到身临其境的感受[4-5]。随着头戴式虚拟现实显示器（下文简称VR头显）如Oculus的出现，让左右眼封闭于对应的左右屏幕模拟视差的影像中，且追踪头部的运动而对应模拟场景影像，形成了极强的虚拟现实沉浸感，从而推动虚拟现实技术的革命性发展[6-7]。随后VR技术的发展，Htc Vive、Oculus、暴风魔镜等VR头显设备如雨后春笋般推出，增强现实、混合现实、扩展现实、自然人机交互等技术进一步发展，促进了虚拟现实技术向各领域延伸和探索[8-10]。

本文采用虚拟现实技术设计和开发黄梅戏VR博物馆。研究以安庆市中国黄梅戏博物馆为原型[11]，结合虚拟现实展示特性，设计黄梅戏VR文化展示知识图谱。研究通过三维建模技术、数字图像技术、三维角色动画等构建黄梅戏VR三维虚拟场景，采用Unity开发VR交互和漫游系统，并辅以语音识别、智能交互等多种交互方式，最后进行多平台发布，支持电脑客户端、网络端、移动应用等平台传播，也实现一系列VR设备的沉浸体验。研究把虚拟现实VR技术应用于黄梅戏数字化保护和传播，探索黄梅戏的新表现传播模式。黄梅戏虚拟博物馆打破空间的限制，真正从观众体验性、互动性出发，实现了更大范围内、更为便捷本真地传播黄梅戏文化，让体验者充分感知黄梅戏文化元素，感受黄梅戏文化的魅力，为互联网时代中国传统非物质文化的传播提供新的方法和思路，同时也可以对博物馆的展览方式以及宣传推广工作提供有效借鉴。

一、黄梅戏VR数字博物馆特点

（一）VR数字博物馆

黄梅戏VR数字博物馆元素广泛且又繁杂，涉及黄梅戏发展历史、黄梅戏代表人物、黄梅戏音频视频、黄梅戏服装饰物、黄梅戏乐器、黄梅戏剧本乐谱等方面。不同研究团队从多种角度对黄梅戏传播进行研究[12-14]，丰富了黄梅戏文化内涵。除了传统的舞台表演，黄梅戏影视传播、黄梅戏美术设计、三维动画、短视频移动应用等也为黄梅戏传播提供多维路径[15-16]。安庆市黄梅戏博物馆展示设计对黄梅戏文化进行了有效梳理，可作为虚拟博物馆的三维场景原型和内容布局参考。安庆市黄梅戏研究院在黄梅戏数字资源建设方面取得了较好的工作。研究团队在参考真实黄梅戏博物馆和中国黄梅戏数字资源库的基础上，结合数字媒体虚拟现实技术设计黄梅戏VR博物馆的文化展示内容和交互形式。

（二）VR数字博物馆特色

针对目前黄梅戏实体博物馆展示存在的不足[17]，设计虚拟现实数字化展示，其特色如下：

（1）黄梅戏VR博物馆通过电脑、智能手机就可以查看体验，传播便捷，打破了时空限制，随时随地可以进行，用户人群广泛，极大地降低文化传播成本。通过多种高新技术手段呈现塑造的博物馆具有良好形象。

（2）文化展示内容根据展品特点针对性设计，如静物展品可以设置文字语音介绍、三维点选、旋转缩放查看、动画展示等。参观者在参观虚拟场景时可以方便获取全方位的展品信息及其背后的故事。打破了现实中文物易损坏而限制游者与展品零距离接触的限制，同时突破现实中的距离障碍，让您足不出户即可沉浸在洋溢着文化气息的虚拟仿真的黄梅戏情境中。

（3）数字博物馆以参观者为主体，注重参与互动。展示模块在初始布局的基础上，可以根据参观者的兴趣自适应且个性化的重新布局，提高文化展示和知识学习的个性特质。

（4）获取用户对于黄梅戏文化的认知和需求。通过对终端数据的收集和分析，获取用户对于展示内容的关注度，从而个性化的自动切换推荐展示内容，实现个性化的观赏服务。

二、黄梅戏VR博物馆设计实现

通过综合分析黄梅戏VR博物馆的展示内容与特色，设计系统总体功能结构，从博物馆文化展示图谱、交互设计、系统设计三方面分析，如图1所示。黄梅戏VR博物馆是一套应用软件，开发过程跟传统的软件开发流程类似，历经系统需求分析、系统分析设计、素材搜集整理、三维场景构建、系统开发实现、系统运行测试以及产品运维等环节，如图2所示。在系统开发的实现模块，研究综合考虑了以系统常规功能、智能推送设计、全景虚实融合、VR漫游交互、多平台发布等五个环节为主的相关设计与实现。本文重点阐述黄梅戏文化与数字媒体虚拟现实技术的融合设计和系统开发实现。

图1 系统总体功能结构图

图2 系统实现流程图

（一）展示素材的整理收集与数字博物馆场景构建

研究团队通过多种渠道整理收集得到黄梅戏素材资源，如黄梅戏剧照、黄梅戏全景视频、黄梅戏博物馆照片、黄梅戏发展史料等。另一方面，与安庆市黄梅戏研究院的黄梅戏数字资源库合作，把便于展示的黄梅戏数字资源融合起来。黄梅戏虚拟现实博物馆参考安庆黄梅戏博物馆展示的实体内容，进行建模设计，形成黄梅戏文化元素展示库。针对文化类别，团队进行大量的资料收集和整理，咨询黄梅戏研究专家，形成适宜展示的文化元素具体内容分类和重要性排序。

虚拟现实的基础是逼真的三维场景，因此构建三维虚拟博物馆至关重要，也是本系统工作量最大的模块。通过系统设计，列出需要建模的物品，调研对象的大小、性质、纹理等信息，然后通过三维建模软件进行三维建模和纹理贴图。三维建模涉及整个数字博物馆的建筑、环境物品和黄梅戏展品，黄梅戏展品包括服装、饰品、乐器、历史文物、古戏楼场景等。黄梅戏人物建模和动画是较难的模块。

（二）交互系统设计实现

本系统主要采用Unity游戏引擎进行系统开发。黄梅戏VR博物馆是一款数字化软件，需要常规的软件开发设计。

（1）场景管理与界面设计。所谓场景管理即每一功能页面的管理，在游戏领域成为关卡设计。界面设计是软件每个界面的表现，即场景的背景图片纹理、文字文案、交互按钮设计等。系统界面采用统一的风格样式进行设计，保证系统的统一性和美观性。对系统功能进行分解，形成不同的页面呈现，实现不同按钮、链接之间的有效且有序跳转。能够有效实现系统各功能模块进行链接和返回操作。如历史简介主要罗列黄梅戏历史文化知识采用文字图片的形式界面上展示，可以通过按钮/语音等方式进行前后翻页查看。唱腔演示主要是设置多部经典黄梅戏表演视频供游览者选择播放，视频画面可以利用虚拟博物馆中的放映机投放在墙面上，也可以在唱腔展示界面进行二维的全屏覆盖播放。

（2）用户管理与数据库设计。用户管理涉及用户注册、登陆等，便于系统对参观者信息的了解和对智能推荐提供依据。同时设计不同的权限，例如，管理员可以对普通用户进行管理等。数据库采用MySQL数据进行设计开发，涉及三个方面，一是对用户信息进行存储管理，二是对系统呈现的信息进行管理，三是对文化元素展品进行管理，如前文所说的每件展品的属性信息等进行管理。

（3）丰富的交互方式。系统设计多种交互方式，主要包括鼠标键盘的操作、三维手柄的操作、VR头显的操作、触摸屏触控操作和语音识别交互操作等交互技术。对于内容的交互设计对按钮的点击、对展品的三维点选、三维360观察、缩放等交互操作。

（4）黄梅戏文化展示基本模块。此模块主要通过常规的如文字、图片、音视频等二维的形式介绍黄梅戏文化，便于快速了解黄梅戏文化知识，满足三维模式不适应人群对黄梅戏文化知识的需求。

（5）黄梅戏博物馆三维展示模块。通过三维建模把黄梅戏文化元素展品设置在指定的三维虚拟场景中，通过交互漫游的形式逐步漫游学习参观浏览。系统可以通过计算机桌面鼠标键盘的交互漫游，即“PC”模式，也可以通过“VR”模式，即戴上头戴式虚拟现实显示装置结合手柄进行漫游。

黄梅戏状元帽子是黄梅戏的一个经典意象，结合黄梅戏之乡安庆又称“宜”城，相对工整对称的结构，因此设计黄梅戏博物馆总体俯视图把这两点相结合，具有浓厚的黄梅戏地方特色，如图3所示。图3所示只是博物馆主体框架，在不同模块，可以跳转到另一具体场中，打破空间限制，如点击展品进入该展品的独立空间，古戏楼穿越可以调转到虚拟的古代场景漫游等，可以不断添加扩展新的文化信息。

图3 黄梅戏VR博物馆功能区设计（设计图与模型实体图对照）

（6）全景漫游模块。全景指的是通过真实的图片、影像进行360度无缝记录真实情景，可以通过屏幕360度查看。本系统中设计两套技术方案，一种是博物馆的全景图片漫游，即通过拍摄真实博物馆全景图进行不同点位浏览。另一种是拍摄黄梅戏现场演出全景视频，不仅可以看到戏曲舞台的真实情况，也能够自由看到台下观众反应和环境信息，要达到虚拟博物馆虚实融合的效果。

（7）黄梅戏主题游戏模块。本模块将黄梅戏博物馆与游戏设计元素融合，将黄梅戏外景场馆与内景场馆相连接。通过该黄梅戏主题游戏设计来激发游客探索文化展品的兴趣。游戏开始于外景场馆，体验者在博物馆智能助手小智的引导下依次体验“语音智能检索”“VR阅览”“VR作画”等趣味性游戏交互功能。同时,“湖心亭-鱼戏莲叶间”的动画效果可在体验者较为疲惫时，增加点赏心悦目的味道。玩家在VR博物馆智能助手小智的指引下，来到内景展厅关卡。该关卡的设计理念以解密游戏的设计贯穿始终。玩家首先可以近距离欣赏到展厅中的各色展品：诸如二胡、月琴、大鼓等传统乐器，彩罗衣裙、蟒袍等组成的黄梅戏服装秀，以“铜雀春深锁二乔”玉盘为代表的黄梅戏工艺品，然后在AI小智的指引下，找到场景中的黄梅戏菜单通向趣味互动的体感体验环节，让体验者化被动为主动，自主去探索黄梅戏妆容、黄梅戏经典剧目，实现寓教于乐。至此，游戏结束。游戏流程如图4所示。

图4 游戏交互流程

（8）智能推送与数据分析。此模块是本系统的一大特色，可以根据用户参观中关注度的不同调整展品的摆放。博物馆有基本的展品布局，但部分具体位置的展品可以变化调整。用户在使用系统参观时，系统可以根据用户行为如展品的停留时间、交互按钮的使用情况等分析用户的喜好，从而在后面的展示位置中自适应智能化的更换展品，实现不同用户有不同的参观体验，更加具有个性化和科学性。

（9）多平台发布。多平台发布是本系统的一大优势，以满足不同环境体验需求。通过Unity开发可以便捷的发布到计算机客户端、移动终端安卓系统和苹果IOS系统APP、网络WebGL平台、大屏幕触控平台等多种主流平台，极大地节省的开发成本，扩展了系统应用需求。

（三）VR虚拟漫游实现

虚拟漫游是本系统重要内容。本系统实现基于计算机（Htc Vive）、基于移动终端（暴风魔镜）和VR一体机三种方式的VR漫游实现，本节以Htc Vive为例进行虚拟现实VR漫游介绍。HTC VIVE分为头显，手柄，光学传感器三部分。体验者只需佩戴头显，手持运动控制器（手柄），即可轻松操作该系统，如图5所示。

图5 HTC Vive实物图和结构图

人的双眼所观察的图像不是完全重合的，存在一定的差距，即视差图像，因此采用两台摄像机按照一定的规则模拟左右眼获取图像视频，分别投放在VR头戴式显示器的左右两个屏幕，用户的佩戴显示器使得左右眼分别只看到左右图像视频，即可实现三维立体效果。头戴式显示器上设置陀螺仪设备，可以实时获取设备的朝向，从而推算出用户所要观察的方位，这样可以有效模拟用户在虚拟的黄梅戏博物馆中的位置和朝向，并实时的显示在对应屏幕中，即可实现VR沉浸式观察的效果。基于Lighthous定位系统光敏传感器用于识别头显与手柄在实际空间中的定位。Vive交互手柄无需线缆，配备24个感应器、多功能触摸板、双阶段触发器。通过触碰手柄的按钮与按键触动触发器来发射信号，使用感应器来接收信号，进行实时交互。手柄与头显配有的感应器与触发器，进行发射信号与接收信号，实现实时交互。当配置好Vive与电脑的连通环境，通过处理手柄及头盔发射出的指令信号，Vive设备将发出的信号实时可视化地呈现在电脑的虚拟环境上，同时VR头显实时映射虚拟环境的景象。虚拟与现实映射结合，即虚拟现实，从而实现黄梅戏三维数字化博物馆的虚拟现实呈现。

三、黄梅戏VR博物馆运行与评测

（一）系统特点运行效果分析

本节以HTC Vive平台的进行用户访问体验介绍。用户首先进行用户信息登录，之后来到VR模式选择，根据选择的VR模式穿戴合适的VR硬件设备，成功登录至系统主页（即该应用的具体内容主页）。系统主页部分设置了以系统说明、知识科普、3D博物馆漫游、全景漫游、主题游戏、知识评测为主的六个功能供用户使用。同时设置了友情链接，可链接至黄梅戏相关咨询网站。具体访问流程如图6所示。

图6 黄梅戏VR博物馆HTC Vive体验流程图

部分系统运行效果如图7所示。

图7 黄梅戏VR博物馆系统运行效果

（二）系统测试

本系统的设计及开发目的是采用新技术促进黄梅戏文化的呈现和传播，因此系统需要面向用户进行体验分析。主要包括两个方面：在VR体验方面，通过对参加VR体验的100例用户问卷调查分析，在满意度方面百分之百对系统的探索和体验表示满意，有7例存在晕3D现象，但对系统所呈现的二维文化信息和整体创意表示满意。对于黄梅戏文化学习方面，均对所呈现的黄梅戏文化知识表示受益匪浅，并对黄梅戏兴趣有所提高。对用户知识评测方面，首次答对率处于正态分布，符合常规的知识测试规律，有效提高了对文化知识的充分了解。对用户体验时间方面，VR体验基本处在5到10分钟之间，有9次超出10分钟但没有超过15分钟，十分钟之内的眼部反馈可以接受，超出十分钟的体验，因个人体质不同，存在不同程度的眼部疲劳，但休息后会快速恢复。

系统功能评估方面，目前系统已经发布多个版本多种平台在部分场合进行应用。研究经过不断测试完善后，系统已经稳定运行，其中较好的体验是通过计算机平面界面学习体验黄梅戏博物馆全部功能，然后通过VR模式体验黄梅戏VR博物馆，不仅可以学习黄梅戏文化知识，也能避免对眼睛的不适影响。

四、结 论

随着VR技术发展和相关应用研究，其在非物质文化遗产创新展示等方面的巨大优势已经显现出来。研究以黄梅戏文化为对象，采用多种数字媒体技术手段，基于VR技术设计黄梅戏VR数字博物馆展示系统。玩家通过佩戴HTC Vive虚拟现实头戴式显示设备，在适当的空间内，通过获取虚拟场景提供的黄梅戏图片文字动画等信息，并且可以进行虚拟博物馆漫游和交互游戏。运动器控制、语音交互、动作识别、触觉反馈等交互感知方式，打破传统博物馆的多方限制，让使用者获得更完美的互动体验。团队进行了系统用户体验分析，效果较好。此外，VR技术不仅可以与传统戏曲文化相结合，在其他文化建设领域也有着巨大的发展潜力。虚拟现实技术与文化的结合将翻开传统文化传承传播的新篇章，对社会发展具有重要价值。