以实体环境为基础设计制作交互式虚拟人体科学馆

谭 风，田 清，李 震，杨小庚，饶利兵，蒋 帅，李 青，杨懿农，张 君

(湖南医药学院：1.口腔医学院；2.医学院；3.护理学院，湖南 怀化 418000)

人体科学馆是医学生学习人体解剖学、科学研究和社会科普教育的重要场地[1-3]。然而人体科学馆的开放时间有限、社会人士对人体标本的恐惧心理，并且科学馆的容纳量和运行过程中维护成本，导致场馆的使用效率不高。为改善这些局限性条件，扩展人体科学馆的辐射面和教育教学效果，本课题组利用桌面型虚拟现实技术和三维全景建模技术，以湖南医药学院人体科学馆实景实物为基础，通过图像采集拼接、全景投影、交互热点设置、全景发布等环节建立人体科学馆的实物场景漫游，使其实现在互联网上生动的展示和良好的交互。

1 虚拟人体科学馆的总体设计

湖南医药学院虚拟人体科学馆是一个面向具体展馆的实景再现系统。从功能上不仅要真实地反映场馆的内部结构，实现基本场景的浏览，而且要提供必要的导航以及操作手段，支持用户自主选择游览路径，实现交互式漫游[4-6]。为此，在Pano2VR软件皮肤编辑器中为漫游系统设计制作了以下功能(图1)。

图1 界面交互操作控件、导航图、缩略图

1.1 界面交互操作设计

界面交互操作控件包括方向转动按钮：图像收缩按钮、开始/停止旋转按钮、恢复默认视角按钮、改

变控制方式(正转/反转)按钮、全屏开关和展馆场景简介信息开关按钮。展馆场景信息简介以小窗口的形式在漫游中显示，主要包括：场景名称、描述、作者、作品制作时间以及版权信息等。交互操作控件与鼠标、键盘结合使用，增加用户在漫游虚拟人体科学馆时的沉浸感和交互的流畅性。

1.2 导航设计

导航由导航地图和视角提示图标组成。导航地图的设置主要是为避免复杂环境中的漫游迷失，实现系统中的快速定位。由于地图一般所占窗口面积较大，导航地图需要隐藏在虚拟人体科学馆界面侧栏，其显示由相应动作触发，反之隐藏。视角提示图标主要是通过雷达指针获取当前的视角方向和视野范围，从而使用户可以辨别自己的方位。并且用户还可以通过点击导航图内的节点快速到达虚拟人体科学馆内的任意场景，为学习者提供便利。

1.3 场景缩略图

人体科学馆共有60个场景，为了实现在漫游过程中快速跳转，设置了场景缩略图，缩略图是每一个场景最具有代表性的视角，其下方有对应的名称，通过点击即可进入相应的场景。

图2 交互控件按钮、简介信息窗口参数设置

1.4 采用HTML5前端开发

HTML5是由万维网联盟W3C(Word Wide Web Consortium)推出的新一代的Web标准，此标准有效地提高了Web的交互能力和本地支持能力，让Web应用摆脱插件限制，其目的是在移动设备上支持多媒体并进行跨平台使用[7-8]。由于基于Flash的网页技术的全景漫游不能支持移动设备(如手机、平板和Apple设备)上的交互，并且交互时作为外挂的Flash插件影响稳定性和流畅性，同时为了更好地打破实体人体科学馆的时空性限制，所以选用此标准。

2 人体科学馆网络化实现

为构建一个画质高、场景逼真、便于操作的全景漫游系统，本课题组采用桌面型虚拟现实技术,只以计算机或其他移动终端屏幕作为用户观察虚拟世界的一个窗口而没有其他的复杂的虚拟现实设备如头盔等，通过屏幕上的三维图像和与用户交互给用户一种身临其境的感觉[9]。

2.1 虚拟人体科学馆展区场景全景数据采集

虚拟人体科学馆包含了三大功能区：即演播室、荣誉室和实物标本陈列，其中实物标本陈列分为湿标本(展厅1)、断层解剖标本(展厅2；3)、铸型标本(展区5)、生物塑化标本(展区6)、大体解剖标本(展区7)。按照展区内部结构设计节点位置和漫游路线，并依据节点布置三脚架、云台以及相机等全景拍摄工具进行数据采集，后期处理主要包括:筛选和整理图像；调整图像的色彩度与明亮度；拼接全景平面图。

2.1.1 设置节点坐标并取景

根据观察者步数设置若干个观察点，在观察点合适的视角和视野范围处作为中心节点辐射该点的整个范围(图3)，在节点处布置三脚架、云台、相机等全景拍摄工具，以单反相机镜头水平环视(0°)、斜向上45°(+45°)、垂直向上90°(+90°)、斜向下45°(-45°)、垂直向下90°(-90°)，共5层的方式进行拍摄[10]。

图3 节点坐标图

2.1.2 二维全景图的合成

常用拼接软件有PT-GUI、Panorama Studio、Photoshop等。课题组经过测试后，其中PT-GUI操作简单、功能齐全，能够根据图片特征自动进行预处理、特征点配准、融合以及边界平滑等，是一款较为适用的轻量级软件。将取景拍摄所得的5层多角度的图片导入PT-GUI，通过对准图像，形成粗略的全景图，再使用PT-GUI内置的全景编辑器，根据场景视角和视野的特点对其进行蒙版、曝光度和中心点设定等处理，最后生成观察点二维全景平面图(矩形球面图)的JPG格式文件(图4)。

图4 二维全景平面图

2.2 虚拟人体科学馆展区场景漫游系统建设

单个全景图片只是单视点的二维静态图，并不能称之为真正的虚拟现实场景，因此，必须对全景图进行合理的空间编辑和组织。这种空间编辑和组织实质上是根据视角方向显示并渲染预先存储全景图的一部分，从而实现在固定节点旋转、缩放以及节点漫游等实时交互效果[11-12]。在常用的全景建设平台中，Pano2VR软件具有操作简单、功能齐全、便于开发等特点，可以将展示文件导出HTML5、FLASH、QUICKTIME等格式，快速实现漫游。它还可以在虚拟人体科学馆中，对相应标本以热点形式嵌入其环视文件的链接(url)以及添加语音解说音频、人体科学相关的视频等。因此选用Pano2VR，在得到初步导出的HTML5文件后，利用网站脚本语言对人体标本展示、教学、科研、科普等功能进行拓展。

2.2.1 创建虚拟人体科学馆全景漫游工程

使用Pano2VR软件，将全景图导入，完成了虚拟人体科学馆全景漫游工程文件的创建。

2.2.2 全景漫游各种参数设置

①对虚拟人体科学馆初始场景的设定(浏览漫游时会最先显示这张全景图所展示的场景)；②各展区场景的全景图进行默认视角的设定、视场的限制、开场效果的设置、方向的设定、用户数据的编写(如作者、场景简介、版权编写等)；③在输出窗口设置场景交互的特效、热点提示文本框显示参数、网页参数、控制参数、图像参数和HTML5显示的高级参数以及其他参数的设置。

2.2.3 场景交互的实现

在Pano2VR工程文件[13-14]中，通过预览窗口设立交互热点、选择需要跳转的场景，还可以改变链接场景的查看视角。通过创建交互热点将虚拟人体科学馆不同场景进行链接，使用户漫游时身临其境。

2.3 虚拟人体科学馆场景与标本的交互实现

湖南医药学院人体科学馆内部结构复杂，人体标本陈列品摆放较为紧凑，部分标本受视角等因素的限制难以全方位的对其进行观察学习，因此本课题组将科学馆内具有代表性的标本根据其自身特点进行多视角360°图像数字化，制作成标本环视HTML5文件，然后以网址链接的形式生成热点嵌入虚拟人体科学馆场景漫游工程中，在虚拟人体科学馆中点击该环视的热点，在浏览器的窗口就会跳转到标本环视文件并自动打开(图5)，然后即可对标本进行任意地观察和学习。

图5 单体标本观察

2.3.1 标本环视制作的前期准备

为了最大程度还原标本的结构特点，对单个标本的图像采集需要在摄影棚内进行，所以在建设初期，要搭建摄影棚、购置匀速自动转盘静物拍摄台和安装Object2VR环视制作软件。

2.3.2 标本的拍摄和取材建模

①对于具有多角度观察价值的标本，将标本从中心线开始从上自下建立1～2层拍摄面，每层拍一周。设置好相机自动拍摄间隔时间和圆盘旋转一周时间后将标本放置自动旋转的圆盘中进行拍摄。通常以拍摄一周72张图片效果较好。将拍摄出的图片通过PS抠图、去噪、设置大小后，通过Object2VR软件进行球形拼接生成标本环视三维图，为保持文件格式一致性，导出HTML5格式保存并生成统一资源定位符链接(URL)嵌入到场景的热点中[10]；②对于只有单视角观察价值的标本，只需对其观察面进行拍摄，然后通过Photoshop调节色彩、抠图、降噪和对结构添加标注等处理保存JPG格式的文件，将该图片文件直接置入虚拟人体科学馆场景中，Pano2VR会自动生成热点，漫游时点击热点即可在浏览器窗口查看。

2.4 生成虚拟人体科学馆实物全景漫游

在虚拟人体科学馆实物全景漫游工程文件中输出HTML5文件[15],保存资料，建立数据库。

2.5 网络发布

上传数据库到服务器，为了提高漫游虚拟人体科学馆的流畅性、加载速度和保护我校特有标本素材的版权，课题组决定使用Windows系统的互联网信息服务(IIS)功能，在校内局域网下发布湖南医药学院虚拟人体科学馆全景漫游。

3 结果

采用本文讨论的思路和技术方法可以实现湖南医药学院虚拟人体科学馆的构建，用户在我校局域网内可随时随地漫游人体科学馆，对场景和人体标本进行放大、缩小和多视角观察，并与之交互，提高了学习者对人体科学的学习兴趣和学习效果，放大了实物人体科学馆的功效，已在我校2017、2018级临床专业部分学生的人体解剖学课程课前预习、课后复习中推广。

4 讨论

4.1 现存问题与不足

目前国内外虚拟人体科学馆的相关报道较少，在设计制作时缺乏一定的参考和评价标准。在推广应用过程中，发现我校虚拟人体科学馆存在以下几个问题：①虚拟人体科学馆的操作控件在屏幕尺寸较小的终端偶尔会显示不全，影响漫游效果；②由于图像数据存储空间庞大，故采用局域网内发布，在一定程度上也限制了虚拟人体科学馆的使用空间和辐射范围；③标本环视并不是真正的三维模型，在环视操作时未能实现无缝旋转观察。

4.2 经验体会

本课题组成员均为医学专业教师、学生，对于虚拟人体科学馆的设计制作所需的大部分技术需要自行查找教程边学边做，很大程度上降低了工作效率并影响其质量，因此在下一步研究时我们会考虑与其他相关学科的人员进行合作。学生在参与制作的过程中，既学习了解剖知识，又可提高其自身综合能力，为以后就业打下夯实的基础并提供新方向。