基于RealityCapture 的智能仿真虚拟实验室研究及开发

苏龙生，邓斯尧，周佳莹，张皓庭，李晶莹，温斯焕，李晓东

（佛山科学技术学院电子信息工程学院，广东 佛山 528225）

近年来，随着虚拟现实技术的快速发展，智能仿真虚拟实验室已经在各个领域得到广泛应用，不仅能够取代传统实验室中一些危险、昂贵或无法重现的实验，还能够拓展实验的规模和灵活性。RealityCapture 是一种用于日常物体和建筑物的三维扫描和重建技术，其能够通过准确的激光扫描、摄影等手段生成和捕捉实际环境的三维数据，并将其转化为高精度的虚拟模型。本文旨在通过数据采集、模型构建、虚拟现实技术的应用等方面研究和开发基于RealityCapture 的智能仿真虚拟实验室，实现按需修改实验设备和环境，在提供更加灵活的实验环境的同时，能够降低实验的时间和成本，提高实验效率，加速科学研究进程。解决了如虚拟VR 环境搭建时间长、模型仿真相似度不足以及三维虚拟交互平台难以高效集成的问题。

1 智能仿真虚拟实验室的实现基础

1.1 虚拟现实交互技术

虚拟现实交互技术是一门新兴发展的综合性信息技术，融合了计算机图形学、数字图像处理、多媒体技术和三维模型WEB 展示等方面的技术。其通过计算机处理形成一个数字化的映射虚拟模型世界，用户可在该虚拟世界里进行多维人机交互，带给用户“身临其境”的现实立体感。

1.2 WebGL3D 渲染技术

WebGL3D 渲染技术是一种基于OpenGLES 标准的功能强大的3D 模型渲染技术，该技术可以通过着色器程序、缓冲、纹理和矩阵变换等步骤使用机器GPU 将3D 模型渲染成HTML 页面。所以开发者可以借由该技术在WEB 网页上创建和使用交互式3D 模型，搭建具有交互功能的虚拟三维空间。

1.3 RealityCapture 软件

RealityCapture 是一款基于图像和三维点云快速建模软件，可以利用大量二维定点图片计算生成仿真度极高的三维模型。该软件的一个核心功能是能分析识别图像特征点的深度，以下是一种测量单点深度的底层方法。

图1 特征点深度原理图

式中：z为特征点P离相机的距离（深度），f为相机焦距，b为视差，P（x，z）为特征点P坐标。所以对于求特征点深度

z需要明确左视角与右视角相同特征点的位置。而对于左视图中的一个像素点，如何确定该点在右视图中的位置，经本文研究可通过特征点提取、特征点较比和特征点匹配等操作完成。

2 智能仿真虚拟实验室的设计开发架构

本文计划研究开发的智能仿真虚拟实验室主要包含仿真实验室数据处理系统、应用管理子系统和数据展示子系统。通过搭建虚拟三维实验室环境，添加各类人机交互功能，同时根据不同实验室不同实验要求建模相应实验设备模型和设置相应实验设备参数，以便教师学生可以“身临其境”地漫游实验室与“深度沉浸式”地进行课程实验。本文设计的智能仿真虚拟实验室的设计开发架构如图2 所示。

图2 智能仿真虚拟实验室的设计开发架构图

3 智能仿真虚拟实验室的实现

3.1 实验室应用模型设计拍摄与注意事项

由于拍摄图片数量较多，同时为了保证建模精度，拍摄实验室应用模型时需要严格遵守拍摄规则。拍摄规则包括维持焦点拍摄、完整循环多角度拍摄物体、相邻照片旋转角度不超过30°、保持拍摄照片高度重叠和保持恒定照明条件等。

3.2 实验室仿真模型建模

3.2.1 导入并对齐图片

点击AddFolder，打开目标文件夹，选择预计划输入图片进行导入，待全部导入后点击AlignImages 进行对齐并生成点云（生成模型前的显示方式），即可生成初始点云图。

3.2.2 重建初始模型

在模块区点击RECONSTARUCTION 进入重建模块，CalculateModel 选项卡有Previewquality、Normalquality和Highquality 3 个选项，我们以Normal quality 为例进行重建，重建结束后选择面工具删除冗余部分，即得到最初始的三维模型，初始模型图如图3 所示。

图3 模型贴图着色渲染图

3.2.3 简化模型

由于模型可能过大导致生成效率较低，所以必须进行简化模型操作，在SimplifyTool 框选区点击Targettrianglecount，即可简化模型。

3.2.4 贴图着色并渲染出图

贴图有顶点着色和纹理着色2 种选择，通常选择纹理着色（效果更佳）。如果需要修改贴图大小，则需要先进行UV，然后再重新给上贴图，最后在构建板块选择渲染出图选项进行渲染。生成模型贴图着色渲染图如图4 所示。

图4 模型贴图着色渲染图

3.2.5 输出模型

渲染出图后，模型又变为点云，需要再点击一下模型进行重新加载，最后，保持默认选项即可输出模型。

3.3 集成仿真实验室漫游环境

我们计划用WEB 网页作为智能仿真虚拟实验室的体验平台，所以借助Pano2VR 集成轻便式的仿真实验室漫游环境。因为Pano2VR 可以简单导入多张实验室室内照片，然后拼接全景图创建基础三维环境，然后再可使用交互热点将RealityCapture 建模的模型嵌入到虚拟实验室中去，学校虚拟实验室需求过多时也可以编辑皮肤添加导航菜单以供用户快速跳转不同实验室。Pano2VR 也可将开发者设计的仿真实验室漫游系统自动生成项目工程文件，极其便于开发者后续的服务器部署操作。

3.4 部署项目集成文件于服务器

本文使用远程终端连接校园虚拟服务器进入校园网Internet Information Services（IIS）管理器，添加网站并配置相应环境和设置网站基本信息，然后设置主机名，包括确定网址类型、分配IP 地址和访问端口等操作，最终启动搭建网站并在用户端登录进行项目测试。具体服务器部署流程逻辑图如图5 所示。

图5 服务器部署流程逻辑图

3.5 实现WebVR 网页的智能仿真虚拟实验室

项目工程部署服务器并测试通过后，用户登陆校园网，在WEB 网页输入开发者分配的IP 地址即可进入仿真虚拟实验室进行三维漫游、人机交互和课程实验等。当实验需求增加时，用户可通过三维虚拟空间漫游到其它实验室开展活动，同时根据不同实验要求使用不同人机交互功能，已设计智能仿真虚拟实验室环境图和部分设备交互图如图6、图7 所示。

用户可控制鼠标和键盘从而控制虚拟三维模型移动方向、视角和各类人机交互功能，智能仿真虚拟实验室3D 模型基本操作功能见表1。

4 结束语

本研究提出的智能仿真虚拟实验室搭建方案，采用RealityCapture、Blender 和pano2VR 等一系列先进软件，经过整合初始生成、修补完善和集成部署等关键步骤，成功构建了稳定、高仿真度和交互功能强大的虚拟实验环境。同时，本文实现的智能仿真虚拟实验室具备灵活且高度的可定制性，在完成搭建后可以根据不同领域的实验室需求动态添加其需要的实验设备并灵活调整参数，使实验室能够适应不同的实验、教学和研究需求，拓宽了其功能和应用范围，有效应对了实验资源有限和教学研究需求变化的挑战。

图6 智能仿真虚拟实验室环境图

图7 仿真实验室设备3D 交互图