虚拟现实技术在矿山重型装备行业中的应用

刘 秀，王静婕，黄 涛，孙 薛，胡雅晴

1洛阳矿山机械工程设计研究院有限责任公司 河南洛阳 471039

2矿山重型装备国家重点实验室 河南洛阳 471039

3中信重工机械股份有限公司 河南洛阳 471039

虚 拟现实最早起源于 20 世纪 60 年代，其后科学家将虚拟现实应用于宇航员的培训中，直到 20 世纪 80 年代，美国计算机科学家杰伦·拉尼尔首次提出关于虚拟现实的概念，即利用电脑模拟产生三维虚拟世界，提供给使用者关于视觉、听觉、触觉等感官的模拟[1]。目前虚拟现实主要包括增强现实 (AR)、虚拟现实 (VR)、混合现实 (MR)、扩展现实(XR) 等，随着科技的进步，虚拟现实的分支将逐渐融合，无明显分类。

随着计算机技术、智能及时通信技术、智能穿戴技术和无人机技术等共性技术的快速发展，人机交互技术、传感技术、人工智能、5G 技术、工业互联网技术和数字孪生技术等国家基础科研建设水平的不断进步完善，光学动作捕捉技术、近眼现实技术、多感官协调技术、全景摄录技术、三维扫描技术和虚拟偶像等前沿技术在虚拟现实中得到了深入的应用，虚拟现实技术也从被动、单向的交互模式逐渐向主动、互动、立体的交互模式发展。针对虚拟现实技术的应用，国内学者已经在机械设计、产业链设计、工业设计等诸多领域进行了多层次的深入研究[2-5]。目前，虚拟现实技术、增强现实技术与混合现实技术已经交叉应用于制造业、建筑业、旅游业、娱乐业等诸多领域[6-15]。

1 虚拟现实概况

1.1 系统组成

虚拟现实技术系统如图 1 所示，主要由输入系统、处理系统、输出系统组成。

1.1.1 输入系统

虚拟现实的输入方式主要有空间定位、手势交互、脑机交互、眼动追踪和语音交互等，通过图像传感器、声音传感器、动作捕捉传感器、手势跟踪传感器、眼动传感器、气体传感器、SLAM 传感器及光学传感器等技术进行数据采集，再通过射频芯片、蓝牙芯片、WiFi 芯片及 NFC 芯片等通信模块传输给数据处理系统。传感器及芯片通常集成在头戴可视设备和数据手套等 VR 设备上。

1.1.2 数据处理系统

数据通过全方位的采集，载入性能卓越的操作系统，利用专业软件前期开发的程序，通过云计算、边缘计算等技术，经过计算机处理后得到具有三维空间坐标的数据。

1.1.3 输出系统

输出方式主要包括及时输出系统和数据输出系统。

及时输出通常有 VR 头盔、手柄、显示器、裸眼3D 和 360°全景显示等设备，其中应用于 VR 头盔的近眼显示技术为 VR 显示的核心技术。

数据输出系统主要是指把虚拟交互过程中产生的数据上传于互联网云平台，通过进一步处理反馈给使用者，同时也可以上传使用者的动态数据。

1.2 基本特性

虚拟现实的特性如图 2 所示，主要包涵多感知性、浸没感、交互性、构想性等。

2 关键技术

虚拟现实综合了多种现代技术，主要包括模型建立技术、虚拟现实开发处理技术和交互技术等，如图3 所示。由于虚拟现实需要得到图像、声音、动作以及触觉等各方面的综合体验，所以在矿山重型装备制作开发的过程中，要求从业人员掌握三维图形技术、图形跟踪捕捉技术、触觉反馈技术、力觉反馈技术、网络传输技术、语音输入技术、UI 虚拟增强现实技术等各方面专业的知识技能。

2.1 模型的建立

矿山重型装备设备目前比较成熟的建模方式主要有三维软件、三维扫描和光场捕捉建模。

2.1.1 三维软件建模

三维建模软件种类繁多，主流三维软件主要有3Ds max、Solid Works、Blender、Maya、Z-brush、A-Frame、Open VR 等，运用一款或者几款软件在计算机中进行建模，构建在x、y、z坐标轴具有精确数据的模型，计算机通过坐标、材质、法线、逻辑关系、运动方式、物体间相互间作用等众多维度的信息，在虚拟空间中形成具有唯一属性的虚拟模型。

2.1.2 三维扫描建模

三维扫描建模采用相机、无人机等物理硬件，对物体轮廓、外形、色彩及材质进行扫描，以获得物体外表面的空间坐标。扫描的数据输入计算机等设备进行拓扑优化、法线归纳和破面修补，最后进行模型优化，可极大缩短建模时间。

2.1.3 光场捕捉建模

光场捕捉建模最早由谷歌公司于 2020 年发布，它运用了视觉感知技术，通过预设置，将空间里人眼看到的光线进行采集重建。光场相机通常由数百个小摄像头集打造的，这个方案的原理类似于苍蝇的复眼，每一个摄像头可以从不同的角度捕捉周围的场景，将多方向的视角合并为一个视角。利用光场相机阵列和深度相机采集物体对象的三维信息，然后利用Volume Tracy 等软件进行 CG 内容渲染合成，从而获得更加真实、精确、动态的数据模型。

矿山重型装备虚拟交互建模，目前主要依赖于软件，因其更偏重于功能方面的虚拟交互，是现在主要的建模方式。

2.2 开发引擎

目前虚拟现实主流的开发引擎主要包括 Unity 3D、Unreal (虚幻引擎)、Cocos creator 等，通过模型的导入，运用 C++、C# 和 JavaScript 等脚本语言进行编辑处理。前期的数据处理主要包括物理控制器、约束编辑、骨骼动画系统、粒子特效编辑、数据驱动的控制器和漫游控制等，编辑器可以在 Windows、Mac、OS 等平台运行，通过数据处理最终实现虚拟交互，可发布至 Windows、Mac、iPhone、Android 等平台，同样也可以发布到虚拟交互硬件。

上述开发引擎主要应用与游戏产业，在矿山重型装备并未得到广泛的应用。矿山重型装备的虚拟现实的开展，需要借鉴游戏行业的成功案例。

2.3 交互

虚拟现实交互的优劣性，主要取决于硬件设备性能和用户体验。

通过开发引擎所获得的内容与硬件建立连接，硬件兼具输入、数据处理、输出功能，性能优秀的硬件设备可使得虚拟交互更加流畅，目前虚拟现实的硬件技术已经非常成熟，并广泛应用于游戏、娱乐等行业。

用户体验要充分考虑用户逻辑行为，面对产品、环境时的思维变化、心理感受、行为动作、交互界面等诸多因素，按照工业设计流程进行最优化设计。虚拟现实是对复杂数据进行可视化操作，用户体验至关重要，为了体验的艺术性和舒适性，在交互的过程中，用户体验设计可以有效提升虚拟现实的交互感受。

3 虚拟现实技术应用实例

随着虚拟现实技术的不断成熟，大量资本涌入该行业，科技巨头抢滩布局，可以预见虚拟现实技术将对各行各业都产生巨大的推动作用。目前在轻工业、娱乐业、科研、医疗等行业，虚拟现实技术已经得到了广泛的应用。在矿山重型装备领域，随着工业互联网、智能制造、数字化等技术的不断融合，虚拟现实技术在该领域被应用于研发制造、迭代优化、市场营销及安装维护等环节。

3.1 虚拟工厂规划

矿山重型装备制造厂房占地面积大，生产设备体积大、吨位重，合理有效的工厂规划对于一个企业尤为重要。虚拟现实技术的应用，可对工厂的规划、布局、流程、工程推进、设计管理进行直观地评估，为设计方案提供可视化数据。

利用虚拟现实技术，按照工程项目设计的标准和要求进行整体规划，建立精确的数字模型，可以在总体规划阶段及时发现设计缺陷，并及时加以优化完善。在详细设计阶段，设施的一些基本属性如材质、颜色等，可通过修改参数即时得到可视化效果。工厂内生产设备的布置，通过模块化设计，进行排列组合，最终选用便于组织生产、最合理的布局，从而缩短工厂设计周期，提高整个项目的推进速度及质量。虚拟现实技术在智能工厂规划中的应用如图 4 所示。在某智能工厂项目数字化车间的规划过程中，虚拟现实技术结合离散型制造特点，最终形成了全数字化柔性可重构智能装配车间解决方案。

3.2 虚拟样机

利用计算机技术建立机械设备三维数字化模型，按照设备在现实中运行原理进行模拟其作业过程，以验证该设备的整体性能，为机械设计人员提供一个全新的设计验证方法。利用虚拟现实对其性能进行预测和评价，及时发现设计缺陷并进行优化，可有效缩短设计周期、节约制作成本。

另外，在电动汽车领域，虚拟现实和增强现实技术应用于无人驾驶已日益完善。在矿山机械领域，我们同样可以借助虚拟现实实现远程操作，可以极大减少操作人员，保障人员安全和设备安全运行。虚拟样机与传统设计的对比如表 1 所列。

表1 虚拟样机与传统设计的对比Tab.1 Comparison between virtual prototype and traditional design

3.2.1 安装维修

利用虚拟现实，可以直观地向客户介绍产品的安装步骤、调试要点及设备维修的具体操作步骤，与传统的设备说明书相对比，虚拟现实更直观、更有可操作性。设备模拟安装如图 5 所示。

3.2.2 虚拟试验及测试

虚拟现实可以模拟重型装备产品运行过程中的实际工况，采集运行过程中的数据，为设计人员提供详细的试验测试数据，提供更多的设计思路，从而使设计更合理，更具有创新性、前瞻性，减少了产品的迭代成本。设备模拟运行如图 6 所示。

3.2.3 虚拟营销展示

在矿山重型装备，传统的营销方式主要包括文字介绍、语音介绍、图片样本展示及视频展示，客户被动接受产品的信息，与产品之间无法进行互动，营销人员无法快速精确地找到客户的关注点。虚拟营销展示可以利用虚拟现实的多感知性、交互性、浸没感等特点，让客户以最短的时间直观感受到诸如核心部件结构、生产效率、能耗和安装维护等关键属性特征，大大提升了营销效率，提高了营销的成功率。

4 结语

通过虚拟现实技术，可以有效地把矿山重型装备的研发设计、生产制造、投产使用，用户反馈、设计改进这一流程整合，使产品设计师、营销人员、客户、维修维护人员都参与其中每一个环节，及时发现各种问题，并采用最低成本进行解决，从而提供更好的设计产品及服务。

我国已经向世界宣布力争在 2030 年前实现碳达峰，努力在 2060 年前实现碳中和。新一代信息技术在机械行业已得到深入应用，伴随着绿色制造的兴起，我国相关产业政策对于虚拟现实支持力度不断加大，虚拟现实技术将在新产品研发、智慧矿山、智能人机交互及工业设计等更多环节得到广泛的应用，对于整个行业在系统优化、生产模式创新、产业孵化等方面将产生积极的影响。