基于不同虚拟技术的掘进机培训方案对比研究

谢泽浩，周明全，陈 超，姚 凡

（华北科技学院， 北京东燕郊 065201）

0 引言

通过虚拟现实技术对场景进行仿真的成本低，效率高，沉浸感强，是目前最常用的仿真技术［1-9］。

国内学者在虚拟仿真方面进行了深入研究，多数集中在监控监测和逃生预测上。 阳煤集团的张谦文最终实现了井下掘进机无人化控制［10］。夏丽珍提出了一种虚拟现实煤矿逃生系统，其目的在于研究并模拟灾害发生时工人逃生的运动轨迹［11］。

还有学者在虚拟技术与其他产业结合的综合监测上展开研究。 张志超，刘守瑞等人设计了一种基于虚拟现实的变电站监测方法，目的在于监测变电站信息，能够准确发现变电站中的故障问题［12］；赵静，闫春雨等人提出了一种基于虚拟现实的农田监测机器人方案，其最终结果表明，农田监测机器人可以有效获取田间环境数据，并自主行走和采集［13］。

部分研究学者在虚拟技术和培训教学的结合使用上进行了研究。 如唐琳瑶，祁神军等人将虚拟现实技术应用于教育行业，其结果说明虚拟现实技术在教育行业有着应用前景［14］，这给虚拟掘进机培训方案提供了思路；郭昊宇对虚拟现实技术在民用航空器执照培训进行了可行性分析，得出了虚拟现实技术在航空培训中可行的结论［15］，而掘进机培训与航空培训具有很多的相似点，所以将虚拟现实技术应用在掘进机培训上同样存在可能；谢歌，仝晓阳等人将虚拟技术与应急演练培训结合，其目的在于提高巡检人员对应急事件的处理能力［16］；李迎千，谢健前等人通过研究传统的地铁培训模式，提出了一种结合虚拟现实技术的新型培训方案，得出了虚拟培训周期短，成本低，效果好，受训员工素质高的结论。

1 不同虚拟技术下的掘进机培训方案

1.1 仅使用虚拟现实技术的掘进机培训方案

纯虚拟现实培训方案，是学员只需佩戴虚拟现实头戴显示设备即可开始培训的方案。 学员在开始培训前需要佩戴Quest 设备，手持Quest 手柄。 在培训时，按照语音要求进行操作，然后使用Quest 手柄发射的射线在给出的两个选项中进行选择，培训结束后给出总评分。 本方案由射线交互模块和虚拟现实模块构成。

1.1.1 射线交互模块

虚拟现实交互需要使用手柄，通过Quest 手柄发射射线与场景中的模型进行交互。 使用虚拟现实开发工具包实现射线交互，Quest 手柄按钮有相应的代码值，当按钮按下时，会调用代码值对应的功能函数。 在掘进机控制面板上放置八个按钮，当学员按下扳机键后检查与当前射线碰撞的按钮标签，触发按钮相应功能。 在掘进机控制台上放置六个摇杆，当射线与摇杆交互并且学员按下扳机键时，摇杆向Quest 手柄方向移动，从而控制掘进机位移。

1.1.2 虚拟现实模块

本方案的底层实现如图1 所示，使用三维建模技术对掘进机进行建模，使用开源插件为Unity提供虚拟技术支持，利用虚拟现实开发工具包实现掘进机培训流程，使用Meta 的软件开发工具包实现掘进机小溜子喷雾，切割头启动，蟹爪启动，急停等功能，手部追踪模块会实时显示Quest 手柄在培训场景中的位置。 使用Platform 开发包后培训场景将支持在Quest 设备上进行部署。

图1 仅使用虚拟现实技术的底层实现

1.2 仅使用混合现实技术的掘进机培训方案

纯混合现实培训方案，是学员只需佩戴混合现实头戴显示设备即可开始培训的方案。 学员在开始培训前需要佩戴Meta 头戴显示设备。 在培训时，学员按照语音要求进行操作，然后使用手部在给出的两个选项中进行触摸选择，培训结束后给出总评分。 本方案由手势交互模块和混合现实模块构成。

1.2.1 手势交互模块

混合现实设备不同于虚拟现实设备，不需要使用手柄交互，可通过手势直接与混合现实场景中的模型进行交互。 通过混合现实开发工具包添加混合现实支持，在掘进机场景中部署混合交互组件来增加手势支持。 在需要被交互的八个按钮和六个摇杆上放置按压检测脚本。 学员可以通过手势直接操作场景中的按钮和摇杆，从而控制掘进机做出相应操作。

1.2.2 混合现实模块

本方案的底层实现如图2 所示，使用三维建模技术对掘进机进行重建，使用开源插件为Unity提供虚拟技术支持，使用混合现实开发工具包实现小溜子喷雾，切割头启动，蟹爪启动，急停，全断面喷雾等八个按钮功能，实现掘进机前后和切割头上下左右移动这六个摇杆功能，并部署在混合现实头戴显示设备中。

图2 仅使用混合现实技术的底层实现

1.3 物理实体与虚拟现实技术结合的掘进机培训方案

在仅使用虚拟现实技术的培训方案中，需要使用Quest 手柄与虚拟场景进行射线交互。 物理实体与虚拟现实技术结合的培训方案，指的是在虚拟现实场景中利用真实的、物理存在的操纵手柄和控制面板来操纵掘进机的一种方案。 本培训方案是在纯虚拟现实方案的基础上进行的改进，在原有的虚拟现实模块，射线交互模块上新增物理实体模块、评分模块和姿态识别模块。

受训人员在培训前需要正确佩戴好虚拟现实头戴显示设备，认真阅读操作要领，按照语音提示操作物理实体模块中的矩阵键盘和控制摇杆，随后使用Quest 手柄在给出的两个选项中选择正确选项。 培训过程中，姿态识别模块会识别受训人员的身体姿态动作，若在培训过程中有抽烟等违规操作，会直接中止培训，并给出错误评分。 评分系统会记录培训中错误选项评分和姿态识别模块给出的错误姿态评分，在培训结束后给出受训人员的总评分。 培训完成后可自由操控掘进机，并完成采煤模拟作业。

1.4 物理实体与混合现实技术结合的掘进机培训方案

在仅使用混合现实技术的培训方案中，需要使用人体手部与虚拟场景进行手势交互。 物理实体与混合现实技术结合的培训方案，指的是在混合现实场景中利用真实的、物理存在的操纵手柄和控制面板来控制掘进机的一种方案。 本培训方案是在纯混合现实方案的基础上进行的改进，在原有的混合现实模块，手势交互模块上新增物理实体模块、评分模块和姿态识别模块，模块关系如图3 所示。

图3 模块关系图

1.4.1 物理实体模块

为了充分模拟掘进机操纵环境，使用六个物理摇杆通过USB 串口连接至PC 服务器，服务器接收并处理物理摇杆的角度信息，再通过网络通信发送给掘进机培训场景中的网络通信服务器，通信模块将角度信息实时同步到虚拟掘进机的摇杆元素上，从而实现真实物理摇杆直接控制虚拟掘进机的操作。

使用八个矩阵按钮模拟掘进机控制面板，矩阵键盘通过串口连接PC 服务器，服务器接收矩阵键盘发送的按钮值，再通过网络通信发送给掘进机培训场景中的网络通信服务器，通信服务器通过按钮值找到相应的按钮并调用其功能，从而让真实矩阵键盘代替虚拟控制面板。

1.4.2 评分模块

姿态识别模块将姿态识别评分通过网络通信发送给掘进机培训场景中的网络通信服务器，然后转发给评分模块。 当受训人员在给出的两个选项中做出选择后，评分模块会自动记录错误选择评分。 评分模块将收集到的错误姿态评分和错误选项评分，按照一定的权重比值汇总，最终得出总评分并显示在受训人员的显示设备上。

1.4.3 姿态识别模块

姿态识别模块的作用是监测受训人员在培训过程中的姿态动作。 首先利用深度摄像头对培训流程中的给定动作拍照，对图像数据进行预处理和清洗，去除噪音和无用信息后保留有效的人体姿态数据，收集人体动作数据并创建数据集。 使用深度学习训练数据得到动作模型。 当培训时，使用远程摄像头对受训人员进行实时动作监测，根据监测情况给出动作姿态评分。 若动作标准规范，则给出高评分；若动作错误甚至违规，给出低评分。

2 不同培训方案之间的对比

2.1 培训方案对比指标

（1） 场景的真实性：真实性用于衡量虚拟培训场景对真实教学环境的还原程度。 还原程度越好，培训场景的真实性越高。

（2） 培训效率的高低：培训效率用于衡量培训周期的长短，培训效率越高，相同培训质量下花费的时间越少。

（3） 培训方式的合理性：培训方式的合理性是指教学过程是否存在事实依据，教学结果在真实掘进机上是否适用。 若不适用，则说明该培训方案不合理。

（4） 培训结果的可靠性：可靠性指的是培训内容是可信赖的，与真实掘进机的培训结果是一致的。 培训结束后的学员应具有操作真实掘进机的能力。

（5） 交互的流畅性：学员与虚拟掘进机的交互是学员进行课堂学习，课堂实践的重要手段。不自然地交互会导致培训结果与预期不符，进而影响培训效果。

2.2 场景的真实性对比

四种培训方案采用相同的三维建模技术构建虚拟掘进机，所以场景的真实性只受头戴显示设备的影响。 虚拟现实技术使用的Quest 头戴显示设备，混合现实技术使用的是Meta 头戴显示设备。 Quest 设备不受外部光照影响，成像效果较好，场景真实性强。 Meta 设备在强光环境下，成像效果较差，虚拟场景微弱不易观察。 而在黑暗环境下，存在定位空间点失败的情况，无法启动培训场景。 只有在弱光环境下，才有较好成像效果。所以在真实性上，采用虚拟现实方案的要优于混合现实方案。

2.3 方案的效率对比

仅使用虚拟现实技术的方案中，培训全程使用Quest 手柄与选项进行交互，而在仅使用混合现实技术的方案中，直接使用手部进行交互即可，效率更高。 在与物理实体结合使用的方案中，虚拟现实技术方案需要反复摘下头戴显示设备观察物理摇杆和矩阵按钮的位置，培训效率最低。 所以，仅使用混合现实技术的方案效率最高，物理实体与混合现实结合的方案效率偏高，仅使用虚拟现实技术的方案效率中等，物理实体与虚拟现实结合的方案效率最低。

2.4 方式的合理性对比

仅使用虚拟现实技术的方案中利用Quest 手柄与虚拟掘进机摇杆交互，间接操控掘进机，与真实掘进机的操作不一致，合理性较差。 仅使用混合现实技术的方案中使用手部直接操控掘进机，与真实掘进机操作一致，较为合理。 而两种使用物理实体的方案都是手部直接与真实物理摇杆交互，合理性最强。

2.5 结果的可靠性对比

仅使用虚拟现实技术的方案培训出的学员与真实掘进机的培训结果相差较大，不易上手真实掘进机，结果的可靠性较差。 仅使用混合现实技术的方案与真实掘进机操作方法几乎一致，具备操作真实掘进机的能力，可靠性较强。 使用物理实体与虚拟现实结合的方案，由于培训过程中不能准确找到物理实体的位置，与实际情况不符，可靠性较差。 使用物理实体与混合现实结合的方案，拥有真实的操作环境，与真实掘进机培训结果最吻合，可靠性最强。

2.6 交互的流畅性对比

仅使用虚拟现实技术的方案全程使用Quest手柄进行交互，虽然不具备真实的操作手感，但是可以快速完成培训全部操作，流畅性较强。 仅使用混合现实技术的方案全程使用手部进行交互，流畅性较强。 使用物理实体与虚拟现实技术结合的方案中，由于佩戴Quest 头戴显示设备后无法看到物理摇杆和矩阵键盘，导致需要反复确定物理实体的位置，流畅性最差。 使用物理实体与混合现实技术结合的方案解决了无法看到物理实体的问题，既有逼真的掘进机场景，又有真实的操作环境，流畅性最强。

3 对比验证实验

3.1 实验设计

本次实验采用层次分析法（ Analytic Hierarchy Process），这是一种定性和定量相结合的，层次化的分析方法，可以分别计算出各级指标的权重［17］。 利用层次分析可以得出培训方案对比实验中真实性、效率性、合理性、可靠性、流畅性的具体权重值。

实验安排二十人轮流体验四种培训方案。 培训人员在培训结束后，需要按照培训方案的五个对比指标分别进行评分，即每人需要给出20 组评分，总计400 组评分数据。 下表为实验数据单元，横向为方案的五项技术评价指标，纵向为四种培训方案，最后一列给出满意度。

表1 实验数据单元

培训方案的满意度计算公式如下：

式中，Sij代表第i 个人在第j 个指标的得分情况；m＝20，代表20 个实验人数；n ＝5，代表5 个对比指标；fj代表第j 个指标的权重，权重值取层次分析的结果；rij代表用户在该指标上给出的评分；Si代表该培训方案的总体得分，结果仅保留小数点后两位。

表2 层次分析结果

表3 一致性检验结果汇总

3.2 权重数据来源

在构建成对比较矩阵时，如果将所有指标同时进行比较，则得出的结果是定性数据，不具有准确性和可靠性，所以专家需要将指标进行两两对比，以此来摆脱不同指标的诸多不相关因素的影响，并根据两者之间的重要性给出评分。 将数据进行层次分析，得到结果见表2。

通常情况下CR 值越小，则说明判断矩阵一致性越好，一般情况下CR 值小于0.1，则判断矩阵满足一致性检验，本次针对5 阶判断矩阵计算得到CI值为0.046，针对RI 值查表为1.120，因此计算得到CR 值为0.041＜0.1，意味着本次研究判断矩阵满足一致性检验，计算所得权重具有一致性。

最终评分结果如图4 所示。

图4 实验结果

3.3 试验结果分析

在实验结果中，仅使用虚拟现实技术方案的平均分为5.78，仅使用混合现实技术方案的平均分为6.73，使用物理实体与虚拟现实技术结合方案的平均分为6.45，使用物理实体与混合现实技术结合方案的平均分为7.48，使用物理实体与混合现实结合的方案为四个方案中的最高分，即物理实体与混合现实结合的方案为最佳掘进机培训方案。

在物理实体与混合现实技术结合的方案中，混合现实虚实结合的特性使得人们可以通过Meta 头戴显示设备直接看到硬件实体，既具有逼真的掘进机场景，又有真实的操作环境，还具有流畅的交互性，是效率最高，培训质量最好的培训方案。

4 结论

（1） 该研究对仅使用虚拟现实技术的方案、仅使用混合现实技术的方案、物理实体与虚拟现实结合的方案、物理实体与混合现实结合的方案这四种方案进行详细介绍，并且在基础培训上进行了创新型改造，添加了姿态识别，评分统计等功能。

（2） 本文从真实性、效率性、可靠性、合理性，流畅性这五项技术指标对四种培训方案进行对比，并对方案的优劣点进行详细论述。

（3） 本文利用层次分析法设计验证实验，通过数据分析最终得出物理实体与混合现实结合的方案的最优方案的结论。