基于VR 和数字孪生的煤矿井下巷道巡检机器人设计

韩 龙，王顺葵，陈广炎，朱小叶，徐 滔，蔡嘉良

(黑龙江科技大学 电气与控制工程学院，黑龙江 哈尔滨)

引言

煤矿井下重要设备需要定期进行巡检和维护，但由于设备数量众多、布局分散，目前多依赖于人工巡检和维护，导致巡检维护工作量大，成本高，且存在一定的安全隐患。2021 年12 月21 日，工业和信息化部、国家矿山安全监察局等十五部门联合印发《“十四五”机器人产业发展规划》，提出面向采矿业，重点推进采掘、支护、钻孔、巡检、重载辅助运输等机器人重点产品的研制及应用[1]。利用机器人取代煤矿井下工作人员巡查，具有不受时间和空间限制、效率高和劳动强度低等优点，且有助于进一步消除煤矿井下监控死角和安全盲区，从而实现煤矿无人化生产。国内外许多企业和学者对煤矿巡检机器人进行了大量的研究与应用，2021 年3 月，陕煤集团黄陵矿业公司部署煤矿巡检机器人群，该机器人群可以实现远程操控、智能巡检，减轻了约180 位巡检工人的工作量[2]。李忠奎等设计了煤矿轨道式巡检机器人，该巡检机器人具有电机和辊筒异常监测、有害气体检测和热成像监控等功能，可实现无死角监测[3]。石宏民设计了一种履带式巷道巡检机器人，搭载多种环境参数检测传感器、远红外摄像头、智能机械臂等，辅以智能识别算法和上位机操作系统，实现了对巷道全方位智能巡检[4]。鞠晨等研制了适用于薄煤层工作面的巡检机器人，实现了对工作面采场的多维度精准感知、监测，保障工作面智能精确感知和高效控制的无人化开采[5]。煤矿巡检机器人大多实现对环境和监测对象精准监测，但对机器人本体运行状态可视化监控研究很少，目前的可视化监控技术已经取得了一定成果，但机器人可视化效果不够优化，功能较为单一，人机交互性不够好。

数字孪生技术能够创建一个实时精准的可视化虚拟监控系统，有助于构建更高层次的巡检机器人远程操作系统，为上述问题的解决提供了新途径。因此，笔者提出了基于VR 和数字孪生的煤矿井下巷道巡检机器人，通过构建巡检机器人数字孪生体，来实现对机器人运行状态进行远程监控及完成巷道巡检任务。

1 系统的总体设计方案

煤矿井下巷道巡检机器人硬件结构框图如图1所示。

图1 煤矿井下巷道巡检机器人的硬件结构框图

机器人采用履带式车体，应用ROS2 开发。机器人分为导航控制单元、监测单元和数字虚拟软件平台三部分。导航控制单元实现激光雷达导航和机器人运动控制功能。激光雷达扫描矿下巷道全景，生成巷道二维栅格地图，再生成全局代价地图和局部代价地图，输出规划地图以实现煤矿井下复杂环境的智能导航。监测单元对机器人的运行状态、电池电量及巷道内甲烷等气体进行检测与处理，应用摄像头获取巷道场景图像，同时利用YOLOv5 算法识别矿工是否佩戴安全帽和自救器；数字虚拟软件平台主要利用VR 设备来实现巡检机器人数字孪生体的可视化同步控制。

2 VR 和数字孪生平台建立

2.1 VR 建模与数据交互

在黑龙江科技大学模拟矿井巷道内，按照规划路径进行拍摄，捕捉巷道路面和墙壁各个角度、不同深度和纹理等细节信息。同时也对巡检机器人进行拍照与测量，获得相应信息。

将照片导入到图像处理软件进行后期处理获得巷道和巡检机器人的基础数据，然后通过建模软件Blender 依据数据手动构建模拟矿井巷道和巡检机器人的虚拟模型。模型完成后，通过USD 流程将模型导入到虚幻引擎软件中。利用虚幻引擎软件可以对模拟矿井巷道进行建模，应用适当的纹理、光照和物理效果来增强虚拟巷道的真实感，在计算机中建立的模拟矿井巷道虚拟平台如图2 所示。完成对模拟矿井巷道的建模后，将虚幻引擎项目导出为可执行文件存储到VR 头盔中。虚幻引擎通过Open XR 协议与VR 头盔之间进行数据的实时传输和同步。虚幻引擎根据接收到的头盔传感器数据，实时渲染虚拟场景中的画面。VR 头盔配备了人机交互设备手柄，手柄通过无线通讯向计算机发送数据，这些数据用于控制虚拟现实平台上数字巡检机器人的运动，进而同步控制物理巡检机器人的运动。

图2 模拟矿井巷道虚拟平台

2.2 数字孪生数据交互

数字孪生(Digital Twin，DT) 是以数字化方式创建物理实体的虚拟模型，通过虚实交互反馈、数据融合分析、决策迭代优化等手段，为物理实体提供更加实时、高效、智能的运行或操作服务[6]。通过构造煤矿井下巷道巡检机器人的数字孪生体，不仅能高度逼真地反映机器人实体的特征、运行和性能，还能在虚拟巷道环境中实现对物理巡检机器人的状态监控。

数字孪生煤矿井下巷道巡检机器人是一个数据可视化、人机强交互三维镜像，包括物理巡检机器人、数字巡检机器人和数据信息交互等3 个部分，其概念模型如图3 所示。

图3 煤矿井下巷道巡检机器人的数字孪生概念模型

物理巡检机器人通过5G 无线通讯模块将数据发送到远端云服务器。同时，机器人的控制器也能接收云服务器发送过来的指令和数据。建立云服务器的数据库，在云服务器上通过Python 脚本监控物理巡检机器人和虚拟平台端的数字巡检机器人，将收到的数据进行解析处理之后，存入相应数据库。通过另外一个Python 脚本监控数据库，只要相应数据库有更新，就立即将所更新的数据分发到物理巡检机器人和数字巡检机器人，以保证物理巡检机器人和数字巡检机器人的数据实时同步。物理巡检机器人与数字巡检机器人数据交互如图4 所示。

图4 巡检机器人数字孪生数据交互

3 系统测试与分析

巡检机器人在黑龙江科技大学模拟矿井巷道中进行测试，测试现场如图5 所示。工作人员佩戴VR 设备对虚拟矿井巷道中的数字巡检机器人进行运动控制，从而实现远程对物理巡检机器人的同步控制。物理巡检机器人也可通过激光雷达自主导航在巷道内巡检，巡检过程中将巷道内甲烷、氧气、CO 气体和图像信息通过5G 模块上传到虚拟矿井巷道平台软件中，巡检机器人的运动状态和电池电量等信息显示在虚拟平台软件界面上，便于工作人员监控模拟矿井巷道及巡检机器人状况，虚拟平台软件如图6 所示。

图5 黑龙江科技大学模拟矿井测试现场

图6 虚拟平台软件界面

物理巡检机器人通过摄像头捕捉矿工的安全帽和自救器图像信息，通过YOLOv5 算法对矿工的安全帽和自救器进行目标检测，识别效果如图7 所示。从图7可以看出，安全帽识别准确率在90%以上，自救器识别准确率在80%以上。

图7 安全帽和自救器识别效果

4 结论

本文利用VR 和数字孪生技术设计了煤矿井下巷道巡检机器人，在建立的虚拟矿井巷道平台实现了物理巡检机器人与数字机器人的同步控制，同时可将实时检测到的甲烷、氧气、机器人的电量和运行状态显示在虚拟平台上，增强了机器人巡检可视化的效果，人机交互性好。巡检机器人采用YOLOv5 算法对矿工的安全帽和自救器进行识别，检测实时性好，检测精度较高，可以高效监控矿工的违规行为，有力推进煤矿安全管理工作。