数据驱动下的工业设备虚拟仿真与远程操控技术研究

张旭辉，王妙云，张雨萌，杜昱阳，马宏伟，毛清华，车 承 ，田凤阳，王 凤

(1.西安科技大学机械工程学院，陕西 西安 710054；2.陕西省煤矿机电设备智能监测与控制创新团队，陕西 西安 710054；3.河北省带式输送机工程技术研究中心，河北 衡水 053020)

0 前言

虚拟现实技术(Virtual Reality，VR)被誉为21世纪人类在人机交互上需攻克的最后堡垒。从美国人Morton发明了第一台VR设备至今，VR技术应用经历三次浪潮。人类对以沉浸-交互-构想为基本特性的VR技术始终衷情不舍。早期的VR技术平台基于图形工作站构建，价格昂贵且技术复杂，只应用在军事方面和一些特殊领域。计算机技术发展为VR推广创造了有利条件，目前VR技术已广泛应用于军事、航空、教育、医学、工业和娱乐等众多领域。但是VR应用领域主要还集中在游戏、娱乐、交互式媒体、旅游等方面，占到了80%左右，工程技术方面的应用研究不足2%[1]。

1 虚拟现实技术在工程方面的应用分析

近几年国内外学者将虚拟现实技术应用于工程实践作为研究的热点。在医疗康复、脑机控制等具有多维信息融合和表达需求的研发方面进展迅速。燕山大学谢平等人采集执行不同手势动作对应的脑电信号及表面肌电信号，基于肌电特征模式识别结果实现对虚拟场景及目标的控制[2]。华东理工大学蒋婷婷基于触觉设备Phantom Omni搭建触觉交互系统，用H3D交互软件创建虚拟环境应用于中风病人肢体功能康复，极大地调动了患者的训练积极性[3]。北京服装学院刘昊等利用Unreal Engine 4引擎设计了基于HTC VIVE的上肢康复训练方案，通过HTC VIVE的手持控制器与虚拟场景进行人机交互，实现了上肢对虚拟现实场景中对象的控制，患者在无外力支持或在外骨骼康复机器人协助下进行主动康复训练，把康复训练、心理治疗、信息反馈有机结合[4]。东南大学秦超龙设计了一种下肢康复训练机器人，机器人具有力反馈输出，利用Kinect摄像头捕获人体运动信息，将患者的体感信息作为系统输入控制虚拟人物的同步运动与场景交互，采用基于OpenGL函数库和基于Unity3D游戏引擎的方法开发了用于情景交互的虚拟场景，实现了康复训练过程中的同步交互[5]。天津大学孔丽文等人将脑-机接口技术与VR相结合，提出基于虚拟现实的脑-机接口，兼取两者优势[6]。

危险复杂环境下设备远程操控应用方面也是虚拟现实技术研究的热点。北京工业大学章朋田等人通过学习熟练焊工得到焊接电流和焊接速度的关系模型，应用于构建的人机协作焊接系统，弥补了初级焊工的技能[7]；鲁丽彬采用Vega Prime开发船舶操纵控制的视景仿真平台,通过船舶操纵控制的三维姿态数据加载和程序控制,在视景仿真平台上对船舶操纵控制进行位置调整和参量优化配置[8]。林康等人基于3DVIA Virtools开发了深水钻机虚拟操作系统，实现了石油钻井装备的联合作业流程仿真，用于控制程序的辅助测试,降低机电液联调试验风险[9]；中国农业大学翟志强研究基于虚拟现实技术的拖拉机双目视觉导航试验方法[10]；刘忠凯构建了基于Unity3D的装甲车辆虚拟运动系统，通过C#编写脚本,实现了装甲车辆在场景中的运动与碰撞检测算法[11]。

目前虚拟现实技术已成功应用于设备操控方面，但是对基于虚拟环境的控制思路未形成统一认识。西安科技大学张旭辉等人从煤矿井下自动化工作面设备远程控制需求出发，提出一种“虚实同步、数据驱动、远程干预、人机协作”的设备远程操控策略[12][13]，实现了监测数据驱动下的虚拟交互式设备远程操控，并在工业设备虚拟仿真与远程操控方面作了大量研究，涉及煤矿智能钻机、智能悬臂式掘进机、煤矿救援探测机器人和综采工作面设备等方面的远程操控技术。

2 数据驱动的工业设备远程操控系统

自动化装备本质上是“数据驱动”和软件控制的工业装备。数据驱动的工业设备虚拟远程操控，关键在于将表征工业现场设备状态、相互关系、环境变化等复杂多维信息数字化，借助VR/AR技术呈现多维空间，作为远程控制决策的依据，克服传统远程控制依据数字、简单图形和监控视频表达的现场设备信息不完整、不直观、决策难的问题。

数据驱动的工业设备远程操控包括场景及设备虚拟模型构建、工作面控制模型、显示及控制模型的动态修正、设备间防碰撞预警和远程操控等关键技术。本文以综采工作面设备远程操控系统为研究对象，分析数据驱动的工业设备远程操控的使能技术。

2.1 综采工作面设备远程操控系统总体方案

煤矿井下开采环境恶劣、工况复杂，涉及多种设备耦合或干涉(支架、刮板机)，依靠数字化、自动化、智能化技术保障采煤机安全运行，是目前综采工作面自动化开采面临的首要问题。通过虚拟现实技术，使煤矿井下设备部分具备人的视觉、触觉等功能，才有可能真正替代人实现少人甚至无人开采。

利用VR/AR技术在煤矿精准开采及井下设备群多维信息整合方面的优势，张旭辉等人构建了“人、机、环”有机交互的综采工作面多维空间模型，实现了基于虚拟工作面的截割轨迹预测和三机“虚实同步、数据驱动、远程干预、人机协作”的自动控制策略，工作在顺槽或地面的操作者通过观测虚拟工作面中的设备群异常状态，人工干预自动截割作业过程，工作面变化及设备位姿等数据反馈到虚拟平台，实时修正工作面和设备群位姿模型，保证人为干预决策的可靠性。总体思路如图1所示。

图1 煤矿虚拟工作面设备操控系统总体方案

2.2 场景及设备虚拟模型构建方法

工作面煤层建模主要利用煤矿钻孔数据、工作面煤岩界面开切眼数据和工作面运输巷与回风巷顺槽地质数据，其中顺槽地质数据需要现场测量。钻孔信息可清晰显示所处煤层工作面测点的顶底板位置以及煤层厚度等；利用采煤机位置和姿态传感器获取工作面煤岩界面开切眼数据；通过运输巷和回风巷顺槽工作面地质图纸获取两侧煤岩数据信息。煤层工作面与巷道关系图如图2。

虚拟工作面设备及场景的构建包括构建三维模型、将模型倒入虚拟现实软件中、设置交互逻辑三个主要环节。在建模软件中根据综采工作面设备的结构及尺寸完成3D建模，在确保模型必要精确度和逼真度的同时，减少纹理精细度、降低细节等级并减少图形复杂度以提高系统运行效率。

2.3 虚拟工作面模型动态修正方法

综采设备在工作面运行时，由于工作面底板起伏变化，综采设备会有多种不同的工作位姿。因此，需根据综采设备机身传感器数据传输到虚拟操控系统上位软件，对虚拟模型的位姿进行实时修正，从而实现综采设备虚实同步控制。

2.4 工作面设备群间防碰撞检测

为了实现工作面设备之间快速防碰撞预警，采用基于包围盒技术的防碰撞检测方法，建立采煤机滚筒与液压支架防碰撞数学模型。由采煤机滚筒尺寸和液压支架顶梁尺寸分别建立滚筒包围盒和液压支架包围盒。根据建立的包围盒防碰撞模型约束条件对采煤机与液压支架进行防碰撞检测。通过对综采设备模型的基本自由度的分析，运用虚拟现实软件的ODE 技术建立综采设备物理防碰撞模型，如图3 所示。

图3 基于包装盒的综采设备物理防碰撞示意图

2.5 远程操控平台(人机交互)

人机交互实现综采工作面设备远程操控原理如图4所示，安放在顺槽操控室或者地面远程监控中心的控制台发出控制指令，通过多通道数据采集卡采集远程操控台上安装的开关、手柄等指令。一路控制指令通过操控系统上位软件发给下位机，下位机接收并控制工作面三机运动；另一路控制指令通过虚拟现实数据接口传送到操控系统上位软件，实现虚拟样机与综采设备“虚实同步”运动；采煤过程中工作面设备工况、位姿传感器数据经通讯接口传输到远程控制端，处理后存储到数据库，以此修正虚拟模型实现“数据驱动”，远程操作人员根据实时修正的虚拟场景和设备群关系，“远程干预”自动开采流程，结合碰撞检测等功能，完成“人机协同”的综采工作面设备群远程控制。

图4 人机交互实现远程操控原理示意图

3 数据驱动的设备远程虚拟操控技术应用

数据驱动的设备远程虚拟操控技术在定向钻机、智能掘进、煤矿救援机器人和综采工作面设备方面取得了一定进展。不同设备由于功能和使用场合等因素，开发时对关键技术的关注度也是不一样的。从模型复杂度(场景实时动态或静态)、驱动数据的类型(工况、位姿或性能参数)、远程决策依据类型、远程控制数量等等方面进行分析，可知定向钻机在钻进施工时主要是观测虚拟的管理压力表和返液情况，周围环境基本不变化；而智能掘进、煤矿救援机器人和综采工作面设备远程控制的首要条件是设备精确定位，否则构建的虚拟场景及设备难以作为远程控制依据使用；同时按照施工过程变化，接收精确定位数据，完成控制模型和显示模型的实时修正。

4 结束语

飞速发展的虚拟现实技术为其在工业领域的应用提供了软硬件方面的技术储备。利用VR/AR在解决多维信息空间数据呈现方面的优势，建立融合人、设备、环境有机融合的多维空间，为实现复杂或危险作业环境下的工业设备顺利作业提供了可能。“虚实同步、数据驱动、远程干预、人机协作”的设备远程操控策略，可以实现监测数据驱动下的虚拟交互式设备远程操控，在煤矿定向钻机、智能掘进机、煤矿救援机器人和综采工作面等设备虚拟操控的初步研究表明，该技术可以有效提高远程控制决策的可靠性和安全性，是实现少人或无人工作面截割控制的关键，在煤矿井下开采方面具有广阔的应用前景。