基于工业元宇宙的综采工作面虚实融合运行模式初步探索

谢嘉成，郑子盈，王学文，孟 浩，刘曙光，李素华

（1.太原理工大学 机械与运载工程学院,山西 太原 030024；2.煤矿综采装备山西省重点实验室,山西 太原 030024；3.智能采矿装备技术全国重点实验室,山西 太原 030032）

0 引言

近年来，随着新一代信息技术与传统煤炭开采业的深度融合[1]，以及煤炭安全高效清洁开采的迫切需求，发展智能化采煤技术是必由之路[2]。与制造、汽车、船舶、建筑地面场景相比[3]，智能煤炭场景显然技术挑战更高[4]。例如：近年来煤矿综采工作面在装备智能感知、决策和控制等方面建设效果明显，实现了地质条件较好情况下的初步智能化[5]，但对于地质条件复杂多变、设备工作环境恶劣的情况，各智能化子系统存在信息孤岛、安全监控保障手段不匹配等问题，与深度智能化要求还有一定的差距[6]。

智能化的基础是数字化[7]，智采工作面的建设基础包括先进可靠智能化水平高的开采装备、数字化信息感知元件、可靠带宽高时延低的信息传输模式、信息存储与云端协同计算平台、控制系统的最优决策、数字化呈现、决策以及反向控制等[8-9]。单纯在物理层面进行智采工作面建设存在着信息孤岛、不能适应复杂工况、AI 与物理系统较难深入融合等诸多问题。随着数字孪生(Digital Twin,DT)等技术的引入[10-11]，在物理维度与信息维度、物理实体与虚拟孪生体相互协同形成虚实融合的运行模式越来越关键[12]。通过物理系统的实时信息采集，构建信息空间中实时物理世界的虚拟孪生体，对物理世界未来行为进行预测进而决策优化出最优策略，最终反控物理设备运行[13]已成为当下研究热点。

数字孪生重在构建与物理世界完全一致的虚拟孪生体[14]，而工业元宇宙（IM,Industrial Metaverse）是以数字孪生为基础的更为广泛的未来生产运行模式[15-16]，通过XRAIIoT云计算区块链数字孪生等技术实现人、机、物、系统等的无缝连接，提升对综采工作面的监测能力、决策能力以及反向控制能力，是工业乃至产业数字化、智能化发展的全新阶段。智采工作面未来也将必然发展到工业元宇宙阶段[17-18]。

工业元宇宙内涵包括虚拟现实-数字孪生-信息物理系统-工业元宇宙等方面[19-20]，涉及到综采工作面的监测、决策以及控制。

在实现智能化的难度上，数字化综采工作面与数字化工厂具有很大差异。①从两者的运行环境来看，数字化工厂环境固定简单，由建造者决定，易通过视频图像和点云等非接触式和普通的倾角和GPS等接触式信息进行协同采集、传输与驱动虚拟监控，便于以全局视角透明化监测整体运行；然而对于综采工作面来说，煤层赋存条件复杂，装备运行环境恶劣封闭且处在不断迁移过程中，传感器布置较困难且种类受限，受电磁干扰影响，传输不稳定，同时透明地质保障技术当前仍难以支撑透明化开采环境的实时监测，做到实时精准呈现难度大。②在决策方面，数字化工厂根据加工产品的状态，以及所要达到的标准，使用智能调度软件对生产线整体、各加工和辅助作业设备进行全局配置与规划，能够达到理论最优，提高生产效率；而对于综采工作面，装备连接关系复杂，“破-采-装-运-支”等工作和“调高-调直-水平推进”等主线任务深度耦合，在存在一定程度的信息孤岛和导航地图不透明的条件下，显著增加了各设备动作决策的难度。③在反向控制方面，数字化工厂可以依托资源计划管理(Enterprise Resource Planning,ERP)、产品生命周期管理(Product Lifecycle Management,PLM)、制造执行系统(Manufacturing Execution System,MES)等多个智能保障系统来管理设备，并实时检测预规划与在线运行的差异，可实时做出精准全局调控；而在综采工作面内，各种智能化管控平台，尚未做到实时性高且精细化的全局态势分析与管理，不同装备间缺乏统一的通讯标准，任务环境复杂且部分控制执行元件（如开关阀驱动的推移油缸等）不能实现精准控制，这都增加了反向控制的难度。

当前综采工作面的智能化还面临着如下挑战：①仅利用数字孪生难以实现综采工作面的决策与反向控制，这就需要将综采工作面与工业元宇宙相融合。②在综采工作面内实现工业元宇宙所需要的技术不够明确。③人在综采工作面中有着不可或缺的作用，人机协同技术在综采工作面的应用还未成熟。

笔者通过梳理综采数字孪生与工业元宇宙的发展脉络，理清两者间的特点与关系，提出综采工作面工业元宇宙的构想和实现这一构想的关键技术，为构建具备人机融合能力的，能完成决策与反向控制的综采工作面工业元宇宙系统奠定基础。

1 综采+“元宇宙”和“数字孪生”的发展脉络及其内涵特征

1.1 发展脉络

在智能化发展的需求下，虚实融合历程阶段可分为4 个阶段。

1）1.0 阶段：虚拟仿真主要是应用于培训和教学。主要目的就是让操作人员了解井下综采工作面，掌握设备操作技能等。虽然利用的信息较少，但可以仿真展示或者可视化井下开采的较真实过程[21]。

2）2.0 阶段：在1.0 基础上加入离线真实运行的数据，复现出真实综采工作面运行工况。这一阶段虚拟场景与真实工作面在时间维度是不统一的，但仿真效率得到了提高。此外可以基于“人-机-环-法”等信息，对整个物理综采工作面进行无缝的、多样化的、参数化的虚拟规划，且能够和真实控制系统连接到一起，进行真实控制系统的半实物虚拟仿真与调试[22]。

3）3.0 阶段：2.0 由于时间尺度不一致，不能进行在线分析。因此，在2.0 基础上，3.0 通过实时信息驱动虚拟场景，追求虚拟场景与真实系统的同步运行，操作人员根据准确重构的虚拟场景信息进行远程的人工干预[23]。

4）4.0 阶段：在实时虚拟重构的基础上，构建出能进行预测、决策、分析的综采平行系统，对未来规划与可行路径仿真，并与当前时刻进行实时状态绑定。决策出仿真过程中的最优策略，同时与实际控制系统连接，打通双向闭环的信息通道，再把最优策略转换成控制指令，返回给物理工作面的控制系统，使其按照最优策略来运行[24]。

1.2 各层次的内涵分析

数字孪生DT 的基础是虚拟现实(Virtual Reality,VR)和增强现实(Augmented Reality,AR)，DT 又能够延伸出平行系统(Parallel System,PS)，加上控制能力后可变成信息物理系统(Cyber Physical System,CPS)，最终都为工业元宇宙IM 打下基础。

VR、AR、DT、PS、CPS 和IM 六种技术的发展脉络如图1 所示：从物理和信息两个维度，对VR、AR、DT、PS、CPS 和IM 各系统具备的基本特征进行剖析[25-26]，发现虚实融合内涵由低到高的基本特征包括：①展示与离线模拟；②监测与辅助操作；③在线模拟与预演；④预测与决策；⑤反向控制；⑥人机融合与管理；通过虚实融合内涵由低到高的六大基本特征的支持，从物理维度到数字孪生再到工业元宇宙，信息空间的成分逐渐增加，就诞生了实无穷到虚无穷的不断演变。对于工业系统来说，最终都是通过信息系统的无限试错、推演、模拟与运算，最终服务于物理系统，为其安全高效运行提供支撑。

图1 发展与演化脉络Fig.1 Development and evolution

虚实融合内涵由低到高的基本特征：

1）展示与离线模拟：通过虚拟建模以及在信息空间中的各种仿真来展示运行状态，在此过程中由于没有接入相关的数据，虚拟场景构建的可信度取决于相关的建模水平以及对物理过程机理的掌握。主要功能是培训教学、产品的展示、科普等。

2）监测与辅助操作：在1）的基础上，接入实时运行数据，驱动虚拟场景同步运行，以实现虚实同步监测的运行方式，在生产过程中把实时信息适当显示出来，指导实际生产过程。在这一阶段的功能主要是物理过程实时运行状态的虚拟可视化，且将时空信息进行深度融合；要保证虚拟监测是无延迟地、准确地与物理场景保持高度同步。在这个层面内，人能通过虚拟场景对综采工作面进行观测，但对装备的操作决策和控制只能由人来做。

3）在线模拟与预演：在数据驱动构造的虚拟场景基础上，通过虚拟引擎复制出基于实时数据的虚拟运行状态，对未来运行状态进行全流程模拟。利用深度学习、强化学习等方法，对所有可行路径上进行全模拟与实时更新与显示，给人提供充分的决策依据。

4）预测与决策：在模拟的基础上，对各种模拟结果进行评价，决策出系统最优运行路径。在此基础上，进行相关的预测，根据预测结果，结合实时虚拟监测场景，人通过控制按钮远程控制设备做出相关动作。

5）反向控制：将4）决策出的最优结果与设备的物理控制系统进行全流程信息交互，实现物理与虚拟的无缝衔接。系统可以自动将虚拟控制指令转变为真实的物理控制指令，真实的物理控制指令直接控制相关设备做出相应的动作。

6）人机融合与管理：通过井上井下的各类人员，包括工作面一线巡检人员、集控中心操作员、各个关键岗位监控员、地面调度中心人员，佩带可穿戴式设备、头盔、眼镜等各种人机交互设备，进入到信息世界中，在一个统一的工作场景中进行虚拟会议，虚拟互动，虚拟评价，从而真正实现整个矿井的时空一致与互联。在此层面内，虚拟人负责整个工作面的运行管理，人只需要对虚拟人监督即可。

其中，图1 中的实线的含义是强包含，虚线的含义是弱包含或者部分包含。可以看出DT 包含两条实线1）和2）和两条虚线3）和4），说明数字孪生至少应达到数据驱动的虚拟监测与辅助协同，在此基础上，可以将DT 延伸出来在线模拟与预演和预测与决策，信息系统中决策出来最优策略，用于指导实际的物理生产过程。但需要注意的是，这里所说的决策与控制不需要对信息传输路径或者自动化程度有所判断，可以是人工手动操作，也可以是程序智能控制，但最终要利用虚拟高可信度模拟的结果指导操作人员。如果这里变成自动连接控制系统的反向控制物理设备，就由数字孪生DT 过渡到了信息物理系统CPS 阶段。而CPS 再加上6）人机融合与管理，使信息系统朝着虚无穷迈进，就变成了IM，更加强调人机融合，这也是一些学者探讨的工业5.0 的相关概念：不再一味地追求黑灯工厂，而是更加注重以人为本，融入了以人为核心的概念，更加重视管理。在综采工作面内，工作环境复杂，加上先验信息缺失，导致了人在综采工作面内有着不可或缺的作用。人机融合与管理能帮助人更好地了解到井下实时的状况以及装备运行状态，对各种情况做出及时、正确的处理，更好地发挥人的主观能动性。

1.3 “工业元宇宙”和“数字孪生”驱动的工作面对比

数字孪生综采工作面[23]是现实世界物理元素的复制、延伸和增强，是物理元素和规律在虚拟空间的投影，是形成“完全同步”的“克隆工作面”。在这里，物理和信息系统构成成分是基本对等的。

工业元宇宙驱动的综采工作面在数字孪生刻画的“克隆工作面”基础上，平行出多个系统，以真实或假想的逻辑对虚拟系统进行刻画与运作，强调虚拟场景的各种预测、模拟、控制、评价和交互。此时，尽管虚拟系统的成分已远多于物理系统，但对于工业场景来说，虚拟系统的运营也是为了物理世界的工业服务。

数字孪生是物理世界和虚拟世界处于对等的关系，而工业元宇宙则是两者处于不对等的关系。数字孪生是对工业生产过程中的仿真建模工具的高度总结，可以清晰重现综采工作面的场景与各装备的运行状态，实现监测与模拟。工业元宇宙则是布局纵深更大，要超越现实，不仅要做到监测、控制，更要实现人、机、物、环境的有效管理，使人在虚拟空间内也能了解工作面的各种信息，在虚拟世界内完成对综采工作面的监测决策以及控制。利用人机协作技术增强人的感知，决策与控制能力，为更好地处理与解决综采运行问题提供思路与方法，也为智能化工作面提供了可能性。

2 工业元宇宙驱动的智采工作面构想

基于虚实融合内涵由低到高的6 个基本特征，工业元宇宙驱动的智采工作面系统框架如图2 所示，由下到上分别是：

图2 工业元宇宙驱动的工作面系统框架Fig.2 Industrial metaverse driven working face system framework

第1 层：物理层：对应物理的综采生产系统，目前智能化综采设备在单机装备、多机协同与环境感知上的各层次智能化水平都不断进步，取得了良好的效果；

第2 层：实时映射层：物理系统与元宇宙系统的接口：在煤矿井下4G 已经推广使用，5G 已在井下试点，各种设备感知与控制信息都可接入网络，实时映射到数字空间。

第3 层：数字建模层：既包括“形似”又包括“内在机理”的一致性，导入到虚拟引擎中，对其行为进行刻画和编译，构建“高保真”的数字孪生模型，可以进行高仿真度的展示与离线仿真。

第4 层：信息监控层：实时运行数据驱动的虚拟重构，实现物理模型与虚拟模型的双向映射，能动态、实时地管理产品的技术状态。

第5 层：跟踪分析层：在虚拟重构场景中复制一个出来，在虚拟空间中运用大数据分析技术进行仿真、测试、预测与评估，对物理世界的未来状态进行预测与优化。

第6 层：模拟自治层：具有分布式、去中心、自组织的特征。提供沉浸式的数字模拟、环境和事件的开发和操作，用户和企业可以在其中探索和参与各种各样的体验，并从事生产活动。

第7 层：应用互动层：用于数字化生产。决策出来的最优指令反向由虚向实控制运行工况；人机协同改变工业运行方式，提高企业管理运营的效率。

第1 层是处于物理系统内的，第2 层是物理系统与元宇宙系统的接口，第3 层对应展示与离线模拟的基本特征，第4 层对应监测与辅助操作的基本特征，第5 层对应在线模拟与预演的基本特征，第6层对应预测与决策的基本特征，第7 层对应反向控制、人机融合与管理的基本特征。

工业元宇宙驱动的智采工作面系统所具备的能力包括：

1）由实到虚精准的复制映射能力（DT）：主要包括展示与离线模拟和监测与辅助操作的能力，涉及时间和空间维度，具有精准复制，以及时间快、延迟低的数据驱动特点；先验信息严重缺失的综采工作面生产系统虚拟运维方法常受到数据质量与数量的影响，难以适应实际运行场景。为了保证综采工作面生产系统运行的完整性，在数据驱动模型基础上，可引入知识驱动方法建立约束条件，避免异常驱动现象的发生，增强经验模型的适应性，实现混合驱动模式下的综采工作面虚拟重构。

智能化综采工作面的实时虚拟监测涉及到两部分[23]。一部分是高可信度煤层装备联合虚拟仿真，另一部分是协同规划和实时可靠信息的获取与虚实融合通道的建立。虚拟仿真即实现对真实开采环境的虚拟环境下的精准映射。在建立装备与煤层三维模型的条件下，通过添加物理引擎和各结构间约束关系建立静态工作面模型。基于真实开采数据，利用已有的装备运行信息对其他装备的位姿进行反演，进而实现对与之相关的煤层顶底开采环境三维重构。随着采煤工作的不断进行，综采工作面场景也在不断地变化着，这就要求在虚拟场景内实现对综采装备动作的控制以及煤层的动态更新，根据装备的运行数据，利用深度学习算法进行未来开采运行信息的预测以实现未来开采环境的预重构。

信息的获取离不开传感器，根据综采装备在开采过程中的特点建立信息传感系统，对于监测盲区采用装备之间的空间位置关系进行推算，如依靠采煤机机身上的传感器数据反演获得刮板输送机的实时三维形态，再通过实时通信手段将数据实时传到上位机。数据的实时交互则是靠上位机软件与Unity 3D 通过数据库来实现的。最后一步则是处理所获得的数据，并驱动虚拟装备运行，进行实时场景呈现。近年来，基于数字孪生的综采工作面虚拟监控高可信度虚拟模型构建、双向信息通道与交互接口、实时运行数据驱动虚实同步运行等关键技术已基本突破，接下来可进一步融入透明地质保障相关数据，并依托5G 网络高速传输，实现整体工作面装备与煤层运行的全要素高精度实时呈现。

2）虚拟迭代的推理预测决策能力（DT+）：主要包括在线模拟与预演和预测与决策的能力，在虚拟镜像的基础上，将深度学习、强化学习等智能算法与装备运行机理融合，对实际装备运行过程以及开采环境进行演化、推演。基于综采工作面的历史开采信息，提取装备运行的运动规律以及装备关键结构件运行特性与开采环境变化之间的关系，对未来开采过程进行预测并为开采工艺的灵活调整提供指导；基于深度强化学习对虚拟开采装备智能体的协同运行进行决策，保证虚拟综采装备在不确定开采环境下具有稳定的开采策略支持。基于空间运动学与LSTM 神经网络预测融合的刮板输送机调直方法就是利用在线模拟与预演和预测与决策的能力[27]。根据空间运动学和LSTM 神经网络建立预测模型，在研究刮板输送机调直时，通过在虚拟煤层空间内对装备的动作进行预演，对比分析数据，得出轨迹修正模型。在综采工作面的虚拟场景中，根据已有监测信息对液压支架的实际位姿进行分析，对有异常位姿的液压支架决策出调架所需要的动作，完成虚拟场景内的调架[28]。这一方面已经开始研究，但是受限于传感信息数量、精度、人工智能算法可靠性等方面问题，仍需进一步联合攻关突破其关键技术。

3）由虚到实的复制控制能力（CPS）：推演完成后，应对决策出的最优值进行判定，综合人和计算机的智慧进行控制，使人从操作者变为监控者、管理者。综采工作面数字孪生系统的虚实交互包括物理综采系统运行状态在虚拟环境下的实时映射，以及虚拟综采场景仿真结果对物理系统运行的实时控制。在对综采系统进行虚拟仿真基础上，通过虚实双向数据通道将仿真结果信息实时反向传递至物理空间，可以实现数字模型对物理装备及系统实际运行状态动态调控。利用AR 技术可实现数字孪生工作面的反向控制，一方面是AR 设备具有与工作面设备交互的功能，从而能操纵综采装备，另一方面是物理装备能获得AR 设备上传的数据，从而驱动物理综采装备与数字综采装备同步运动，实现反向控制。对于综采工作面的现场工作人员来说，基于头戴式增强现实设备与脑机接口设备可以实现手势、语音、凝视、BCI（Brain-Computer Interface，脑机接口）四种交互模态。在常规状态下，现场工作人员优先使用手势识别完成所需的交互。当现场工作人员双手被占用时，采用凝视与语音相结合的方式作为备用交互策略，使用凝视射线选取操作对象，再使用语音指令确认操作，从而降低误操作的概率。在工业现场出现突发状况，来不及通过其他交互模态做出操作时，采用BCI 系统对现场工作人员本能的脑电信号做出分析并执行相应的命令。对于远程专家来说，通过鼠标与键盘进行交互，方便快捷地为现场工作人员提供指导。目前，对利用AR 设备进行控制已有一定的研究，但是还存在延迟时间与传输精度方面的问题，还需要进一步提高。

4）虚拟与现实的人机无缝协作能力（IM）：主要包括人机融合与管理能力和AR 协同技术、机器人协同技术、虚拟人协同技术，形成以人为主的工业元宇宙系统，完成精益化管理。在综采工作面运行中，人的作用在很多场景中不可或缺。

3 人机融合驱动的工作面IM 运行模式

随着综采工作面装备智能化水平的提高，“机-机”之间的交互能力也随之提升，人机融合驱动的工业元宇宙能获得综采工作面运行数据，而后利用人机交互技术，提升人的感知、决策、控制能力，进而提升工作面效率。人机交互技术是基于虚实融合方法实现的，人机融合与虚实融合是不可分割、相互交融的。下面对人机融合驱动的工作面IM 运行模式进行具体介绍。

3.1 人机协同的本质和协同方式

对于综采工作面来说，尽管智能化技术的发展使作业人员越来越少，但必须由操作人员完成智能系统无法完成的操作。智能化开采工作面系统的构建不是追求绝对的无人场景，而是追求人机融合，融入人的经验和智慧。

工业元宇宙和工业数字孪生主要区别在于是否有虚拟工人参与生产过程。工业数字孪生追求无人车间、黑灯工厂，让所有设备自动化运行。但在复杂的煤矿井下，大部分生产还是需要有人参与，IM 必须将虚拟人深度参与到综采工作面的运行管理中。当前的方式有3 种：①现场工人跟后台专家通过XR眼镜远程交互，即 “XR+”人机协同；②高智能化的巡检机器人参与现场过程，即机器人驱动的人机协同；③对高技能人才复刻数字人并在信息空间中从事操作活动，即“虚拟人”驱动的人机协同。

3.2 “XR+”人机协同

“XR+”人机协同是巡检工跟集控工或后台专家通过XR 眼镜协作平台交流，这种协作交流基于AR眼镜的远程协助功能，如图3 所示。巡检工佩戴AR眼镜，在巡检过程中与集控工进行协调，集控工可以以巡检工的视角观察工作面运行情况，而AR 通过与后台VR 系统相连接，把VR 计算的结果呈现在AR眼镜中，让多人进行协同评审，完成最优决策与操作。利用AR 技术可以实现多终端AR 同地无缝协作与多终端远程AR 视频会议。AR 移动/头戴终端可与VR 技术相融合，对综采设备进行位姿测量，同时，AR 设备还可对数字综采装备进行操纵[26]。

图3 AR 眼镜的远程协助功能Fig.3 Remote assistance function of AR glasses

3.3 机器人驱动的人机协同

随着机器人技术的发展，井下巡检机器人技术也得到了快速发展。轨道式巡检机器人能利用自身搭载的传感元件等采集装备信息和视频信息等传回后台，使人能获得综采工作面运行数据。但其轨道在液压支架或者刮板输送机上，由于工作面底板起伏，机器人运行柔性大，运行定位具有不确定性，无法将采集回来的点云、视频等数据进行合并补偿，巡检效率不高。而刮板输送机电缆槽的相关轨道，刚性运行容易卡顿，不能较好适应随机性的起伏变化，相关感知传感器直接暴露在危险区域，容易被落下来的煤砸坏。

巡检机器人最大的功能是智能感知，并不具备反向控制能力，这与机器人的“自主感知、自主决策与自主控制”思路背道而驰。因此，需开发自动行走在工作面的机器人，可以深入到危险的狭窄的环境中代替巡检人员的实际巡检工作。

与轨道式巡检机器人相比，行走式巡检机器人具有以下特点：①在感知方面，其上搭载有三维激光雷达，气体检测仪，深度相机等元件，获取视觉、气体含量、三维点云等信息，并可以利用自身的灵活性到达更多位置，获取较为全面的信息。②在自主决策方面，能够利用感知到的信息在虚拟系统内重现物理工作面的运行情况，并检测异常，利用算法决策出行走路径与行走步态。③在控制方面，行走式巡检机器人可以根据操作人员的指令对综采工作面装备做出部分简单控制。巡检机器人的结构功能如图4所示。

图4 机器人结构与功能Fig.4 Structure and function of robot

3.4 “虚拟人”驱动的人机协同

在智能化和数字化程度高的数字孪生综采工作面，将人的意志、能力、标准的操作、应急能力等进行全面复刻，构建虚拟人在信息维度中操控虚拟设备以最优运行方式去运行，再在物理层面按照信息空间最优运行的方式进行操作。多个虚拟人分别对应不同操作员岗位并完成相关各岗位任务，真实操作员监督这些虚拟人完成相关工作。虚拟人模型的构建需要依据各个矿工的体态以及身体参数：首先获取人体骨骼点数据，形成参数化模型，然后进行外观烘焙、添加贴图等，最后对模型进行运动学解析，提取各关节数学模型，并通过kinect 体感设备，实现模型动态化。

虚拟人存在于虚拟系统中，按照所执行的功能不同可以分为虚拟巡检人员、虚拟支架工、虚拟采煤机工和虚拟集控操作人员。如图5 所示。在综采工作面精确监测前提下，对虚拟人添加各种算法与AI，使其感知虚拟综采工作面环境，行走于虚拟综采工作面中，并具有感知、识别工作面异常状态的功能，即拥有人的意志、能力、标准的操作、各种应对危险的应急能力。在虚拟监测系统将综采工作面信息同步到虚拟场景时，虚拟人就可以感知到物理装备的运行状态，并进行判断与决策，进而调整综采工作面的运行。而此时，人就可以通过远程监督虚拟人的工作来实现对综采工作面监控。

图5 虚拟人模型构建与运行Fig.5 Model construction and operation of virtual human

3.5 人机协同带来管理的提升和社会CPSS 系统

人机协同技术，应该是AR 协作到人与机器人协同再到人与虚拟协同的发展，工作面虚实融合程度逐步升高。在5G 通讯、云平台、统一的软硬件接口等关键技术不断突破，且在井下逐步工业应用的前提下，若能实现AR 眼镜的防爆功能，AR 协作可以在近几年逐步实现；而人与机器人协同技术还距离较远，应加大研发力度。在实现具有反向控制功能的综采工作面数字孪生+系统后，就可以进入到人与虚拟人协同的状态中。综采工作面数字孪生中的监测是一比一的复刻、是实时精准的虚拟重构，控制则是经过推理以后的反向控制。而管理更多的是涉及到管理人员。由于具备了社会属性，所以形成了社会物理信息系统（CPSS，Cyber Physical Social Systems），如图6 所示。

图6 人机协同带来的提升Fig.6 Enhancement by man-machine coordination

人与机器的区别是，一方面，在复杂的井下环境工作，很多问题需要操作人员直接控制运行，而机器只具备低层级的AI，只能完成复杂程度不高的工作。而另一方面来说，身体状态、情绪、精神等各方面均会对身处煤矿井下的操作人员带来不确定性因素，导致操作失误甚至安全问题。因此可以训练虚拟人，避免这些心理和生理问题。

在增强操作人员情感方面，基于工业元宇宙的社交属性，创造一个平行世界，操作人员与其家庭成员身处异地但共同进入这个虚拟世界，感受近距离的陪伴，进而提升其幸福指数和工作效率，同时也会增加企业归属感。

操作人员也可携带体感交互、脑机接口设备等随时获得身体健康数据，更好地为工作服务。管理员可以让处在不同空间人员的协同运行管理，如建立涵盖地面和井下的VR/AR 交互系统，添加可穿戴设备把操作人员或者是巡检人员数据接入到虚拟设备上进行整体的模拟和预测，把他们的触觉延伸到井下进行虚拟会议，实现井下人员和地面的无缝虚拟会议。

4 工业元宇宙的初步认识

工业元宇宙的前提是由实到虚精准的复制映射能力、虚拟迭代的推理预测决策能力、由虚到实的复制控制能力。目前，虚拟监测的能力较强，虚拟决策和虚拟控制的能力还有待加强。与数字孪生系统相比，工业元宇宙系统在数字孪生完成监测的基础上，可以实现人、虚拟人、机器人和综采装备在虚实世界的相互交互，在时间和空间的维度上对综采工作面运行情况进行重构和延伸，获得综采工作面过去、现在和未来的运行信息，全面提高人对工作面的感知，决策与控制能力。

液压支架是综采工作面的重要支护装备，但当前液压支架的智能化程度较低。因此，本文以液压支架为例，利用实验室的综采成套试验系统从监测、决策和控制方面对液压支架数字孪生到工业元宇宙的过渡阶段进行试验。

4.1 基于工业元宇宙的液压支架调架系统

按照工业元宇宙七层架构，可具体实施为在三种人机交互模式的支撑下，由③建模与场景子系统、④虚拟监测子系统、⑤云服务子系统、⑥虚拟决策子系统和⑦虚拟控制子系统，通过②虚实交互接口，共同完成对①物理样机系统中液压支架异常行为的智能分析、决策与调架，整体结构如图7 所示。

图7 液压支架的工业元宇宙系统Fig.7 Industrial metaverse system of hydraulic support

其中，①物理系统包括煤层底板模型、支运装备、控制元件和监测元件。通过②虚实交互接口，③建模与场景子系统以支架和煤层数据为基础，构建高保真虚拟模型。④虚拟监测子系统内添加了位姿重构脚本、位姿描述脚本、监测面板、控制面板和串行通讯接口，能根据传感信息对虚拟空间内的模型进行位姿重构，显示液压支架的位姿参数，并分析判断异常位姿，具体实施由实到虚精准的复制映射能力。⑥虚拟决策子系统包括工况模拟脚本、调架决策脚本、仿真控制脚本、工作空间绘制器LineTools，能同步虚拟监测子系统场景中支架位姿信息，在⑤云服务子系统的支持下，生成最优决策调架指令控制虚拟调架，对应的是虚拟迭代的推理预测决策能力。⑦虚拟控制子系统能同步虚拟监测子系统的调架指令，并通过串行通讯接口向实物支架下发控制指令，实现动作控制，体现的是由虚到实的复制控制能力。

系统中的AR 远程协作技术是一种人机交互技术，通过AR 交互设备使得不同地点的操作人员实现远程协作。巡检机器人巡检于物理综采工作面中，能将物理系统监测数据传回虚拟系统中，实现人、机器人与综采工作面的虚实结合。虚拟人存在于虚拟系统中，依靠自身的AI 算法对液压支架状态进行判断、决策与控制，这三种人机协作技术对应了虚拟与现实的人机无缝协作能力。

4.2 系统“感知-决策-控制”通道测试

通过虚拟监测子系统、虚拟决策子系统和虚拟控制子系统对物理系统进行虚拟监测测试和反向控制测试。各传感数据通过信息集成通过串口传输给上位机，经过数据解析和处理转化为可形成虚拟监测场景，随后决策子系统进行自主虚拟决策，形成控制指令，并通过计算机串口对指令进行解析并下发给对应的物理样机从机，最终控制执行元件实现对应动作。

结果表明：虚拟监测系统实现对物理样机的实时位姿监测，从传感数据打包到上位机接受时间延迟在0.15 s 内；虚拟决策子系统中虚拟调架过程与物理样机调架过程相似度高，决策可在0.2 s 内算出最优指令；虚拟控制子系统能使液压支架实物实时响应虚拟环境给出的状态控制命令，时间延迟在0.1 s内。因此，虚实双向数据交互能够满足实时性要求。体现了由实到虚精准的复制映射能力、虚拟迭代的推理预测决策能力和由虚到实的复制控制能力。

4.3 AR 远程协作测试

工业元宇宙系统中AR 远程协作技术的使用可以满足在开采中工作面巡检工和集控工协作的需求。两类工作人员工作位置不同，可以获取到的信息也不同。以液压支架调架过程为例，当集控工想获取调架支架的更多信息时，可以通过AR 设备与巡检工远程协作，进行近距离的沟通，更有利于决策的准确性。同时，利用AR 设备还可以使现场人员具备用手势，语音等可以反向控制液压支架动作的能力。利用实验室中的煤矿综采成套试验系统对基于AR 远程协作技术进行测试。

测试者A 模拟实际煤炭开采场景中的集控工，使用PC 端的综采工作面虚拟监控系统进行监控。测试者B 位于煤矿综采成套试验系统中的不同区域，模拟现场巡检工，佩戴HoloLens2 进行巡检。当测试者A 想获取某一位置支架的现场调架情况时，或者人员B 想获取来自专家的指导时，可以将两终端通过信令服务器建立对等连接，任一方点击对方用户名进行视频通话呼叫。通话过程中，测试者B 佩戴HoloLens2，头部朝向液压支架，测试者A 能接收由HoloLens2 传回的视频画面，过程如图3 所示。在监测方面，集控工测试者A 利用AR 设备获得工作面信息；在决策方面，巡检工B 获得了集控工测试者A 的决策信息。

测试结果表明，工业元宇宙系统中的AR 远程协作技术能使集控工获得高度的真实性与沉浸感，增强对综采工作面细节的感知，总体把握工作面整体运行情况。与身处现场的巡检工进行远程协作，将集控工全局与巡检工局部视角信息融合，进而协同决策与控制调架。经过测试AR 协作方式较巡检工单人手动调架质量和效率提升近30%。

4.4 机器人巡检测试

选择能够行走于综采工作面内并触发液压支架电液控按钮的六足机器人进行机器人巡检实验测试。该机器人具有路径规划与步态规划系统，机身上搭载着三维雷达，气体监测仪，深度相机等传感器来完成对物理工作面的监测。同时，在工业元宇宙系统内有着巡检机器人与虚拟系统的双向交互通道，来完成虚拟监测与控制。利用实验室的煤矿综采成套试验系统对机器人进行测试，如图8 所示。

图8 巡检机器人Fig.8 Inspection robot

在实验室环境下，先确定物理空间与虚拟空间统一的坐标基准，然后巡检机器人开始行走于综采工作面中，利用传感器获得监测信息，利用三维雷达来获取点云分析信息，将分析结果呈现到虚拟系统中。当监测到异常，机器人需要触发某台液压支架电液控上的按钮时，机器人根据环境分析步态，利用算法来规划路径，进行操作。测试结果表明，巡检机器人能对液压支架的状态进行监测，虚拟系统可基于监测结果对巡检机器人的动作与行走路线进行决策，并控制巡检机器人运动来控制支架的动作。可代替巡检工进入工作面巡检，提高了整体安全效率。但当前巡检机器人智能化程度还相对较低，仅可完成巡检人员操作的50%的功能。随着机器人动作、传感、控制等各功能模块的改进和优化，加之通过多台机器人协同运行的方式，预期效率还能进一步提升，发展潜力较大。

4.5 虚拟人测试

虚拟人运行于工业元宇宙的虚拟系统中，以AI和算法为支撑，在虚拟监测准确的前提下，根据监测结果进行虚拟决策与虚拟控制。目前，在做到虚拟人矿工与物理人的同步动作，并通过体感交互的方式完成对操纵设备的操纵基础上，可同步完成物理人各操作动作的人体骨骼信息采集，通过建立骨骼动作数据集，训练AI 识别模型，完成预判操作人员的操作意图，传达给虚拟人完成部分决策工作。同时将虚拟决策子系统中提取到的调架知识赋给虚拟人，可进一步支持虚拟人做出较好的调架决策。利用实验室的煤矿综采成套试验系统对虚拟人进行测试，如图9 所示。

图9 虚拟人测试Fig.9 Virtual human experiment

首先完成定制化虚拟矿工三维模型的构建，将Azure Kinect 体感交互设备摆正位置，实时捕捉骨骼信息到上位机，驱动虚拟人同步运行，并将位置与动作映射到综采工作面虚拟场景中。被试者站于距离摄像头约1.5 m 的位置，自由动作，虚拟系统中的虚拟人完成与物理人同步动作，运行正常，进而实现虚实同步映射功能。模拟集控工和巡检工通过手势动作控制虚拟人在虚拟场景中漫游监测，对液压支架进行远程干预的升柱、降柱操作，并在集控中心内通过屏幕界面得到现场情况反馈其实验过程。

测试结果表明，物理人可同步控制虚拟人完成相关调架动作，此种调架质量可以达到巡检工现场手动操作效率的62%。将虚拟决策子系统中提取到的调架知识赋给虚拟人，可进一步支持虚拟人做出较好的调架行为，此种方式调架质量可上升到巡检工现场手动操作效率的75%。随着AI 模型和虚拟人相关技术的不断突破，预计相关调架效率也可进一步提升。

4.6 讨 论

综采工作面液压支架操作方法涉及到多个维度，现通过支架调架操作对这些方法进行对比分析，见表1。

表1 工业元宇宙与数字孪生研究方法对比Table 1 Comparison of research methods between industrial meta universe and digital twin

1）人工调架是操作人员直接在工作面观察并结合自身经验，对液压支架进行决策控制。

2）基于虚拟监测场景，巡检人员可以先通过虚拟场景对整体综采工作面有一个了解，然后到达需要操作的地方进行操控，减少了巡检的工作量。

3）由虚拟系统做决策的液压支架控制系统具有虚拟监测功能、虚拟决策功能、虚拟控制功能。液压支架调架过程是通过在虚拟决策系统中计算出最优方案，再加上人对决策系统反映出的调架结果进行验证，最后由虚拟控制系统控制液压支架调架。这种方法的调架结果主要依托于计算机的计算，人也可以在虚拟系统中观测到调架结果，在必要的时候进行干预，实现了对调架动作的“双保险”，即综合人和计算机判断。

4）AR 远程协作技术的应用，使集控工能够与现场巡检工进行远程交流，并能使集控工近距离地观察到现场的工作情况，也能使巡检工获得来自远程的指导。在液压支架调架的过程中，决策结果由虚拟决策系统给出，集控工可以在看到虚拟系统中的调架结果，同时也可以通过AR 远程与现场操作人员进行协作，近距离观察综采工作面液压支架的调架过程，实现了综合现场图像，集控工巡检工两工种和计算机的判断的“三保险”。

5）巡检机器人在综采工作面内主要是实现对工作面监测和一些简单的操作。巡检机器人在综采工作面的使用可以代替现场工作人员的一些工作，从而提高现场工作人员的安全性。

6）虚拟人主要是运用AI 技术，使虚拟人能有人的意志、能力、标准的操作、各种应对危险的应急能力。虚拟人存在于虚拟系统中，行走于虚拟场景中，能对虚拟系统内的变化自主做出决策。而人只需要对虚拟人进行监控即可。

从物理层面到数字孪生层面再到工业元宇宙层面，不断提高了综采工作面工作的可靠性，提高了人对工作面的感知与控制，为智能化工作面提供了基础，为人更好更安全的工作提供了可能性。

5 结论

1）对虚实融合的综采工作面进行深入研究，探索从数字孪生到工业元宇宙的过渡路径，提出了工业元宇宙驱动的综采工作面构想。在工业元宇宙中，信息空间能够进行更多的运算、迭代与优化，为物理过程提供更完善的指导与支撑；为了实现数字孪生到工业元宇宙的过渡，应按照四大能力循序渐进，依次突破所涉及的关键技术。

2）人机协同技术是实现综采工作面工业元宇宙的关键，是工业元宇宙具备由实到虚精准的复制映射能力、虚拟迭代的推理预测决策能力、由虚到实的复制控制能力到虚拟与现实的人机无缝协作能力的基础。对“XR+”人机协同、机器人驱动的人机协同等技术进行探索，为综采工作面人机协同提供思路，有助于形成人机融合驱动的综采工作面运行模式。

3）基于工业元宇宙驱动的工作面系统框架与综采工作面人机协同模式的探索。认为人机融合驱动的工作面AR 远程协作技术提高人对工作面的感知，可提高工作效率与准确性；巡检机器人技术提高人的安全性；虚拟人技术减少人的工作量，解放劳动力，更好的满足人的需求。借助工业元宇宙理念，融合现有的虚拟监测技术、虚拟决策技术与虚拟控制技术构建综采工作面智能化系统。