AR/VR融合驱动的综采工作面智能监控关键技术研究与试验

王学文，刘曙光，王雪松，谢嘉成,4，王彬彬，王振威

(1.太原理工大学 机械与运载工程学院,山西 太原 030024;2. 太原理工大学 煤矿综采装备山西省重点实验室,山西 太原 030024;3.矿山采掘装备及智能制造国家重点实验室,山西 太原 030024;4. 太重煤机有限公司博士后科研工作站,山西 太原 030024)

国家八部委联合发布《关于加快煤矿智能化发展的指导意见》，标志着智能化已成为煤炭工业高质量发展的核心技术支撑。2021年初，中国煤炭学会将“煤矿智能化机器人”列为“十四五”期间煤炭十大重点领域之一，明确指出需重点攻关透明地质、煤矿5G无线通信、井下视频高效处理及AR/VR、井下精确定位与设备导航、矿井机电设备在线监测与诊断维护等核心技术。

VR技术逐步在智能化建设中占据重要地位，特别是为透明综采监控提供了三维可视化解决方案，与传统视频监控和二维组态监控相比，抗干扰能力与直观性均有提升，具有对工作面装备运行状态实时监测和反向控制能力。但VR环境是一个由计算机生成的完全浸入式的环境，其依赖于外部多源输入信息的融合算法精度，不具备自主获取信息的能力，对真实场景的感知存在局限。

受限于技术特点，VR监控有待进一步完善，而AR技术为综采工作面虚拟监控进一步突破技术瓶颈提供了可能。AR技术可以利用摄像头、传感器、实时计算和匹配技术，将交互式虚拟信息与物理世界巧妙地实时“无缝”集成于同一三维尺度空间，在特征上与数字孪生的概念有着先天的吻合性，有助于数字孪生技术推动智能化采矿进入新时代。基于此，黄曾华等提出将AR技术引入综采工作面可视化远程干预监控，并给出了系统架构；ANDHAN等开发了一种基于AR的指挥控制系统仪表板，以保证煤矿工人的人身安全；成董浩等采用AR技术实现通风巷道数据的可视化，为矿井通风系统智能化提供了一种新的技术手段；张旭辉等提出一种数字孪生+MR的机电设备辅助维修指导方法，可实现对现场维修人员的实时指导。

目前在煤炭领域，AR技术的应用还处于较为初级的阶段，与该技术在数字化工厂、医学、建筑学等其他领域的应用相比，深度上和广度上都存在较大差距。AR具有三大特征，即虚实融合、实时交互、三维注册，其虚实融合的特征可有效弥补VR监控与真实场景有割裂感的缺陷，且实时交互手段与VR相比也有所扩充，而视觉信息作为除传感器外的另一种数据源能够提供更多信息反馈。将AR技术引入煤矿智能化建设并与现有VR技术相结合，发挥各自优势，可形成AR/VR技术深度融合的透明化综采工作面智能监控体系。

笔者以VR监控技术及科研成果为基础，以AR技术在综采工作面智能监控中的应用为研究重心，以HoloLens2为主要开发平台，从实际需求出发，构建AR/VR融合驱动的综采工作面智能监控技术架构，提出综采工作面多监控终端协同工作、基于计算机视觉的全综采装备识别跟踪、综采工作面AR/VR融合闭环监控3种关键技术，并对这些关键技术的解决方案进行探讨、剖析与试验，以期为AR/VR技术在煤炭领域的应用提供新思路，为综采工作面的智能虚拟监控提供更为完善的方法。

1 总体架构

1.1 综采工作面AR/VR监控技术融合原理框架

在AR/VR融合驱动的综采工作面智能监控中，AR与VR技术的融合主要体现在以下3个层面，详细融合原理如图1所示。

图1 综采工作面AR/VR监控技术融合原理框架

(1)VR技术对AR技术的支撑。VR与AR技术在应用于综采工作面虚拟监控时，两者在实现路径、开发方式等方面均存在类似性。综采装备与地质数字孪生体构建、传感器布置与感知信息获取、装备群协同仿真与实时数据驱动、分布式系统的驱动模式、虚拟监控UI界面设计等VR监控关键技术可以为AR监控研究奠定基础。

(2)AR技术对VR技术的补充。VR环境与现实呈隔绝状态，而AR技术更强调虚实融合。基于计算机视觉的AR识别跟踪、基于视觉的综采装备位姿测量、综采工作面多终端AR协同工作技术、基于UGUI与自然手势的AR交互等AR监控关键技术可以扩充VR监控的维度。

(3)AR与VR技术的巧妙集成。VR在计算机强大运算能力的加持下，可对综采工作面的整体运行情况进行宏观把控。而AR设备虽性能有限，但可利用其虚实融合的优势，更深入、细致地获取工作面的局部运行情况。集成AR与VR技术的优势，发挥两者所长，可形成兼顾综采工作面局部与整体、虚实融合的全时空综合监控技术架构。

1.2 AR/VR融合驱动的综采工作面智能监控技术架构

在AR/VR监控技术融合下构建AR/VR融合驱动的综采工作面智能监控技术架构，分为4个层级：云服务器层、设备层、应用层与辅助技术层，具体架构如图2所示。

图2 AR/VR融合驱动的综采工作面智能监控技术架构

(1)云服务器层包含云处理器模块、网络处理模块及数据库。其中云处理器模块负责对系统运行过程中产生的数据进行储存、分析与处理；网络处理模块负责与设备层各设备间的网络通信，网络通信在辅助层中的通用高效可扩展网络框架下进行；数据库中包含综采装备特征点与描述符数据库、AR标识库、综采工作面运行状态数据库以及数字孪生综采工作面模型数据库。

(2)设备层包含真实物理综采装备与AR移动/头戴终端。其中真实物理综采装备主要包括综采工作面三机即采煤机、刮板输送机、液压支架及其控制系统与传感器；AR移动/头戴终端主要包括HoloLens2、手机及平板电脑。

(3)应用层为AR/VR融合驱动的综采工作面智能监控应用程序，集成了综采工作面多监控终端协同工作、基于计算机视觉的全综采装备识别跟踪、综采工作面AR/VR融合闭环监控3种关键技术。

(4)在辅助层技术中，通用高效可扩展网络框架突破了网络瓶颈，保障了系统的可靠性；跨终端空间虚实融合全息辅助标注、多终端AR同地无缝协作以及多终端远程AR视频会议3个功能为系统提供了更丰富的技术支持。

层级的联系主要集中在云服务器层与设备层之间以及设备层内部。隶属于设备层的AR终端为了完成全综采装备的识别跟踪，需将其捕获的视觉信息与云服务器层中的数据库数据进行匹配；基于多传感器的综采装备位姿测量以及对综采工作面的AR远程反向控制依赖于AR终端、云服务器层中云处理模块、物理综采装备3者间的交互。

系统可在4个层级的作用下实现AR移动/头戴终端对全综采装备的识别跟踪，在此基础上完成AR/VR技术融合下的综采工作面监测与控制。

2 综采工作面多监控终端协同工作技术

2.1 通用高效可扩展端云协同异步网络框架

传统的C/S(服务器/客户端)网络架构不支持UWP平台开发，无法在HoloLens2设备上使用。为满足潜在的多终端并发处理需求，减少线程阻塞，并兼顾UWP平台的适用性，搭建了1种基于完成端口(IOCP)机制的通用TCP/IP客户端及云服务器网络框架，IOCP是一种基于事件的异步模型。采用SAEA(Socket Async Event Args)Socket类进行框架搭建，该类封装了IOCP的使用。云服务器与客户端的连接逻辑如图3所示。

图3 SAEA云服务器、客户端连接逻辑

在该框架的基础上定义了数据模型，模型分为3个层级：类型层、请求层与消息层，采用Encode()与Decode()方法对数据进行编解码。在消息层中，消息分为两类：一类是需要服务器处理的消息，如用户信息的获取与更新、空间锚点的上传与下载等；另一类是需要云服务器转发的消息，如AR场景中综采装备的位置、姿态、动作等。定义不同的消息类型并采用Serialize()与Deserialize()方法进行消息的序列化与反序列化。通过Heart Thread. IsAlive语句为云服务器添加心跳监测功能，定时向服务器发送心跳包，以对客户端的异常断开进行监测。

2.2 跨终端空间虚实融合全息辅助标注

在通用高效可扩展网络框架下捕捉并传输包含AR设备空间矩阵信息的视频数据，经过2次转换，即AR设备与Unity3D空间矩阵转换、二维标注到三维空间的转换实现远程空间全息标注。

..AR设备摄像头空间矩阵数据处理

AR设备通常包含一个面向世界的摄像头，其捕获的图像帧包含一个坐标系以及2个变换：储存捕获帧的坐标系、摄像头外部视图变换以及摄像头投影变换。视图变换代表摄像头在世界中的位置信息，投影变换代表摄像头映射到图像中的像素信息。

欲将包含AR设备空间矩阵信息的图像数据传输至发送端，需获取AR设备的摄像头空间矩阵，并将其转换为Unity3D空间矩阵。转换过程可以简化为如下模型：从AR设备摄像头2D投影空间到其相对的3D视图空间，然后再到AR摄像头空间，最后到Unity3D应用程序坐标系，矩阵转换原理如图4所示。

图4 AR摄像头空间矩阵转换原理

该模型可简化为一系列矩阵运算：摄像头投影变换矩阵经转置运算得到′，摄像头外部视图变换矩阵经转置运算与求逆运算得到′，储存捕获帧的坐标系矩阵经转置运算得到′，以匹配预期的Unity3D格式；上述矩阵混合运算并将右手坐标系转化为UnityEngine左手坐标系后最终得到AR设备摄像头空间矩阵到Unity3D空间矩阵的变换矩阵，具体转换过程如下：

(1)

=′·[(-1)·(′·′)]

(2)

(3)

式中，(-1)为初等矩阵。

..二维标注到三维空间位置转换

发送端做出的标注为二维图像，而接收端中显示的标注包含三维信息，故在发送标注信息时需将二维标注向三维空间转换。

AR设备摄像头空间投射原理如图5所示。以矩形标注为例，利用几何相似关系可以按比例计算出投射面对应形心投射点位置及长宽,。空间中任何三维物体都可看作是若干三角形Mesh组合而成。HoloLens2等AR设备可自动识别三维物体表面，生成三角形Mesh网格并添加Mesh Collider碰撞体，如图6所示。

图5 AR摄像头空间投射原理

图6 HoloLens2三角形Mesh网格效果

当接收端收到二维标注数据时，摄像头从位置发出检测射线，经过形心投射点位置，到达实际形心位置并与Mesh Collider发生碰撞。在C#程序中通过RaycastHit.triangleIndex语句进行三角形索引，利用Möller-Trumbore相交算法确定射线与三角网格的碰撞点，算法原理如图7所示。

图7 Möller-Trumbore算法原理

射线()可用参数方程来定义：

()=+(-)

(4)

式中，为射线方程中的参数。

三角形参数方程可用其在重心坐标系中的3个顶点，，表示：

(,)=(1--)++

(5)

其中,1--，，分别为，，在重心坐标系中的权重，且满足≥0，≥0，+≤1。将射线与三角形参数方程联立求解：

+(-)=(1--)++

(6)

展开并移项得：

-=-+-+-

(7)

提取未知数，，，将方程写成线性方程组的形式：

(8)

其中，-=-，又令-=，-=，-=，则该线性方程组可写为

(9)

由Cramer法则解得：

(10)

使用向量混合积公式对解进行改写：

(11)

通过RaycastHit.Distance语句检测摄像头到碰撞点的距离，依据几何相似关系计算出矩形标注在实际空间中的尺寸，，从而生成三维空间中的矩形标注。

2.3 多终端AR同地无缝协作

在综采工作面生产全过程中，存在诸多需要面对面交流协作的场景。如作业方案规划、工作面运行情况探讨与分析、采后总结等。

开发完成的多终端AR同地无缝协作功能最大特征为：多个用户能够同时看到同一工作空间中的真实与虚拟物体，在相同的绝对位置感知到它们，并通过多种方式实现对虚拟物体的交互，即具备多终端间“无缝衔接”的性质，可实现空间共享。

功能的实现依托于2个前提：第三视角技术与空间状态同步。第三视角技术可使用户在自己的AR终端中看到其他终端中的影像。而多个终端各自拥有不同的AR坐标系，空间状态同步可确保各个终端中的影像在世界坐标系中拥有相同的位置和状态，如图7所示。第三视角技术与多设备空间状态同步均通过空间坐标校准实现。

图8 空间状态同步示意

分别使用2种方案来完成不同设备间的空间坐标校准：① 通过ARFoundation中的图像识别定位功能进行非HoloLens2设备间的空间坐标校准；② 通过空间锚点进行HoloLens2之间或HoloLens2与其他设备间的空间坐标校准。

在ARFoundation平台中调用AR Tracked Image Manager脚本，多个设备同时扫描基准图片即可完成多设备的坐标系统一，如图9所示。

图9 多设备坐标系统一方法

ARFoundation不支持HoloLens2开发，故将空间锚点作为HoloLens2的空间坐标校准解决方案。在Unity3D中编写C#程序，调用UnityEngine中的WorldAnchorTransferBatch API在场景中挂载空间锚点，HoloLens2读取锚点数据即可完成同步。

2.4 多终端远程AR视频会议

综采工作面往往长达数百米，开采过程中如需分享自己当前所在位置工况，或需要专家进行远程协助以解决专业问题时，为了提高生产效率，异地间远程协作也十分必要。

AR技术可利用其虚实融合的特性提升传达的信息量，提高远程交流效率。Vorraber等将HoloLens作为远程维护过程中的辅助工具，这种口头与视觉同步交流的远程指导方式可以更快地解决问题。

通过构建可用于远程监控、远程指示等协同工作的多终端远程AR视频会议功能，任一与会者只需一台AR设备即可在系统中观看其余与会者所持设备拍摄的实时视频画面，把握远程异地工作人员的周边工况，并可在视频画面中进行2.2节中所述全息标注，实现远程协作与指导。该系统发挥了直播视频的即时性与AR全息影像的可视化指导作用，使得远程异地间的交流更加有效。

其中，多终端间的视频通话是通过以下方法实现的：在Unity3D中使用WebRTC完成音视频通讯服务器原型搭建。利用Instance.GetAudio()与Instance.GetVideo()语句捕获声音与视频画面，利用GetPbAudioPacket()与GetPbVideoPacket()语句提取数据。Serialize()与SendDataByYourNet-work()语句将音视频数据序列化并上传至云服务器；GetDataByYourNetwork()与Deserialize()语句从云服务器读取音视频数据并反序列化。最后将数据解码还原为音视频讯息。

3 基于计算机视觉的综采工作面AR识别跟踪技术

目标识别跟踪是AR的核心技术之一，也是联系虚拟与真实世界的基础环节。综采工作面区域广、装备多，实现对综采装备的监控必须以准确区分目标对象为前提。针对综采工作面的特点，采取了基于AR标识与稀疏匹配融合的目标识别跟踪方法，实现对综采装备的识别跟踪。

3.1 基于稀疏匹配的综采装备识别跟踪

基于自然特征的目标识别跟踪是利用预先从对象的外观中提取的自然特征数据与对象的特征数据进行匹配，从而确定对象的识别跟踪方法。而稀疏匹配是基于自然特征的目标识别中的一种基于特征点的方法，它无需找到图像中每个像素的对应关系，只需寻找为数不多但足以表征目标物体的显著特征点。

采煤机、刮板输送机、液压支架等综采装备形态各异，彼此之间外观差异显著，自然特征较为明显，特征点丢失的概率极低，故采用稀疏匹配的方式对其进行区分。

基于稀疏匹配的目标识别跟踪流程如图10所示，包括预处理和识别处理两部分。在预处理阶段中，首先从拍摄目标物体所得二维图像或三维点云中提取特征点，计算用于特征点匹配的特征点描述符，再计算特征点三维坐标，建立世界坐标系中包含特征量与三维坐标信息的特征点数据库。在识别处理阶段中，同样需要经过特征点提取与描述符计算，之后将计算得到的描述符与数据库中的预处理描述符进行比对，完成匹配，并且能够计算出世界坐标系中摄像头的位姿。

图10 稀疏匹配识别跟踪流程

..基于HoloLens2与Azure Kinect DK的综采装备三维点云获取

综采装备三维点云的获取分为3个步骤：定位扫描、修补扫描及点云注册融合，具体步骤如下，流程如图11所示。

图11 综采装备三维点云获取流程

(1)定位扫描阶段，在Unity3D中利用C#脚本和MRTK工具编写三维重建程序。使用HoloLens2运行程序，利用SpatialAwareness功能对综采装备进行扫描与重建。重建完成后，经pcl处理将三维模型转化为三维点云。

(2)修补扫描阶段，在液压支架群中第5(=1，2，3，……)台支架顶梁下架设多台Azure Kinect DK设备，在控制台中利用k4ARecorder工具进行RGB-D视频流录制。提取视频中关键帧，得到RGB图像和深度图像组，并转化为点云坐标。

(3)点云注册融合，采用直通滤波算法对两阶段获取的点云进行处理，去除多余点，得到综采装备初步三维点云模型。将两阶段点云进行配准，先采用SAC-IA算法进行粗配准，再用ICP算法进行精配准，逐步拼接完善综采装备点云模型。

HoloLens2重建范围广，覆盖区域大，可精确反映单台综采装备在装备群中的位置；而Azure Kinect DK得到的RGB图像+深度图像组转换为三维点云后密度较高，可较真实地反映形状特征；以定位扫描阶段点云为基准，修补扫描阶段点云为补充，可得到定位较准确、精细度较高且外观较真实的综采装备点云，图12为用本方法获取的实验室成套综采装备点云。

图12 综采装备三维点云

..综采装备三维点云特征点提取

综采装备三维点云是一个包含无数综采装备表面点的稠密点集，想要提高识别跟踪的准确性，就要提取三维点云中的特征点。选取综采装备点云中的角点作为特征点，所谓角点，是指同时具有如下特征的点：① 物体轮廓过渡处的交点；② 对于同一物体，即使观看视角变化，仍然具备稳定不变的特征；③ 该点附近区域的点在梯度方向与梯度幅值上均存在较大变化。

采取Harris算法对综采装备点云中的角点进行提取。Harris算法对物体姿态变化鲁棒性好，对旋转不敏感，检测精度较高。其主要原理为点云的局部自相关性：以点云中每一点为中心，取一个窗口，描述每点点周围的环境。如果把某点的窗口向任意一方向移动都会产生较大的窗口变化，则该点会被提取为角点。描述局部本征值变化程度的函数为

(12)

式中，和分别为和方向平移量；为本征值强度，范围为0～255；(，)为高斯窗口函数。

根据泰勒级数计算1～阶的偏导数，最终得到Harris矩阵公式：

(13)

式中，与为在和方向上的偏导数。

根据Harris矩阵计算矩阵特征值与，然后计算Harris角点响应值：

(14)

式中，为系数，通常取0.04～0.06；trace为矩阵的迹；det为矩阵的行列式。

当为局部最大时，该点即为角点，以液压支架单机为示意，提取到的角点如图13所示。

图13 Harris算法获取的液压支架角点

..特征点描述符创建与匹配

描述符是将特征点与目标对象进行匹配的一种数据结构，理想状态下，目标对象的每一点都应具有独一无二的描述符。选定综采装备三维点云特征点后，需要计算特征点描述符。

采用尺度不变特征变换(SIFT)算法计算SIFT特征向量算子作为综采装备特征点描述符，该算法生成描述符的步骤如下，生成过程如图14所示。

图14 SIFT算法生成描述符过程

(1)以Harris算法提取的特征点为圆心，以1.5为领域半径，取8×8图像块为采样窗口，其中为DOG检测算子中得到的尺度因子。

(2)将8×8采样窗口划分为4个4×4区域，每个区域内有8个像素点，建立带有像素点梯度向量幅度与梯度朝向的直方图。

(3)上述步骤得到一个2×2×8=32维的特征向量，这一特征向量便是标准SIFT特征向量算子。

描述符匹配本质上是最近邻搜索问题。综采装备结构复杂，包含描述符数量较多，若以穷举搜索的方式进行检索会带来较大的时间延迟，故采用启发式搜索算法K-D Tree对综采装备描述符进行检索，该算法可在对数时间上检索，大大提升效率，但算法本身缺陷可能导致部分匹配特征丢失。故在其基础上引入Spill Tree算法，使多个K-D Tree重叠，降低特征丢失概率。

根据描述符匹配结果，将识别处理阶段中提取的特征点的描述符与数据库中描述符实现配对，即可完成对综采装备的识别跟踪。

3.2 基于AR标识的液压支架群识别跟踪

综采装备的外观差异使得基于自然特征的识别跟踪方法对其有出色的适用性，然而对于液压支架群，其中每一台液压支架都具有相似甚至相同的外观，即自然特征类似，难以通过自然特征被区别。针对这一问题，采用基于AR标识的识别跟踪方法，以区分支架群中不同液压支架。

采用Vuforia的Vumark作为AR标识。一个完整的Vumark由轮廓线、边线、图像编码、空白区域与背景5部分构成，如图15所示。

图15 Vumark标识组成部分

其中轮廓线是算法最先识别的部分，存在轮廓线时才能继续识别图像编码。图像编码是储存Vumark信息的区域，通过不同的图形组合储存不同的信息。通过Vumark实现对液压支架群识别跟踪的步骤如下：

(1)制作与液压支架群中液压支架数目相同的Vumark，其中每一个Vumark的图像编码对应液压支架群中一台液压支架的ID。

(2)将制作完毕的Vumark上传至云服务器的AR标识数据库中。

(3)将制作完毕的Vumark打印并粘贴到每台液压支架易于观察的位置。

(4)在AR设备检测到Vumark时，则会将其与数据库中的Vumark进行匹配，从而获取对应的液压支架ID。

通过基于稀疏匹配的识别跟踪方法区分综采三机，通过基于AR标识的识别跟踪方法区分液压支架群中不同支架，2种方法相结合，可实现对综采装备的完全识别跟踪。

4 数字孪生综采工作面AR/VR融合闭环监控技术

近年来，数字孪生技术日趋成为智能制造的源动力之一。相关学者提出一种基于数字孪生的综采工作面生产系统设计与运行模式，并提出一种基于数字孪生理论的液压支架虚拟监测方法。ZHU等将AR技术与数字孪生结合，开发了一种可视化数控铣床数字孪生AR应用程序。

基于配置有多传感器的物理综采装备+云服务器+AR数字综采装备的数据传输链，搭建了虚实融合数字孪生数据通道，架构如图16所示，AR/VR融合闭环监控即在该通道下实现。

图16 “虚实融合”数字孪生数据通道架构

4.1 视觉与多传感器融合的数字孪生综采工作面虚拟监测

笔者探索了一种计算机视觉与多传感器融合的综采装备位姿测量方法，从视觉与传感器2个渠道获取综采装备实时位姿数据，增加了数据来源。

监测逻辑与图16中①②③路径对应。物理综采装备可将其上布置的多传感器实时参数上传至云服务器，AR设备可从云服务器中读取数据并与其获取的视觉数据融合，驱动数字综采工作面同步运行，实现“物理→数字”的可视化正向监测。

..多传感器综采装备位姿测量

为满足监测需求，在采煤机与液压支架关键部位安装了相应的传感器以获得综采装备位姿信息，如图17所示。

图17 综采装备多传感器配置

(1)采煤机摇臂安装倾角传感器，牵引部安装轴编码器，机身安装惯导系统。将惯导系统与轴编码器进行采煤机复合定位。采煤机机身工作姿态可由惯导系统获得，摇臂倾角可由倾角传感器获得。

(2)需实时测量的液压支架参数包括底座姿态、支架高度、顶梁倾角和护帮板倾角。倾角传感器可以获得相应倾角。将倾角与液压支架结构件长度结合，可计算出支架高度。

(3)由于布置较为困难，且可靠性较低，故刮板输送机上一般不布置传感器，而是根据采煤机与刮板输送机的连接运行关系解算刮板输送机的实时三维形态。

(4)采煤机与液压支架群通过通信线与PLC控制箱相连，PLC控制箱通过无线通信模块将多传感器获取的综采装备位姿数据上传至云处理器模块以供后续分析处理。

理论上，传感器数目越多，对综采工作面状态感知越精确。然而在实际井下，盲目增加传感器会极大增加运行和维护成本，降低系统可靠性。因此，传感器的数目往往十分有限。此外，传感器存在自身基本测量误差，外界干扰、测量方法等也会带来一定的系统误差。如在使用传感器对刮板输送机轨迹进行三维形态反演时，测量结果与实际轨迹存在一定偏差。

..计算机视觉综采装备位姿测量

针对传感器的局限性，以AR设备为工具从视觉的角度对综采装备绝对与相对位姿进行无接触测量，不会对综采工作面的运行造成影响。

(1)基于空间锚点坐标的综采装备位姿测量。

如2.2.2节中所述，AR设备可在三维物体表面生成三角网格并添加碰撞体。这可确保锚点放置于物体表面，避免视觉偏差引起的测量误差。

通过手势交互在物体表面放置锚点，通过gameObject.transform.position语句获取锚点三维坐标。通过计算两锚点间距离或坐标差值获取液压支架支护高度、采煤机采高等与长度相关的参数；通过向量运算可获取与角度相关的位姿参数，如液压支架护帮板倾角、立柱与顶梁和底座的夹角等。

以液压支架支护高度为例对基于空间锚点坐标的位姿测量方法进行验证，如图18所示。

图18 空间锚点测量液压支架支护高度

在液压支架群中任选一台支架，使用卷尺手动测量支护高度。保持其他条件不变测量5次，平均测量值为2.84 m。使用HoloLens2分别在支架最高点与地面放置两锚点，对支护高度进行测量。保持锚点放置位置不变，改变测量者站立位置，在5个不同位置各测一次，平均测量值为2.791 m。测量结果见表1，根据两方法的平均测量值，基于空间锚点坐标的综采装备位姿测量方法相对于手动测量方法相对误差为1.74%，精度较可观。

表1 手动测量与空间锚点测量结果对比

(2)基于特征点匹配的综采装备位姿测量。

空间锚点测量原理简单，操作便捷，但存在一个缺陷：测量时需手动选取锚点，若装备处于运动中，该方法获取的是锚点选取时刻而非计算时刻的位姿信息，在时间上产生了一定的迟滞，适合对在一定时间内不发生变化的位姿特征进行监测。

为提高监测的实时性，引入基于特征点匹配的测量方法。该方法是在3.1节中基于稀疏匹配的综采装备识别跟踪的基础上实现的。云服务器数据库中存有综采装备初始状态的完整特征点与描述符，AR设备可提取特征点、计算描述符，与数据库中描述符进行匹配，计算该描述符与初始描述符的相对位姿，并与初始状态下的绝对位姿叠加，即为该时刻描述符的位姿，也即描述符所在装备的位姿。

以液压支架护帮板倾角为例对该方法进行检验。选取实验室6台液压支架，利用倾角传感器将其护帮板调整到不同的角度。将倾角传感器测量值与基于特征点匹配方法的测量值进行对比，结果如表2与图19所示。试验数据表明，6组平均误差为1.551%，能够满足精度要求。

表2 传感器与特征点匹配监测结果对比

图19 传感器与特征点匹配监测结果对比

同理，综采装备间相对位姿关系也可通过当前两描述符相对位姿与数据库中初始两描述符相对位姿相对比计算而来。得益于特征点匹配的实时性，该方法可实时不间断地对综采工作面进行监测。

..视觉与多传感器融合的综采装备位姿确定

“视觉与多传感器融合”在此是广义的，即并非通过某种单一固定的方式对视觉与多传感器数据进行组合运算，而是针对不同综采装备的不同位姿参数具体分析，采取不同的融合方式。以下对各综采装备及其之间的位姿确定方式分别展开叙述。

(1)采煤机位姿确定。

将惯导系统+轴编码器复合定位结果与视觉测量结果采用支持向量机(SVM)进行多源数据融合，得到误差较低的位置测量结果；将惯导系统、倾角传感器测量数据分别与视觉测量数据进行多源数据融合，生成最终的机身工作姿态以及摇臂姿态倾角测量结果。

(2)刮板输送机位姿确定。

将基于采煤机运行轨迹的刮板输送机形态解算结果与视觉测量结果进行SVM多源数据融合生成最终的工作姿态测量结果；由于无法通过传感器获取刮板输送机的位置信息，故单独采用视觉方法确定刮板输送机各中部槽位置。

(3)液压支架位姿确定。

将视觉测量数据作为液压支架实时位置测量结果；将倾角传感器测量数据与视觉测量数据进行SVM多源数据融合生成最终的支架各部件姿态测量结果。其中护帮板一般不布置倾角传感器，故以视觉测量数据为最终结果。

(4)综采装备间相对位姿确定。

传感器通常只能反映单台综采装备的位姿信息，难以获取多台综采装备间的相对位姿关系，限制了对综采工作面运行状态的整体把握，故单独采用视觉测量结果确定综采装备间相对位姿。

..综采工作面虚拟监测结果可视化

上文所述视觉与多传感器融合的综采装备位姿测量方法可获取大量绝对与相对位姿数据。但获取位姿数据的根本目的是将原始数据通过一定的模型转化为易于理解与接受的信息，达成对综采工作面运行状态的直观把握。

完成了监测数据的分析与处理，最终将监测结果可视化，包含2个部分：位姿与状态信息可视化、数字孪生工作面三维可视化。

(1)位姿与状态信息可视化。① 对于综采装备绝对位姿，使用AR设备识别综采装备，设定On Target Found()语句对应的事件为从云服务器接收该综采装备的状态数据，通过UGUI选择想要监测的综采装备，即可在AR设备中进行显示；② 对于综采装备间相对位姿，不在AR设备中直接显示数据，而是与云服务器中的数据库比对，进行模式识别。以液压支架群为例，数据库中储存了理想支护状态及异常支护状态的数据集，系统会将当前监测到的相对位姿数据与数据集进行匹配，确定支架的支护状态并显示。

(2)数字孪生工作面三维可视化。数字孪生工作面是基于综采装备以及煤层地质VR虚拟数字模型构建技术完成的。① 利用CAD三维精细化建模技术建立综采三机以及煤层地质数字孪生体，并上传至云服务器中。可从云服务器中对数字孪生体进行调用，将其部署至AR设备；② AR设备可从云服务器中读取视觉与多传感器融合的位姿信息，将其接入数字孪生综采工作面，驱动其与物理综采工作面同步运行，完成对工作面的AR可视化监测；③ 同时使用AR与VR两种技术，发挥各自所长，可兼顾综采工作面的局部与整体，使监测体系得到扩充。

4.2 数字孪生综采工作面AR反向控制

反向控制是数字孪生的高级阶段，只有实现反向控制，才能形成完整的数字孪生闭环。AR反向控制从数据流向看与虚拟监测互逆，对应图16中④⑤两路径。数字工作面的数据变化可由物理工作面控制系统接收并驱动工作面产生动作。数据的分析与处理在云服务器中完成。具体实现原理如下：

(1)可在AR设备中通过UGUI、自然手势、语音、凝视等AR交互手段对数字综采装备进行操控，并将操控过程中数字综采装备的位姿状态实时上传至云服务器。

(2)物理综采装备从云端读取AR设备上传的位姿数据，并发送至采煤机控制系统与液压支架电液控系统，驱动物理综采装备与数字综采装备同步动作，实现“数字→物理”远程反向控制。

其中基于UGUI的交互与在集控中心进行控制类似，通过按下AR设备中的UGUI按钮可远程实现采煤机牵引启停、左右牵引、牵引加减速、左右摇臂升降、急停、截割启动，液压支架升降柱、推溜、移架等操作。

基于自然手势的交互是AR特有的交互手段，例如在数字工作面中握持液压支架立柱进行升降柱、抓取采煤机摇臂进行调高等。对采煤机进行运动学分析求解并运用D-H建模方法对液压支架进行逆运动学解析，将解析结果以脚本的形式编入数字综采装备，使得在应用自然手势交互时，综采装备的运动符合其运动学规律。

5 试验验证

在实验室环境下搭建了煤矿综采成套试验系统与综采工作面比例试验台，煤矿综采成套试验系统如图11(a)所示，综采工作面比例试验台如图20所示。2套试验系统均按照4.1.1节所述方式布置了传感器，且分别连接具有Wifi通信模块的PLC控制箱和Arduino单片机，用于收发数据。依据本文提出的关键技术，使用Unity3D引擎开发了AR/VR融合驱动的综采工作面智能监控应用程序，并集成了同地AR无缝协作与远程AR视频会议功能。将应用程序部署至各平台，并以HoloLens2为主要终端，在通用高效可扩展云协同异步网络框架下进行测试。

图20 综采工作面比例试验台

5.1 同地AR无缝协作与远程AR视频会议功能测试

..同地AR无缝协作功能测试

采用一台HoloLens2头显、一台平板电脑及一部手机作为同地AR无缝协作的3个终端，输入云服务器IP地址接入网络，完成终端连接。

在完成空间坐标校准后，任一终端可在模型选择界面中选择所需的数字综采装备应用到场景中，其余终端可在真实世界中同一位置观察到数字综采装备，且任一终端均可对数字综采装备进行交互，如图21所示。

图21 同地AR无缝协作功能测试

经试验验证，该功能易于操作，交互性强，空间中同一AR影像在不同终端中定位误差在2 cm内，可用于智能监测控制过程中的同地交流协作。

..远程AR视频会议功能测试

在煤矿综采成套试验系统中测试远程视频通话效果，并将平板电脑作为发送端，HoloLens2作为接收端对全息辅助标注进行测试。

两终端连接到服务器后，任一方点击对方用户名即可进行视频通话呼叫。通话过程中，接收端HoloLens2朝向液压支架，发送端在接收到的视频画面中对支架立柱进行标注并辅以语音讲解，接收端HoloLens2中可看到发送端做出的全息标注。测试过程如图22所示。

图22 空间全息标注远程专家实时辅助指导系统测试

经测试，视频通话过程中画面全程流畅，帧率较高，延迟较低且标注误差较小，可用于智能监测控制过程中的远程交流协作。

5.2 综采工作面AR识别跟踪与虚实映射智能监控测试

由于基于计算机视觉的综采工作面AR识别跟踪是后续监控的前提，若无法完成识别跟踪就无法完成监控，故只需对监测控制功能进行测试，便可同时证明识别跟踪的有效性。

..综采工作面智能虚拟监测测试

(1)在综采工作面比例试验台对状态监测信息的可视化进行测试。佩戴HoloLens2对试验台进行观察，应用程序可综合传感器与视觉信息将综采装备运行状态直观显示在用户界面，如图23所示。

图23 液压支架异常支护状态监测

经测试，应用程序能够完成对综采装备的状态识别，对液压支架群的咬架、挤架2种异常支护状态做出了判断。

(2)在煤矿综采成套试验系统、云服务器、数字工作面3者的数字孪生闭环中对监测效果进行测试。为使测试效果更直观，将数字工作面部署在物理工作面附近，可通过HoloLens2同时观察到两者，如图24(a)所示。

在煤矿综采成套试验系统运行过程中用户可对数字工作面运行情况进行观察，并在监测界面上获取位姿信息，如图24(b)所示。

图24 AR监测效果验证

测试结果表明，监测过程体现了虚实融合的特性，具有高度的真实性与沉浸感，且数字工作面的动作与真实物理工作面同步，无明显延迟。

..综采工作面AR智能控制测试

(1)在实验室环境下，使用AR全息UGUI对煤矿综采成套试验系统进行反向控制，顺利完成了液压支架升降柱、推溜、移架以及采煤机摇臂调高等操作。

试验表明，AR全息UGUI界面直观，操作逻辑简单，操控效果与集控中心相同，且在灵活性上远胜于集控中心，可实现随时随地远程反向控制。

(2)使用自然手势对综采工作面比例试验台进行反向控制，将液压支架数字孪生体叠加至试验台，抓取数字液压支架立柱并移动，成功驱动液压支架完成升降柱，如图25所示。

图25 通过自然手势控制液压支架单机

经试验验证，该控制方式能够遵循运动约束控制综采装备单机，交互方式自然，学习成本低，是一种更符合用户心理的控制方式。

6 应用分析

6.1 应用现状

在5G技术全面研发应用的大背景下，煤矿企业对于利用VR技术构建数字孪生综采工作面需求旺盛。目前，本课题组VR虚拟监控技术已在神东矿区某煤矿等取得实际应用，在生产调度中心完成综采工作面三维可视化监控(图26)，应用效果获得煤矿企业的充分认可，显著提升了煤矿安全高效生产水平。

图26 综采工作面VR监控井下实际应用

而AR监控井下应用的主要问题为：市面上还没有符合井下防爆安全标准的AR设备，无法达到下井要求。因此在实际综采工作面环境下完成对AR/VR融合监控验证试验的条件尚不成熟。未来希望通过产学研合作与协同攻关方式，设计可为AR设备提供防爆功能的装置及结构，力求尽快使AR设备达到安全要求并实现井下应用。

6.2 应用展望

5G技术能够很好地满足云端实时渲染和虚实融合操控等需求，有助于AR技术走上发展的快车道。5G网络大带宽、高速率、低时延、广连接的特点为AR/VR技术重新定义煤矿生产的协同交互创造了天然条件。结合煤矿井下综采工作面实际需求，提出以下几种典型应用场景：

(1)井上井下协同巡检运维。综采装备的智能化程度越来越高，系统也愈加复杂，综采过程中的巡检运维往往需要多人协作或由远程专家协助完成。AR/VR融合驱动的综采工作面智能监控集成了PC端VR与移动端便携式Web AR/VR，具有完成井上井下协同互动式巡检运维的能力，为综采工作面安全高效开采提供了有力支撑。

(2)综采远程可视化实时监控。实时性监控是智能化综采的卡脖子难题，而在5G技术高速率、低时延特性的加持下，AR/VR融合驱动的综采工作面远程检测与控制可兼顾控制的可视化与实时性，从综采工作面整体与局部实现与井下工况的无缝对接，为远程实时可视化操控提供指导，进一步完善综采工作面智能监控体系。

(3)透明化工作面智能开采。AR设备可将扫描、视频数据充分融入综采工作面智能开采过程中，加强环境感知与信息集成。AI+AR/VR深度融合的发展趋势助力了复杂生产环境下的智能分析与决策。随着多种异构物联设备的不断接入，AR/VR融合驱动的综采工作面智能监控能够和巡检机器人、采矿机器人等形成一个协同运行的智能开采大系统，为实现透明化综采工作面开采奠定坚实基础。

7 结 论

(1)通用高效可扩展端云协同异步网络框架下的综采工作面多监控终端协同工作技术，可以创造一个可供多人、多终端协作共享的基础环境，在此环境下可有效提高综采工作面智能监控效率。

(2)计算机视觉的引入可以实现对全综采装备的高效稳定识别，为综采工作面虚拟监测增加了另一重要数据来源，提高了监测的准确性、有效性与稳定性。

(3)AR技术以其虚实融合、环境感知能力强的特点，巧妙弥补了VR监控的不足。集成AR与VR技术的优势，发挥两者所长，可形成兼顾综采工作面局部与整体、虚实融合的全时空综合监控技术架构，完善了综采工作面智能监控体系。

(4)使用AR人机交互方式对综采工作面进行反向控制，在实现传统控制功能的基础上可提高控制系统的集成性，降低学习成本与操作难度，是一种契合人机工程学基本思想的控制方式。

(5)在合理设计具备防爆功能的矿井用AR/VR穿戴设备前提下，AR/VR技术有望在5G技术加持下实现井上井下协同巡检运维、综采远程可视化实时监控、透明化工作面智能开采等井下实际应用，敦促煤炭行业生产模式的变革。