基于5G+AR技术的智慧矿井巡检方案设计

王 萌

联通（江苏）产业互联网有限公司

0 引言

我国煤炭资源赋存条件复杂，瓦斯、火、煤尘等自然灾害严重，煤矿进入深部开采时，高应力、高地温、高岩溶水压问题日趋突出，煤岩极易大规模失稳，灾害形式由单一灾害转变为多种灾害耦合。目前针对矿井巡检，巡检人员多配备多种气体检测仪以及手机等装备，数据多为手工记录，操作繁琐且数据精度不高，实时性较差，可视化程度较低，无法对矿井面临的灾害进行预警，巡检人员生命安全同样容易受到威胁。

目前，我国一些煤矿正在开展智能化建设工作。相关文献讨论了无线传感器网络在煤矿井下环境参数，如矿井瓦斯、温湿度、粉尘、火灾、顶板塌落监测中的应用。提出了基于MSP430和ZigBee设备设计的一套可通过无线传感网络进行液压支架压力监测的微型监测系统。针对煤矿井下设备群同时作业时设备监测数据高并发导致的低传输效率问题，提出了一种煤矿设备状态监测系统设计方案。提出了基于“互联网+”的远程互联优势开发的具有远程诊断和预警的煤矿水文监测系统，系统实现了钻孔水压、管道流量、矿井水质等水文参数的井地一体化监测。现有的方案设计多着眼于煤矿环境的异常监测，对于工作人员日常的井下巡检和发生异常后故障的处理修复尚没有完善的技术手段。

因此，本文提出一种基于5G+AR技术的智慧矿井巡检方案，利用5G网络特性以及AR（Augmented Reality，增强现实）系统，实时收集矿井现场数据，在平台侧对多源数据进行融合，并与AR眼镜进行结合，对数据进行可视化展示，且对设备常规操作流程进行三维展示，解放运维人员双手，辅助运维人员对矿井进行日常巡检。在遇到矿井应急抢修时，通过拍照摄像和语音通话功能，与后台技术人员对隐患点和故障点进行交互，提高矿井巡检和生产效率，实现矿井巡检智能化。

1 基于5G+AR技术的矿井智能巡检

1.1 应用架构

2019年11月，工信部印发《“5G+工业互联网”512工程推进方案》。2020年3月工信部再次印发《关于推动工业互联网加快发展的通知》，打造5个产业公共服务平台，遴选10个重点行业，形成至少20大典型工业应用场景。其中，电子设备制造、装备制造、钢铁、采矿、电力5个行业率先发展，助力企业降本提质和安全生产。因此，本文以5G+工业互联网出发，提出一种基于5G+AR技术的智慧矿井巡检方案的应用架构，如图1所示。

图1 基于5G+AR技术的智慧矿井巡检方案的应用架构

应用架构的最底层是由多种传感器构成的数据感知层。甲烷传感器、温度传感器、声音传感器、煤雾传感器用于收集井下环境数据；双目视觉传感器由3D成像单元和运动路径规划单元组成，复原井下环境的3D立体信息，在无GPS（Global Positioning System，全球定位系统）的环境下提供高精度定位功能。数据感知层的作用是采集数据，把气体浓度、温度、声音、3D环境建模等实际的量转换成数字信号供后续处理。通过5G网络将数据感知层的数据传输到平台层，平台层负责数据汇集与处理，是应用层的有力支撑。

AR可视化平台具备工业级实时渲染引擎，支持高质量数字模型的可视化渲染方式，适配AR眼镜等显示设备，同时支持5G及云应用。物联网平台将通过5G网络上传的各类传感器与井下设备收集到的数据进行分析、判断、处理、整合，提供矿井环境及设备运行的实时在线监测及故障告警等功能。同步定位与地图构建技术（Simultaneous Localization And Mapping，SLAM）被较多应用在机器人技术中，其工作原理是利用传感器数据在未知环境中建立实时定位和环境地图。多年来，出现了多种使用不同传感器的新方法，如声呐，激光雷达和摄像机。在该井下巡检方案中，采用在AR眼镜上安装摄像头的设计方式，基于SLAM场景定位服务来获取周围环境信息，从而为工作人员指引标准巡检或直达故障地点的路线。

基于数据感知、多平台的能力底座，打造矿井智能巡检方案的三大应用模块，实时监测系统通过监测、比对、分析各类传感器与井下设备收集到的数据，如有超出正常范围的情况，将发出告警信息到中控室，同时生成任务单推送到井下巡检系统。井下巡检系统分为日常巡检和应急抢修两种工作模式，日常巡检重点在AR眼镜上展示巡检人员周边设备及环境状态数据，应急抢修侧重利用专家远程指导系统与技术人员的沟通协作及信息交互。

1.2 5G技术与矿井巡检场景的结合

目前多数矿井下的数据实时性差，巡检人员无法实时获得巡检标准信息，更难定位故障，管理部门无法及时得到巡检的统计分析结果，不能保证管理的准确性和连贯性，且受限于网络通信技术及终端装备技术，专家无法为现场作业人员提供技术支撑。

在智慧矿井巡检场景下，对通信方式所能达到的数据传输量以及时延程度要求很高。Wi-Fi等无线通信技术虽在日常生活中被广泛应用，但因为传输距离短、穿透性差、不稳定等问题，不适用于矿井作业环境。此处选取4G、5G这两种常见的无线传输方式从传输速率、时延、连接密度等多个角度进行对比，如表1所示。

表1 4G/5G能力对比

由此可以看出5G网络在高带宽、低时延、广连接等方面的优势，适合用于智慧矿井巡检等场景。在高带宽特性方面，依赖其10Gbps以上的传输速率，5G网络可为现场环境3D建模、云渲染等应用提供基础支撑；在低时延特性应用方面，依赖其近1ms的超低时延，5G网络能够为实现巡检人员与专家远程音视频连线、实时获取设备的运行状态数据和周边环境数据等，对时延要求高的功能模块提供支撑。在广连接特性方面，依赖其每平方公里百万级的并发接入能力，5G网络可广泛覆盖井下大量的传感器及设备，助力实现全面的数据感知。

因此，5G无线通信技术契合当今矿区对于数据传输及处理技术的需求，能够良好解决常规有线网络遇到的问题。

1.3 AR技术在矿井巡检场景下的应用

增强现实技术，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术。它以交互性和构想为基本特征进行计算机高级人机交互。AR不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加，包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及场景融合等新技术与新手段。利用AR设备，施工人员可以把真实画面与电脑标准图形、信息、数据多重合成在一起，便可进行实时比对和判断，对生产制造过程进行监控。但因AR技术需要实时进行视频交互，其时延要求低至19.3ms，同时对井下环境通过AR眼镜进行3D建模、云渲染，对于数据计算和传输带宽要求每秒10Gbps，5G网络为AR眼镜功能的实现提供了网络基础支撑，因此本次采用5G+AR技术，辅助巡检人员便捷、高效、安全地进行井下巡查和设备故障维修工作。

目前AR系统主要通过AR眼镜设备实现，AR眼镜以佩戴者第一视角进行交互，将虚拟信息以及真实世界信息展示在佩戴者的视场中，为佩戴者提供增强现实的感官体验。其主要包括现场信息数据采集、AR算法处理实现虚实结合以及信息输出这三部分，图2为AR眼镜工作原理框架图。

图2 AR眼镜工作原理

AR智能眼镜通过摄像头、传感器等设备，对真实世界信息进行实时感知、采集，同时构建虚拟场景信息，并传输到眼镜的芯片中，再通过跟踪定位技术和场景渲染等运算，将虚拟影像信息叠加到真实场景信息上，最后通过显示输出设备进行场景的呈现。图像的位置和角度能够随着佩戴者的视线而变化，可以通过手势、语音等进行交互，感受沉浸式视觉体验。

2 基于5G+AR技术巡检技术的应用

2.1 5G组网方案

5G组网方案的目标是搭建能够实现智慧矿井巡检的专用网络，支持AR眼镜设备的大数据传输，和甲烷传感器、温度传感器等物联网设备的智能互联。系统总体架构如图3所示。

图3 煤矿5G专网组网方案

5G系统采用矿用5G核心网，所有应用及控制面信息直接在煤矿园区内闭环，保障数据不出煤矿园区。与运营商大网连接，保证与外网语音和数据的互联互通。

在百余米深的矿井下覆盖5G网络施工难度和强度非常大，井下粉尘、阴暗、潮湿、噪音等都是影响施工进程的因素，且施工人员必须穿着厚重的防护服、戴着矿灯、携带特殊装置等，这些都会增加施工难度。另外矿井下由于粉尘密集、可燃性物质多，严禁架设功率较大的通讯设备，所以对于井下布放的通信设备的标准十分严苛。

井下建设5G网络采用定向天线覆盖；巷道交错区域，在交叉路口设立一个分站，并采用多个天线进行分别覆盖；井下硐室区域采用室内部署基站的方式覆盖；矿用基站控制器放置在变电所等空间足够的区域。所有基站的供电采用独立的UPS供电方式，每套设备配置一台UPS电源就近接入。

井下5G网络建设用到的主要设备有矿用隔爆兼本安型无线基站、内置BBU或HUB设备的矿用隔爆型基站控制器。矿用隔爆兼本安型无线基站（RRU），支持4/5G无线基站模块、光/电及电/光转换器、混合电路等功能模块，支持现射频光信号和射频电信号之间的双向转换功能。内置BBU设备的矿用隔爆型基站控制器，实现井下5G无线基站的接入。内置设备集中管理整个基站系统，包括操作维护、信令处理和系统时钟；提供基站与传输网络的物理接口，完成信息交互；提供与OMC连接的维护通道；完成上、下行数据基带处理功能；提供和环境监控设备的通信接口，接收和转发来自环境监控设备的信号，以及矿用隔爆兼本安型无线基站的上行数据的汇聚处理。内置HUB（远端汇聚单元）设备的矿用隔爆型基站控制器也用于实现井下5G无线基站的接入。内置设备作为远端汇聚单元，主要负责井下5G无线基站设备的接入，并将5G无线基站数据上传至矿用隔爆型基站控制器（内置BBU）设备。

2.2 5G+AR智慧矿井巡检

利用AR系统具有真实世界和虚拟世界信息的集成能力、实时交互性、能够在三维尺度空间中增添定位虚拟物体的三大特点，本次提出了一种基于5G+AR智慧矿井巡检方案，分为日常巡检和应急抢修两种工作模式。

针对日常巡检，巡检人员根据工作安排进行井下例行巡检，进入矿井环境后，佩戴的AR智能眼镜为其指引标准巡检路线，避免工作人员误入危险区域。当巡检人员处于井下设备附近指定的监测区域时，AR眼镜界面上将展示该设备的运行状态数据（设备型号、设备出产日期、运行时长、故障历史记录等）和周边环境状态数据（温度、湿度、甲烷浓度等），巡检人员根据工作经验分析AR眼镜中呈现出的数据，如有隐患可做到早发现早解决。

针对应急抢修，甲烷传感器、煤雾传感器、温度传感器、声音传感器等探测到的井下环境数据以及井下设备运行状况通过5G上传到实时监测系统，系统将其与预设指标进行比对，如有超出正常范围的情况，将发出告警信息到中控室，同时生成任务单推送到井下巡检系统。巡检人员下井后沿着AR眼镜上指引的路线到达故障发生地点，根据数据异常情况，分析故障来源并修理。如仍无法解决，可选择联系专家远程指导，实时音视频连线，让专家与巡检人员共享同一视角，便于其查看现场状况，另外专家可以在设备内部拆解的3D模型上标注涂鸦，帮助巡检人员定位故障点。

2.3 智慧矿井巡检测试应用

在矿井下巷道和综采工作面部署防爆5G基站设备，使得靠近基站区域上行速率提升20%-60%，偏远弱覆盖区域可提升最高300%。本文选择某检修场景对5G+AR技术进行测试验证。

图5 多方语音通话测试

图6 文字图片推送

图7 指示标记显示

图4-图9为测试图片，系统可运行在智能眼镜、智能手机、PC电脑等多终端设备多平台系统上进行可视化远程协助，远程专家可以与前端的工作人员进行多方实时语音通话，专家可以推送图片、文字消息到前端智能手机/AR眼镜的屏幕上，技术资料图片文档可以共享给前端工作人员进行查看，与前端工作人员协同工作。同时，技术专家在前端用户实时回传的视频画面上，使用鼠标点选指定位置或部件，即可将标记信息发送到前端智能眼镜屏幕同样位置上，使用这种清晰明确的交互方式，将有效提高前后方协调工作效率和沟通便捷性。

图4 AR眼镜跨平台展示

图8 桌面共享

图9 多方协同会商

此外，远程技术专家可以邀请其他专家加入视频会商，移动端的专家可在手机上观看现场视频，共同讨论解决方案，指导一线人员排除故障，使得一线人员无须过多操作，专心故障的排除而无须分心。

3 结束语

本文针对矿井巡检现状，打造了一套基于5G+AR的巡检系统，搭建了视频采集、智能分析、全面感知、设备健康管理以及VR高清直播等智慧应用，解放运维人员双手，并对现场情况进行可视化实时展示，进一步推进5G+智慧矿山建设，实现传统行业与新一代信息通信技术的融合创新。本文仅是将5G与AR技术进行融合提出的智慧巡检系统，未来将依托5G专网架构，实现煤炭生产业务的闭环，这样既可以实现数据安全的保密性要求，同时还可以提供煤矿生产所需的多种算力，这些智能化应用和煤炭的生产环节完全打通融合之后，智慧矿井时代将全面实现。