基于煤矿视频AI识别技术应用研究

杨传印

（山东煤炭工业信息计算中心，山东 济南 250031）

习近平总书记在主持中共中央政治局第三十四次集体学习时强调：“要推动数字经济和实体经济融合发展，把握数字化、网络化、智能化方向，要改进提高监管技术和手段，把监管和治理贯穿创新、生产、经营、投资全过程。”2017 年7 月，国务院印发《新一代人工智能发展规划》，提出人工智能作为新一轮产业变革的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量，并创造新的强大引擎，催生新技术、新产品、新产业、新业态、新模式，引发经济结构重大变革。2021 年6月，国家能源局、国家矿山安全监察局发布的《煤矿智能化建设指南（2021年版）》明确指出将人工智能、大数据、智能装备等与现代煤炭开发技术进行深入融合，形成全面感知、实时互联、分析决策、自主学习、动态预测、协同控制的智能系统，加速实现煤矿开拓、采掘（采剥）、运输、通风、洗选、安全保障、经营管理等全过程的智能化运行。

国家目前已陆续部署了智能制造等国家重点研发计划与重点专项，印发实施了“互联网+”人工智能三年行动实施方案，从科技研发、应用推广和产业发展等方面提出了一系列措施。经过多年的持续积累，我国在人工智能领域取得重要进展，部分领域核心关键技术实现重要突破。自适应自主学习、直觉感知、综合推理、混合智能和群体智能等逐步进入实际应用，人工智能创新创业日益活跃，一批龙头骨干企业加速成长。

随着国家对矿山特别是煤矿安全生产的日益重视，矿山企业对煤矿无人智能化成套技术与装备的需求保持快速增长势头。智能煤矿是人工智能的一个垂直应用领域，推动智能化技术与煤炭产业融合发展、提升煤矿智能化水平是智能煤矿建设必须遵循的指导思想。为此，通过加强煤矿视频AI（Artificial Intelligence，人工智能）技术及装备等基础设施建设规划与布局，研发低延时、高精度、广覆盖的智能安全监控系统及重大危险源智能预警防控平台，实现人、设备与环境的实时联通、精确识别、有效交互与智能控制，实现无人或者少人作业。充分发挥视频AI分析技术在重大灾害风险识别中的关键优势，实现对矿山关键地点、重点部位的重大风险的实时识别、监测和精准研判，利用信息化、智能化手段防范化解重大安全风险，已成为大势所趋、势在必行。

1 煤矿视频AI识别系统建设原则

1.1 安全性原则

煤矿视频AI识别应用建设应满足《煤矿安全规程》（2020年版）、《关于加快煤矿智能化发展的指导意见》（发改能源〔2020〕283号）、《煤矿智能化建设指南（2021年版）》（国能发煤炭规〔2021〕29 号）和《智能化煤矿（井工）分类、分级技术条件与评价》（T/CCS001-2020）等文件要求。

1.2 可靠性原则

煤矿视频AI识别装备应能在煤矿井下各类复杂环境下长时间稳定运行，需要满足采掘工作面、运输巷道、提升、各类硐室等环境对网络传输可靠性、带宽、实时性、运动帧速率等方面的要求。针对人员、设备与环境的智能视频智能识别率应大于90%，图像本地处理时延应≤200 ms。

1.3 实用性原则

煤矿视频AI分析装备应与现有的煤矿综合自动化系统、安全监控系统以及通信联络系统实现高度协同，充分利用已有煤矿信息化、自动化装备与系统，分析各个环节的智能化需求，有针对性地开发AI算法，针对具体场景制定各类AI智能化应用方案。

1.4 一矿一策原则

煤矿视频AI分析系统应结合各个煤矿安全、生产、运输环节具体情况，分类部署、分步实施，一矿一策、一场景一算法。

2 煤矿视频AI识别平台架构

智能矿山体系涵盖采、掘、运、洗、选等各个环节，采用信息感知、图像处理、模式识别、智能控制等技术手段，收集分析矿山生产、经营和管理的各种数据，实现矿山管理的数字化、可视化与智能化。在此过程中，煤矿数据从管理角度可分为生产与安全数据，从数据类型上又可分为视频数据、音频数据、物联数据等，其中利用视频AI技术对视频数据进行采集、传输、识别和分析处理对煤矿生产和安全的各个环节都有巨大的价值与意义。

2.1 典型平台组成

煤矿视频AI识别平台主要由前端视频AI识别分析系统、网络传输系统、后端管理系统等组成。

（1）前端视频智能识别分析系统。通过部署矿用本安型图像AI处理摄像仪、隔爆兼本安型边缘计算AI视频分析装置，就地实现数据采集、分析、存储与上传。实时对人员、机器、环境等监控视频进行智能分析与处理，并实现与煤矿通信联络系统、生产自动化系统、安全监控系统的联动与协同，从而提高煤矿安全管理水平和效率。

（2）网络传输系统。包括煤矿光纤工业环网+5G/WIFI高速传输网络，负责完成数据的传输与交换，结合矿山视频监控的实际需求，传输视频的集团级主干网络带宽应在万兆级，分公司汇聚层网络带宽在千兆级，矿区监控网络带宽在百兆级。各级平台的互联网服务质量等级需达到网络时延不大于150 ms、丢包率不大于1×10-3的要求。

（3）后端管理系统。由AI视频分析服务器、AI视频管理服务器、AI视频分析管理平台和事件资源库、业务应用等组成，负责实现对数据的汇聚、清洗、分析、存储和管理。其中AI视频分析管理平台通过搭建GPU集群，可对多路并发视频进行在线分析与处理。

2.2 平台建设基本要求

（1）前端图像AI处理摄像仪基本要求。摄像仪应具备双向音频对讲、本地视频分析和处理功能，图像本地处理时延应≤200 ms，应至少具有4个DI和4个DO干节点接口，镜头应具备2.8～12 mm自动变焦功能。

（2）隔爆兼本安型边缘计算AI视频分析装置基本要求。算力不小于8TOPS，图像本地处理时延应≤200 ms，应至少具有4个DI和4个DO干节点接口。

（3）边缘计算AI视频分析装置基本要求。应具有千兆网口接入，具有8路、16路和32路分析能力，应具有至少4TB存储能力。

（4）视频图像基本要求。图像画面应具有H.264和H.265的编解码能力，图像分辨率应≥1920×1080，低速AI摄像仪视频帧率应≥25 fps，高速AI摄像仪视频帧率应≥150 fps，摄像仪应具备自动调焦和对焦功能。

（5）传输网络基本要求。应支持光纤传输，最大传输距离应不低于20 km，100 M带宽；应支持双绞线传输，最大传输距离不低于2 km，10 M带宽；应支持WIFI传输，最大传输距离不低于500 m，2.4 G制式；网络传输应支持TCP/IP、RTSP、Websocket、HTTP等协议。

3 煤矿视频AI识别装备

3.1 煤矿视频AI识别装备现况

煤矿视频AI识别装备是各场景AI算法的载体，实时视频/图像信息通过AI视频智能识别装备的分析得到处理结果。视频AI识别装备主要可分为两个类型：

（1）前端识别分析设备，包括：图像AI处理摄像仪（矿用本安型高速AI摄像仪、矿用本安型低速AI摄像仪）、隔爆兼本安型边缘计算AI视频分析装置。

（2）后端识别与管理设备，包括：AI视频分析服务器、AI视频管理服务器、AI视频分析管理平台服务器等。图像AI处理摄像仪将智能分析结果和视频监控数据同步，可相对减少后端分析成本。AI视频分析服务器是一种后端智能识别方式，普通摄像仪采集视频信号，由后台进行存储，再通过AI视频分析服务器进行分析，将分析结果返送至存储设备中。对于已经安装过普通摄像仪且满足成像要求的基础上，可充分利用现有的普通图像采集终端，通过后端AI视频分析服务器来实现多个点位的实时智能分析，且服务器可放置于煤矿地面数据中心进行实时分析处理和显示。

目前从事AI人工智能技术开发和应用的企业多数以采用服务器中心分析为主，此种分析需要将视频传输到服务器端再进行分析得出结果，虽然可依靠集成大规模GPU芯片实现规模化的监控视频分析，但是对监控的网络带宽提出了很高的要求，一旦带宽受限，则分析的实时性、反馈的及时性都会下降。另一方面，通过后端服务器分析的方式在数据采集、传输、接收、分析、识别后的结果再发送到相应的子系统来进行联动控制会产生一定的响应延迟，对于一些要求实时响应的安全隐患则难以适用。因此，煤矿视频AI识别技术应用应优先选用矿用本安型AI摄像仪或隔爆兼本安型边缘计算AI视频分析装置，就地实现视频分析和处理。

3.2 煤矿视频AI识别装备功能要求

3.2.1 图像AI处理摄像仪

基于AI人工智能技术和边缘计算的矿用本安型AI摄像仪，自带智能分析模块，可实时对各种安全隐患进行分析和识别。

功能要求：

（1）实时分析。基于AI人工智能技术和边缘计算的AI摄像仪，自带智能分析模块，可自动实时对各种安全隐患进行分析和识别。

（2）离线分析。AI摄像仪能够在断网的情况下仍能进行离线自动分析和识别，在网络通畅后将报警记录自动上传至后端服务器管理平台进行存档。

（3）远程模型下发和更新。AI摄像仪内加载的人工智能算法可以通过远程在线模型下发和更新的方式进行加载和更新，便于维护和升级。

（4）快速联动响应。前端的智能AI摄像仪支持MODBUS-TCP等联动协议输出，根据自动检测到的隐患报警信息发出联动控制响应输出信号，用于控制相应的设备进行快速联动响应或者语音告警。

（5）兼容扩展。可直接集成或者接入国内主流智能管控平台进行结果展示。

（6）音频交互通信。AI摄像仪除具备视频采集和分析功能外，内置拾音器和扬声器模块具备音频交互功能，能够实现前端与后端管理中心的音视频信息交互。

（7）矿用本安型高速AI摄像仪：具有皮带煤量识别与调速、皮带异物（大块、锚杆、水煤）识别、皮带纵撕、皮带表面损伤检测、刮板运输机断链拉斜检测、提升机钢丝绳首尾绳外观缺陷（断丝、磨损、跳丝、腐蚀、散股、缠绕、脱落等）检测、无轨胶轮车超速及闯红灯等高速变化目标信息的采集、分析、识别和报警联动功能。

（8）矿用本安型低速AI摄像仪：具备人员检测、电子围栏、安全帽安全绳等个人防护装备检测、单轨吊识别、人数统计、人员脱岗检测、固定硐室人员巡检分析、皮带跑偏、激光测距、人员挂安全绳检测、护帮支护检测等中低速变化目标信息的采集、分析、识别和报警联动功能。

3.2.2 隔爆兼本安型边缘计算

AI视频分析装置部署在井下摄像仪附近，集成高性能NPU模块，集IPC接入、存储、管理、控制于一体，可远程加载深度学习算法，实现自定义智能分析，可本地独立工作，也可联网组成安全隐患分析及预警系统。

3.2.3 AI视频分析服务器

部署在地面数据中心机房，集成高性能NPU模块，集IPC接入、存储、管理、控制于一体，可远程加载深度学习算法，实现自定义智能分析，可本地独立工作，也可联网组成安全隐患分析及预警系统。

3.2.4 AI视频管理服务器

用于图像AI处理摄像仪、隔爆兼本安型边缘计算AI视频分析装置、AI视频分析服务器等AI设备接入，负责业务数据存储转发、报警信息推送、报警录像存储及回放，支持摄像仪媒体流转 发， 支 持TCP/IP，ICMP，HTTP，HTTPS，FTP，DHCP，DNS，DDNS，RTP，RTSP，NTP，802.1X，RTCP，UPnP，SMTP，SNMP，IGMP，QoS，IPv6，UDP 等协议。

3.2.5 煤矿视频AI识别人工智能算法平台

煤矿AI人工智能算法平台是集成数据标注、算法训练、应用部署一体的系统，能够训练各类隐患智能识别算法模型，并将模型快速部署到专用智能设备等边缘设备。

3.2.6 AI视频分析管理平台

具有分级权限管理，支持跨平台数据访问，提供客户端、Web及移动App多种模式。具备数据接口，可以实现与现有的视频管理平台、信息化平台、自动化平台等多平台的信息融合，实现信息的互联互通。具备联动控制功能，可以发出联动控制命令给自动化系统控制设备停车平台能够将AI算法动态植入AI摄像仪和智能NVR，利用新一代人工智能技术实现视频、图片的智能分析。一旦监控点位存在隐患，平台可接收到隐患分析的结果并及时上报，以解决煤矿生产企业靠监管人员不能及时发现隐患、追责无证据等问题。