智能大采高综采工作面视频分析系统的研究与应用

牛云鹏 张立亚 贺云龙

(1.神东煤炭集团信息管理中心，陕西省榆林市，719315；2.煤炭科学技术研究院有限公司，北京市朝阳区，100013)

目前，煤矿井下综采工作面的各种自动化和信息化类的系统对煤矿的安全生产起到了关键性保障作用[1-6]，但是国内煤矿的应用现状基本上以监测为主，没有对监测的对象进行分析挖掘。

随着信息技术的发展，特别是图像处理技术的发展，智能数字图像处理技术在矿井中的应用已有较高水平。如美国通过对井下监控图像进行处理，已开发出井下矿车监督系统，可辨别矿车的里程、路线和时间以及矿车的货物种类、重量等；德国煤矿开采采用了“煤矿图像处理”技术，即使在不利条件下，也能正常对物体的“好”和“坏”进行区分[7]。

煤矿综采工作面可视化监控及其分析对综采工作面自动化的发展具有重要作用。为了有效解决这一问题，笔者设计了一种适应于智能大采高综采工作面的视频分析系统。

1 智能大采高综采工作面视频分析系统组成

结合神东煤炭集团上湾煤矿(以下简称“上湾煤矿”)12401综采工作面的实际需求，基于无线传输网络平台，视频智能分析平台通过搭建GPU集群，对多路并发视频进行在线解析，实现在巷道集控中心及地面调度实时展现生产环境画面和自动控制等功能，设计出一套适应于智能大采高综采工作面的视频分析系统。系统组成结构图如图1所示。

图1 系统组成结构图

2 系统主要功能模块设计

2.1 片帮报警智能视频识别

片帮事故本质上属于动态事件[8]，片帮发生时，监控相机视野内的局部相邻像素会发生一致性运动，算法自动捕获和识别这样的运动，并以此为依据进行事故发生与否的判断。同时，由于井下环境的特殊性，前景和背景的纹理相似度较高，因此通过降噪、锐化算法将煤壁画面中相邻且具有明显特征的群像素点作为特征点，在连续的图像帧中比对这些特征点间出现的相对运动，一定数量特征点出现的相对位移达到阈值可认为该区域的煤壁将产生片帮。当片帮面积大于 1.5 m2时，系统发出报警信息并显示实时画面。视频分析平台也可区分不同区域的片帮报警和同一区域的连续片帮报警。煤壁片帮分析界面如图2所示，护帮板下片帮分析界面如图3所示。

图2 煤壁片帮分析界面

图3 护帮板下片帮分析界面

2.2 堆煤检测智能视频识别

通过无监督分割算法得到煤堆的边界，从而计算煤堆在画面中的占比。根据实际场景教学标定，得到具体的量化阈值，当占比超出阈值时，生成堆煤报警信息。此解决方案和绊线检测结合使用，加强方法的稳定性和精确度。

在转载机与带式输送机搭接转载点、破碎机上方安装矿用摄像机采集带式输送机沿线视频，后端智能视频服务器分析并实现报警。用户通过软件在视频图像上绘制方格，在视频上设置电子围栏，通过虚拟警戒线来判断是否堆煤。当煤块穿越警戒线(阈值设置为70%)时，即产生堆煤报警信息。堆煤检测分析界面如图4所示。

图4 堆煤检测分析界面

2.3 刮板输送机内大块煤视频识别

通过监控视频的智能识别技术，对刮板输送机内的煤量进行估算，并对大块煤进行智能识别。识别出的煤量分为5个等级，当煤量达到最高级和出现大块煤时，系统进行事件预警并将结果推送到智能决策平台；当发现直径大于刮板输送机宽度的大块煤时，发出预警信息，并弹窗上报智能决策平台。大块煤分析界面如图5所示。

图5 大块煤分析界面

2.4 人员“三违”预警、报警智能视频识别

对煤矿井下工作人员在综采工作面处的重点“三违”行为采用智能视频识别算法[9-10]进行识别。在工作面上隅角、下隅角实现人员通过时准确实时识别，对进入该区域的行为预警并提醒工作人员禁止进入指定区域；在危险区域对人员进行检测识别，并把预警信息推送到特定界面或指定系统，例如在刮板输送机内、液压支架架前区域、刮板输送机机头和机尾附近，当人员进入该区域时，除了预警提醒外，还要进行现场声光报警，智能决策平台弹窗并语音报警。工作人员进入生产区域警示提醒界面和工作人员危险区域越界报警界面如图6和图7所示。

图6 工作人员进入生产区域警示提醒界面

图7 工作人员危险区域越界报警界面

2.5 综采工作面工作人员人脸识别

通过煤矿井下综采工作面恶劣环境下的工作人员人脸识别算法，可应用在综采工作面控制台或交接班处实现自动人脸捕捉考勤功能。

提前采集需要进行跟班管理人员的人脸信息，建成人脸数据库。采集的人脸信息包含面部干净时的人脸、下井后的人脸、未戴安全帽的人脸、戴着安全帽的人脸4种状态。当瓦斯检测员、安检员、跟班矿长交接班时，在摄像头处进行人脸信息采集，系统对人脸进行识别，判断人员是否为当值人员。工作人员在人脸识别摄像机前考勤时，考勤成功时有相应的语音提示，考勤不成功亦有相应的语音提示。综采工作面工作人员人脸识别界面和综采工作面工作人员人脸识别管理界面如图8和图9所示。

图8 综采工作面工作人员人脸识别界面

图9 综采工作面工作人员人脸识别管理界面

3 现场工业试验

2018年，智能大采高综采工作面的视频分析系统在上湾煤矿12401综采工作面进行现场安装和调试。井下设备安装示意图如图10所示。

图10 井下设备安装示意图

工业试验中，在8.8 m液压支架上共安装32台隔爆摄像机，安装10台声光报警装置。隔爆摄像机和声光报警装置通过有线与无线结合的方式，接入到井下环网网络中。

3.1 实现的功能

(1)片帮报警智能视频识别。工作面发生片帮面积大于 1.5 m2时，系统能及时发出报警及相关图像信息。

(2)堆煤检测智能视频识别。在带式输送机转载点、破碎机处上方安装矿用摄像机采集胶带沿线视频，该处出现堆煤现象时出发报警。

(3)刮板输送机内大块煤智能视频识别。当发现直径大于刮板输送机宽度的大块煤时，发出预警信息，并弹窗上报智能决策平台。

(4)人员“三违”预警、报警智能视频识别。在工作面上隅角、下隅角实现人员通过时的识别，对进入该区域的行为警告禁止进入。

(5)综采工作面工作人员人脸识别。输入具有进入权限的人脸信息库50人，自动人脸捕捉考勤功能。

3.2 技术指标

软件平台程序基于B/S架构，并发用户数量不小于50，软件实现用户分级管理。其中，综采工作面的片帮报警智能视频识别、堆煤检测智能视频识别、刮板输送机内大块煤视频识别和人员“三违”预警、报警智能视频识别等功能分析响应时间小于10 s，识别准确率不低于90%。人脸识别时间小于5 s，准确率达100%。

4 结语

结合上湾煤矿12401综采工作面的实际需求，进行了片帮报警智能视频识别、堆煤检测智能视频识别、刮板机内大块煤及煤量估算智能视频识别、人员“三违”预警、报警智能视频识别、综采工作面工作人员人脸识别等功能模块的设计，对多路并发视频进行在线解析，实现基于煤矿监控视频的智能化人员和设备的分析与处理的功能。本系统把人和机器的力量加以统一，极大地提高了工作效率，为井下移动目标管理提供决策依据，能够提高综采工作面的安全监管水平。