马 泉,张欣怡,李洪波,石广洋,郝 斌,张 飞
(1.国能北电胜利能源有限公司,内蒙古自治区锡林浩特市,026000;2.内蒙古科技大学,内蒙古自治区包头市,014000)
露天煤矿在开采过程中,不仅会对环境造成一定的污染、破坏自然景观,而且还会诱发一些地质灾害以及次级地质灾害[1]。党的二十大将生态文明建设提升到前所未有的新高度[2],坚持节约资源和保护环境是我国矿山管理的重中之重[3]。因此,建立反映露天煤矿资源消耗、生态保护、损害和恢复等的资源开发环境全流程监测体系,并且开展露天煤矿开发环境全天候、全要素、全方位的智慧矿山环境安全监测系统刻不容缓[4]。
为更好地研究智慧矿山监测系统,对胜利煤矿进行了充分调研。胜利煤矿位于内蒙古自治区锡林浩特市北郊,地形标高为970~1 100 m。年平均温度为2℃,最高气温达38℃,最低气温为-39℃,冻结期为10月初至12月上旬,解冻期为3月末至4月中旬,属大陆性气候,冬季时间长且寒冷,夏季时间短且酷热,白天与夜间的温差较大;此外春季风沙较大,风向多为南西,风速为2~8 m/s,瞬时最大风速为36 m/s,10 min平均最大风速为21 m/s。
当前国内外在环境监管方面已经有了比较成熟的方案,传统方案通过局部区域架设环境监测设备,以及通过气象卫星、高空气象气球、地面气象站,可以产生天气及环境的基本指标监测[5-6]。国内外学者也为之做出了不懈努力。其中,王书青[7]利用遥感技术对内蒙古煤矿区进行了环境监测;张娟[8]将3S技术应用于生态环境监测中;张琳[9]利用RS和GIS技术对湖州市某区域矿山环境进行了监测。然而,由于露天煤矿存在地形复杂、局部区域产生的煤火或者扬尘难以监测等问题[10],传统方案只能通过采矿技术人员、外委煤炭生产现场负责人每日对露煤区域进行巡视,发现有煤炭自燃迹象及时处理,不仅浪费大量人力资源,而且会存在检测不及时等状况。因此,针对胜利煤矿的复杂地形亟需开发一套基于露天矿的环境监测及预警系统。
设计本系统旨在利用智能激光云台对露天煤矿进行实时监控,一是通过图像识别算法自动识别煤火和扬尘,并实时统计与分析;二是通过硬件装置设备监测矿山PM2.5、噪声、风向、风速、温湿度等,并通过4G/5G网络将数据传输到矿区智能环境监测系统中;三是对矿山视频数据和监测传感器多元数据进行融合并进行实时分析,后台管理系统对超过阈值数据进行预警和提醒。智能环境监测系统总体架构遵循绿色生态体系、网信安全体系、运维保障体系、标准规范体系,依据人工智能、大数据设计理念,基于新一代微服务体系。胜利煤矿智能环境监测系统总体架构如图1所示。
图1 胜利煤矿智能环境监测系统总体架构
煤炭自燃会产生有害气体,不仅对自然环境造成危害,同时也降低了煤炭回采率,造成资源浪费。因此需对胜利煤矿进一步加大煤火治理力度,对矿区的煤火区域(煤火区域的煤矿层由于人为因素或自燃形成的煤田火和矿井火)进行早期监测和预警,防止安全事故的发生。该系统通过基于深度学习的图像检测技术识别是否产生煤火,通过智能激光云台定位煤火位置,并在位置信息传入系统发出警报。煤火识别结果如图2所示。
图2 煤火识别结果界面
露天煤矿在开采时会造成开采一次扬尘以及运输车辆与外部道路造成的二次扬尘。扬尘会污染工作场所,对人员的身体健康造成伤害,还会降低工作场所的能见度,引发生产事故。该系统通过工业摄像头实时监测矿区扬尘情况并动态显示,基于YOLOv5s的图像检测技术发现检测数据集是否越线,并通过智能激光云台定位扬尘位置,立即将位置信息传入系统并发出警报,同时派出洒水车进行降尘。扬尘检测结果界面如图3所示。
图3 扬尘检测结果界面
利用环境监测系统和机器视觉监测系统的多元数据组成系统环境监测网络,对矿山环境的粉尘、噪声、温度、风力等基本污染特征进行识别和预测,为下一步的环境治理提供基础的监测技术方案。多元数据融合监控平台包括气象信息统计分析管理系统、智能网格气象预警管理系统、气象基站管理系统、后台管理系统4个子系统。
2.3.1 气象信息统计分析管理系统
气象信息统计分析管理系统包括气象信息统计管理和气象信息分析管理2个模块。
(1)气象信息统计管理模块。该模块主要通过固定式和移动式的环境监测基站对监测的粉尘、噪声、温度、湿度、风力等传感器数据进行综合统计,主要包括以下统计功能:一是统计查询日、月、年维度的8要素(气温、气压、风、湿度、云、降水、能见度以及空气密度)的高精度气象信息;二是统计查询未来24 h内的8要素高精度气象信息;三是查询固定式、移动式单台基站的粉尘、噪声、温度、温度、风力等气象数据。
(2)气象信息分析管理模块。该模块主要通过传输到气象信息统计管理系统的的粉尘、噪声、温度、温度、风力等传感器数据进行分析,主要包括以下分析功能:一是分析未来24 h内8要素超标预警的气象信息;二是分析未来一周内8要素中重要指标超标预警的气象信息。
2.3.2 智能网格气象预警管理系统
智能网格气象预警管理系统包括气象网格地图管理、高精度气象网格预报和预警管理、气象预警联动管理3个模块。
(1)气象网格地图管理模块。该模块主要根据需求将作业场地进行科学的网格划分,最终形成二维或三维的GIS地图,在地图上标注固定的环境监测基站位置、移动式的环境监测位置,在环境基站所在的地图位置显示该基站监测到的实时数据,包括粉尘、噪声、湿度、温度、风力等传感器数据,以及环境视觉识别监控系统的主要监测数据信息(如:煤火和扬尘的超标数据)。在GIS地图上还显示如下状态信息,包括固定和移动环境监测基站的运行状态信息、视觉监测设备的运行状态信息、移动环境监测基站今日移动点位列表信息等。
(2)高精度气象网格预报和预警管理模块。该模块主要根据监测基站获得的粉尘、噪声、温度、湿度、风力等实时传感器数据,再结合高精度的天气预报以及环境监测视觉识别系统识别到的煤火和扬尘异常数据进行分析,当以上这些预警数据超出系统阈值后,网格气象预警管理模块会通过系统站内通知或以短信的方式通知相关作业现场部门的负责人,发挥预警作用。
(3)气象预警联动管理模块。当获得气象预警模块的预警通知后,该模块会提前根据超标的气象监测数据的类型、气象数据,对所涉及部门提前在系统预设联动工作方案,将相应的气象风险提示和下一步预案工作统一发送到系统中对应部门的相关负责人,从而避免因为超标异常的气象天气对现场作业和经济造成不必要的损失。
2.3.3 气象基站管理系统
气象基站管理系统包括基站基础数据管理、基站异常报警管理2个模块。
(1)基站基础数据管理模块。该模块主要功能是查看基站粉尘、噪声、温度、湿度、风力等传感器信息,以及基站所在GIS地图的精确位置、基站名称、基站运行状态、基站传输各类传感器数据的信息。
(2)基站异常报警管理模块。当环境监测基站的部分或全部数据上传失败或丢失时,环境监测基站状态属于异常,系统会通过站内通知或短信的方式将基站异常的详细数据信息(包括基站名称、地图位置、异常类型等信息)报送给系统预设的相关负责人和检修人员。
2.3.4 后台管理系统
后台管理系统主要包括用户管理、权限管理、数据管理、系统管理、环境监测机器视觉识别监控配置管理以及环境监测基站配置管理6个模块。
(1)用户管理模块。该模块主要对企业中涉及到的相关部门和业务人员提供本系统用户的增加、修改、删除、查看功能。
(2)权限管理模块。该模块主要是对系统用户进行权限管理,权限主要分为超级管理员、系统管理员、部门管理员、普通用户这几类。超级管理员和系统管理员可以对普通用户进行权限增加、修改和删除的功能,权限修改和删除记录都会存储到系统日志中。
(3)数据管理模块。该模块主要对传感器获得的气温、气压、风、湿度、云、降水、能见度以及空气密度数据进行管理,主要包括添加数据、更新数据、处理数据、浏览数据。
(4)系统管理模块。该模块主要包括对系统菜单、数据备份、日志记录、数据导入和导出等功能进行管理,增加、修改、删除的操作会记录到日志系统中。
(5)环境监测机器视觉识别监控配置管理模块。该模块主要对Deepstream实时视频流人工智能分析平台、YOLOv5s目标检测模型系统、图像识别算法系统中的关键配置信息进行管理,对日后视觉识别系统升级和扩展提供基础的配置扩展管理功能。
(6)环境监测基站配置管理模块。该模块主要是针对日后增加固定或移动式环境监测基站,提供基础的配置扩展管理功能。除此之外,还可以对现有的固定或移动式环境监测基站进行修改操作。本配置管理功能只有超级管理员才能操作,非专业工作人员无权限操作,同时操作记录也会被记录到日志系统中。
目前,基于深度学习的目标检测技术得到空前发展,与此同时许多优秀的算法相继诞生,并且在工业技术发展领域进行了大规模的应用。这些模型主要分为基于候选区域的二阶段检测算法和基于边框回归的一阶段检测算法。二阶段检测算法首先生成可能包含物体的候选区域,再对该区域做进一步分类校准得到最终结果,其中比较著名的算法有Fast-RCNN和RCNN等。一阶段算法的重心则是回归,使用一阶网络直接对输入图像进行分类和定位,其在速度上产生了重大突破,代表方法有 YOLO系列、SSD、RetinaNet等[11-13]。
本系统选用YOLOv5s模型对矿山的煤火和扬尘进行识别。因为YOLOv5s相较于二阶段检测算法具有速度快、准确率高的优点[14],更适合应用在矿山进行实时监测,其具体实现步骤如下:首先用激光云台收集露天矿现场视频,并用ffmpeg工具将视频截取成一帧一帧的图片格式,并安装数据标注工具labelImg,通过可视化的操作界面对图片中的煤火扬尘进行标注,生成VOC格式的.xml文件,并使用python将其转成YOLOv5s所需要的.txt文件格式,具体的扬尘标注界面如图4所示。
图4 扬尘标注界面
在本项目中,对2万张图片进行标注,保证模型的准确率和召回率。并将读取所有的图像和标注文件,将他们的文件名一一对应,并按照7∶2∶1随机分成训练集、验证集和测试集。YOLOv5s网络模型训练流程如图5所示。
图5 YOLOv5s网络模型训练流程
Tensor RT是一个推理优化器,对训练好的YOLOv5s模型进行优化。当网络训练完后,可以将训练模型文件直接丢进 Tensor RT 中,而不再需要依赖深度学习框架(Pytorch、Caffffe,TensorFlow 等)[14]。Tensor RT 是一个只有前向传播的深度学习框架,这个框架可以将 Pytorch、TensorFlow 等网络模型解析[15],并与 Tensor RT 中对应的层进行一一映射,把其他框架的模型统一全部转换到 Tensor RT中,然后在 Tensor RT 中针对 NVIDIA 的 GPU 实施优化策略,并进行部署加速。
DeepStream软件开发工具包(SDK)是一个用于构建智能视频分析(IVA)管道的加速人工智能框架,可以应用于安放控制、运输控制、停车场管理、交通管理、零售业管理、物流调度管理、内容过滤等领域。Tensor RT 只是针对推断阶段的加速方案,而Deepstream 是完整的落地部署方案,包括获取摄像头视频流、视频编解码、各种神经网络推断、视频推流、显示、输出文件等[16]。
DeepStream 支持在 C/C++ 和 Python 中通过 Python 绑定开发应用程序。核心SDK由几个硬件加速器插件组成,它们使用各种加速器,如VIC、GPU、DLA、NVDEC和NVENC[17]。通过在专用加速器中执行所有计算量大的操作,DeepStream可以为视频分析应用实现最高性能。DeepStream的关键能力之一是边缘和云之间的安全双向通信。DeepStream有多个开箱即用的安全协议,如使用用户名/密码的SASL/Plain认证和双向TLS认证。
DeepStream建立在CUDA-X堆栈的几个NVIDIA库之上,如CUDA、Tensor RT、Triton推理服务器和多媒体库[18]。Tensor RT加速了NVIDIA GPU上的AI推理。DeepStream在DeepStream插件中对这些库进行了抽象,能够轻松建立视频分析管道,减少单独库的使用。
2021年2月,胜利煤矿智能环境监测项目开始启动,并于2022年7月建成投入使用。在胜利煤矿部署了ZL700气象传感器、百叶箱多合一传感器两类现场环境监测仪,可以对风向、风速、温度、湿度、PM2.5、PM10、噪声进行精准测量,还可以防止太阳仪器的直接辐射和地面对仪器的反辐射,保护仪器免受强风、雨、雪等因素的影响。此外,在胜利煤矿成功部署了激光云台、AI机器视觉处理服务器,以满足胜利煤矿的星光级监控需求。胜利煤矿智能环境监测系统解决了露天矿环境监测困难,人工分析费时费力等问题,在社会效益、经济效益两方面都取得很好效果。
智能环境检测系统的成功建设,解决了胜利煤矿环境监测难的问题,建立了能反映资源消耗、环境损害、环境恢复和生态保护等矿山生产环境的监测系统;开展了矿产资源开发环境全要素全天候的监测;同时接入的5G物联网卡能够实现传感器、服务器、智能激光云台等设备的无线化。这些举措不仅解决了胜利煤矿的环境污染问题,还提高了工人在作业时的安全水平,对工人的职业病防护具有重要意义。
智能环境监测系统投入使用前,需要人工进行巡查煤火和扬尘发生地点。智能环境监测系统投入使用后,可以通过人工智能的方式判断是否发生环境污染,不仅减少了人力成本的投入,还提高了胜利煤矿的环境监测效率。
智能环境监测系统使用人工智能核心技术,检测精度高,根据每项指标的阈值精准设定,降低了误判率。本系统可以精准确认环境污染发生的地点,相比以往洒水车全天候矿山巡航的模式,每车可以有效节约20~30 t/d的水资源。此外,本系统采用集成平台建设,减少了接口数量,降低了系统维护难度,提供的配置工具可轻易配置好系统间的集成,使得各种异构系统之间的连接更加简单,降低了开发工作量,减少了重复开发。
智能环境监测系统通过图像识别技术和无线传感器网络技术,实现了视频数据、气象数据的采集、传输、处理的自动化,对矿区进行全天候、全方位的实时监测,对治理采矿过程中的环境污染具有重要的指导作用。随着我国遥感技术、图像识别技术、GNSS高精定位的快速发展,未来可以将人工智能、5G物联网技术融合应用于矿山环境监测领域,提升监测系统的精度,并对未来的环境情况进行预测,实现实时监控、智能分析、安全报警三位一体的智能监测体系。