基于递归卷积神经网络的煤矿智能监控安全生产管理平台关键技术研究

刘开南

(三亚学院信息与智能工程学院，海南省三亚市，572022)

随着计算机科学的飞速发展，信息技术成为煤矿企业安全生产和提高劳动生产率的重要途径。在进行煤矿生产管理过程中，视频监控系统已经得到广泛应用。目前，在煤矿安全生产中的视频监测监控系统中，目标检测与监控功能的实现主要还是人眼识别为主，还无法实现无人自动或半自动智能视频语义特征识别管理，更不能根据安全生产管理规定进行全天候、自动、实时地监控，应该由“事后查询”变“事先预警”，由“被动”变“主动”，最大限度地提高安全生产能力。视频语义特征识别难以实现的主要原因是煤矿井下亮度低、粉尘大、温度高、湿度大和场景复杂等一系列恶劣环境的影响，使得监控视频存在目标对象影像不清晰、特征不明显、干扰元素多等问题，导致传统的模式识别技术无法对煤矿监控视频进行自动、快速、准确、高精度的图像信息识别。应用递归卷积神经网络算法构建煤矿智能监控安全生产管理平台是解决这些问题的一种思路，从而实现对视频中安全与生产对象的实时检测与分析，为煤矿智能监控的安全生产管理提供技术保证。

1 煤矿智能监控安全生产管理平台

煤矿智能监控安全生产管理平台是通过对摄像机拍录的图像序列进行自动分析，对煤矿各种安全生产岗位动态场景中的特定目标进行定位、识别和跟踪，并在此基础上分析、判断和目标行为报警。该平台从功能流程上由工作场景采集与传输、视频目标语义计算、特定目标判断、安全生产人机交互接口四大部分构成，分别实现煤矿视频源输入、视频语义计算与识别、智能交互预警和煤矿安全生产管理等目标。煤矿智能监控安全生产管理平台功能架构如图1所示。

图1 煤矿智能监控安全生产管理平台功能架构

(1)工作场景采集与传输是通过煤矿高清视频监控器、视频分配器、网络传输等设备，对煤矿井下瓦斯员、放炮员、安全员、电钳工、主提升司机和采煤机司机6类特种作业人员和重点区域、限制区域进行不间断视频采集，实现数据采集和传输功能。

(2)智能视觉算法系统部分包括视频目标语义识别和特定目标判断两部分，是整个系统的技术核心。

(3)智能交互预警部分是对安全生产管理关键目标数据可视化展示与人机交互预警部分，是智能视频安全生产管理的可视化环节。

(4)煤矿安全生产管理是将可视化的预警部分信息以语音、警报和灯光等交互反馈的方式主动通知给生产工作现场人员，及时调整并变更工作行为，按照安全生产工作流程工作，从而提高安全生产管理效率。

2 煤矿智能监控关键技术

目前，煤矿企业选用视频监控系统以固定式摄像机进行定点监测，拍摄的背景属于相对静止不变的类型，因此利用opencv技术对原始监控视频进行清晰度和背景去除预处理减轻计算量，作为整个系统技术核心的递归卷积神经网络算法，通过线下特征抽取和线上特征识别与分类来完成目标特征抽取与识别，移动目标跟踪与定位如图2所示。

2.1 特征抽取算法

特征抽取算法主要是对矿山生产场景特定目标对象、人、车辆、安全帽和明火等进行目标对象特征获取。在经典RCNN理论的基础上进行改进，借鉴Faster RCNN区域提名网络RPN设计一种有效的自动背景分割算法，使分割的效果更加理性。采用16层卷积神经网络，通过softmax分类anchors获得目标和背景，同时计算anchors的目标识别区域类别偏移量，并根据训练迭代数据修改Loss参数，以获得精确的特征区域。利用已经获得的区域特征映射，通过全链接层与softmax计算每个proposal具体属于哪个类别(人、车、安全帽、特定区域、特定设备等)；同时重复利用获得每个建议的位置偏移量，回归得到更加精确的目标位置。该算法模型将会对训练的图像特征向量进行高质量抽取与识别，对图像自动标示效果产生较大的提升，Faster RCNN改进算法如图3所示。

图2 递归卷积神经网络算法

图3 Faster RCNN改进算法

为了使类别特征准确性更高，采用公开的MNIST、ImageNet数据集、火焰数据集、PASCAL VOC训练集、COCO等图像训练数据集。同时自主制作安全帽、火焰训练数据集，并应用视觉计算方法进行图像大小、旋转、角度、RGB效果以及GAN对抗神经网络算法实现样本倍增扩充，使训练模型满足大数据量训练的需求，从而获取各大类别特征。其核心是把特征提取和分类器进行有机的整合，通过随机梯度下降的方式进行反向传播，不断地对卷积模板参数和全连接层的参数进行优化，使得最终学习到的特征和分类器接近最优，获得对象特征。

2.2 特征识别与分类

特征识别与分类主要是解决25帧/s的时间序列监控视频图像，输入信息独立无关性问题，实现视频特征目标对象连续跟踪需要有“记忆能力”的深度递归卷积神经学习模型。深度递归卷积神经算法实现目标对象在前后帧图像中特征连续识别，为了避免空间利用率低，要优化减少中间迭代回归卷积过程，在多个特征映射上检测时，同时进行softmax分类和位置回归。预测多个目标对象的位置区域和类别概率，允许分类层重用在若干图像分辨率生成的特征图特征，形成高速连续递归的图像目标识别，提高识别准确性。

使用低 layer 来提升图像分割效果，采用适当增加低层的特征映射来进行区域预测。提高图像目标特征向量检测的粒度，提升图像分割和物体检测性能，获得更好的识别质量和精度。由于损失函数的定位误差是影响检测效果的主要原因，所以将位置定位准确度值和类别得分置信度损失函数融合起来。应用模型对图像训练库预处理，结合线下对图像获得的先验特定目标(人、车、安全帽、特定区域、特定设备等)特征向量，对视频中对象进行匹配检测，通过循环更新实现视频图像特定目标检测与跟踪功能。最终实现基于特定目标的监控视频实时检测系统原型。

3 系统应用

3.1 特定目标检测

以工作人员、安全帽为例进行测试，采用人脸识别和安全帽识别方式进行人员重复计数并计算人数，人脸识别人员管理如图4所示，安全帽识别与预警如图5所示。

图4 人脸识别人员管理

图5 安全帽识别与预警

3.2 指定区域监控

对重要区域和限制区域进行权限管理，非授权人员进入系统将自动报警。以采煤掘进工作面视频监控区域进行区域预警，当掘进工人在工作时间内以及特定或指定区域内时，系统不会报警；若目标对象擅自离开指定区域，系统会自动报警。目标对象工作面区域越界预警如图6所示。

图6 目标对象工作面区域越界预警

3.3 移动目标跟踪

由于管理需求对移动物体识别和对目标特征精度要求不高，所以为了保证实时性检索移动目标对象，应用PYTHON+openCV技术对视频进行在线预处理，完成减帧与降低分辨率处理，以此降低计算量，提高计算速度。 在应用递归神经网络实现目标特征持续检索，对连续的图像帧间创建位置、速度、形状等有关特征的运动目标识别与跟踪。特定目标移动跟踪如图7所示。

图7 特定目标移动跟踪

4 结语

在煤矿已有的视频监控系统基础上，通过人工智能技术手段进行智能视频技术升级，以监控视频为输入，利用核心的递归卷积神经网络算法进行目标对象语义分析，很好地解决了煤矿特殊场景下特定目标快速、实时识别与判断、可视化与反馈预警等功能，并以此为核心构建智能视频技术的煤矿安全生产管理平台，有效地提高煤矿安全生产管理的水平。