基于弱监督深度学习的煤矿生产不安全行为检测应用研究

赵 亮

国能宝日希勒能源有限公司 内蒙古呼伦贝尔 021025

中国的煤炭资源丰富，但是在开采时常常存在安全隐患，导致煤矿事故时有发生。在选煤生产过程中，矿工作业安全问题非常重要。视频监控常被用于监测煤矿生产过程不安全行为的重要技术手段。基于视频监控能够为煤矿管理者提供科学预警，加强对煤矿安全生产管理，减少煤矿生产事故的发生[1]。传统的煤矿视频监控利用摄像头采集煤矿环境画面，并传送至视频监控管理中心，由管理人员查看井下作业环境的安全状况[2]。然而，由于视频数据量大，依靠人工查看耗时耗力，且难以及时对煤矿生产过程安全异常行为进行分析和处理[3]，故利用智能化的监控系统，自动监测工人的不安全行为是提高安全系数的有效途径[4]。智能监控技术已成为现代矿业确保生产安全的重要手段[5]。

在煤矿井下监控传感器方面，冯加宇等人[6]针对煤矿井下高风险点之一的输送带易高温起火的问题，提出了一种用于煤矿输送带火灾监测的红外热像技术。王乐军等人[7]则设计了一种适用于煤矿井下的矿用本安型红外热成像摄像仪，可以对井下监测设备的发热点进行清晰反映。虽然热红外成像能够较好地应用于井下发热点的监测，但该技术仅能得到人或物体的热轮廓，缺乏细节特征，因此该应用具有一定局限性。针对煤矿井下照度低、瓦斯体积分数高、烟尘含量大等特点，王怀琴等人[8]利用黑光夜视成像、电转换等技术，研制了矿用黑光摄像仪，实现了实验室和井下低照度、煤粉尘大的条件下清晰视频画面的采集和回传。

近年来，随着信息技术的快速发展，特别是深度学习在图像处理领域取得巨大成就[9]，涌现了较多基于信息技术的工人不安全行为的研究。针对工人不佩戴防护装备的行为，冯仕民等人[10]研究了结合数据与知识驱动的识别算法；Pienaar 等人[11]研究了基于视觉的工人行为识别和数据融合方法；Andrzej 等人[12]则利用虚拟现实方法训练工人作业时的正确行为；佟瑞鹏等人[13]提出了一种基于人工智能的工人不安全行为识别方法；毕林等人[14]研究了在卷积神经网的框架下，对未佩戴安全帽的违规行为进行自动识别。针对煤矿井下光线暗、空气中粉尘大、湿度大等复杂的生产环境，视频监控存在特定目标影像不清晰、特征不明显以及其他干扰元素等问题，刘开南[15]研究了基于递归卷积神经网络的煤矿智能监控技术；杨小彬等人[16]在阐述深度学习在图像识别和声音识别等方面所取得的进展及其应用领域基础上，分析了煤矿中工人的不安全行为和状态监测以及机械设备的故障检测等方面存在的问题，并对相应问题分别利用图像和声音识别给出了模型的训练流程。针对煤矿井下的监控场景，徐桂涛[17]融合颜色与纹理特征，并采用 YOLOv3 网络框架，实现对工人的监测。

1 弱监督深度学习检测

1.1 总体框架

弱监督深度学习检测框架如图 1 所示，主要分为以下步骤：初级特征提取、显著区域特征提取、次级区域特征提取、全局池化及多示例学习。首先，采用基础网络 VGG16 提取初级特征，然后在初级特征的基础上提取显著区域特征。在此基础上，采用阈值法将显著区域的特征归零后，提取得到次级区域特征，并将显著特征和次级特征进行融合，进而将利用选择性搜索算法 (Selective Search，SS) 产生的先验框映射到总特征图上。经过两层全局池化后，采用多示例学习来获得检测结果。上述过程中，显著特征和次级特征提取采用相同的网络结构，但两者输入不同，网络参数不共享。显著区域特征提取网络和次级区域特征提取网络都包含通道特征选择模块，其目的是为了加强网络的特征提取能力。此外在生成先验候选框的过程中，通过设置阈值 (0.5，1)，删除相似度和重合度大的冗余候选框，试验时每幅图像产生 2 000 个先验候选框。

图1 弱监督深度学习检测框架Fig.1 Framework of detection based on weakly-supervised deep learning

1.2 特征融合

采用卷积神经网络提取特征时，考虑到不同的卷积核所提取的图像特征会对最终的检测结果有不同影响，利用通道特征选择模块对同一层特征层给予不同的权重来加以区分，并通过反向传播来对这些特征层自动学习加以不同的权重来提高网络特征提取的能力。

通道特征选择如图 2 所示。为了降低后续的计算量，对输入特征图大小为H1×W1×C1的X，利用特征选择模块进行 1×1的卷积层操作，得到特征图

图2 通道特征选择框图Fig.2 Block diagram of passage feature selection

采用全局平均池化对式 (1) 进行压缩，得到 1×1×C大小的张量

式中：Zc∈Rc；Fsq(*) 为全局平均池化函数；H×W为特征大小。

进而对Zc进行特征选择，得到一维张量

式中：Fex为非线性激活函数；w1、w2为权重参数；δ为 ReLU 激活函数。

农村危房改造是一项惠民工程，可是在具体实施的过程中非常复杂。涉及政府审批、村民配合以及施工等多个环节，其中涉及的每一个环节都应该有彼此的配合和支持，使其能够很好地对危房环境给予改善。针对农村危房改造实施效果产生的影响，还需要给予具体的分析。

将张量S与特征图U相乘，得到权重特征图

式中：Fs(U，S) 为特征通道相乘。

1.3 全局平均池化

通常在卷积神经网络中，卷积层特征经过最大池化之后通过全连接层输入到分类器。考虑到全连接层的参数较多，导致模型的训练及收敛速度变慢，因此，为了有效减小模型的参数规模，同时尽可能保留检测目标有用的空间信息，在模型设计过程中，采用全局平均池化代替全连接。

1.4 损失函数

在模型训练时，对模型的主要部分分别设置不同的损失函数来训练网络模型。利用总体损失函数L来训练整体网络模型，通过数据的标签值与各个阶段网络模型预测值的差值反向传播，来训练各部分的网络模型。显著区域特征提取网络的损失函数

式中：yi为数据标签；为预测的概率分布；c为类别数。

次级区域特征提取网络的损失函数

式中：为网络预测的概率分布。

总的损失函数

式中：ϕc为整体网络预测类别标签的概率分布。

2 试验结果与分析

为了验证所提出方法的有效性，分别对 PASCAL VOC2012 数据集以及真实的煤矿的数据集进行试验验证。

PASCAL VOC2012 数据集包含 20 种类别，22 531幅图像。将数据分为训练集、验证集和测试集。试验采用平均精度均值 (mAP) 和准确定位 (CorLoc) 2 个指标来评价方法的有效性。mAP 是衡量预测框和真实标签数据交并比 (IoU)，是利用 PASCAL VOC 数据集进行试验时采用的标准指标。CorLoc 是包含目标对象类至少 1 个实例的图像百分比，对于该实例可信检测的边界框与其中一个实例重叠至少 50%。

试验采用 Titan X GPU 和基于Pytorch 框架，共享卷积层使用 VGG-16 模型初始化，其他的卷积层则是随机初始化。初始化采用均值为 0 和标准差为 0.01的高斯分布。初始化偏差为 0。在训练过程中，设置SGD的批大小为 2。学习率在第 1 个 80 k 迭代设为0.001，接下来的 40 k 迭代，设为 0.000 1。质量衰减和动量分别为 0.000 5 和 0.9。

从表 1 可以看出，在检测的平均精度上，基于弱监督深度学习的煤矿生产不安全行为检测方法优于其他弱监督检测算法模型，获得了 44.1% 检测平均精度，比 Self-Taught 和 MELM 分别提高了 5.8和 1.7 个百分点。

表1 PASCAL VOC2012 数据集的平均精度均值Tab.1 mAP of PASCAL VOC2012 data set %

PASCAL VOC2012 数据集的定位结果如表 2 所列。由表 2 可知，基于弱监督深度学习的煤矿生产不安全行为检测方法的平均定位精度为 93.8%，分别比WSDDN 和 WCCN 提高了 4.8 和 2.9 个百分点，比传统的 VGG16Net 高出了 4.5 个百分点，充分体现了本文所提出的网络模型的优越性。尤其是在 PASCAL VOC 2012 数据集中 bird、boat 等类型的目标检测均获得了最好的性能，PASCAL VOC2012 部分物体的定位结果如表 3 所列。

表2 PASCAL VOC2012 数据集的定位结果Tab.2 Positioning results of PASCAL VOC 2012 data set %

表3 PASCAL VOC2012 部分物体的定位结果Tab.3 Positioning results of partial objects of PASCAL VOC2012 data set %

选煤厂生产过程中典型不安全行为检测如图 3 所示。

图3 典型不安全行为检测Fig.3 Detection of typical unsafe behaviors

实际煤矿不安全行为检测如表 4 所列。由表 4 可以看出，在缺乏大量标注数据的情况下，不安全行为检测可以取得较为满意的检测结果。

表4 实际煤矿不安全行为检测Tab.4 Detection of actual unsafe behaviors in colliery

3 结语

针对选煤厂典型不安全行为检测过程中缺乏有标注数据的问题，提出一种基于弱监督深度学习的煤矿生产不安全行为检测方法，通过设计深度学习网络提取并融合显著图像特征，提出新的损失函数用于训练网络，提高弱监督条件下的检测效果。对公开数据集以及真实煤矿数据集的试验结果验证了所提出方法的有效性。该方法更适合于实际应用场景，可实现自动分析监测功能，有效减小人工值守查看的工作强度，提高煤矿安全性。