矿用无人驾驶车辆行人检测技术研究

关键词：矿用无人驾驶车辆；井下行人检测；YOLOv3；弱光图像增强；半隐式ROF 去噪；密集连接模块；Slim−neck；卷积注意力模块

中图分类号：TD67 文献标志码：A

0引言

目前我国大多数煤矿的运输车辆仍然依赖于驾驶员操作，由于井下巷道环境复杂，作业人员众多，驾驶员在疲劳或操作失误时容易发生车辆碰撞和侧翻等事故，威胁井下作业人员的生命安全[1]。矿用运输车辆的无人化作为智慧矿山建设的重要组成部分，对提升煤矿智能化开采水平起着决定性作用。因此，研究煤矿无人驾驶技术，减少因驾驶员人为因素造成的安全事故，变得尤为迫切。无人驾驶技术的基础是车辆的环境感知能力，特别是在井下环境中对行人的有效检测，这对于保障井下作业人员的生命安全至关重要。然而，在矿用无人驾驶车辆的行人检测领域，高漏检率的问题一直存在，这限制了无人驾驶技术的安全性和可靠性。井下弱光环境是导致高漏检率的主要原因之一，尽管车辆本身的灯光可以在一定程度上改善井下光照条件，但在极端条件下，如复杂光照、反光干扰、强噪声和运动模糊等，会导致目标物体边界不清晰、目标形态变化大[2]，从而限制了行人识别的效果，增加了检测难度，降低了无人驾驶车辆的可靠性[3]。因此，研究有效的弱光图像增强算法和行人检测方法，对于提高矿用无人驾驶车辆的安全性和可靠性，具有重要的实际应用价值。

针对井下行人检测技术，许多学者做了大量研究，并取得了一定的进展。董观利等[4]设计了一种基于视频的矿井行人越界检测系统，该系统能够进行主动安全监测，有效克服灯光闪烁等干扰，可快速识别行人位置及跨越方向，稳定性好，准确度较高，在D1 分辨率、25 帧/s 的高清监控下可实现在线实时处理，但该系统采用混合高斯背景建模方法，导致其泛化能力不强，鲁棒性差。刘备战等[5]将Dense 连接加入到ResNet 网络中，提出了Dense−RetinaNet 网络，增加了网络特征信息的使用率，但该网络运行时间较长，实时性不足。为了提高检测算法的鲁棒性和小目标检测能力，李伟山等[6]采用全连接和多尺度卷积方法， 利用区域候选网络（Region ProposalsNetwork，RPN）来解决井下目标存在的多尺度问题，同时加入特征融合技术，将不同卷积层的输出融合，增强网络中特征的多尺度表征能力，但应用全连接层也同时增加了网络参数，降低了实时性。针对YOLOv3 目标检测网络在井下复杂环境难以适应的问题，罗坤鑫[7]提出了一种Caps−YOLO 井下矿用车辆行人检测算法，该算法将采用Dense 连接的DenseBlock 作为特征提取网络的主要单元，以提高特征图利用率。在目标分类和定位方面，采用Capsule结构结合动态路由机制代替Bounding Box 回归，以提高分类和定位的准确性。虽然该方法提高了井下行人检测的精度，但检测速度较慢。张应团等[8]提出了一种基于YOLO 网络的改进井下行人目标检测方法，交换原网络中第8 层的卷积层和下采样层的顺序，在第8 层后添加1×1 卷积并在最后加入反卷积来扩展维度，从而更好地保存网络的细节特征，提高网络对行人细节信息的处理能力，但该方法忽略了井下弱光环境对目标检测精度的影响。

针对复杂光照环境导致井下行人检测高漏检率和误检现象，本文提出了一种矿用无人驾驶车辆行人检测技术。采用弱光增强方法，改善检测输入图像可见度及噪声点；通过优化YOLOv3，提高在复杂光照环境下的行人检测效果。

1井下弱光图像增强

1.1弱光图像增强算法框架

光源是影响可见光图像传感器成像结果的主要因素之一。井下采集的图像常常受到低光照因素的影响，导致图像可见度非常差。弱光图像内嵌的噪声随着弱光图像的增强而增强，因此对弱光图像增强时需同时兼顾光照增强和去噪处理。弱光图像增强算法原理如图1 所示：首先，将弱光图像由RGB图像空间分解为HSV 图像空间，通过Logarithm 函数对亮度分量先进行光照，再通过双边滤波器去除噪声；然后，采用形态学对饱和度分量进行闭操作，以凸显图像的纹理，再通过高斯滤波器滤除噪声；最后，将图像转换回RGB 图像空间，通过半隐式ROF去噪模型[9]对图像再次进行去噪， 得到增强的图像。

1.2颜色空间转化及增强

RGB 图像空间没有分离色彩和照明信息，因此直接在RGB 图像空间增强图像会造成色彩失真。相对于RGB 图像空间， HSV 图像空间包含色调、饱和度和亮度，是由RGB 三原色衍生的一种色彩空间 [10]。HSV 图像空间和RGB 图像空间的转换关系为

式中： 为色调值； 为红色分量的强度值； 为绿色分量的强度值； 为蓝色分量的强度值； 为饱和度值；V为亮度值。

HSV 图像空间将色彩和亮度采用不同的分量表示，因此对V 分量的亮度增强所造成的色彩失真比较小，转换到HSV 图像空间更加有利于图像增强。相对于正常光照的图像，弱光图像中包含更多的设备内嵌噪声，这些噪声会随着图像像素的增强而增强。将弱光图像转换到HSV 图像空间，发现大多噪声都是处于色调和饱和度2 个分量之中， 如图2所示。本文主要针对亮度和饱和度分量进行增强，色调分量保持不变，从而避免色彩失真。在饱和度分量上，采用形态学闭操作来闭合纹理之间的空洞[11]，并连接纹理，通过高斯滤波器滤除高斯噪声。在亮度分量上，采用Logarithm 函数增强图像亮度，然后采用双边滤波器滤除亮度分量中被增强的噪声。

1.3半隐式ROF去噪

弱光图像在HSV 图像空间中各分量的噪声主要以加性高斯噪声为主，因此，增强后的图像中也是以加性高斯噪声为主。高斯噪声是一种随机噪声，由时变平均值和2 个瞬时的协方差函数确定[12]，其概率密度函数服从高斯分布：

1.4图像增强结果分析

1） 定量结果。为了验证本文弱光图像增强算法的效果，与RetinexNet[14]和LLFlow[15]2 个弱光图像增强算法在自制井下弱光数据集上进行对比实验。本文采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和结构相似度（Structural Similarity，SSIM） [16]2 种客观评价指标进行定量分析，结果见表1。

由表1 可看出， 本文增强算法的PSNR 和SSIM 较RetinexNet 和LLFlow 高，说明本文增强算法在视觉质量和噪声抑制方面具有显著优势，这是由于采用了半隐式ROF 去噪模型。

2） 定性结果。采用弱光图像增强算法对井下图像增强前后的效果如图3 和图4 所示。可看出增强后的图像可见度有明显改善，图像中行人的纹理更加清晰，且噪声抑制效果良好。

2矿用无人驾驶车辆行人检测

2.1改进YOLOv3 行人检测网络

基于改进YOLOv3 的矿用无人驾驶车辆行人检测算法的网络结构如图5 所示。首先在YOLOv3 的基础上， 采用密集连接块（Dense Block） [17]取代YOLOv3 中的Residual 连接，提升主干网络的特征提取能力，加强网络前向传播过程中图像特征利用率，避免网络训练时梯度消失问题。然后，采用Slimneck[18]结构优化原始YOLOv3 的特征融合结构，使得特征图之间能够进行高效的信息融合，进一步提高矿用无人驾驶车辆行人检测算法对小目标行人的检测精度，并利用其内部特殊的轻量化卷积结构，提高检测速度。最后，加入轻量级的卷积注意力模块（Convolutional Block Attention Module， CBAM） [19]细化主干网络提取的特征图，加强特征对小目标的表征，提高网络对弱光图像下的行人检测能力和小目标检测能力。

2.2密集连接块特征提取

矿用无人驾驶车辆行人检测算法的密集连接块结构如图6 所示，图中绿色箭头是特征图主要的流动方向。1 个密集连接块包含6 个密集连接层，每个密集连接层包含2 种卷积层，一种是由3×3 卷积、BatchNorm 和Leaky ReLU 激活函数组成（用蓝色方块表示），以降低特征图的维度和大小；另一种是由1×1 卷积、BatchNorm 和Leaky ReLU 激活函数组成（用红色的方块表示），以调整特征图的大小和通道数。对于一个密集连接层，其输入为所属密集连接块内之前所有密集连接层输出的跳跃连接堆叠，其中跳跃连接是将非相邻密集连接层输出特征叠加并通过激活函数运算[20]。通过采用跳跃连接将前后的密集连接层连接起来，特征图中的信息在密集块的传递过程中能够更好的被保留，有利于特征信息在梯度反向传播过程中的利用[21]。

2.3Slim−neck特征融合结构

Slim−neck 是一种用于优化卷积神经网络特征融合能力的结构。通过在原始YOLOv3 中引入Slim−neck 结构，可以提高矿用无人驾驶车辆行人检测算法对小目标行人的检测精度，并利用其内部特殊的轻量化卷积结构、提高检测速度。 改进YOLOv3网络中Slim−neck 结构如图7 所示。GSConv 是一种减少计算复杂性的轻量级卷积，用于减少行人检测算法的运行时间；VoVGSCSP 是跨阶段部分网络模块，用于在不同阶段的特征图之间进行高效的信息融合，提高行人检测精度。

2.4CBAM特征细化

CBAM 模块是一个即插即用的卷积神经网络组件，可自适应计算空间注意力和通道注意力权重，达到自适应细化特征的效果[22]。CBAM 结构如图8 所示（其中输入特征是经过VoVGSCSP 跨阶段部分网络模块处理后的输出结果），主要包括通道注意力模型（Channel" Attention Model，CAM）和空间注意力模型（Spatial Attention Model， SAM） 2 个部分， CAM 模块对输入特征计算得到通道注意力图，SAM 模块的输入特征是通道注意力图与输入特征相乘后的输出[23]。

CAM 先对输入特征进行全局最大池化和平均池化操作， 再经过共享多层感知机（Multilayer Perceptron，MLP）模块得到2 个中间特征，将这2 个中间特征相加，再由Softmax 函数计算得到通道注意力图[24]。CAM 结构如图9所示。

输入特征经过CAM 处理后的结果为

3实验结果与分析

3.1数据集构建与实验设置

通过矿用无轨胶轮车进行井下行人数据集的采集，如图11 所示，可见光摄像头放置在车机盖位置，该摄像头型号为Intel d435i，可采集三通道（RGB） 、分辨率为的640×640彩色图像。采用弱光图像增强算法对采集到的4 355 张原始图像进行增强，再以8∶2 的比例划分为训练集（3484 张） 和验证集（871张），标签类别为“person”，并对原始图像进行划分和标注，进而完成井下行人数据集的构建。在训练基于改进YOLOv3的矿用无人驾驶车辆行人检测算法时，采用Adam 优化器，动量参数为0.9，均方根参数为0.999，学习率为0.01，batch size 设置为16，一共训练200 个epoch。

实验使用的硬件计算平台如图12 所示，该平台具有1 路以太网接口、1 路USB3.0 接口，与相机平台连接，并针对基于改进YOLOv3 的矿用无人驾驶车辆行人检测算法结构和前向传播过程设计了相应的加速算子，运行的操作系统为Ubuntu20.04，采用的深度学习框架为Pytorch，编程语言为Python3。

3.2 评价指标常用的行人检测性能评价指标包括精确率

式中：N_TP 为预测正确的正样本数量；N_FP 为预测错误的正样本数量；N_FN 为预测错误的负样本数量。

3.3行人检测网络性能分析

为了测试矿用无人驾驶车辆行人检测算法的性能及不同输入图像对检测效果的影响，将训练好的矿用无人驾驶车辆行人检测算法与文献[26]基于改进YOLOv7 和ByteTrack 的煤矿关键岗位人员不安全行为识别算法、YOLOv5、YOLOv3、Faster R−CNN、RetinaNet 和SSD 6 个算法在不同的图像输入下进行对比，结果见表2。

由表2 可看出，本文算法在井下弱光情况下的平均精度较文献[26]、YOLOv5、YOLOv3、Faster R−CNN、RetinaNet、SSD 分别提高了1.86%， 4.3%，11.44%，39.45%，45.94%，48.45%，且在精度保持领先的情况下，运行时间也有明显缩短。对于增强后图像， 本文算法的平均精度达95.68%， 相较于文献[26]、YOLOv5、YOLOv3、Faster R−CNN、RetinaNet、SSD 分别提高了2.53%，6.42%，11.77%，49.96%，44.05%，59.17%，运行时间为29.31 ms，较其他算法的运行时间短。

3.4消融实验

通过消融实验验证密集连接块、Slim-neck 和CBAM 在YOLOv3 中的提升效果，结果见表3。A 表示原始YOLOv3+密集连接块特征提取，B 表示A+Slim−neck 特征融合。可看出对于弱光图像，A 的平均精度较YOLOv3 提高5.48%，运行时间增加1.41ms；B 的平均精度较YOLOv3 提高8.93%，运行时间减少了4.21 ms；本文算法的平均精度较YOLOv3 提高11.44%，运行时间减少了2.28 ms。对于增强图像，A 的平均精度较YOLOv3 提高4.78%，运行时间增加1.26 ms；B 的平均精度较YOLOv3 提高9.62%，运行时间减少4.55 ms； 本文算法的平均精度较YOLOv3 提高11.77%，运行时间减少了2.15 ms。综上根据消融实验结果得出：加入密集连接块，可更有效地保留和利用特征图中的信息，提高行人检测精度；加入Slim−neck 特征融合结构能够在提高行人检测精度的同时减少行人检测模型的运行时间；加入CBAM 特征细化能够加强特征在通道和空间上的信息关联，增强模型对目标类别和位置的注意程度，提高行人检测精度。

3.5检测效果对比分析

为了直观展示矿用无人驾驶车辆行人检测算法在煤矿巷道弱光图像和增强图像上的检测效果，与YOLOv3 及文献[26]中的行人检测算法进行对比，结果如图13 和图14 所示。可看出虽然将增强图像作为输入可提高检测精度，但YOLOv3 和文献[26]还是出现了漏检和误检的问题，而矿用无人驾驶车辆行人检测算法有效改善了该问题，能够有效提升矿用无人驾驶车辆在复杂环境下的行人检测能力。

4结论

1） 针对井下采集的图像中出现弱光或低光照情况，设计了一种弱光图像增强算法，通过图像空间转换，对弱光图像进行光照增强并抑制光照增强过程中的噪声。

2） 对YOLOv3 进行改进，提出了矿用无人驾驶车辆行人检测算法。采用密集连接块取代YOLOv3 中的Residual 连接，提高特征图利用率；采用Slim−neck 结构优化原始YOLOv3 的特征融合结构，使得特征图之间能够进行高效的信息融合，进一步提高了对小目标行人的检测精度，并利用其内部特殊的轻量化卷积结构， 提高了检测速度； 加入CBAM 特征细化能够加强特征在通道和空间上的信息关联，增强模型对目标类别和位置的注意程度，提高行人检测精度。

3） 通过实验对比发现，对弱光图像进行增强处理能够有效提高图像可见度和行人检测效果，基于增强后图像的矿用无人驾驶车辆行人检测算法的平均精度达95.68%，相较于文献[26]、YOLOv5、YOLOv3的检测精度分别提高了2.53%，6.42%，11.77%，且运行时间为29.31 ms，相较于其他算法也具备明显优势。