基于Dense-YOLO 网络的井下行人检测模型

张明臻

（伯明翰大学 电子电气和系统工程系,英格兰 伯明翰 B152TT）

0 引言

由煤矿井下工作人员违规操作和疲劳驾驶所导致的事故时有发生。为了保障井下作业人员安全，支持智慧矿山建设，研究矿用车辆无人驾驶技术迫在眉睫。行人检测是实现矿用车辆无人化的一项关键技术，许多专家学者进行了研究，并取得了一定成果。张小艳等[1]基于混合高斯模型，采用暗通道算法对检测图像进行预处理，有效提高了井下目标检测速度。董昕宇等[2]采用深度可分离卷积和倒置残差模块构建轻量级特征提取网络，实现了特定环境下的实时目标检测。谢林江等[3]提出在检测模型中加入选择性注意力层，极大提高了目标检测精度。刘备战等[4]提出一种Dense-ResNet 网络结构，能够提取更加深层的图像特征，提高了小目标检测精度。但上述方法忽略了井下弱光环境对目标检测精度的影响。针对该问题，本文提出一种基于Dense-YOLO 网络的井下行人检测模型。首先对弱光图像进行增强和去噪处理，然后将含有残差块的Dense模块添加到YOLOv3 中，构建基于Dense-YOLO 网络的井下行人检测模型，最后将增强后的图像输入检测模型进行识别。

1 弱光图像增强

1.1 图像增强方法

根据Retinex 理论[5]将源图像分解为光照图和反射图2 个部分，光照图主要包含图像的色彩信息，反射图主要包含图像的纹理信息。对于光照图，采用Gamma 变换提升全局照明度，采用加权对数变换提升局部照明度，采用限制对比度的自适应直方图均衡（Contrast Limited Adaptive Histogram Equalization，CLAHE）提升局部对比度。将增强后的图像按照自适应权值进行融合。对于反射图，采用双边滤波算法增强图像纹理。将增强后的光照图和反射图融合，并采用ROF 去噪模型对融合后的图像进行全局去噪，得到最终的增强图像。弱光图像增强方法如图1 所示。

图1 弱光图像增强方法Fig.1 Low light image enhancement method

由于处理反射图的双边滤波器和ROF 去噪模型可以在软件库OpenCV 中直接调用，本文重点分析光照图增强方法。

1.2 光照图增强

源图像S的数学模型为

式中：(x,y) 为像素点坐标；R(x,y) 为反射图；X(x,y)为光照图；N为噪声项。

采用暗通道先验[6]估计光照图。对于一张给定的弱光图像，其暗通道先验计算公式为

式中：Ddark(x)为 以x为中心的一个图像块 Ω(x)的暗通道值；Dc为 输入RGB 图像中通道c的值，c∈[R,G,B]。

对暗通道先验执行形态学闭操作，可计算出源图像的光照图X[7]。

1.2.1 增强变换

（1）Gamma 变换。Gamma 变换通过指数变换方式对输入图像进行增强，其计算公式为

式中：O(x,y)和K(x,y)分别为输出图像和输入图像；G和 γ分别为Gamma 变换系数和指数系数。

当指数系数小于1 时，图像的全局亮度会得到提升，反之全局亮度降低。

（2）加权对数变换。普通对数变换在大多数图像上表现良好，但经过直方图规范化后会出现图像增强亮度相似现象[8]。加权对数变换在普通对数变换基础上增加了一个掩码因子δ（当x=y时为1，否则为0），解决了增强亮度相似问题。因此，本文采用加权对数变换来增强局部亮度，计算公式为

式中：B为图像经过加权对数变换后对应像素(x，y)的值；m，n为 光照图的长和宽；e为加权对数变换系数；ε为修正系数，通常取1；∇为三阶拉普拉斯算子；τ为亮度等级，τ ∈[1,256]。

通过拉普拉斯算子计算光照图中给定像素(x,y)与周围其他8 个像素的卷积，得到局部亮度水平。

（3）CLAHE。自适应直方图均衡（Adaptive Histogram Equalization，AHE）通过计算每个图像块的直方图来重新均衡图像的全局亮度分布，但在增强对比度的同时，放大了图像噪声。为了抑制噪声，本文采用CLAHE 提升局部对比度。

1.2.2 加权融合

为了有效融合3 种增强变换的结果（分别记为IG,IL,IC），设计了亮度权值Wk,l和色彩权值Wk,s。亮度权值用于平衡增强图像的全局亮度，其值越大，表明该像素的曝光效果越好。亮度权值计算公式为

式中：Ik为增强变换后的图像，Ik∈{IG,IL,IC}；µ，σ2分别为变换后光照图的均值和方差。

色彩权值计算公式为

式中：a和b分别为颜色保存幅值和偏移角度；H(x,y)和T(x,y)分别为源图像在HSV 色彩空间中的色彩和透度分量。

结合式（5）和式（6）可得最后的融合图像Zf：

1.3 图像增强结果

将增强后的光照图Zf和经过双边滤波处理的反射图逐点相乘，重构出RGB 图。由于增强后的图像包含全局高斯噪声，所以采用ROF 去噪模型对图像进行全局去噪，图像增强效果如图2 所示。可以看出，图像增强后能够清晰地显示出图像中的工人。

图2 弱光图像和增强图像Fig.2 Low light image and enhanced image

2 基于Dense-YOLO 网络的井下行人检测模型

与YOLO 网络[9]相比，YOLOv3 采用了多尺度检测的网络结构DarkNet-53，可输出3 种不同尺度的特征，分别为13×13×1 024，26×26×512，52×52×256。小尺寸的特征感受视野大，有利于大目标检测，大尺寸的特征有利于小目标检测[10]。

为了提高网络的特征提取能力，本文将含有残差块的Dense 模块[11]添加到YOLOv3 中，构建基于Dense-YOLO 网络的井下行人检测模型，如图3 所示。残差块的加入有利于避免在网络训练过程中出现梯度消失和梯度爆炸等问题。Dense-YOLO 网络主要包含Dense 模块、特征金字塔和分类定位模块3 个部分。Dense 模块用于提取图像中的深度信息，将特征大小重塑为13×13×1 024，26×26×512 和52×52×256，然后在3 种尺度特征上进行分类和定位检测。

图3 基于Dense-YOLO 网络的井下行人检测模型Fig.3 Underground pedestrian detection model based on Dense-YOLO network

Dense-YOLO 网络训练时的损失函数采用多任务损失函数L：

式中：αcoord和 αobj分别为定位和分类平衡因子，分别取5 和0.5；Lsize，Lpos，Lcof和Lc分别为定位框的大小损失、定位框的位置损失、预测置信度损失和分类损失。

式中：M为网格数量；A为定位框数量；为目标落入第i个网格第j个预测框的系数；（xi，yi）和分 别为预测框和真 实框的中心点坐标；wi，hi和，分别为预测框和真实框的宽和高；Ci，分别为第i个网格中检测到目标的置信度和人工标注真实目标的置信度；l为真实样本数据，l=±1；p为l=1 的概率，p∈[0,1]。

3 实验结果

选用边缘计算机NVIDIA AGX Xavier 作为Dense-YOLO 网络的搭载平台。YOLOv3 网络使用之前在COCO 数据集[12]上进行预训练。调参时采用Adam 优化器，设置动量参数为0.9，学习率为0.001，批处理大小为16，迭代次数为1 000。预训练参数冻结，即保持不变。

RetinaNet 是一种单阶段的目标检测模型，因兼具速度与精度两方面的优势而备受关注。为了验证弱光环境下基于Dense-YOLO 网络的井下行人检测模型的效果，选用RetinaNet 网络进行对比，结果如图4 所示。可以看出，Dense-YOLO 网络能够检测出所有目标，有效抑制了漏检现象，而RetinaNet 网络的检测结果中存在漏检现象。

图4 弱光环境下行人检测结果对比Fig.4 Comparison of pedestrian detection results in low light environments

RetinaNet 网络和Dense-YOLO 网络的具体检测数据见表1。可以看出，对于增强图像，Dense-YOLO网络的漏检率为4.55%，相较于RetinaNet 网络减小了14.91%，但是平均精度均值（mean Average Precision，mAP）稍低于RetinaNet 网络，比其减小了4.84%；在运行时间上，2 种网络差别不大。

表1 RetinaNet 网络和Dense-YOLO 网络检测结果Table 1 Detection results of RetinaNet network and Dense-YOLO network

4 结论

（1）将弱光图像分解为光照图和反射图。对于光照图，采用Gamma 变换、加权对数变换、CLAHE进行增强处理，对增强后的图像进行加权融合；对于反射图，采用双边滤波算法增强图像纹理；将增强后的光照图和反射图融合，并采用ROF 去噪模型对融合后的图像进行全局去噪，得到最终的增强图像。

（2）将含有残差块的Dense 模块添加到YOLOv3中，构建基于Dense-YOLO 网络的井下行人检测模型。

（3）实验结果表明：对弱光图像进行增强处理能够有效提高图像可见度和行人检测效果；Dense-YOLO网络对增强图像的漏检率为4.55%，相较于RetinaNet网络降低了14.91%，基于Dense-YOLO 网络的井下行人检测模型有效降低了行人检测漏检率。