基于Res2-UNet 模型的皮带煤量检测∗

成彦颖 白尚旺

（太原科技大学计算机科学与技术学院 太原 030024）

1 引言

煤炭产量是衡量煤矿生产效率和经济效益的重要指标，带式输送机作为煤矿中常用的输送设备，在运输煤料中经常会出现堆煤、少煤、空载的情况，使得煤量运输不均匀。所以煤量的检测不仅能预测煤炭产量，进行生产管理，而且能将皮带煤料上的情况反馈给工作人员，对皮带进行及时有效的控制，达到优化煤量，节省电能的目的。

传统的皮带煤量检测有接触式或非接触式两种方法，接触式的方法包括倾斜开关、压力检测［1］或电子胶带秤［2］。倾斜开关虽然简单，容易检测，但皮带易磨损，需要定期检查维修，而且检测的准确率和可靠性差［1］。压力检测和电子胶带秤由于和皮带长时间接触、皮带自身的重量和速度等误差都会对检测造成影响［3］。非接触式方法有电场感应和激光检测，电场感应通过安装智能传感器来检测煤量，产生的电场变化作为煤量检测的输出，但是电场感应方法无法检测煤量的多少［1］。激光检测通过激光扫描测量技术实时采集煤流的三维数据，计算煤的体积和重量［4］。这种方法可以检测出煤量的多少，但是成本较高，不能很好的普及。部分煤矿将变频技术和载煤量自动匹配控制结合起来，加强了节能的效果［5］，但是在复杂的煤矿环境中，变频器易收到干扰而损坏。

随着计算机视觉的发展，利用深度学习进行图像分割检测也有着突出表现。在煤矿领域中，利用了视觉检测中的单目视觉技术构建小孔成像测距模型，实现了胶带堆煤检测［6］。基于机器视觉的智能输煤检测系统将煤量检测分为煤宽和煤高检测，采取煤宽分割区域和基于卷积神经网络的煤高检测，整体效果好，但是在复杂的环境下适应性差且精度较低［7］。

本文针对煤炭图像检测精度低，且适应性差等问题，提出了一种新的煤量检测方法，首先通过Camshift 算法实时跟踪捕捉皮带煤量的区域，然后通过Res2-UNet模型将多层次、多尺度的显著性特征集中到单一的网络，检测煤量的轮廓区域。实现了对煤量的准确定位和分割。

2 皮带煤量检测视觉监控系统

本系统在皮带上方安装矿用高清防爆摄像头实时采集皮带的视频，将采集到的视频通过网络传到服务器上，服务器通过人工智能视频识别模型检测和分析煤量，采用Camshift 算法跟踪和Res2-UNet网络检测。图1为皮带煤量检测视觉监控系统。

图1 皮带煤量检测视觉监控系统

3 实验流程

3.1 预处理

首先读入要检测的皮带视频，采集煤流数据，为了保证图像检测的准确性和提高训练的速度，需要对目标图像进行预处理，包括图像裁剪、光照均匀处理、图像池化等。图像裁剪根据检测的目标对象的坐标来定位裁剪区域，将图像尺寸调整为250像素×250 像素。光照均匀处理，是指当在工作场景中光照不均匀时，可能会对我们的检测造成影响，光照的变化会导致图像的像素矩阵发生变化，这里对图像做光照均匀处理可在一定程度上改善算法的判断效果。最后，对于预处理步骤中的图像池化，是因为在实际场景中可能会出现摄像头轻微抖动等情况，可能会导致相邻的视频帧的图像的像素值会发生一定的偏移，这里使用卷积神经网络中的池化层的思想，对图像进行池化可达到对池化区域内像素值进行平滑的效果，可在一定程度上改善轻微的像素值变化造成的影响。

预处理之后利用Camshift 算法快速跟踪捕捉运行的皮带煤流图像，然后通过Res2-UNet模型进行煤量检测。图2为皮带煤量检测流程图。

图2 皮带煤量检测流程图

3.2 基于Camshift算法的皮带煤量快速跟踪

利 用Camshift（Continuously Adaptive Mean Shift）［8］连续的自适应平均移位（Meanshift）算法对快速移动的物体跟踪，提取煤量的位移。这种算法根据目标物体的颜色特征跟踪目标的运动轨迹，颜色特征不会受外界的环境变化，所以Camshift 算法对于跟踪物体来说比较稳定，并且实时性好、准确率和效率都很高。

本文通过矿用高清防爆摄像头捕获高速运动的皮带，对采集到的视频帧做预处理，将RGB 颜色空间变为HSV 空间形成候选目标区域，手动定义搜索窗口选择移动目标，通过Meanshift 运算，并且使上一帧目标窗口的的中心位置和大小作为下一帧的目标窗口的初始值，依次迭代下去，直到最后一帧的目标跟踪。Camshift算法流程如图3所示。

图3 Camshift算法流程图

首先计算搜索区域的大小，将RGB 图像转化为HSV 图像，HSV 空间有三个参数，即色调（H）、饱和度（S）和明度（V），计算公式如下：

计算搜索窗口的目标颜色直方图是为了得到颜色概率分布图像。当直方图投影后，每个像素的值代表了颜色的概率信息，从而通过颜色特征可以跟踪目标的轨迹。

搜索区域像素点的坐标为（x，y），在投影图中，对应的像素值为I（x，y）。搜索窗口的零阶矩、一阶矩、二阶矩分别为M00；M01；M10；M20；M02；M11。

定义了搜索框的质心坐标（xc，yc）：

长轴为l，短轴为w，目标的方向角为

通过Meanshift 算法，搜索窗口的中心移动到质心位置，设定搜索窗口中心到质心距离阈值，不断移动计算两者之间的实际距离，若实际距离小于设定的阈值，则达到了收敛条件进行下一帧的循环，否则重新调整搜索窗口的质心位置以满足条件。

3.3 建立Res2-UNet煤量检测模型

本文提出的Res2-UNet 模型借鉴了图像分割U-Net［9~11］网络的思想，是一个编码器-解码器架构，编码器采用Res2Net［12］多尺度卷积网络提取特征信息，如图4 所示，Res2Net 将ResNet 通用的3×3的卷积核变为多分支的特征组，这些特征组以分层残差的形式连接以增加多尺度的输出。首先将输入特征图分成几组，一组输入特征图提取特征，其输出特征与另一组的输入特征图共同送入下一个3×3 的卷积核，重复几次，处理完所有的输入特征图，输出不同大小感受野，将输出结果融合并且经过1×1的卷积核，得到更多尺度的特征。

图4 Res2Net网络模型

随着深度的增加，图像尺寸逐渐减少，所以通过下采样操作提取高层次的特征，输入图像以256×256 为例，以Res2Net 网络作为特征提取模块得到8×8 的特征图。解码器通过反卷积操作扩大图像尺寸，并与下采样相同尺寸的特征图拼接起来，将输入特征的空间大小加倍，传播上下文信息到更高分辨率的层，然后将拼接后的特征图经过1×1 的卷积核和反卷积操作后，使得输出与输入图像的的分辨率大小相同。最后通过1×1 分类器映射特征向量到输出层进行分类，采用Sigmoid 函数作为激活函数，以交叉熵为代价函数，提高训练的速度［13~14］。Res2-UNet的模型结构如图5所示。

图5 Res2-UNet的模型

4 实验

4.1 Camshift算法快速跟踪皮带

煤矿中皮带工作时以较高的速度运行，皮带煤量视觉监控系统必须快速捕捉跟踪皮带上的煤量，在煤量区域的视野范围内，采集高速运行的皮带图像。本文实地采集三甲煤矿不同场景（露天煤矿、地下煤矿）、不同角度、不同时间段5 段共10h 皮带煤流运行的视频，具有代表性，符合实际情况，验证本文方法在多变环境中的煤量检测效果。

首先采用Camshift 算法跟踪快速运行的皮带视频，观察煤量变化的情况。如图6 所示为跟踪皮带第230帧和第245帧的结果。

图6 皮带跟踪结果

4.2 Res2-UNet模型皮带检测

通过Camshift 算法快速跟踪到煤量区域后，在跟踪后的图片数据集挑选无煤、少煤、中煤、多煤、大块煤各150 张数据集，总共800 张训练集和100张测试集。将训练集在Res2-UNet 网络中进行训练，训练参数如表1所示，“batch_size”表示每次迭代的皮带图像数量，“epochs”表示训练集中所有数据迭代的次数。“imgs_train”表示训练集的总数。“Resolution”表示训练集图像的分辨率。 实验采用随机梯度下降法。训练完成后识别和分割皮带上的煤量，结果如图7所示。

表1 设置训练参数

图7 煤量检测结果

通过对比本文的煤量检测方法与CNN、E-Net［15］、U-Net 在平均准确率和运行时间指标上的区别，精确率为测试图像中每个像素点与真实图相对比，分类正确的占比，运行时间为每张图像从输入网络到输出的时间。验证本文方法的有效性。检测结果如表2所示。

表2 不同模型的精度

从表2可知，U-Net网络平均准确率较高，但是运行时间不占优势，E-Net 运行时间少，但是平均准确率低。而本文提到的煤量检测方法准确率更高，达到95.5%。且运行时间为4.8s，从而能更准确及时地检测皮带上煤料，对带式输送机进行有效的控制。

5 结语

为了能实时准确地检测皮带上的煤量，本文采用Camshift 算法捕捉跟踪快速运行的皮带煤量目标，当定位目标的感兴趣区域后，通过Res2Net 网络提取煤量显著特征，结合U-Net网络的设计思想建立Res2-UNet 模型。该架构通过收缩路径捕捉煤量的上下文信息，对称的扩张路径来准确定位，可以用很少的数据集实现端到端的训练，降低了模型训练的难度，减少了计算量，加快了检测速度。综上本文提到的检测方法能高效快速地检测皮带煤量，大大减少了电能损耗，提高了煤矿井下煤量的生产效率和经济效益。