基于深度学习的输煤皮带故障视觉检测方法研究

毕东月

(安世亚太科技股份有限公司，北京 100025)

0 引言

采用输煤皮带对煤料进行输送是煤炭生产企业一种常用方式，但在生产过程中输煤皮带可能发生跑偏、断带、撕裂等安全事故[1-2]。目前，对输煤皮带进行设备巡检时，普遍采用人工巡视、手工记录的作业模式。工作人员在现场进行巡视，主要通过看、触、听等感官对运行设备进行简单的定性判断，但现场环境往往较为恶劣，且劳动任务强度大，容易导致误判而影响系统正常安全运行。因此，及时诊断发现输煤皮带故障，准确定位并处理，对保障输煤皮带安全工作具有十分重要意义[3-4]。

近年来，利用图像分析实现输煤皮带的故障检测与诊断是一种有效方式，因其安装维护简单，应用成本低，受到了国内外学者的广泛关注[5-7]。文献[8]总结了煤炭运输机跑偏通常由承载托辊组运行失常、改向滚筒积煤、运动过程中传动以及落煤不均匀等原因引起，并提出解决皮带跑偏的几种方法；杨林顺等[9]提出了一种基于导向滤波和最大类间方差法的改进Canny算子边缘检测方法，实现了对输送带跑偏故障的在线检测和分级故障报警。针对输送机出现的纵向撕裂问题，李海滨等[10]提出了一种基于线激光辅助的皮带撕裂视觉检测方法，通过对所提取的线激光条纹处理判断，实现皮带撕裂检测；王福斌等[11]提出了基于视觉的皮带撕裂监测方法，并构建了皮带撕裂视觉监控系统，可代替人工对皮带进行不间断的实时检测。针对大块矸石或铁器等非煤异物进入输送带系统易造成输送带损伤等问题，吴守鹏等[12]提出一种Faster-RCNN+双向特征金字塔网络的运煤输送带异物识别模型，提升了Faster-RCNN模型在多尺度非煤异物检测的性能。

为了能实时高效地检测出输煤皮带的跑偏、撕裂和异物等故障情况，本文提出一种基于深度学习的输煤皮带故障视觉检测方法，通过对运行皮带进行边缘检测，利用Canny进行边缘检测，并通过YOLO算法提取细节特征，设计无异物阈值，利用最小距离分类算法得到有无异物特征，基于上述方法，构建输煤皮带视觉检测系统，解决皮带跑偏、裂纹、异物检测难等问题。

1 检测方案

1.1 系统的基本结构

基于机器视觉技术的皮带故障检测系统的组成及工作流程如图1所示。首先利用安装在皮带机上的摄像头采集现场图像；被测输送带按照一定的节拍运动，摄像头同步拍摄皮带运动画面；在光源的照射下，摄像头获取被测皮带的纹理、两侧边缘轮廓等影像信息；利用光学放大系统接收影像信息，再通过CCD摄像头将其转换为视频信号，将其输出给视频处理服务器，图像信息经过算法处理运算，最终得到待检测皮带的撕裂、跑偏及异物等信息。

图1 系统组成及工作流程

1.2 输煤皮带跑偏检测算法

输煤皮带跑偏是指输煤带偏离正常的运行方向，这是输煤皮带运行中最为常见的一种故障。当输煤系统出现输煤皮带跑偏故障时，容易造成撒煤、煤粉飞扬等问题，不仅会对工作环境造成污染，还会引发皮带高温损伤、撕裂等[13]。因此，对输煤皮带进行跑偏检测显得尤为重要。

首先用摄像机获取皮带两侧边缘的轮廓图像，然后利用Canny边缘检测算法，通过设定合理的皮带动态监测范围，准确识别输煤皮带边缘。当皮带发生跑偏，超出设定的范围，即发出报警信息。输煤皮带跑偏检测流程如图2所示。

图2 输煤皮带跑偏检测流程

Canny边缘检测算法首先利用高斯滤波器对需要边缘检测的视觉图像进行平滑处理，滤除噪声；之后计算视觉图像中每个像素点的梯级强度和方向；再利用双阈值检测法来判定边缘，通过抑制其中的弱边缘并最终完成检测。

Canny边缘检测算法具体的实现如下：

1)高斯平滑

Canny算子是基于高斯一阶导数的最优化逼近算子。首先利用图像I与高斯平滑滤波器G作卷积得到1个平滑后的数据阵列，如式(1)所示：

S[i,j]=G[i,j;σ]*I[i,j]

(1)

式中：i，j分别表示图像像素矩阵第i行和第j列；σ表示高斯函数的散步参数，用以控制平滑程度。

使用一阶有限差分计算平滑后的数据阵列S的x和y方向上偏导数的2个阵列P与Q，如式(2)～(3)所示：

(2)

(3)

然后利用直角坐标系到极坐标之间的转换公式来计算幅值M和方位角θ，如式(4)～(5)所示：

(4)

(5)

2)非极大值抑制

为确定图像边缘，采用非极大值抑制(Non-Maxima Suppression，NMS)生成细化的边缘[14]。NMS算法首先将梯度角θ的变化范围减小到圆周的4个扇区之一，如式(6)～(7)所示：

ζ[i,j]=Sector(θ[i,j])

(6)

式中：Sector为扇区符号；ζ为扇区值。

N[i,j]=NMS(M[i,j],ζ[i,j])

(7)

式中：N的非零值对应图像灰度阶跃处对比度。

3)双阈值化

虽然在第1)步中对图像进行了高斯平滑处理，但是NMS过程中仍包含了由细纹理和噪声引起的假边缘段。通常的方法是在NMS过程中使用1个阈值τ，将低于阈值τ的所有值赋零，得到图像的边缘阵列。但如果阈值τ取得太低，则会得到1个假边缘；取得太高则导致部分轮廓丢失。本文采取双阈值算法[15]来解决上述问题。

1.3 输煤皮带撕裂检测

输煤皮带的撕裂一般分为横向撕裂和纵向撕裂。横向撕裂是指与传输带垂直或与传输带运行方向成一定夹角的裂缝，一般是在胶接头胶接不牢的情况下发生断裂。由于传输带的纹理是纵向的，横向裂缝会有很明显的特征，且对皮带的损害尤其显著。本文仅利用算法对横向撕裂进行研究。

首先在视频帧中通过矩形框找到传输带的位置，之后对图像进行预处理，获得图像数据，再对传输带的图像进行二值化处理，最终得到传输带上的横向纹理。由于噪声干扰，需要先进行降噪处理。采取的方法是图像形态学处理的腐蚀和膨胀，然后再通过裂缝的整体特征(采用HOG特征)来判断。如裂缝会有一系列的毛边，可以通过这些毛边来确定是噪声还是真实裂缝，其检测流程如图3所示。

图3 横向裂缝检测流程

具体的实现如下：

1)视频帧：摄像机拍摄视频，实时提取出当前帧进行检测。

2)检测传输带：目前实现目标检测具代表性的是Faster-RCNN和Yolo这2种深度学习模型。Yolo是单阶段目标检测模型，用1个网络同时实现了分类和定位，且模型相对较小，检测相对较快。为了能实现实时的检测，本文选择Yolo模型来进行目标检测。

3)图像预处理：主要是对图像进行降噪处理，一般采用提取灰度值、腐蚀和膨胀等图像形态学来处理。

4)HOG特征：方向梯度直方图(Histogram of Oriented Gradient，HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述。根据横向纹理的HOG与裂缝HOG特征比对，便可判断是不是横向裂缝。

1.4 输煤皮带异物检测

将输煤皮带识别异物问题转换为分类问题，即有无异物这2类。因此可以将识别算法转换成构造分类算法(二分类)的问题。由于无异物的样本数量远远大于有异物的样本数量，所以本文选取的方法是贝叶斯分类算法中最小距离分类算法。

最小距离分类算法是指求出未知类别向量到要识别各类别代表向量中心点的距离，将未知类别向量归属于距离最小一类的一种图像分类方法。通过求出未知类别向量X到事先已知的各类别(如A，B，C等)中心向量的距离D，然后将待分类的向量X归结为这些距离中最小的那一类的分类方法。本文选取欧式距离来进行计算。基本原理如下所示：

在1个n维空间中，最小距离分类法首先计算每个已知类别XA(用向量表示为[XA1,XA2,…,XAn])的各个维度的均值，形成1个均值μA(用向量表示为[μA1,μA2,…,μAn])，其中A为类别的名称，XA是类别A的样本特征集合，XA1是类别A的第1维特征集合，μA1是第1维特征集合的均值，n为总的特征维数；同理，对另1个类别XB进行同样的操作。现在有1个新的未知样本X，得到X各个维度的特征值(也用向量表示)，然后用欧式距离计算X到XA和XB的距离dA和dB,若dA

图4 异物检测流程

2 分析与讨论

2.1 模型训练与仿真实验

本文的仿真环境为配有RTX 3080 GPU显卡的Linux系统服务器，其处理器为Intel Core i7-7770，文中所述的YOLO算法基于Pytorch深度学习框架开发。

本文所述算法的训练数据集与验证数据集均由作者自主构建。其中用于检测皮带的YOLO算法数据集由有无煤区皮带以及皮带被遮挡的RGB图像构成，数据集大小及训练集与测试集的划分见表1。

表1 自建数据集信息

通过摄像头获得的RGB图像通过Labelme软件进行标注，得到RGB图像中皮带的位置框。其标注方式如图5所示。

图5 皮带数据标注

用于检测皮带的YOLO算法训练参数见表2。

表2 模型训练参数信息

YOLO神经网络模型的迭代次数通过多次在无煤区皮带数据集上实验得出，YOLO算法在迭代至280 000～300 000次时平均误差维持在0.1左右。为防止过拟合，每1次学习的过程中，需要将学习后的参数按照固定比例进行降低，所以设定权值衰减系数为0.000 5。由于图片的分辨率较高，而服务器GPU内存有限，所以采用较低的训练Batchsize以完成训练。

在目标检测模型评价中，对模型的评价方式一般采用统一的标准，利用模型准确率P(Precision)、召回率R(Recall)计算出平均准确率AP(AveragePrecision)，最后把均值平均精度mAP(meanAveragePrecision)作为目标检测模型的性能评估标准。具体计算方式如式(8)～(9)所示：

(8)

(9)

式中：TP表示检测框中正确，且IOU大于阈值的。FP表示检测框中错误，且IOU小于阈值的。FN表示真实正确的框，但没有被模型检测到的。IOU是模型所预测的检测框和真实框的交集和并集之间的比例，本文设置IOU阈值为0.5。IOU的计算原理如图6所示。

图6 IOU计算原理

由于算法训练实验所采用的数据集均为作者自主构造，数据集与原算法模型训练的数据集差异较大，所以算法模型直接复用在本文所述数据集上性能的表现并不是最佳，经过数据处理以及模型参数调整，得到算法模型在本文数据集上的最优性能，网络模型性能参数对比如表3所示。由于增加了图片处理的操作，模型准确率由85.31%提高到93.24%，召回率由74.23%提高到84.56%。算法整体速度由35帧/s下降到32帧/s，但均值平均精度由84.36%提高到94.67%，准确度得到了较大提升。

表3 模型性能信息

图7为本文训练算法模型对皮带的检测结果，左上角为模型输出的置信度分数。从图中可以看出，本文训练算法能较好地得到皮带的位置框，置信度为0.989 1,精度得到明显提升。

图7 皮带视觉检测结果

2.2 皮带跑偏检测结果

图8(a)为摄像机获得皮带两侧边缘轮廓的原始图像，首先通过Canny边缘检测算法对原始图像进行预处理得到灰度图如图8(b)所示。准确识别输煤皮带边缘后，通过设定的阈值范围来判断皮带是否跑偏，图8(c)和图8(d)为实验过程中通过Canny边缘检测算法判断出皮带跑偏情况。可以看出，算法能准确快速地识别出皮带跑偏情况。

图8 输煤皮带跑偏检测结果

2.3 皮带撕裂检测结果

在对输煤皮带裂缝进行判断时，需要保证输煤皮带上没有传输的煤。否则会因为煤的遮挡，无法观察到裂缝。此时，根据提供的视频数据分析，提出2种解决方案，第1种方案，在输煤皮带空载的时候进行裂缝检测，如图9所示。第2种方案是对正在工作的输煤皮带上没有煤的区域部分进行检测，如图10所示。

图9 输煤皮带空载状态

图10 输煤皮带上无煤检测区域

针对横向无煤区域与纵向无煤区的检测，分别做了算法性能实试，算法检测性能结果如表4所示，从表4可以看出，该算法能准确识别出输送平带上的横向无煤检测区域和纵向无煤检测区域，模型准确率分别为94.3%和95.24%，召回率分别为85.11%和84.96%，均值平均精度分别为85.31%和84.96%，满足2种情况的皮带检测精度需求，且检测帧率也符合需求。

表4 皮带检测性能

皮带横向裂缝的检测结果如图11所示。从图11(a)可以看出，利用目标检测算法可以准确地识别皮带中真实裂纹和噪声的具体位置。从图11(b)可以看出，通过对图像进行二值化的预处理和降噪处理后可以明显区分出横向裂纹和噪声。

图11 横向裂缝图像

由于传输带本身具有纵向纹理特征(如图12所示)，本文通过在皮带下方安装红色照明灯这一辅助手段有效提高了纵向裂缝的检测结果，如图13所示。

图12 纵向纹理图像

图13 纵向裂缝图像

2.4 皮带异物检测结果

基于计算机视觉方法获得输煤皮带上异物的检测结果，如图14所示。

图14 异物检测结果

计算机视觉算法对于异物的检测性能数据如表5所示。模型准确率为98.3%，召回率分别为87.11%，均值平均精度分别为90.31%，算法速度为51帧/s。由表5可以得出，利用主成分分析算法可以很好地提取出非煤物质(异物)与煤物质的不同特征，通过识别算法可以准确地识别出异物，且速度较快。

表5 异物检测性能

3 结论

1)输煤皮带的安全运行对整体生产作业效率有着举足轻重的影响。为确保输煤皮带正常运行，建立一种基于深度学习算法的输煤皮带故障视觉检测系统，可对常见的皮带跑偏、撕裂和异物等故障进行实时检测与诊断。

2)针对不同的故障类型与故障原因，采用深度学习中的边缘检测算法、目标检测算法和分类算法等对故障进行处理。针对纵向裂缝与纵向纹理较难区分的问题，通过在传输带的下方加装红色灯的辅助手段来实现纵向裂缝的检测，解决了纵向撕裂难以检测的问题。

3)算法实验结果表明：提出的视觉检测系统可以实时高效地检测出输煤皮带常见的3种故障，可进一步保障运输系统安全稳定运行。