基于图像分割的皮带跑偏故障分级报警方法研究

聂志勇，官锋，穆杞梓

（国家能源集团信息公司，北京 100011）

1 引言

皮带输送机作为一种连续性物料运输机械，近年来在煤炭、矿山、港口等领域获得广泛应用。在输送机运行过程中，最常见的故障就是皮带跑偏。若故障不及时处理容易导致物料堆积泄漏，造成环境污染等不良后果。因此，研究皮带跑偏检测方法对维护整个生产系统的安全具有重要意义。

目前，各电厂、港口等对于皮带跑偏故障常采用传感器式检测方案。其通常在输送带两侧机架安装偏差开关，一旦发生跑偏事故，输送带推动偏差开关的作用臂发生偏转，进而触发开关并发出报警信号。然而，这种方法常出现误报现象，严重影响工厂正常生产。近年来，随着机器视觉在能源领域的不断发展，结合图像识别的皮带跑偏检测方法逐渐受到研究者关注。此类方法不仅能从根本上避免因人工导致的失误，提高检测精度；并且能在检测出皮带跑偏故障的同时，及时上报报警信息并快速响应处理，节省时间和成本。最近，Yang 等通过线阵CCD 采集皮带下表面图像，并采用列阈值的图像分割算法检测皮带边缘，从而确定偏差。Mei 等提出一种基于图像增强算法的偏差检测方法，通过自适应阈值和图像增强算法检测皮带边缘，据此计算皮带的偏移和变形并预测跑偏故障。

随着深度学习的发展，结合神经网络的皮带跑偏检测方法开始成为研究热点。当前结合神经网络的皮带跑偏检测方法主要是以皮带两侧托辊作为检测目标的托辊检测法。Liu 等提出一种基于模板匹配的椭圆弧检测算法来检测托辊外边缘。然而由于检测目标易受干扰，因此当单侧目标被遮挡时该方法无法正常检测。且其易受现场亮度、托辊与相机的距离等环境因素影响，对于新场景需要进行针对性优化，普适性较低。最近，范等提出基于BP 神经网络的皮带跑偏检测方法。王等提出用鉴频器来判断故障声，并通过CNN 定位故障声位置。然而，上述方法均在皮带出现轻度跑偏时就产生报警信号，而实际生产作业中，皮带轻微偏斜并不会对生产造成影响，若轻度跑偏报警过于频繁，会出现较多干扰信号，影响现场调度人员判断。因此，对皮带跑偏故障进行分级报警显得尤为重要。

基于上述分析，本文提出一种基于图像分割的皮带跑偏故障分级报警方法。该方法结合实例分割及边缘检测技术，首先基于Mask R-CNN 进行实例分割获取图像中皮带的位置，其次结合霍夫直线检测有效定位皮带边缘，最终通过判定皮带边缘和预设报警线之间的位置关系确定报警级别，从而达到在减少人工成本的同时及时获取报警信息的目的，避免因人员误判导致的经济效益损失。

2 基于图像分割的皮带跑偏故障分级报警方法设计

根据实际场景，皮带跑偏故障分为轻度、中度及重度跑偏。在轻度跑偏时，跑偏故障不会对生产造成影响；中度跑偏后，皮带运行中存在撒煤等生产隐患；重度跑偏情况下，皮带严重偏斜，无法正常工作。因此，为进行皮带跑偏故障分级检测，本文基于专家经验提前对皮带跑偏报警线进行标注（如图1 皮带两侧各3 根绿色直线），并在此基础上设计了皮带跑偏故障分级检测模型。

图1 皮带预标注报警线示意图

该模型主要包含3 个阶段。首先，通过实例分割技术输出图像中的皮带实例（图1 黄色区域所示），并筛取皮带边缘点；其次，运用霍夫直线检测技术获取皮带边缘集，设计过滤方法对该集合中的直线进行过滤；最后结合边缘点及边缘集拟合得到皮带边缘（图1 中红色直线），并通过比较皮带边缘与预设报警线间的位置关系确定跑偏故障等级。

2.1 基于Mask R-CNN 的皮带实例及边缘点提取方法

为计算皮带跑偏程度，首先需要对图像上的皮带实例进行识别及分割。该过程属于目标检测的范畴。基于深度学习的典型目标检测方法包括yolo 系列，Fast R-CNN，Faster R-CNN 等。2017 年，何等提出Mask R-CNN 作为Faster R-CNN 的改进，他们通过ROI Align 来替换ROI Pooling 的取整操作，使得对每个感兴趣区域取得的特征都能更好地对齐原图上的感兴趣区域。因此，为保证皮带感兴趣区域提取的准确性，本文通过Mask R-CNN 模型识别图片中的皮带实例，为其绘制边界框并对边界点进行标记。模型整体架构如图2 所示。

图2 Mask R-CNN 整体架构

Mask R-CNN 在输入图像后，首先，使用残差网络ResNet101 以及特征金字塔网络FPN 作为骨架层进行特征提取，其中由ResNet 网络完成主干特征的提取，并通过FPN 加强特征提取，以获得图像的多尺度特征；其次，在获得对应的特征图后，将其送入区域建议网络RPN 来获得感兴趣区域；最后，通过ROI Align 对感兴趣区域进行池化操作，将相应区域池化为固定尺寸的特征图；最后对这些感兴趣区域进行分类、边框回归和mask 生成，并将检测得到的所有mask 叠加融合为1 个mask 整体。

在输出mask 基础上基于预设报警线分别计算得到皮带两侧边缘点。鉴于该过程中输出的边缘点数量众多，导致后续计算量较大，因此需要对上述边缘点进行筛取。而Mask R-CNN 模型输出的mask 存在不规则现象，通过直接均分筛取得到的边缘点不能很好的表现出皮带实例的语义信息，因此本文设计了如下边缘点均分方法来分别获取皮带2 侧各n 个（本文根据专家经验选取n=10）具有较强特征的边缘点（以左侧边缘点获取为例）：

（1）获取mask 纵坐标方向的最大、最小值：yMax，yMin；

（2）考虑到mask 的连续性，将皮带依照纵坐标均分为n-1 等份，记纵坐标依次为y1,y2,...,yi,...yn， 其中y1=yMin，yn=ymax。 对于某纵坐标yi， 获取mask 多边形左侧区域与直线y=yi的交点， 记为 集 合， 其 中，xmaxi表示纵坐标yi下获取的所有边缘点中横坐标的最大值；该步骤中获取的所有边缘点组成边缘点集

（3） 选 取 各 纵 坐 标 中 最 靠 近 皮 带区 域 的 那 一 点(xmaxi,yi) 进 行 存 储， 记 为。

2.2 皮带边缘检测及过滤

通过标准霍夫直线检测获取图像中皮带2 侧的边缘线，并设计相关过滤方法对直线检测结果进行过滤。

霍夫直线检测具体步骤如下：

（1）对输入图像进行高斯模糊。

图像中的皮带边缘往往是灰度变化幅度最剧烈的区域，而这其中存在一些表现出阶跃效应或屋顶效应的孤立像素点或像素块，对最终的边缘检测效果带来干扰。因此，这一步，通过高斯滤波器来消除图像噪声，从而提高和噪声相关的边缘检测算子的性能。

（2）使用Canny 算子进行皮带边缘检测。

（3）利用概率霍夫变换直线检测获取皮带边缘。

对得到的边缘检测结果进行概率霍夫变换直线检测得到最终所需的皮带边缘。在该步骤中，为满足足够的泛化性，Canny 边缘检测和概率霍夫变换直线检测的参数设置宽容度较高，导致在最终结果中生成大量直线，使得后续计算量庞大。因此，为保证检测的实时性，缩短检测周期，本文设计了如下过滤方法来剔除多余的直线检测结果：

①将用户标注的预警线转换为极坐标参数(θ,r)；

②将霍夫变换直线检测结果中各直线坐标转换为极坐标参数(θ’,r’)，并根据公式（1）筛除多余结果；

③估计皮带宽度。基于预设报警线获取皮带两侧中心点，求出两点间的欧式距离d，即为对应皮带宽度估值。（以1920*1080 图像分辨率为例，竖直方向像素点为1080，皮带两侧中心点为皮带两侧轻度报警线与直线y=540 的交点。）

④根据公式（2）筛选满足条件的直线，获取最终结果。

2.3 边缘线拟合及分级报警

基于2.1 节输出的皮带2 侧各n 个边缘点，以及2.2节筛选得到的备选皮带边缘，设计如下拟合方案，准确得到皮带2 侧边缘：

（1）利用预设报警线获取图像中的皮带中轴，并基于该中轴线区分皮带左右两侧备选边缘；

（2）分别计算皮带两侧各边缘点与备选边缘直线间的欧式距离；对于某边缘点i（x,y），其到直线j：Ax+By+C=0 的欧式距离定义为：

（3）分别计算皮带两侧各备选直线的边缘拟合权重，以皮带左侧为例，某备选直线j 的边缘拟合权重（j=1,2,3....ml）如公式（4）所示：

（4）分别取出皮带两侧权重最小的直线作为其边缘。同时，通过判断皮带边缘与各条报警线间的位置关系确定最终报警级别。具体方法如下（以左侧皮带为例）：

①以皮带中轴线为基准，在图像中分别以2.1 中mask 纵坐标方向的最大、最小值：yMax，yMin做两条水平直线y=ymin及y=ymax；

②计算上述2 条直线与3 条皮带跑偏预警线（如图3所示绿色直线）分别相交形成的多边形的面积S2及S3；

图3 皮带跑偏故障分级报警计算方法图示

③以皮带中轴线为基准，遍历计算皮带左边缘与中轴线及y=ymax,y=ymin形成的多边形S1与上述S2以及S3是否有交集，当或时，皮带正常运行；当且或，且时，皮带发生轻度跑偏；当且时，皮带发生中度跑偏；当且时，皮带发生重度跑偏。其中t1表示一般跑偏故障阈值，t2表示重度跑偏故障阈值，这里根据专家经验设定取值为：t1=40%，t2=80%。

本模型优点在于报警条件可客制化，且在边缘直线检测阶段使用的是概率霍夫变换方法，因此相较于传统霍夫直线检测在恶劣场景（如尘土干扰、光照强度不足等）下的鲁棒性更高。

3 实验及评价

3.1 实验环境及数据

本文所有实验均在windows 10 专业版64 位操作系统下进行，配置采用Intel Xeon Gold 5218R CPU，搭配2 张NVIDIA RTX6000 显卡，基于pytorch 框架，在python 3.8，CUDA10.2.89 上训练和测试深度神经网络模型。

为测试所提方法的有效性及准确性，基于乌东及锦界煤矿实际生产中的皮带视频监控数据建立训练集、验证集及测试集。该测试集主要包含13 个样本数据共21490 张图像，每个样本中包括数量不等的正负样本，其中负样本中包含一定比例的轻度、中度以及重度皮带跑偏图像。

3.2 实验结果

3.2.1 分级报警可行性分析

在上述测试集中测试本文所提算法对于皮带分级跑偏故障检测的准确性，具体结果如表1 所示。根据结果，所提算法在轻度、中度以及重度跑偏故障检测中的准确率均大于90%，验证了所提算法对于分级故障检测的可行性。

表1 皮带分级故障检测准确率

3.2.2 与传统托辊检测方案比较

在上述测试集中将所提方法与传统托辊检测方案进行对比，验证本方法对于识别皮带故障的准确性，结果如表2 所示。可见，所提方法在11 个样本中都表现出与传统托辊检测算法相等甚至更优的精确率，而在9 个样本中也表现出相对更高的召回率。同时，在表现略差的情况下，本方法与托辊检测方案的误差也始终控制在0.08以内，验证了本方法对于检测皮带跑偏故障的准确性。

3.2.3 项目现场应用结果评价

通过在项目现场实际应用部署，验证所提方法在现实应用场景中的有效性。使用本文所设计方法得到的皮带正常工作时及皮带跑偏故障时检测结果如图4 所示。从实际现场部署及报警结果来看，本方法能有效识别皮带边缘线，在皮带发生跑偏故障时准确且及时地判断故障等级并发出报警信号，该结果也与3.2.1 及3.2.2 节中的测试结果高度吻合。可见，所提方法在项目实施现场能够满足实时的皮带跑偏故障检测需求，有效实现跑偏故障分级报警。

图4 所提方法项目现场实际应用部署情况

4 结语

本文提出一种基于图像分割的皮带跑偏故障分级报警方法，该方法运用Mask R-CNN 模型进行实例分割来定位皮带位置，并基于霍夫直线检测方法定位皮带边缘，最终通过判断该检测边缘与预设报警线间的位置关系实现故障分级报警。本文创新性地提出了一系列优化方案，包括筛取皮带边缘点以及过滤多余的边缘直线来减少计算量，大大提升了算法效率。通过在真实的数据集以及实际现场部署来验证算法可行性及准确性，结果显示，本方法能够实现皮带分级报警，且相比传统皮带托辊检测方法，其在多数情况下表现出更高的准确性，避免了传统托辊检测因单侧遮挡造成的误报、漏报事故，有效减少了井下安全事故发生的可能，提高了生产安全。