斗齿检测系统在露天煤矿WK-35采煤电铲上的应用

丁瑞元

(国家能源集团准能集团信息中心，内蒙古 鄂尔多斯 010300)

电铲是用于对矿产表面覆盖物及矿石进行剥离和采装作业的一种露天矿产采掘设备，具有爆破要求低、环境适应性强、工作效率高、运营成本低、国产技术较为成熟等优点，一直是国内大型露天矿的主要采掘设备[1]。黑岱沟露天煤矿现有电铲12台，其中2台电铲进行采煤作业，其余10台电铲进行岩石剥离作业。采煤作业采用的是单斗电铲—自卸卡车—破碎站—带式输送机半连续工艺，岩石剥离作业采用的是单斗电铲—自卸卡车间断工艺。

电铲在剥离和采装作业过程中，首先铲斗在提升力和推压力共同作用下插入被采掘的物料中，铲斗的斗齿最先接触物料，切入点小，受力大，铲斗上原本固定在齿座上的斗齿容易断裂或松动脱落，且较为频繁。针对这一问题，本文设计了斗齿检测系统，并在黑岱沟露天煤矿WK-35采煤电铲上完成安装和使用，实现了的斗齿完整性的自动识别和报警。

1 斗齿检测系统的必要性

黑岱沟露天煤矿WK-35电铲铲斗的斗齿组件，是靠人工在电铲停机的状态下，进行点检来确定磨损和断损情况。在电铲挖掘装车作业过程中，司机根本无法判断斗齿的完好情况。若出现斗齿丢失或断损，极易发生以下问题：

1)铲斗“斗唇”磨损，修复困难，影响铲斗的使用寿命和工作效率。

2)电铲斗齿由高锰钢或合金钢制成[2]，在采煤作业过程中，斗齿断损丢失后若发现不及时，会随自卸卡车拉运至破碎站，被破碎机误认为是“块煤”进入破碎系统，导致破碎设备卡堵、损坏或皮带撕裂等事故，将影响煤矿采煤—破碎生产工艺线的运行并造成重大经济损失。

3)脱落的斗齿进入破碎机引发的机械事故，甚至可能会影响到操作人员的人身安全。

针对上述问题，研究给电铲安装一套能够自动检测斗齿的缺失状况、及时进行预警的检测系统，实现斗齿监测自动化、智能化，对加强现场生产管理和设备正常运行都具有非常重要的意义。

2 电铲斗齿检测系统国内使用及发展情况

随着视频技术和计算机技术的不断发展，电铲斗齿检测系统的监控、检测技术经历了从视频监控、红外热相机识别到计算机视觉技术几个阶段，技术在不断成熟和进步。

2008年，宝日希勒露天煤矿在采煤电铲上安装使用了“高清摄像机+显示器”的视频显示装置，通过观看驾驶室内显示器的视频画面来确定斗齿的缺失情况。由于采掘环境的恶劣，挖掘过程伴随着大量的粉尘和较大石块，加之物料黏性较大或者环境潮湿，该装置在成像效果上极差，同时受人工观看显示器的不确定性，斗齿缺失问题很难及时发现。

2011年，本钢铁矿在高清摄像机+显示器的基础上，将高清摄像机改为远红外摄像机，对电铲斗齿进行实时监控，夜间成像效果有了很大改善[3]。

2013—2016年期间，太钢铁矿、鞍钢铁矿等矿山先后使用了红外热成像相机代替红外摄像机，通过采集电铲斗齿的热像图进行成像，完全不受灰尘和光照的影响，白天和夜间的成像完全相同，但人工观看显示器的不确定性还是没有得到很好的解决。

2016年，德兴铜矿购置了一台太原重工生产的WK-35电铲，随机配套安装了智能斗齿缺失检测系统，该系统采用计算机视觉技术，对热像仪采集的图像进行比对来确定斗齿的缺失情况，同时设计了自动报警功能，解决了灰尘、光照和人为因素等问题，基本实现了智能化[4]。但模式识别算法只能固定的识别图像中某几种特征，而斗齿检测画面包括岩石遮挡、缆绳遮挡等多种干扰因素，准确率只能达到70%。

2017年，德兴铜矿将模式识别算法进行了技术升级，使用计算机视觉技术进行自动分析，识别斗齿数目，判断斗齿是否缺失，并通过声光报警的方式提醒司机，识别的准确率高达96%[5]。

2018年，黑岱沟露天矿在现有WK-35电铲上改造安装了一套“红外热成像相机+计算机视觉技术”电铲斗齿检测系统，使用效果良好，丢齿现象未发生。

3 “红外热成像相机+计算机视觉技术”电铲斗齿检测系统的组成及关键技术

3.1 硬件组成

“红外热成像相机+计算机视觉技术”斗齿检测系统硬件是由红外热成像相机、工控机和显示器组成。斗齿检测系统硬件如图1所示。红外热成像相机安装在电铲大臂两个天轮中间，配套减震装置，工控机安装在电铲的电气室，触屏显示器安装在驾驶室的操作台上，三部分通过线缆进行通讯，连接如图2所示。主要利用了一个红外热成像相机并结合机器视觉检测算法达到斗齿脱落检测的目地；除此功能之外，此套系统还通过图像处理技术和人工智能算法对斗齿的磨损状况进行监测和记录，以便于维护人员及时对斗齿进行更换。斗齿缺失监测预警系统设备清单见表1。

图1 斗齿检测系统硬件

3.2 功能模块组成

系统功能模块分为：热像仪读取模块、视屏存储模块、斗齿缺失检测模块、报警模块。

1)热像仪读取模块。通过热像仪动态库每100ms对热像仪读取一次，若读取到图片，将图片传输到视频存储模块和斗齿识别模块。

图2 斗齿检测系统线缆连接图

表1 斗齿缺失监测预警系统设备清单

2)视频存储模块。读取图像，并进行计数，累积八帧进行存储为1s的图像，每帧间隔125ms，时间累积到30min，生成一个.avi格式文件。文件命名方式为：年-月-日_时-分-秒.avi；例如：2019-03-19_22-18-30.avi。

3)斗齿缺失检测模块。斗齿识别模块是通过机器学习和模式识别等方法对图像中的斗齿状况进行识别和检测[6]，通过排序进而判断出斗齿是否缺失，缺失的斗齿号。检测方法：使用训练的模型对整张图像进行斗齿检测→对检测的目标纵坐标y值进行分析，若同一水平高度的目标数量大于5个，认为该区域为斗齿区域→计算每个斗齿的宽度→图像从左到右打小方框→检测每个小方框内是否有斗齿→从左到右进行排序→通过排序后的结果判断斗齿是否缺失，以及缺失的斗齿号。斗齿识别和缺失检测流程如图3所示。

图3 斗齿识别和缺失检测流程图

4)报警模块。根据报警等级设定一个动态数组→存储缺失的斗齿号→如果连续十张图片斗齿没有缺失，清空该动态数组→如果该数组已满，计算该数组占比最大斗齿号，如果该斗齿号占比大于等于80%，就认为该斗齿缺失，进行报警，并清空该动态数组。

3.3 斗齿检测方法

铲齿的位置在摄像机拍摄的图像中是高度可变的。斗齿检测分为两个阶段：

第一阶段：目的是将相关信息从图像中分离出来，忽略其他信息。这一步识别出斗齿在图像的大概位置，同时又减小了后续处理图像的大小。使用Viola-Jones Haar级联分类器对原始图像中的斗齿行进行检测。Viola-Jones检测算法将一系列基于Haar特征以滑动窗口的方式应用于图像，以识别图像中可能包含感兴趣对象的区域。这种技术在实时人脸检测中得到了广泛的应用，因为Haar特征的性质使得它们能够有效地检测像正面人脸这样的刚性对称对象[7]。虽然Viola-Jones检测框架是为人脸检测而设计的，但也可以用于检测其他物体，前提是该物体不表现出明显的结构或构象可变性。铲齿的对称性和刚性有助于这种类型的检测框架。

第二阶段：系统软件对第一阶段检测到的区域使用卷积神经网络(CNN)进行二分类判断斗齿是否缺失。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，其人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现[8]。它包括卷积层和池化层。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为“平移不变人工神经网络”。笔者设计了一个特别的神经网络来对第一阶段处理后的图像进行斗齿缺失的判断。

Haar级联分类器具体过程：将114个样本生成一个Haar级联分类器所要求的文件，图像尺寸为30×30。利用OpenCV训练了一个8级级联分类器，正样本80张图像和负样本500张图像，其中正样本是图像中含有斗齿的图像，负样本是从背景图像中随机提取的图像。背景图像是每张图片除去斗齿剩余的部分。利用OpenCV的检测多尺度特性进行了测试。以10%的尺度因子和最小邻域5，准备率和处理速度最好。

Haar级联分类器识别斗齿所在位置，根据同一水平出现斗齿数最多的位置认定斗齿出现该位置的可能性最大，根据识别到斗齿的平均高度，位置和图像的宽度，确定感兴趣区域，根据斗齿数量，斗齿间距和斗齿宽度，将感兴趣区域分割成与斗齿数量相等斗齿区域，将这些斗齿区域图像送给构建好的CNN模型处理。

网络由三个卷积层(Conv2D)组成，前两个卷积每层32个过滤器，后一个卷积64个过滤器，三个2×2最大池化层，一个完全连接层(Flatten)，最后两个为密集层(Dense)。每个卷积层使用一个内核大小3×3，步长为1，激活函数为修正线性单元(RELU)，中间使用了两个随机失活(Dropout)，失活率为0.5。优化采用随机梯度法进行，梯度值为常数，学习率为0.0001。网络一次处理15张图像，将样本图像全部处理完叫做迭代一次，总共迭代了2000次。为了使网络更加健壮，使用Keras ImageDataGenerator函数对输入图像进行规范化(及将输入除以255，输入值的范围为0到1)，并应用随机操作进一步增加训练集的多样性：剪切因子为 0.2，缩放因子为0.2以及水平翻转。

4 结 论

1)采用“红外热成像相机+计算机视觉技术”的电铲斗齿检测系统，能够适用露天矿作业现场灰尘大、能见度小和昼夜光照等的特殊性，不受外界环境影响，不需要人工的介入就能做出智能分析，改变了传统监控系统中由人员进行监控和分析的方式，减轻了操作人员的负担，弥补了传统视频监控系统的缺陷。

2)可有效解决岩石、缆绳遮挡问题。训练神经网络模型做样本时，将被岩石、缆绳遮挡的斗齿图片送进神经网络训练。神经网络模型训练样本所得到的斗齿特征不是传统图像处理所得到的有限的特征。针对缆绳遮挡，可以知道被缆绳遮挡的斗齿位置，从而对这几个斗齿做宽松的处理，识别到水平边缘和竖直边缘以及这两边缘角点，竖直位置与其他斗齿相差像素不是很大，可认为斗齿没有脱落。

3)自2018年安装使用以来，每次斗齿断损后都能及时报警，系统一直运行良好，故障率较低，系统还有斗齿缺失日志记录，能为斗齿的更换、统计和分析工作提供准确的数据依据，彻底杜绝破碎站卡堵、破碎机损坏或输煤皮带撕裂等事故发生，有效提升现场生产管理水平和设备使用效率。