基于图像识别的电铲铲齿缺失智能监控系统研究

靳海军 黄国坤 赵利辉

（1.神华北电胜利能源有限公司露天矿机电管理部，内蒙古锡林浩特026015；2.北京中矿华沃科技股份有限公司，北京100083）

0 引言

目前，露天矿现场的主要开采工艺还是以穿、爆、采、运为主要的工作形态。就大型土方、矿石载运工艺来说，电铲装载为应用最多的装载方式，而磨损和丢失的电铲铲齿也成为电铲使用过程中的“易损件”。电铲铲齿一旦进入后续生产流程，将给破碎机和皮带运输设备带来灾难性损坏，给企业造成巨大的经济损失。然而在实际的矿业生产中，电铲铲齿脱落丢失的现象时有发生，且不易被及时发现，这样脱落的铲齿就极有可能混入矿石中，并与之一起进入破碎机，进而对破碎机以及皮带运输设备造成极大的损害。

本文介绍的电铲铲齿缺失智能监控系统采用AI视觉图像标定和智能分析技术，当铲齿或销子脱落时能及时报警，避免上述情况的发生。

1 电铲铲齿缺失智能监控系统的设计思路

（1）本系统通过高清红外摄像机配合近激光红外补光装置，实时采集电铲铲齿的图像信息，图像信息传输到电铲驾驶室内的嵌入式工控机上，通过AI视觉图像标定和智能分析技术，识别视频流图像中铲齿以及销子的特征，判断销子或铲齿是否丢失，一旦发现铲齿或销子丢失立即自动报警提示，辅助提醒司机监控铲齿状态。

（2）本系统利用露天矿车现有的卡车防撞预警系统无线RF433M网络实现电铲与卡车之间的信息传输，当系统检测到铲齿丢失或销子丢失时，立刻通过无线RF433M网络向对应的卡车进行报警，防止卡车司机将带有销子或者铲齿的矿料运走，对铲齿或销子的寻找造成困难，同时避免销子或铲齿进入破碎工艺中对破碎机造成损害。

2 电铲铲齿缺失智能监控系统的构成

2.1 硬件部分

（1）车载高速嵌入式Linux工控机：安装在电铲驾驶室里，为显示终端。

（2）高清摄像机：安装在铲臂转轮下方，可以以俯拍的角度拍摄铲斗以及铲齿全貌。

（3）语音报警器：设置在电铲和卡车中，当系统检测到铲齿或销子丢失后，所有的语音报警器均报警。

2.2 软件部分

2.2.1 铲齿丢失监测及报警的整体思路

图1所示为摄像机拍摄到的铲齿图像，图中铲齿显示为较为明亮的白色，背景、铲齿上的凹槽和孔等反光能力较差的呈现为较暗的黑色，如图1中铲齿上端的黑色矩形部分是铲齿齿牙前端表面上的凹槽，铲齿下端的面积较小的黑色矩形部分为容纳销子的孔，销子位于该黑色矩形部分下端，呈较为明亮的白色，且所有销子大致处在同一水平线上，所有铲齿的端部也大致处于同一水平线。假设有销子丢失，则该销子孔的面积会明显大于其他销子孔的面积。基于此，本系统主要针对以下3种较为典型的情况进行监测：

（1）销子丢失；

（2）铲齿整个掉落；

（3）铲齿部分断裂或磨损导致长度不达标。

图1 摄像机拍摄到的铲齿图像

2.2.2 通过图像识别监测销子丢失的具体方法

（1）基于接收到的铲齿图像建立平面直角坐标系。图1是摄像机采集到的未处理的初始图像，根据该图像建立直角坐标系。

（2）灰度增强处理。灰度增强处理可以提高图像的对比度，提高图像质量，使图像的显示效果更加清晰。

（3）均值二值化图像处理。图像二值化是将图像上的像素点的灰度值设置为0或255，将整个图像呈现出明显的黑白效果的过程。这可以使图像中的数据大量减少，从而凸显出目标的轮廓[1-3]。

（4）开运算和闭运算。开运算是一个基于几何运算的滤波器，是指先进行腐蚀运算再进行膨胀运算，其效果是能够去除孤立的小点、毛刺和小桥；闭运算通过填充图像的凹角来滤波图像，是指先进行膨胀运算，再进行腐蚀运算，其效果是能够填平小孔，弥合小裂隙，总的图像位置和形状不变。

（5）Sobel边缘检测。Sobel算子用了一个3×3的滤波器对图像进行滤波，从而得到梯度图像，然后将梯度图像中较亮的那一部分提取出来，即为简单的边缘部分。Sobel边缘检测通常带有方向性，可以只检测竖直边缘或垂直边缘或都检测[4-6]。

经过Sobel边缘检测后的图像简图如图2所示。

图2 经过Sobel边缘检测后的图像简图

（6）分析所标志的闭合区域并计算。经过上述步骤后，可以在坐标系中得到一些闭合的区域，根据其横纵坐标计算每一个闭合区域的面积，在得到的闭合区域面积数据中，选择两个或两个以上面积相同、y轴坐标相同且y轴坐标最小的数据，将该组数据所对应的闭合区域判定为销子孔区域。在不发生销子丢失的情况下，每个铲齿上销子孔区域的面积应该是相同的，故逐个对比每个销子孔区域的面积与其他所有销子孔区域的面积，即可判断是否有销子丢失，具体过程如下：

在图2中，经过以上6个步骤可得出闭合的区域a、b、c、d、e，以其中a区域为例，其端点坐标分别为：（ax1,ay1）（ax1,ay2）（ax2,ay1）（ax2,ay2），那么区域a的面积为：

同理，可得出区域b面积：

区域c面积：

区域d面积：

区域e面积：

将区域a的面积依次与其他区域的面积相除计算比值，最终得出5个比值数据，根据比值数值的大小判断是否发送销子丢失信号，判断基准取决于销子孔和销子横截面的面积比。本系统中销子横截面的面积大约占整个销子孔的1/2，因此当所得出的5个比值数据均接近于1时，证明没有发生销子丢失的现象；当4个比值数据中出现接近1/2或者2的数字时，则可以判断有销子丢失，此时先发出预警信息，等摄像机采集新的图像再进行一次图像识别分析，若仍然判定销子丢失，则发出报警信息。

2.2.3 通过图像识别监测铲齿丢失的方法

（1）基于接收到的铲齿图像建立坐标系；

（2）灰度增强处理；

（3）均值二值化图像处理；

（4）开运算和闭运算；

（5）Sobel边缘检测和铲齿标定。

按照2.2.2小节中的步骤，识别出图中的所有销子孔区域，每个销子孔区域的中心线均对应一个x轴坐标，电铲铲齿的数量是已知的，故根据电铲的具体规格，将电铲正常的铲齿基准数量输入系统，将检测出的销子孔区域数量与输入的铲齿基准数量进行对比，可判断是否有销子丢失。

2.2.4 通过图像识别判断铲齿断裂/过度磨损的步骤

（1）基于接收到的铲齿图像建立坐标系；

（2）灰度增强处理；

（3）均值二值化图像处理；

（4）开运算和闭运算；

（5）边缘检测和齿尖高度标定。

经过Sobel边缘检测后的图像如图3所示，通过边缘检测可得到铲齿边缘轮廓图。

图3 经过Sobel边缘检测后的图像

此步骤中可以采用2.2.3小节中的方法来得到a～e五个销子孔区域以及每个销子孔区域所对应的x轴坐标，销子孔区域所对应的x轴坐标可以反映铲齿的x轴坐标，过每个铲齿的顶端向y轴作垂线得到y1～y5五个y轴坐标，同时获取每个销子孔区域顶部的y轴坐标，可得到ya～ye五个y轴坐标，根据这两组y轴坐标值可计算出每个铲齿的相对长度（即销子孔区域到齿尖之间的距离），从而判断铲齿是否发生断裂或过度磨损。

以图3中最左侧的铲齿为例，其相对长度da=y1-ya，在系统中预设铲齿的最短长度阈值，通过图像识别得出每个铲齿的相对长度后，分别计算每个铲齿的相对长度与最短长度阈值的比值，所得比值大于1的判定为正常，若所得到的比值数据中存在小于1的，则判定为铲齿异常（可能是铲齿断裂或者铲齿过度磨损导致其长度短于最短长度阈值），此时发出预警信息，由摄像机采集新的图像信息进行第二次图像识别，若仍然存在比值小于1的数据，则作出铲齿异常的最终判定，并发出报警信息。

3 结语

对于露天矿开采工艺而言，电铲装载作业中容易出现铲齿脱落、铲齿断裂、销子脱落，从而将脱落的部件带入破碎工艺中造成设备严重损坏的问题，为了及时发现上述故障并提醒工作人员，本系统可对销子脱落、铲齿断裂、铲齿脱落3种典型情况进行智能监控，同时考虑到图像中物体对铲齿遮挡造成误判的影响，设置了误差次数阈值，即在检测到异常的情况下，在误差次数阈值的范围内进行连续多次检测再作出最终判断，最大程度地排除了铲齿上附着杂物造成的干扰，使监测效果更加准确、迅速、高效。