基于图像识别的电铲铲齿缺失智能监控系统研究

2021-01-28 12:43靳海军黄国坤赵利辉
机电信息 2021年3期
关键词:销子电铲图像识别

靳海军 黄国坤 赵利辉

(1.神华北电胜利能源有限公司露天矿机电管理部,内蒙古锡林浩特026015;2.北京中矿华沃科技股份有限公司,北京100083)

0 引言

目前,露天矿现场的主要开采工艺还是以穿、爆、采、运为主要的工作形态。就大型土方、矿石载运工艺来说,电铲装载为应用最多的装载方式,而磨损和丢失的电铲铲齿也成为电铲使用过程中的“易损件”。电铲铲齿一旦进入后续生产流程,将给破碎机和皮带运输设备带来灾难性损坏,给企业造成巨大的经济损失。然而在实际的矿业生产中,电铲铲齿脱落丢失的现象时有发生,且不易被及时发现,这样脱落的铲齿就极有可能混入矿石中,并与之一起进入破碎机,进而对破碎机以及皮带运输设备造成极大的损害。

本文介绍的电铲铲齿缺失智能监控系统采用AI视觉图像标定和智能分析技术,当铲齿或销子脱落时能及时报警,避免上述情况的发生。

1 电铲铲齿缺失智能监控系统的设计思路

(1)本系统通过高清红外摄像机配合近激光红外补光装置,实时采集电铲铲齿的图像信息,图像信息传输到电铲驾驶室内的嵌入式工控机上,通过AI视觉图像标定和智能分析技术,识别视频流图像中铲齿以及销子的特征,判断销子或铲齿是否丢失,一旦发现铲齿或销子丢失立即自动报警提示,辅助提醒司机监控铲齿状态。

(2)本系统利用露天矿车现有的卡车防撞预警系统无线RF433M网络实现电铲与卡车之间的信息传输,当系统检测到铲齿丢失或销子丢失时,立刻通过无线RF433M网络向对应的卡车进行报警,防止卡车司机将带有销子或者铲齿的矿料运走,对铲齿或销子的寻找造成困难,同时避免销子或铲齿进入破碎工艺中对破碎机造成损害。

2 电铲铲齿缺失智能监控系统的构成

2.1 硬件部分

(1)车载高速嵌入式Linux工控机:安装在电铲驾驶室里,为显示终端。

(2)高清摄像机:安装在铲臂转轮下方,可以以俯拍的角度拍摄铲斗以及铲齿全貌。

(3)语音报警器:设置在电铲和卡车中,当系统检测到铲齿或销子丢失后,所有的语音报警器均报警。

2.2 软件部分

2.2.1 铲齿丢失监测及报警的整体思路

图1所示为摄像机拍摄到的铲齿图像,图中铲齿显示为较为明亮的白色,背景、铲齿上的凹槽和孔等反光能力较差的呈现为较暗的黑色,如图1中铲齿上端的黑色矩形部分是铲齿齿牙前端表面上的凹槽,铲齿下端的面积较小的黑色矩形部分为容纳销子的孔,销子位于该黑色矩形部分下端,呈较为明亮的白色,且所有销子大致处在同一水平线上,所有铲齿的端部也大致处于同一水平线。假设有销子丢失,则该销子孔的面积会明显大于其他销子孔的面积。基于此,本系统主要针对以下3种较为典型的情况进行监测:

(1)销子丢失;

(2)铲齿整个掉落;

(3)铲齿部分断裂或磨损导致长度不达标。

图1 摄像机拍摄到的铲齿图像

2.2.2 通过图像识别监测销子丢失的具体方法

(1)基于接收到的铲齿图像建立平面直角坐标系。图1是摄像机采集到的未处理的初始图像,根据该图像建立直角坐标系。

(2)灰度增强处理。灰度增强处理可以提高图像的对比度,提高图像质量,使图像的显示效果更加清晰。

(3)均值二值化图像处理。图像二值化是将图像上的像素点的灰度值设置为0或255,将整个图像呈现出明显的黑白效果的过程。这可以使图像中的数据大量减少,从而凸显出目标的轮廓[1-3]。

(4)开运算和闭运算。开运算是一个基于几何运算的滤波器,是指先进行腐蚀运算再进行膨胀运算,其效果是能够去除孤立的小点、毛刺和小桥;闭运算通过填充图像的凹角来滤波图像,是指先进行膨胀运算,再进行腐蚀运算,其效果是能够填平小孔,弥合小裂隙,总的图像位置和形状不变。

(5)Sobel边缘检测。Sobel算子用了一个3×3的滤波器对图像进行滤波,从而得到梯度图像,然后将梯度图像中较亮的那一部分提取出来,即为简单的边缘部分。Sobel边缘检测通常带有方向性,可以只检测竖直边缘或垂直边缘或都检测[4-6]。

经过Sobel边缘检测后的图像简图如图2所示。

图2 经过Sobel边缘检测后的图像简图

(6)分析所标志的闭合区域并计算。经过上述步骤后,可以在坐标系中得到一些闭合的区域,根据其横纵坐标计算每一个闭合区域的面积,在得到的闭合区域面积数据中,选择两个或两个以上面积相同、y轴坐标相同且y轴坐标最小的数据,将该组数据所对应的闭合区域判定为销子孔区域。在不发生销子丢失的情况下,每个铲齿上销子孔区域的面积应该是相同的,故逐个对比每个销子孔区域的面积与其他所有销子孔区域的面积,即可判断是否有销子丢失,具体过程如下:

在图2中,经过以上6个步骤可得出闭合的区域a、b、c、d、e,以其中a区域为例,其端点坐标分别为:(ax1,ay1)(ax1,ay2)(ax2,ay1)(ax2,ay2),那么区域a的面积为:

同理,可得出区域b面积:

区域c面积:

区域d面积:

区域e面积:

将区域a的面积依次与其他区域的面积相除计算比值,最终得出5个比值数据,根据比值数值的大小判断是否发送销子丢失信号,判断基准取决于销子孔和销子横截面的面积比。本系统中销子横截面的面积大约占整个销子孔的1/2,因此当所得出的5个比值数据均接近于1时,证明没有发生销子丢失的现象;当4个比值数据中出现接近1/2或者2的数字时,则可以判断有销子丢失,此时先发出预警信息,等摄像机采集新的图像再进行一次图像识别分析,若仍然判定销子丢失,则发出报警信息。

2.2.3 通过图像识别监测铲齿丢失的方法

(1)基于接收到的铲齿图像建立坐标系;

(2)灰度增强处理;

(3)均值二值化图像处理;

(4)开运算和闭运算;

(5)Sobel边缘检测和铲齿标定。

按照2.2.2小节中的步骤,识别出图中的所有销子孔区域,每个销子孔区域的中心线均对应一个x轴坐标,电铲铲齿的数量是已知的,故根据电铲的具体规格,将电铲正常的铲齿基准数量输入系统,将检测出的销子孔区域数量与输入的铲齿基准数量进行对比,可判断是否有销子丢失。

2.2.4 通过图像识别判断铲齿断裂/过度磨损的步骤

(1)基于接收到的铲齿图像建立坐标系;

(2)灰度增强处理;

(3)均值二值化图像处理;

(4)开运算和闭运算;

(5)边缘检测和齿尖高度标定。

经过Sobel边缘检测后的图像如图3所示,通过边缘检测可得到铲齿边缘轮廓图。

图3 经过Sobel边缘检测后的图像

此步骤中可以采用2.2.3小节中的方法来得到a~e五个销子孔区域以及每个销子孔区域所对应的x轴坐标,销子孔区域所对应的x轴坐标可以反映铲齿的x轴坐标,过每个铲齿的顶端向y轴作垂线得到y1~y5五个y轴坐标,同时获取每个销子孔区域顶部的y轴坐标,可得到ya~ye五个y轴坐标,根据这两组y轴坐标值可计算出每个铲齿的相对长度(即销子孔区域到齿尖之间的距离),从而判断铲齿是否发生断裂或过度磨损。

以图3中最左侧的铲齿为例,其相对长度da=y1-ya,在系统中预设铲齿的最短长度阈值,通过图像识别得出每个铲齿的相对长度后,分别计算每个铲齿的相对长度与最短长度阈值的比值,所得比值大于1的判定为正常,若所得到的比值数据中存在小于1的,则判定为铲齿异常(可能是铲齿断裂或者铲齿过度磨损导致其长度短于最短长度阈值),此时发出预警信息,由摄像机采集新的图像信息进行第二次图像识别,若仍然存在比值小于1的数据,则作出铲齿异常的最终判定,并发出报警信息。

3 结语

对于露天矿开采工艺而言,电铲装载作业中容易出现铲齿脱落、铲齿断裂、销子脱落,从而将脱落的部件带入破碎工艺中造成设备严重损坏的问题,为了及时发现上述故障并提醒工作人员,本系统可对销子脱落、铲齿断裂、铲齿脱落3种典型情况进行智能监控,同时考虑到图像中物体对铲齿遮挡造成误判的影响,设置了误差次数阈值,即在检测到异常的情况下,在误差次数阈值的范围内进行连续多次检测再作出最终判断,最大程度地排除了铲齿上附着杂物造成的干扰,使监测效果更加准确、迅速、高效。

猜你喜欢
销子电铲图像识别
有效降低电铲维修维护成本的措施研究
烈日下的争分夺秒
浅谈如何提高电铲的铲装效率
基于Resnet-50的猫狗图像识别
高速公路图像识别技术应用探讨
图像识别在物联网上的应用
图像识别在水质检测中的应用
电铲推压皮带防滑报警装置的设计与实现
曲柄销子螺母拆装工具的研制
玻璃绝缘子R销子拔插器的研制与应用