一种智觉图像智能识别分拣方法及装置

黄和平

(乐清兆泰机电有限公司，浙江 温州 325011)

0 引言

在智能制造自动化高速加工行业，往往需要对产品表面进行高速智能识别与检测。现有的机器视觉检测识别基本上是在静态下具有较佳的效果，针对视觉动态图像检测，人们研发出上百种软件识别方法、高速高精度的硬件手段，对图像进行预处理、前处理、后处理技术进行图像边缘识别与分割，特别是高速自动化的使用中，效果不是很理想，总会产生误判和漏判产生，检测效果达不到零错判零漏检，达不到100%的识别要求，机器视觉图像检测存在两大方面的问题：

1) 实现运动物体检测的方法主要包括：① 背景差分法：不适用于摄像头运动的情况；② 光流法：能检测独立运动的图像，可用于摄像头运动的情况，但计算复杂耗时，较难实现实时监测。

2) 较快运动物体图像模糊，即便对图像的动态表面分析处理，都会使得图像识别错判、漏判的发生，为了解决这样的问题，适应多种场合进行图像的动态表面分析处理应用，人们希望滤波函数是动态的、可调节的、可自我学习的。设计这样的滤波器是非常困难的，到目前还没有图像的动态表面的滤波器产生。

3) 针对以上技术问题，笔者设计了一种简单、可靠、效率高的智能图像智能识别分拣方法及装置来解决这些类似问题。

1 系统装置结构原理设计

如图1所示，一种智觉图像智能识别分拣装置：主要由在输送轨道(7)上被测件(8)移动路线的位置上方分别设置有至少一组LED灯(6)，LED灯(6)的轴心上方设置有CCD相机(1)，CCD相机(1)通过USB连接线(4)与PC机(5)连接，USB连接线(4)的两端分别设置有一个消磁环；PC机(5)连接有触摸屏(9)，PC机(5)与PLC控制器(12)连接，PLC控制器(12)的输出端分别与多个电磁阀(16)对应连接，各个电磁阀(16)再与对应的吹气阀(17)及机械手(18)连接，各个吹气阀(17)及机械手(18)设置在输送轨道(7)旁边构成。

1) 可视化检测设置：

在显示屏上沿着输送轨道(7)的输送方向依次布置有4个检测区，依次是左检测区(21)、主检测区(22)、副检测区(23)和右检测区(24)，该4个检测区均处于CCD相机(1)的摄像范围及LED灯(6)的照射范围之下；在主检测区(22)、副检测区(23)和右检测区(24)位置的轨道外侧分别对应设置有吹气口一(25)、吹气口二(26)及吹气口三(27)，吹气口一(25)、吹气口二(26)及吹气口三(27)分别与各自的吹气阀(17)连通，三组吹气阀(17)分别与控制机构连接。

被测件(8)为双金时的正反面设置方式是，正面设置为光洁面或光洁面上刻有与双金相同颜色的文字；

2) 智觉图像智能识别分拣方法依赖于上述的结构的智能识别步骤包括：

步骤1： CCD相机获取输送轨道上的被测件朝上一面的表面图像传输给PC机进行缓存；

步骤2：PC机利用预存的图像处理程序通过图像边缘检测高速数字滤波器缓存获取图像数据；

步骤3：判断上表面为正面的被测件沿输送轨道正常向前移动，进入下一步的焊接及装配工序；判断上表面为反面的被测件则由PC机发送剔除信息给PLC控制器。

2 装置结构图说明

图1是实施装置的结构示意图；

图2是实施装置中的吹气分拣部分示意图；

图3本实施装置被测件是双金时的正反面设置示意图；

图4是本实施装置中的触摸屏显示及操作分区设定的示意图。

图1-图4中，1为CCD相机；2为消磁环A；3为消磁环B；4为USB连接线；5为PC机；6为LED灯；7为输送轨道；8为被测件；9为触摸屏；10为控制盒；11为输出端子；12为PLC控制器；13为单片机控制板；14为电源插线；15为信号线；16为电磁阀；17为吹气阀；18为机械手；19为电源接线；20为串口线；21为左检测区；22为主检测区；23为副检测区；24为右检测区；25为吹气口一；26为吹气口二；27为吹气口三；22为正反面显示区域；221为反面图像；222为正面图像；23为检测区域；231为左检测窗口；232为主检测窗口；233为副检测窗口；234为右检测窗口；24为参数设定区域；241为设定按钮；242为吹气窗口区域设定；243为检测区域设定；244为到位区域设定；245为有效灰度设定；25为系统显示区域；251为有效比例灰度显示；252为有效黑点显示；253为系统当前状态和正反面显示；254为吹气状态、有效吹气数和二次吹气数显示；26为操作区域。

图1 装置结构示意图

图2 吹气分拣部分示意图

图3 被测件正反面设置示意图

图4 触摸屏显示及操作分区设定的示意图

3 图像边缘检测高速数字滤波器智能识别分拣方法步骤

如图1-图4所示，智觉图像智能识别分拣方法，设计图像边缘检测高速数字滤波器置于PC机(5)内部，包括对预存图像边缘数字化处理识别程序中，图像边缘数字化处理识别程序及其过程是：

1) 读入图像-高斯平滑图像[1]

用高斯一阶导数滤波器对读入图像进行滤波，即用高斯函数对图像f(x,y)进行滤波得到平滑图像数据矩阵，f(x,y)分别是图像像素坐标，则有：

S(x,y)=f(x，y)·G(x，y,σ)

(1)

式(1)为高斯滤波函数G(x,y,σ)与原始图像f(x,y)经进行卷积处理，滤波后得到一个平滑的图像S(x,y)；G(x,y,σ) 中的σ是指定标准偏差[2]。

高斯滤波函数为：

(2)

Gx,y,σ为二维高斯函数，在某一方向n上是Gx,y的一阶方向导数，则：

(3)

式(3)中的n是方向矢量，▽G是梯度矢量，将图像fx,y与Gn作卷积，同时改变n的方向，则Gn·f(x,y)取得最大值时的n就是正交于检测边缘的方向；σ取值范围为0.3～3。

2) 计算滤波后图像的梯度幅值和梯度方向[3]

分别按照下式计算梯度幅值M和方向角A：

M=‖fx,y·Gx,y,σ‖

(4)

(5)

范数所满足的条件有：

① ‖x‖≥0，且‖x‖=0当且仅当x=0；

② ‖ax‖=|a|·‖x‖ 其中a为线性空间对应的数域中的数；

③ ‖x+y‖≤‖x‖+‖y‖。

其中：M为梯度幅值，A为方向角。

3) 对梯度幅值进行非极大值仰制

选择梯度幅值对比的邻近像素点，进行非最大值抑制处理过程是：算法追踪所有细化幅值图像的屋脊带的脊的顶部，并将所有不在脊的顶部的像素设为0，仅保留幅值局部变化最大的点，以便在输出中给出一条细线，产生细化宽度为1个像素点宽度的边缘，将梯度幅值比梯度方向上邻近点梯度幅值大的像素点检测为边缘点，非最大值图像边缘点即为在方向角A上使M取得局部极大值的点，如下式：

Ni,j=NMSMi,j,ci,j=Sectorθi,j

(6)

非极大值抑制幅值图像为Ni,j、梯度角为θi,j、扇区值c(i,j)，4个扇区的标号分别为0到3，对应着33邻域内的4种可能组合。

4) 双门限检测得到图像边缘

通过最大熵算法来获得Canny算法的高门限阈值并据此求出低门限值，减少假边缘数量的典型方法是对Ni,j使用一个阈值，将低于阈值的所有值赋零值，对非极大值抑制幅值进行阈值化的结果是一个图像I(i,j)的边缘阵列，阈值化后得到的边缘阵列仍然有假边缘存在，利用累计统计直方图得到一个高阀值T1，然后再取一个低阀值T2，设定：

(7)

如果图像信号的响应大于高阀值，那么一定是边缘；如果低于低阀值，那么一定不是边缘；如果在低阀值和高阀值之间，就看其8个邻接像素有没有大于高阀值的边缘，如果有，那么是边缘，否则不是边缘。

5) 边界寻迹及低灰度混合连接图像边缘

把以上非极大值仰制的边缘点给出的脊的顶部一条细线作为边界寻迹；采取将一条细线周围检测边缘宽度的3-11Pix的有效低灰度包围起来进行连接，形成边界寻迹及低灰度混合连接图像边缘。

有效低灰度是指大于25Pix且在0～255灰阶中占有一定比例，且占有有效最高灰阶的10%～60%范围，将低于25Pix且在0～255灰阶中没有占有一定比例未达到10%以上比例的去除。

有效低灰度=最近有效灰度+(10%～60%)调节部分灰度。

6) 混合连接图像边缘二值化，求取判断产品正反面的规则

图像本身像素由不同灰度的像素组成，灰度值本身存在利用最大和最小函数分别寄存周边的极大灰度值H和极小灰度值L，灰阶门限是软件界面上可调节部分，也就是设定一个灰阶值大于等于这个值得将此灰阶值重新置位255，小于此门限灰阶值得重新置位为0，实现对图像进行需要的二值化图像，完成以下边沿提取后，利用二值化灰阶处理方式，有两种判断方式及相应的标准。

实施方案如下：

二值化灰阶后的混合连接图像边缘的高低灰度面积或周长；先获取当前图片的最高灰度H与最低灰度L即：

(8)

K代表计算的各极值的个数，式(8)也是求和取平均的公式。

根据两灰度的差值平均设定一个合适的灰阶门槛，计算出检测区域二值化后的二值像素面积SH、SL，对处理过后的梯度图像用双阈值算法连接，有效最高灰阶M的范围为10%～60%，得到边缘图像。

对于一个图像区域，其面积SH或SL是图像区域中有效像素点数，则有判断产品正反面的混合连接图像边缘的高低灰度面积参数公式为：

SL=Sum(L1+L2+L3...+LK)

(9)

SH=Sum(H1+H2+H3...+HK)

(10)

A=SL+SH

(11)

边缘面积灰阶为：

用于暗点或阴影判断时：K=SL/SL+SH

用于亮点或亮影判断时：K=SH/SL+SH

其中的SH和SL分别为有效像素数量和代表有效像素面积值；有效像素面积则代表整个检测方框的像素数量。

根据产品正反面图像灰阶面积比例检测系数K，判断边缘图像正反面，其中60%≥K≥10%，用于暗点或阴影判断，判断为反面，当K大于等于反面标识比例，则判定此时检测面为产品反面，否则此时检测面为产品正面。

4 工作装置智能识别分拣方法过程

智觉图像智能识别分拣方法在PC机(5)内部预存图像边缘数字化处理识别程序中，包括检测时机的设置及正反面判断，其过程如下：

1) 检测区域包括监控输送轨道(7)的左检测窗口(231)、主检测窗口(232)、副检测窗口(233)和右检测窗口(234)，当2个产品头尾相连时软件会智能在左检测窗口(231)和副检测窗口(233)同时识别并处理，实现连续产品的分界线的分辩检测。

2) 对于上述的各个检测窗口，当图像设定检测区域 ≥ 2/3方框检测到与背景色有异的灰度值时，判定双金已进入检测区域。

3) 左检测窗口( 231 )对产品的检测为在线检测，左检测窗口( 231 )和副检测窗口(233)均采用到位有效像素点检测，到位有效像素点区域的面积根据实际调节设定，判断依据为设定区域的面积 ≥ 100个像素，在产品进入即开始产品正反面检测，在主检测窗口(232)的区域前端设置有吹气口一(25)，在产品头部进入左检测窗口(231)时不检测，当产品的尾部进入左检测窗口(231)，尾部的有效像素点面积 ≥ 100个像素，给出产品运行到位的信号，主检测窗口(232)开始检测，主检测窗口(232)依据有效灰度点检验产品上表面，判断为正面产品正常通过，当判断为反面产品时，产品的头部已进入副检测窗口(233)，该副检测窗口(233)的区域前端设置有吹气口二(26)，当产品的头部有效像素点面积 ≥ 100个像素，给出产品运行到位的信号，开始检测，判断为反面朝上则吹气，吹掉反面产品，判断为正面朝上则不吹气，正面产品正常通过。进入右检测窗口(234)时，右检测窗口(234)的区域另外设置有吹气口三(27)，系统再一次判断，判断为反面朝上则吹气，吹掉反面产品，判断为正面朝上则不吹气，正面产品正常通过。

4) 副检测窗口(233)判断产品是否离开吹气口，判断标准为：产品的有效像素点≥检测窗口竖向高度的50%，横向有效像素点≥3个点相连成一排，则产品经过了吹气口离开，离开左检测窗口区不检测。

5) 设定反面产品有效像素的下限值，左检测窗口(231)反面产品帧黑显示，有效黑点≥ 有效像素的下限值，判断为反面产品，此为第1个反面判断条件；产品进入主检测窗口(232)，主检测窗口(232)中的产品上中下部显示的黑点≥50%，主检测窗口的长度距离时，判断为反面产品，此为第2个反面判断条件；检测反面有效比例k，满足反面有效比例k，判断为反面产品，此为第3个反面判断条件。

5 应用实例与效果评析

1) 实施例1

双金置于输送轨道移动速度25个/min，经过CCD相机视觉下，将本智能识别方法用于动态检测双金有字面的识别，检测项目及参数分别是：在原始图中，利用像素尺寸为752×480 Pix；帧率为MAX60F/S的CCD，对连续运动的双金有字面通过动态检测和程序，得到边界寻迹及低灰度混合连接图像边缘，在边界寻迹及低灰度连接混合图中，高斯滤波器的标准方差设置为3，检测边沿最大宽度设置为11 Pix；二值化图中，边沿宽度选择≥3，在直方图中，利用本检测方法得到双金有字面的检测参数：有效像元数为56 672 Pix，最高有效灰度是255 Pix，最低有效灰度是94 Pix；高灰度面积SH为42 852 Pix，低灰度面积SL为13 820 Pix，检测比例K为0.2～0.42，利用检测比例K经过1 500万产品的检测，双金有字面的百万合格率为100%。

2) 实施例2

帧率为MAX60F/S的CCD，对连续运动的双金无字面通过动态检测和程序，得到边界寻迹及低灰度混合连接图像边缘，在边界寻迹及低灰度连接混合图中，高斯滤波器的标准方差设置为3，检测边沿最大宽度是7 Pix；二值化图中，边沿宽度选择≥3，在直方图中，利用本检测方法得到双金无字面的检测参数：有效像元数为56 672 Pix，最高有效灰度是248 Pix，最低有效灰度是140 Pix；高灰度面积SH为56 464 Pix，低灰度面积SL为208 Pix，检测比例K为0.68～0.8，利用检测比例K经过1 600万产品的检测，双金无字面的百万合格率为100%。

一种智觉图像智能识别分拣方法及装置结构简单，采用具有CCD相机+PC+PLC+可视化触摸窗口+轨道气吹硬件与图像边缘数字化处理模型，适应了在线高速摄像快速识别和分拣，能够保证 100% 的识别和分拣，自动化智能化水平高，显著提高了工作效率和质量。该一种智觉图像智能识别分拣方法及装置已获得了国家发明专利。

参考文献:

[1] 刘仁云，孙秋成，王春艳. 数字图像中边缘检测算法研究[M]. 北京:科学出版社,2015.

[2] 汪岳. 基于边缘检测经典算法的改进与研究[D]. 合肥：安徽大学，2012.

[3] 冯伍，张俊兰，苗秋瑾.几种典型边缘检测算子的评估[J]. 电子设计工程, 2011,19(4):131-133.