采用局部阈值分割的刀具损伤视觉检测方法

叶祖坤，李恒，查文彬，何彦，王禹林

(1.南京理工大学机械工程学院，210094，南京；2.重庆大学机械传动国家重点实验室，400030，重庆)

在机械加工过程中,刀具易产生损伤,操作人员大多凭经验估计刀具是否损伤以及损伤程度是否对加工精度有影响[1],易造成刀具远未到使用寿命就被更换,导致刀具浪费;或刀具过度损伤后才被更换,造成零件报废、机床故障甚至人员伤亡[2],为降低制造成本,减少制造环境危害,保证生产制造系统正常高效运行和产品质量,需要对刀具损伤状态进行高效、高精度的监测[3]。

目前,许多学者对刀具损伤监测技术进行了研究,根据监测手段的不同,刀具状态监测方法分为直接测量和间接测量[4]。间接检测法是利用切削力[5-6]、声发射[7-8]、电流[9]、振动[10]等与刀具损伤有关的信号变化特征为依据进行刀具损伤检测[11]。然而,基于传感器信号的监测方法存在一些缺点:首先从信号中提取与刀具磨损有关的特征需要耗费大量的人力资源和要求掌握全面的专业领域知识;其次,基于多传感器信号建立的预测模型是特定机床类型和加工参数下的某种映射,当修改了NC程序或者使用不同的刀具进行切削时,此模型将不再适用。直接检测法是利用机器视觉对刀具损伤图像进行处理从而获取得到刀具损伤信息,其关键在于通过图像处理技术把损伤区域从刀具图像中识别出来。Pedersen等参考刀具图像灰度直方图,识别刀具损伤区域[12]。朱爱斌等提出刀具磨损图像视差图的非标定方法重构刀具磨损轮廓[13]。然而,由于刀具磨损区域所占面积小,特征不明显,以上方法易将非损伤区域误判为损伤区域,检测精度难以保证。一些学者采用纯最大类间方差法、均值迭代法及形态学操作分析对刀具图像进行全局二值化处理,分割出刀具损伤区域与非损伤区域[14-16],但由于刀具表面纹理复杂,此类方法所获得的损伤区域通常含有大量背景信息;Peng等采用区域生长法对图像进行分割[17],然而由于损伤区域灰度值波动大,该方法亦难以准确识别损伤区域;Dai等通过人为指定分割阈值识别刀具损伤区域[18],但该方法效率低,需人为多次尝试以确定最佳阈值;秦国华等提出了用于刀具边界提取的局部方差算法,清晰地将刀具损伤区从图像中分割出来[19],但该方法对灰度波动较大区域敏感,识别到的损伤区域往往包含其他无关边界信息,造成较大检测误差。Zhang等通过列搜索找到损伤边界像素,并重建刀具磨损上边界最终获得刀具最大损伤宽度[4],但该列搜索方法仅能搜到最大损伤列,提取最大损伤宽度,无法识别刀完整的损伤区域。Laura等划出损伤区域,基于形态学运算和k均值算法识别损伤区域[20],然而该方法需要一定量的数据集进行学习训练,检测效率低,适用性差。

针对上述问题,本文综合分析刀具损伤图像,提出一种采用局部阈值分割的刀具损伤视觉检测方法,通过图像划分、阈值选取、像素扫描3个步骤,有效地识别到刀具损伤区域,并基于识别的损伤区域精确测量刀具磨损几何特征,为刀具损伤状态检测提供有效技术支持。

1 刀具损伤视觉检测系统

机器视觉测量是建立在图像信息基础上的,为保证从图像中识别的刀具损伤特征具有较高可靠性,需保证被采集的刀具端面与相机镜头端面保持完全水平,因此,本文采用如图1所示的刀具损伤检测系统,主要包括CCD相机、远心镜头、光源、相机支架。相机支架竖杆垂直固定在水平台面上,横梁与竖杆保持垂直安装,CCD相机通过横梁上的圆形通孔垂直于横梁固定在支架上,远心镜头与CCD相机连接,环形光源设置在镜头前端,提供良好的照明条件。检测时,对刀具进行清洗后,垂直立于水平检测台上,进而调整被测刀具位置以及镜头前端与刀具之间的距离,使相机视野中呈现清晰的刀具损伤图像,保证了被采集刀具端面与镜头端面水平,消除了偏角。最终,利用CCD相机拍摄刀具后刀面图像并通过千兆以太网将图像传输至计算机供后续处理。

图1 刀具损伤检测系统

2 刀具损伤检测方法

2.1 图像预处理

2.1.1 图像灰度化及滤波降噪 图2为利用刀具损伤检测系统采集到的损伤铣刀刀刃图像。由于机器视觉测量是建立在图像灰度信息处理基础上,因此首先需对刀具图像进行灰度化处理,扩展图像的对比度,使图像清晰,特征明显。灰度化原理表示为下式

图2 原始图像

f(x,y)=0.3R(x,y)+0.59G(x,y)+0.11B(x,y)

(1)

式中:f(x,y)为灰度化后的灰度图像在坐标(x,y)处的灰度值;R(x,y)、G(x,y)、B(x,y)分别为红、绿、蓝3个分量的值。

同时,为了降低环境噪声干扰,在进行损伤区域识别前需对刀具图像进行滤波降噪。由于中值滤波算法能够有效平滑噪声并保护好刀具损伤边界信息,故采用卷积模板为3×3的中值滤波算法对灰度化后的刀具图像进行滤波降噪,中值滤波过程如图3所示,滤波前后图像对比如图4、图5所示。从图4、图5的对比中可以看出,降噪后的刀具图像已无噪点存在。

(a)输入

(a)灰度图像

(a)灰度图像

2.1.2 图像校正 现场加工过程中采集的刀具损伤图像,未定位校正,其刀刃边缘与图像水平方向具

有一定角度,如图6所示,在后续进行损伤量测量过程中将增加测量难度,为方便后续测量,需对刀具图像进行旋转定位校正。首先确定切削刃边缘与图像水平倾角θ。建立图6所示的图像坐标系,选取刀具损伤图像中未损伤切削刃边缘,如图7所示,对选中区域进行二值化与Canny边缘检测提取切削刃,进而进行像素点扫描,获得l个切削刃像素点,第q个像素点坐标记为(xqyq),其中1≤q≤l。将获取的未损伤切削刃坐标保存,并按式(1)～式(4)进行切削刃拟合,刀具图像旋转定位校正过程如图8所示。获取切削刃所在直线的斜率后,倾角θ可按式(5)求得。最后将切削刃沿倾角θ旋转至水平。之后,对刀具图像进行裁剪,保留刀具损伤区域,如图9所示,至此完成刀具图像定位。

图6 图像坐标系

图7 选取未损伤切削刃

(a)未损伤切削刃

图9 旋转定位校正后的图像

y=αx+β

(2)

(3)

(4)

(5)

θ=arctanα

(6)

式中:α为拟合的切削刃直线斜率;β为拟合的切削刃直线的截距;(xq,yq)为切削刃像素点坐标。

2.2 刀具损伤视觉特征提取

图10所示为刀具损伤图像示意图,可知刀具损伤图像主要由背景、未损伤区域、损伤区域组成,其中背景区域像素值最小,显示为黑色,损伤区域像素值最大,显示为亮白色,未损伤区域像素值居中,显示为灰色,设置适当的阈值可分别将3个区域识别出来,而对于刀具损伤检测,只需选取合适阈值识别损伤区域即可。损伤区域相对于背景以及未损伤区域所占面积较小,具有特征不明显,纹理复杂,不易识别的特点,为清晰完整识别到损伤区域,本文提出了如图11所示的基于局部阈值分割的损伤区域提取方法,主要包含图像划分、最佳阈值选取、像素扫描3个步骤。

图10 刀具损伤图像示意图

图11 采用局部阈值分割的损伤区域提取流程

图像划分是指将刀具损伤图像均分成j×k个像素块,如图12所示,像素块的个数可按下式确定

图12 刀具图像划分示意图

(7)

(8)

式中:j表示图像高度方向均分为j份;k表示图像宽度方向均分为k份;j×k表示像素块个数;h和w分别为原始图像的高和宽,单位为像素。由于损伤边缘一般对应4～10像素,为使分割后的每个小像素块最多只包含一条损伤边缘,同时包含非损伤区域,则每个小像素块只可由5～20像素组成,故1≤m<20,m为整数。

最佳阈值选取是指利用Otsu法[14]对均分后的每一个像素块进行图像分割,可分别得到一个分割阈值Ti。对每个小像素块进行分割得到的阈值Ti即为局部阈值。本文采用Otsu法对每个像素块进行图像分割,原理如下。

设图像中灰度值为i的像素数为ni,图像中像素灰度值范围为[0,L-1],则图像总的像素数为

(9)

图像中各灰度值出现的概率为

(10)

把图像像素用阈值T分为A1、A2两个区域,A1由灰度值在[0,T-1]的像素组成,A2由灰度值在[TL-1]的像素组成,则区域A1和区域A2的灰度值的概率分别为

(11)

(12)

区域A1和区域A2的平均灰度分别为

(13)

(14)

整幅图像的平均灰度为

(15)

两区域的总方差为

σ2=P1(μ1-μ)2+P2(μ2-μ)2=P1P2(μ2-μ1)2

(16)

让T在[0,L-1]范围内依次取值,使σ2最大的T值便是最佳区域分割阈值。

由于损伤区域像素灰度值最大,因此获取局部阈值后,最大的局部阈值即可作为最佳阈值Tbest用于识别损伤区域,考虑到损伤区域在切削热与切削力的共同作用下,损伤纹理复杂,像素值存在一定波动,为使灰度值低于最佳阈值的损伤区域被识别到,最佳阈值需增加一个惩罚项,以保证灰度值低于最佳阈值。最终,最佳阈值的选取如下式所示

Tbest=max(T1,T2,…,Ti)-a

(17)

式中:Tbest为最佳阈值;Ti为第i个像素块的局部阈值,l≤i≤jk;a为最佳阈值的下误差,由于3个区间灰度值差最大不超过3,故a取值可为0～30间的整数。

像素扫描是指对整幅刀具损伤图像进行像素扫描,原理如下式所示

(18)

式中:f(xi,yi)为刀具损伤图像在坐标点(xiyi)处的像素值;L(xiyi)为经像素扫描后的图像在坐标点(xiyi)处的像素值。

将图像像素值大于或等于最佳阈值Tbest设为255像素,将图像像素值小于最佳阈值T的像素值置为0,对整张图像扫描完后,即完成损伤区域的识别,像素值为255的区域即为损伤区域,显示为白色,像素值为0的区域显示为黑色。然而,由于损伤区域纹理复杂,像素灰度值波动较大,识别后损伤区域具有空洞,狭窄边缘具有断裂及间断,如图13a所示。为了使识别的损伤区域进一步完整,采用形态学闭操作平滑损伤区域,连接相邻元素,填充空洞及狭窄断裂边缘。形态学闭操作是对图像先进行膨胀操作,后进行腐蚀操作。膨胀与腐蚀过程分别如图13b、13c所示,膨胀过程为结构B在结构A上进行卷积操作,若结构B与结构A存在重叠区域,则保存结构A的该位置;腐蚀过程为结构B在结构C上进行卷积操作,若结构B与结构C的交集完全属于结构C的区域内,则保存结构C的该位置。最终,利用本文方法自动识别到的完整刀具损伤区域如图13d所示。

(a)形态学闭操前的损伤区域图像

2.3 刀具损伤几何特征测量

图14 刀具后刀面损伤示意图

2.3.1 像素当量标定 基于图像处理方法获取的刀具损伤量是以像素为单位的,需转化为实际尺寸。本文以图15所示的微型标定板为参照标准进行像素当量标定,像素当量按下式进行计算

图15 微型标定板

(19)

(20)

式中:K1为长度像素当量;K2为面积像素当量;l为标尺实际长度;a为标尺实际面积;N1为图像中表示标尺长度所用的像素个数;N2为图像中表示标尺面积所用的像素个数。

2.3.2 刀具损伤量计算 根据识别到的刀具损伤区域,构造刀具损伤区域的外接矩形,如图16所示。

(a)识别的刀具损伤区域

L=K1NL

(21)

W=K1NW

(22)

(23)

S=K2NS

(24)

对于多连通的刀具损伤区域,其损伤面积可将各单连通区域计算的损伤面积相加,损伤带长度、最大损伤带宽度、平均损伤带宽度则根据最大连通区域计算。

3 试验验证

3.1 试验设计

为了验证本文提出的基于局部阈值分割的刀具损伤检测方法的有效性及优越性,从工业现场选择了6把典型的不同损伤程度的立铣刀。将显微镜所测量的损伤刀具真实损伤量作为真实值,用本文方法所检测的结果与真实值对比。同时利用Otsu法[14]、均值迭代法[15]、自适应阈值法[16]、Canny边缘检测法[19]、区域生长法[17]、局部方差法[19]等方法分别对6把刀具进行损伤检测,将其检测结果与本文方法进行对比:

本文通过比较平均准确率来判断各方法的检测效果。平均准确率定义如下

(25)

3.2 试验结果与分析

图17所示为本文所提的刀具损伤检测方法对6把不同损伤程度的刀具进行损伤自动识别的效果图,#1表示第一把刀具,#2表示第2把刀具,以此类推;图18所示为刀具损伤检测结果与理论值的对比图;图19为不同视觉检测方法效果对比图。表1为各方法对6把刀具进行检测的量化分析结果对比。通过图17与图18可知:本文采用局部阈值分割的刀具损伤视觉检测方法确能自动有效识别完整的刀具损伤区域,对6把刀具进行检测,效果突出,解决了目前刀具损伤监测系统难以从刀具损伤图像中自动识别到刀具损伤位置并精准测量刀具损伤量的难题。通过图19以及表1的对比结果可知:Otsu法、均值迭代法与区域生长法均未能识别到6把刀具损伤信息,检测效果最差;自适应阈值法、Canny边缘检测法、局部方差法对6把刀具的损伤检测平均准确率为6%～80%;本文采用局部阈值分割的刀具损伤视觉检测方法检测效果最好,对6把刀具进行检测,所测量的刀具损伤长度、最大损伤宽度、平均损伤宽度、损伤面积的平均准确率分别可达97.58%、98.07%、96.49%、98.04%,与现有局部方差法、自适应阈值法等6种方法相比,刀具损伤几何特征测量平均准确率至少提升19%以上,具有较大优势。

(a)原始刀具图像

(a)原始图像 (b)Otsu法 (c)均值迭代法 (d)自适应阈值法

表1 不同方法对6把刀具进行损伤检测的平均准确率对比

4 结 论

刀具损伤检测对保证加工质量,提高生产效益,降低制造环境危害具有重要意义。本文提出了一种采用局部阈值分割的刀具损伤视觉检测方法,能够使刀具监测系统自动有效识别刀具损伤区域,并基于识别到的损伤信息对刀具损伤量进行精确测量,测量效果突出,解决了目前刀具损伤监测系统难以从刀具损伤图像中自动识别到刀具损伤位置并精准测量刀具损伤量的难题。进一步搭建了离线检测试验平台,以验证本文方法的有效性。试验结果表明:采用本文方法所测量的刀具损伤长度、最大损伤宽度、平均损伤宽度、损伤面积的平均准确率分别达97.58%、98.07%、96.49%、98.04%;与现有局部方差法、自适应阈值法等6种方法相比,本文方法的刀具损伤几何特征测量平均准确率至少提升19%以上,具有较大优势,可为今后刀具损伤状态监测提供有力技术支撑。