基于增强模板的鞋体涂胶特征点快速匹配提取

申启访 杨煜俊, 肖 旺 李杰诚

(广东工业大学机电工程学院CIMS实验室 广东 广州 510006) 2(广州巨轮机器人与智能制造研究院 广东 广州 510530)

0 引 言

随着科技的发展,制造工厂不断地改造升级,劳动密集型的企业不断引进机器人来改进升级,提高竞争力[1]。在“中国制造2025”战略推出之后,越来越多企业向智能制造的方向改进升级[2]。鞋业制造是典型的劳动密集型产业,近年来劳动力成本不断提高,制造装配业向东南亚转移,订单流失[3],竞争压力越来越大。由于技术和贸易商的壁垒,我国鞋类产品对欧美等地区出口出现明显的下降趋势[4]。为应对社会和行业环境变化,鞋业制造有必要向自动化智能化转变,提高生产效率,减少人工,提高质量,降低成本。

机器人结合机器视觉,“手+眼”的加工技术是现代工厂中自动化和智能化的关键技术[5]。近年来有不少将机器视觉应用于运动鞋的喷胶贴合的案例,如武传宇等[6]利用线结构光扫描获得鞋底曲面轮廓信息并自动生成喷胶路径,丁度坤等[7]利用遗传算法对2D鞋底图像进行阈值分割并提取边缘信息开发涂胶系统。而拖鞋喷胶装配案例甚少,由于拖鞋鞋体为特定局部区域侧面喷涂,且颜色不一、挤压形变和环境光变等因素,对涂胶区域的图像特征提取也变得尤为困难。针对实际拖鞋自动化装配生产场景,利用鞋体整体变形大而局部特征变形小的特性,应用3D激光线扫进行图像稳定采集,获取外形轮廓的尺寸、形状等成型信息,并通过点云数据处理生成相应的信息文件[8];基于深度信息进行背景阈值分割,通过增强模板库的基于边缘特征模板匹配的方法,对涂胶特征区域进行匹配定位,然后结合曲率尺度空间的角点定向提取方式,实现精准快速的涂胶特征点提取,对不同鞋码不同颜色鞋体都具有良好的适用性与稳定性,满足实际生产需求。

1 鞋体图像采集

图像采集是图像处理的前提,要从原始图像中得到想要的特征信息,图像采集的方式和成像环境的营造(灯光等)起着重要作用。如图1中标注,拖鞋装配自动装配需要得到鞋底两侧的贴合凹面和鞋面两侧的贴合区域的位置信息。根据生产中胶水喷涂要求,鞋底侧面涂胶点误差范围不超过1 mm,使胶水贴合面更加均匀,避免漏胶现象出现。鞋面根据喷涂面积要求以及喷胶枪嘴线宽,给定点位使喷胶机器人喷涂效果达到贴合要求并避免胶水喷出鞋面。若用2D相机,如图2所示,光源环境会直接影响图像质量,因拖鞋摆放位置与光源或成像中心的相对偏离关系,会造成反光或者侧影出现,导致后期图像处理出现困难或者直接丢失局部特征信息,导致后期坐标位置提取失败或者坐标漂移喷涂波动过大,远达不到生产要求。而且因为环境因素的难以控制和摆放位置的随机偏差,所以2D相机采集图像不是理想的方式。

图1 主要步骤

图2 涂胶区域特征及反光、侧影、侧面信息丢失等

因而采用3D图像采集的方式,高频的激光具有极强的抗干扰能力,利用激光线扫获取图像平面以及深度信息,而后通过点云数据处理生成相应的深度图像。激光位移传感器原理利用激光三角测量法原理[9]。

如图3所示,激光器发射激光通过镜片投射到物体(a或b),反射光被镜片收集投射到CCD阵列,因为距离不同,CCD阵列检测到光点的(角度)位置也不同,根据CCD中物象的位置和已知激光器到CCD相机之间的距离和角度,通过数字信号处理器计算便可以得到传感器和物体之间的距离。

图3 激光三角测量法原理

采取3D激光线扫图像采集方式,可适应恶劣环境。但是3D激光在图像采集过程中也会存在边缘像素跳动的问题,如图4所示,在鞋体轮廓边缘位置同一位置,前后连续采集的照片会造成个别像素信息的差异或者缺失,会对后续图像处理有一定的干扰。主要是因为激光设备投射出去的光得不到很好的反射或者超出接受范围,反复实验得出,这与被测鞋体表面粗糙程度、颜色、材料等都有一定的关系。文献[10]做出了更详细的研究,在鞋体图像采集中可通过调节采集为高曝光、采集频率低于相机极限5%、采集高度250 mm等,使像素波动降到最小。

图4 边缘像素差异或缺失

本文的3D视觉采用Eye-to-Hand方式,3D相机安装在机械手附近的龙门架上,激光采集采用直线电机编码器触发,合成单列照片。如图5所示,为产线传输效率的提高,可采用整板传送方式,由于线扫描范围限制,需要对整板图像进行4次扫描,将线扫描获得的数据图像,再根据深度信息通过点云库转换成深度图像,而后对图像进行处理和分析。

图5 整板传送与分列扫描采像

图6 预处理得到目标图像

2 基于增强模板的特征区域快速匹配提取

2.1 参数自适应图像预处理

对采集的图像进行预处理,主要对转换后的灰度图像进行图像滤波降噪,阈值分割,基于Canny[11]算子对二者图像轮廓提取,分离前景和背景,ROI截取,得到鞋体目标图像。激光线扫得到的3D点云图,转换成深度图像,图像的像素值对应的是相机到采集点的距离,可直接反映被测物的表面形状。因为鞋体具有厚度,在深度图中可通过阈值明显分割背景。但是由于加工误差或者压迫变形,每只鞋底高度或形状不可能一致,存在一定的差异。为了能自动稳定得到目标图像区域,预设合适低阈值u进行背景分割,去除背景区域,每次预处理得到鞋体区域图像后与最小标准模板的像素面积进行对比。若连通区域存在满足像素面积与标准面积差距在±5%,则保存目标区域。否则分割阈值递增t,直到分割到满意的目标图像。

2.2 基于边缘特征增强模板库创建

主流的模板匹配框架中有基于灰度的模板匹配和基于特征的模板匹配两大类。基于灰度匹配又称作相关匹配算法,主要利用子图与模板图的灰度,通过归一化互相关系数法(NCC)来计算二者之间的匹配程度便可实现目标查找,模板图像T∈Rm×n在与查找图像中子图像Si,j∈Rm×n匹配,相关度可表示为:

(1)

鞋体涂胶特征检测中,只需对鞋体外轮廓边缘涂胶特征区域进行快速匹配定位,图像特征点要比像素点少得多,故使用基于特征的模板匹配方法,极大程度上减少了搜索匹配过程的计算量,提升检测速率,基本实现实时检测。Steger等[12]基于边缘特征模板匹配做了大量研究,在刚性物体图像模板匹配外,在可变性物体如谐波形变[13]和平面形变[14]场景中实现很好的匹配查找效果。基于边缘特征的模板匹配过程主要包括创建模板和匹配查找模板。

(1) 原始轮廓模板组(Original Edge Template Group)

对每个特征模板增强主要方法过程如程序1所示。

程序1特征模板增强过程

FT:原始特征 ST:缩放特征 AT:旋转特征

1 For i=0;i< FeatureNum;i++ do

//对每个特征

2 For j=0;j

//缩放特征

3 S=scalestart+j*scalestep;

//缩放比例

4 FT[i].ST[j]=FT[i].DownImg(S)

5 For k=0;k

//旋转特征

6 A=anglestart+k*scalestep;

//旋转角度

7 FT[i].ST[j].AT[k]=ST[j].RotateImg(A);

8 //生成每个特征的缩放旋转边缘模板ATPtr

9 Gen_T(AngelT[k],out FT[i].ST[j].ATPtr[k])

10 End for

11 End for

12 End for

2.3 鞋体特征区域快速匹配定位

(2)

相似度计算函数返回值0≤R≤1,若存在完全匹配则返回值1,若完全不存在匹配则为0。通常,模板与搜索图像相似度达到一定程度我们便认为二者匹配。为加快搜索过程,查找过程中设置最低匹配度Rmin,则无须计算模板中所有点,只需检索部分点,可用部分匹配度和Rm:

(3)

(4)

式中:g为贪婪系数,如果g=1,则使用硬标准检查模板模型中的所有点,如果g=0,则仅使用安全标准检查所有点。

由于对同款鞋体而言,不同码数的鞋体涂胶处特征几乎只存在形态缩放差异,因此利用增强模板库可对不同码数鞋体图像进行特征区域轮廓提取。模板匹配时,对相机系统采集的图像进行实时边缘提取后作为搜索图像S,单列图像有四个鞋体,切分为四个子图像Sn(n=1,2,…,4)进行搜索,匹配完成后转换回原图像素坐标系。设定最小匹配度Rmin=92,遍历模板数据集M中的模板Mi,对子图像子窗口Sn(u,v)(50×100)进行计算匹配,当匹配度Rm≥92时,得到符合匹配的特征区域,得到定位像素点(u,v),此时便完成了特征区域快速粗定位。以(u,v)为中心、半径为50像素的圆对鞋体轮廓进行截取,得到鞋体轮廓上的准确特征区域。

3 基于曲率尺度空间的定向特征点提取

如图8所示,匹配定位截取出来的图像由于鞋底本身形状、随机的摆放、图像采集干扰等因素,特征区域的轮廓出现各样的曲线,每段曲线出现1～3个明显特征角点,如何提取出目标点是我们下一步工作。

图8 轮廓匹配截取区域图像

对于角点的提取有基于曲率尺度空间检测和基于选点累加近距离检测两种方式[16]。本文采用基于曲率尺度空间的拐角检测方法,主要使用不同尺度的高斯函数对轮廓曲线进行平滑处理,并计算曲线上每个点的曲率,将曲率绝对值大的点视为角点候选,并根据特定条件将其删除。在不合适的点删除之后,剩下的就是目标角点[17]。对于截取的平面轮廓曲线,可得到轮廓曲线有序的像素点坐标集,通过计算相邻像素点的曲率变化,便可得到角点候选点。为了提高效率,采用以下公式进行曲率变化迭代计算:

(5)

式中:n表示两个像素点的序号差;X和Y表示像素点的坐标;k表示点pi和pi+n两点的斜率。当k满足我们对角点的斜率变化设定时,取中间序号(i+n/2)像素坐标值为目标角点坐标值,在满足精度要求下可以加大n的值提高效率。

由于四个角点曲率值不同,且不同鞋底图像角点成像也会变化,所以不能设定角点曲率变化k去筛选角点。为此,我们限定了曲率的计算方向,如图9所示,曲线上的计算迭代都由凹面内侧往上下两侧方向进行,计算出曲率变化最大的地方,我们就以此为目标角点。

图9 鞋底特征提取效果

鞋面特征提取主要根据鞋面轮廓进行偏移,以圆角曲率作为参考,可根据喷胶工艺获得设定图像坐标点。如图10所示,预处理后得到鞋面外轮廓曲线,做上下边缘线的平行线,往内部偏移一定的距离,平行线会与鞋面侧轮廓有两个交点,以交点为参考,沿平行线往内移动合适的距离便可得到点1和点2,点3和点4由同样的方式得到。线段1、2和线段3、4的间距根据喷胶需求进行调整。

图10 鞋面特征提取与效果

4 实验结果及分析

为方便测试操作检验图像检测效果,对上文算法设计在Windows 7系统使用VS2015 C#进行人机交互界面编程,实验中使用SmartRay ECCO75系列激光线扫传感器进行图像采集,扫描环境为普通自然光场环境,无打光,单列照片分辨率1 015×5 200的.png格式深度图,图像像素值区间为[0,65 535];鞋体区域提取阈值由33 690开始自适应以+10递增,鞋面区域提取阈值由33 600开始自适应以+10递增;边缘特征模板大小框选为50×100像素区域,区域过大则匹配计算时间长,过小则特征信息不足;模板特征点提取曲率间距参数设为20,避免间距过大或过小而特征点定位不准甚至错误。如图11所示,软件系统对调试车间现场随机摆放的鞋体或者鞋面的相机实时采集图像进行特征点的正确提取,但由于界面图像只能验证整体算法正确性,具体检测精度还得进行涂胶验证。

图11 鞋体特征检测人机交互界面

根据现场生产要求对于鞋底图像特征的提取,四个角点位置实际误差不能大于1 mm,否则对喷胶工艺会造成很大的影响,造成因胶水外喷不美观且浪费,或胶水不全影响与鞋面的粘合质量等。为此进行了特征提取后的针尖对点检验,即让机械臂装上尖锥运动至图像处理转换得到的在实物鞋体上的坐标,测量针锥与标准喷涂定位点的偏差。表1是对39至42码型号蓝色鞋以及各码数混合进行测试的数据,相机曝光强度为300。

表1 蓝鞋针尖对点检验数据结果

黑色鞋体对激光吸收较强,图像采集时将相机曝光强度设为高曝光480,否则激光采集存在数据丢失。同样对39至42码型号黑色鞋以及各码数混合进行测试,结果如表2所示。

表2 黑鞋针尖对点检验数据结果

涂胶对点实验得出,图像特征提取得到的结果,转换到实际机械臂针尖对点,除有个别因为图像像素跳动等干扰因素存在较大的误差,对蓝色单一码数以及混合码数均可达95%以上的达标率。由于黑色鞋体图像采集较蓝色不稳定,达标率相对较低,像素边关跳动较大(误差2 mm以上)。总的来看,对两色鞋体达标率平均在94%以上。如图6采集方式,软件系统单列图像检测提取时间为1.51 s,线激光单列扫描时间约3 s,特征提取方法完全适应且远快于产线节拍。

5 结 语

基于增强模板匹配定位匹配的3D视觉检测系统针对不同鞋码不同颜色拖鞋鞋体都具有良好的适用性与稳定性,精准快速地实现涂胶特征点提取,实现实时检测,满足生产需求。算法系统在实际拖鞋装配产线中实现拖鞋涂胶定位点智能提取,引导机器人操作实现自动化装配制造,总体效率为人工的3倍以上,合格率达到94%以上,实现引导机器人自动雾状喷胶,胶量比人工刷涂节约1/2。

制鞋业引入自动化技术是必然趋势,通过对拖鞋装配生产线中机器视觉图像的采集以及图像特征检测处理方法进行研究,为机器视觉与机器人技术应用到拖鞋等多色易变形鞋体的自动化涂胶装配中提供了思路和方法,提高生产效率,节约人工以及材料成本。