周加胜 曹旭阳
摘要:在工业自动化生产车间中,机器视觉作为重要的一环,经常用来对车间内的零件进行识别。普通的几何匹配算法在一些因素的干扰下,比如当零件的形状或大小出现偏差时,对零件的正确识别率会大大降低。本文提出了一种几何匹配改进方法,该方法以LabVIEW作为开发平台,结合视觉开发模块,通过均值化多个已知模板的灰度值,生成新的模板,再进行几何匹配,以提高几何匹配的稳定性和准确性。通过测试验证,取得了良好的效果。
关键词:机器视觉;LabVIEW;几何匹配;模板改进;均值化
中图分类号:TP311 文献标识码:A
文章编号:1009-3044(2020)22-0008-02
开放科学(资源服务)标识码(OSID):
零件的识别是工业自动化检测中的重要环节[1]。对于不同形状的零件,人工检测效率低、工作量大。机器视觉技术具有非接触、精度高、速度快等优点,只要是与自动化生产、制造、检测、测量等相关的,都可以考虑使用机器视觉与图像处理的方法进行分析。因此,机器视觉逐渐成为工业界关注的热点之一[2]。美国NI公司开发的LabVIEW软件是一款基于子模块和数据流的语言。它包含了大量机器视觉和数字化图像处理等领域的辅助开发工具包,用户可直接调用,快速完成测试过程[3]。本文在常规的几何匹配方法上,通过均值化多个已知模板来改进几何匹配的效果,并用该方法和常规方法进行对比测试,证明了改进的几何匹配算法识别效果更好。
1 几何匹配算法
1.1 几何匹配算法的原理
几何匹配是一种用来定位灰度图像的模板匹配技术[4]。通过提取出灰度图像中目标对象的几何特征,将其作为参考模板,再在检测图像中寻找与参考对象相匹配的所有目标对象[5]。
1.2 几何匹配算法的过程
几何匹配过程包含三个阶段:建立模板、模板学习和模板匹配。在建立模板阶段,在样本图像中选定一个包含目标对象的感兴趣区域(regjon of interest, ROI),从而实现对模板的建立。而作为模板,要求必须具备明显的形状特征或几何特征[6]。在学习阶段,几何匹配算法从模板图像中提取几何信息,并通过快速搜索的方式组织和储存提取的几何信息以及它们的空间位置关系。在匹配阶段,该算法在图像中搜索模板查找匹配,该匹配过程是通过在检测图像中提取出包含着区域空间排列类似于模板的几何信息,借助这些特征集涵盖的几何信息完成匹配,从而检测出图像中相似于目标对象的区域。
2 基于几何匹配算法的改进
在几何匹配中,选取模板的好坏将直接影响几何匹配的结果。传统几何匹配的模板通常是在存在目标物体的图像或ROI中选择一个具有目标物体几何特征的区域作为模板进行学习,但这种模板的随机性大,不稳定。当受到各种因素的干扰下,其形状或大小出现微小偏差时,应用这种模板进行几何匹配常常不能达到理想的匹配效果。对此,本文提出另一种新的模板创建方法,该方法核心思想就是均值化多个已知模板,保证模板中目标物体几何特征的稳定性,从而提高匹配性能。其设计思路如下:
(1)将样本灰度图像中具有目标物体几何特征的ROI全部选定,作为模板进行创建;
(2)将各个模板中的几何特征点一一对应起来;
(3)将每个模板中相对应的特征点的灰度值进行求和,然后取平均值;
(4)在对应点处创建新的特征点,将平均灰度值赋予新的特征点;
(5)将每个新的特征点提取出来,作为新的几何特征,进行模板的创建;
(6)将新的模板作为最佳模板,再进行几何匹配。
3 实验测试
3.1 测试所需的硬件、软件
实验所需的硬件由计算机、USB摄像头、光源和被测零件组成,所需的软件是基于LabVIEW开发平台的NI Vision Assis-tant(视觉助手)。
3.2 匹配分数
根据几何匹配算法,在采集到的图像上搜索模板,并判断出每个模板的相似程度,根据相似程度的高低,Vision Assistant自动计算出相应的匹配分值,分值处于1到1000之间,分值越高,则表示搜索出的模板与创建的模板越相似。分值是匹配中一个非常重要的参考因素。
3.3 实验过程
先将零件放置于试验区域内,使用USB高清摄像头连接到计算机,通过视觉助手软件平台打开图像采集模块驱动摄像头,对图像进行采集,然后将采集到的图像储存到计算机中,再对图像进行预处理,接着通过传统的几何匹配算法和经改进后的几何匹配算法分别对图像进行处理,最后将结果显示出来。通过识别被检测图像中零件数量的正确性以及匹配分数的高低来判断两种方法的优劣。
本文以如下图所示的黑色小零件作为需要识别的目标对象,先将实验分为四组,分别是无反光和有反光情况下以及25%和50%咬合比(咬合比表示的是零件之间相互遮挡程度,咬合比越大表示零件之间相互遮挡越严重)情况下,然后选取图中1的零件1作为传统几何匹配的模板进行学习和匹配,选取零件1、2、3经上述改进方法处理后产生的新模板作为几何匹配的模板进行学习和匹配,最后通过这两种不同的模板创建方法分别对四组实验进行几何匹配并显示出匹配的数量及相应的匹配分数。考虑到时间和匹配精度,设置最小匹配分数值为800,即当匹配的目标与模板相似度分数值低于800时,则认为匹配失败,无法识别出目标,当匹配的目标与模板相似度高于800时,则表示匹配成功,可以识别出来。试验结果如下:
图1和图2分别表示在无反光和有反光环境下对两种方法进行测试,如圖2所示,零件3部分区域出现反光。图3、图4分别表示在无反光环境下利用传统几何匹配方法和本文改进的几何匹配方法对图1中的目标物体进行几何匹配。图5、图6分别表示在有光环境下利用传统几何匹配方法和本文改进的几何匹配方法对图2中的目标物体进行几何匹配。
通过几何匹配结果可以看出,在无反光环境下,无论是传统几何匹配还是改进后的几何匹配,都能正确匹配到我们所需要的目标;而在有反光的环境下,传统的几何匹配并不能全部正确地匹配出我们所需要的目标数量,而改进的几何匹配依然能够正确的匹配出全部目标数量。说明在有反光的环境下,经改进的几何匹配适应性更好。
表1表示在上述4种情况下零件1、2、3分别通过传统的几何匹配方法和本文改进的几何匹配方法得到的匹配分数,最后一行表示的是零件1、2、3在这4种情况下得到的匹配分数平均值。1000则表示完美匹配,因为传统模板采用的是在无反光条件下零件1作为模板进行学习,所以可以达到1000。表中“一”表示在几何匹配中并没有正确的识别出目标零件,因此最终显示的结果中没有匹配分数等相关信息,在计算平均值时默认匹配分数为0。
通过分析表可以看出,无论是在有反光还是无反光条件下,改进后的几何匹配的平均匹配分数都要高于传统几何匹配,说明经改进后的几何匹配的匹配性能要更好;同时也可以看出,在无反光情况下平均匹配分数要高于有反光情况下,说明光线对物体的识别效果确实会产生影响。
图7和图8分别表示在25%和50%咬合比条件下对两种方法进行测试,如上图所示,4号零件与1号、3号零件产生了咬合。图9、图10分别表示在25%咬合比条件下利用传统几何匹配方法和本文改进的几何匹配方法对图7中的目标物体进行几何匹配。图11、图12分别表示在50%咬合比条件下利用传统几何匹配方法和本文改进的几何匹配方法对图8中的目标物体进行几何匹配。从两种方法匹配的结果可以看出,在咬合不大的情况下,传统几何匹配、改进几何匹配都能够正确地匹配到我们所要的目标和数量,在咬合比较严重的情况下,传统几何匹配并不能全部正确地匹配到目标零件数量,而改进的几何匹配对4个零件均可以正确地识别出来,说明改进后的几何匹配方法适应性更好,可以应用于更复杂的情况下。
表2表示在4种情况下零件1、2、3、4分别通过传统的几何匹配方法和本文改进的几何匹配方法得到的匹配分数,最后一行表示的是1、2、3、4号零件在这4种情况下得到的匹配分数平均值。通过分析表中数据可以看出,无论是在25%咬合还是50%咬合的情况下,经改进的几何匹配平均匹配分数都要高于传统几何匹配,进一步证实了经改进的几何匹配的匹配性能要更好;同时也可以看出,零件产生咬合会对识别效果产生较大的影响。
4 结语
本文主要对基于LabVIEW几何匹配的原理进行了研究,并对模板创建的方法进行了改进,通过创建多个模板,然后将多个模板灰度值进行均值化处理得到新模板。通过四组对比实验可以看出,光照和咬合会对匹配的结果及分数产生影响,经改进后的几何匹配方法在出现反光和咬合比严重的情况下,依然能够正确的匹配出全部的目标数量,说明此方法的适应性相对于传统方法要更好。然而,本研究仅对于光照和咬合比两种情况进行了测试,对于比例缩放以及综合因素(反光+咬合比、比例缩放+咬合比等)的一些情况并未进行测试。因此该改进的几何匹配方法还需要进一步的研究和探讨。
参考文献:
[1]张巧丽,李光明,王孝敬.模式匹配方法的LabVIEW设计与实现[J].计算机工程与设计,2015,36(9):2422-2426.
[2]李光明,孙英爽,党小娟.基于LabVIEW的几何匹配方法的设计与实现[Jl.计算机工程与设计,2016,37(10):2705-2709.
[3]赵冰,周戌初,张庆,基于Nl平台的机器视觉检测技术研究[J].制导与引信,2013,34(3):57-60.
[4]宫二栋,丁蕴丰.基于labVIEW的机器视觉检测系统的研究[Jl.长春理工大学学报(自然科学版),2017,40(2):75-77,81.
[5]任楷飞,孟令军,顾泽凌.基于灰度值金字塔算法的零件识别系统设计[Jl.中国测试,2018,44(7):83-87.
[6] DuanXW,SunH.Design of stepper motor control system basedon SOPC and Lab VIEW[J].Applied Mechanics and Materials,2014,577:338-341.
【通联编辑:李雅琪】
基金项目:国家重点研发计划政府间/港澳台重点专项(项目编号:SQ2018YFE010684)
作者简介:周加胜(1994-),男,湖北黃石人,硕士研究生,研究方向为视觉识别与图像处理;通讯作者:曹旭阳(1972-),男,山西太原人,车辆工程博士,副教授,硕士生导师,主要从事工程机械快速化设计理论研究、虚拟样机与仿真研究。