孙阔原,蒋理兴,王俊亚,张 峰,韩 硕
(1.信息工程大学 导航与空天目标工程学院, 郑州 450001; 2.信息工程大学 地理空间信息学院, 郑州 450001)
轴类工件表面视觉自动检测系统
孙阔原1,蒋理兴1,王俊亚1,张峰1,韩硕2
(1.信息工程大学 导航与空天目标工程学院, 郑州 450001; 2.信息工程大学 地理空间信息学院, 郑州 450001)
表面物理损伤检测是轴类工件质量检测的重要环节,为提高表面质量检测的自动化水平并建立相关行业标准,设计了一套机器视觉检测系统来实现生产中轴类工件的表面检测。采用黑白线阵CCD相机通过暗视野前向照明方式获取合适的图像;经过图像增强、滤波等预处理后采用最大类间方差法对图像进行阈值分割;经过形态学处理,提取缺陷轮廓信息;以轮廓的长宽比以及面积作为评价准则,提取主要轮廓;计算缺陷重心坐标,即定位点坐标;单片机通过与上位机通信,控制打码笔标记出缺陷的位置。采用该系统在不同轴类工件上进行试验,结果表明:缺陷检测系统误检率在5%以下,漏检率为0,能满足轴类工件表面在线实时检测的要求。
机器视觉;图像处理;轴类零件;表面缺陷;单片机;最大类间方差法
轴类零件是机械工业中常见且重要的零件,主要用来支承传动零部件,传递扭矩和承受载荷。该类零件的质量保证是机械产品质量的关键。尺寸检测和表面检测是轴类零件质量检测的重要环节。
对轴类工件的传统检测一般是采用人工肉眼识别的方法,检测结果与工人的经验和情绪有直接的关系。文献[1]指出人工检测的有效性最多只能达到80%。人工执行这些工序,不但增加了企业的管理成本,还存在效率低、可靠性差等缺点。文献[2]采用小角度纵波探头超声检测技术对轴类零件表面横向缺陷的检测进行了可行性分析,但未能达到较高的精度。作为一种现代检测技术,机器视觉检测技术的研究与应用始于20世纪80年代初,首先应用于美国制造业,之后其以非接触、速度快、误检率低、现场抗干扰能力强等突出优点,在许多国家的各个工业部门得到了广泛的应用[3-9]。
目前,采用机器视觉技术对轴类工件尺寸的检测研究较多,并取得了一定的效果[10-13],但图像处理技术在轴类工件表面检测上的应用研究还处于起步阶段[14]。笔者设计了一种新型轴类工件表面图像采集装置,提高了图像采集质量,并采用中值滤波、阈值分割等图像处理方法,结合下位机控制系统,为提高轴类零件质量检测的自动化水平提出了一种解决方案并拟建立行业标准。
视觉检测系统中,图像采集系统是缺陷检测系统的基础,直接影响到后续的图像处理算法;故,如何获取待测工件高精度的优质影像是机器视觉缺陷检测系统的关键技术之一[15]。所以光源、相机、镜头、图像采集卡及照明方式的选取决定了视觉检测系统的质量优劣。
如图1所示,待检测的金属轴类工件表面光滑,发生了镜面反射,要从这幅面阵相机拍摄的图像中有效获得工件表面的缺陷信息较为困难。一般的面光、条形光,环形光都易出现亮度不均等缺点,同轴光源采用高密度排列的LED,亮度高且均匀,能够凸显物体表面的不平整,克服表面反光造成的干扰。经过反复试验,选用白色同轴光源作为系统所用光源。
图1 某面阵相机拍摄的轴类零件图像
图2 合格工件与缺陷工件的检测原理示意
合格的金属工件表面光滑,光将全部产生镜面反射;不合格工件的表面缺陷处粗糙,光将发生漫反射,如图2所示。由此,笔者采用暗视野前向照明的拍摄方式来获取图像。采用此种方法时,用散射光来观察被测轴件,散射光的部分变成白色,不发生散射的部分将变成黑色,能有效区别被测工件的前景与背景,从而获得对比度高的图像。
笔者采用某公司的分辨率为7 450像素,像素尺寸为4.7 μm×4.7 μm的SWIFT系列的线扫描黑白CCD工业相机;基于PCI总线的Camera Link图像采集卡;高亮度线扫描白色同轴光源以及日本某公司生产的35 mm焦距的线扫描镜头等器件组成机器视觉采集系统。
图3 系统硬件结构示意
缺陷检测系统装置示意如图3所示,设计时将相机的线状CCD传感器与待检测轴的轴向母线设成平行,调节相机与线阵光源到一定的角度至可以采集到对比度高的图像。MCU控制步进电机1、2、3;步进电机1、2分别通过丝杆1与丝杆2控制相机、线阵光源和打码笔的同步移动以便相机和线阵光源保持固定的角度;步进电机3通过传动装置可以驱动轴类工件的旋转。检测流程如下:首先通过上位机启动检测系统,步进电机3开始驱动轴件转动,同时由相机、光源、图像采集卡、主机等组成图像采集单元开始采集图像;当步进电机3转动1圈,完成轴上长度为d的部分表面图像的采集,将采集的图像传输到计算机;经过算法处理,得到缺陷坐标;然后主机通过串口与MCU通信,以MCU为核心的控制器驱动打码笔标记缺陷部位;然后步进电机1和2分别带动丝杆1和2驱动相机、光源以及打码笔前进距离d,重复以上步骤,直至完成整个检测;最后通过分拣结构将缺陷工件传送出来,进行进一步加工操作。
轴类零件表面缺陷检测算法主要包含四部分:图像预处理,阈值分割,形态学处理,缺陷区域轮廓提取及其形状特征参数的计算。图像预处理指:PC机读取线阵相机的图像,并进行拼接,裁剪,平滑滤波;之后选取合适的阈值分割方法,将前景信息从工件图像中分割出来;接着通过数学形态学操作将部分缺陷区域连通;然后提取目标缺陷区域的连通轮廓;最后计算轮廓区域的特征信息,筛选轮廓并提取轮廓形心坐标。具体的算法流程如图4所示。
图4 缺陷检测算法流程
2.1图像分割算法
图像分割是机器视觉领域内的一项关键技术,对于图像的处理与分析起着桥梁作用[16],它的优劣将直接影响缺陷的检测。阈值分割由于其简单、有效的特点,适用于对于实时性要求较高的机器视觉系统。常见的阈值法主要有:最大类间方差法[17]、最大熵法[18]、最小交叉熵法[19]、矩不变法[20]等。若采用复杂度高的图像分割算法,虽能获得较好的分割图像,但不能满足在线检测的实时性要求。
由于获取的工件表面图像缺陷部分与背景灰度差别较大,所以采用最大类间方差法能够快速取得较为理想的二值化效果,适用于机器视觉检测系统中。
检测系统采集的图像是8位图像,共256级灰度值,大津阈值分割算法如下:
设灰度级为i的像素数量为ni,出现的概率记为pi,图像的全部像素数量记为N,则
(1)
用阈值t可将图像分成两类:H0={0,1…t},H1={t+1,t+2+…+255}。H0与H1类出现的概率及其平均值分别为
(2)
(3)
(4)
采用遍历的方法使得到的类间方差值最大时的阈值t,即为所求的将前景图像与背景图像分开的阈值。分割效果如图5所示。
图5 工件图像及其阈值分割的效果图
2.2缺陷部分轮廓提取
经过上述一系列的图像处理后,获得了工件表面二值图像。在该二值图像中包含了多个缺陷,还存在以下几个问题:① 单个的缺陷目标区域没有完全连通,需将其连通;② 缺陷呈雾状分布在二值图像中,需将呈雾状的缺陷组合成单个缺陷;③ 单个缺陷的区域内部存在一些孔洞,需将缺陷的孔洞进行填充。
使用基于数学形态学的操作,可以有效地解决这些问题。轴类工件表面二值图像经过形态学处理后的效果如图6所示。
图6 工件表面二值图像经形态学处理后的效果图
随后,需要提取缺陷轮廓,目标轮廓的提取是保证测量精度的关键环节。笔者采用掏空内点法对二值图像进行提取轮廓,其算法基本原理为:图像的背景为黑色,像素灰度值为0;缺陷目标为白色,像素灰度值为1,采用8连通邻域方式。具体实施流程为:① 若中心点像素值为1,且其邻域8个像素值均为1时,将此点像素值置0,即剔除这点;② 若中心点像素值为0,将此点像素值仍置0,即保留此点;③ 其他则将中心点像素值置0。
遍历二值图像,即可得出图像中缺陷目标的轮廓。通过链码跟踪方法存储轮廓信息,实现了具有单像素边缘的图像轮廓提取[21]。提取效果如图7所示。
接下来,通过对工件表面缺陷区域轮廓信息进行测量或提取特征,就能进一步获取工件表面缺陷信息,如缺陷类型,缺陷大小等。为了提高算法的实时性,将重点研究主要的缺陷。
将假设共有轮廓的数量Tcount,单个轮廓所包含的像素数量tarea,即单个轮廓像素面积,以及轮廓的长宽比作为评价的准则。设预先设置的轮廓面积阈值为Tarea,即轮廓所包含的像素个数为Tarea;预先设置的轮廓长宽比阈值为Tlenwid。采用遍历的算法提取主要轮廓:首先,检测轮廓的长宽比tlenwid是否大于Tlenwid,如果大于Tlenwid,保留这个轮廓,否则进行下一步判断;如果轮廓面积tarea小于Tarea,则删除轮廓,否则保留该轮廓。流程如图8所示。
接下来,对缺陷进行提取。经过多次试验,将面积阈值Tarea设置为50个像素,将Tlenwid设置为10个像素时,效果最佳。该系统的检测精度为0.1 mm×0.1 mm,相机的分辨率为7 450像素,相机的视场为100 mm,则采集到的图像中,每个像素对应的物理尺度p为:
(5)
式中:h为相机的视场;N为相机的分辨率。
面积为50个像素的区域,对应尺寸为7像素×7像素的区域。轴类零件表面图像中的每一个像素对应真实世界的0.013mm,则7个像素对应物理尺度的0.091mm,小于系统能检测的最小缺陷的精度0.1mm,所以满足系统的精度要求。这样,就可以定量地测量表面缺陷的大小,为轴类工件表面检测行业的标准化提供了一定的依据。
编码器记录轴的转速,并将其转化为实际坐标,结合上位机传输图像上的缺陷定位点坐标,经过单片机处理后,通过打码笔将缺陷标记于轴类零件上,完成了整个检测。
为了验证文章所提算法的可行性,分别在编号为1的轴径为5cm与编号为2的轴径为10cm的轴上进行测试。测试前,仿照缺陷特征,在工件上制造缺陷。通过图像采集系统采集轴类零件常见的表面缺陷,如图9所示。
该试验的操作系统为WindowsXP,处理器为Intercorei7,内存为4G。借助于英特尔公司的OpenCV库,采用C++进行开发。列举部分试验结果,如表1所示。
该系统可以达到零漏检率的效果,但仍有一定的误检率,需探究其误检原因,以改善系统的性能。误检区域中的一处为较大的灰尘颗粒,其落到轴上会影响其表面的反射特性,由本来的全反射现象变为漫反射现象,而造成一定的误检率。误检区域的另一处,表面光滑,可能是由于光照不均的影响造成了误检。
图9 轴类零件常见表面缺陷图像
表1 轴类工件表面缺陷检测结果
针对轴类工件的特点,从图像处理的角度出发,设计了一套轴类零件表面缺陷检测系统,其主要特点有:
(1) 针对轴类工件金属表面光滑会发生镜面反射的特性,采用暗视野拍摄方式来获取图像,以保证采集到的图像清晰稳定。
(2) 采用最大类间方差法分割图像,可有效快速地将目标缺陷与背景区分开来。
(3) 采用掏空内点法提取缺陷的轮廓,并采用链码跟踪的方式存储单像素的轮廓信息,方便后续算法的设计。
(4) 结合下位机,可实现编码打码功能,为后续不合格工件的分拣工作提供了帮助,也可进一步通过机器学习实现有缺陷的自动识别功能。
试验结果表明,该机器视觉系统提高了轴类零件表面缺陷检测的自动化水平,为轴类零件表面缺陷的评定提供了一种高效、准确、可行且标准化的方法。
[1]SMITH B.Making war on defects: six-sigma design[J].IEEE Spectrum,1993,30(9):43-47.
[2]李智明,窦中英.小角度纵波探头检测轴类零件表面横向缺陷的可行性[J].无损检测,2008,28(4):363-366.
[3]DWORKIN S B, NYE T J. Image processing for machine vision measurement of hotformed parts[J]. Journal of Materials Processing Technology,2006,174(1):1-6.
[4]GOLNABI H, ASADPOUR A. Design and application of industrial machine vision systems[J].Robotics and Computer-Integrated Manufacturing,2007,23(6):630-637.
[5]JIN W S, CHAO Y G. Study on detection system of bullet surface defect based on machine vision[J]. Modular Machine Tool & Automatic Manufacturing Technique, 2013,4:59-64.
[6]WANG J, YANG X. Auto-detect of machine vision and its application in assembling inspection[C]∥Intelligent Control and Automation, World Congress on IEEE.Taipei,IEEE, 2011:18-22.
[7]WANG D. Quality defect and it's prevention in grinding the out surface of shaft parts[J]. Coal Mine Machinery, 2000,1:30-31.
[8]李武斌,路长厚,李君,等.圆钢表面缺陷视觉检测技术研究现状与展望[J]. 无损检测, 2012,34(5):54-58.
[9]YANG J, ZHANG F. New method of spherical surface defect detection based on machine vision[J]. Advanced Materials Research, 2011,295:1274-1278.
[10]左延红.轴类零件自动检测系统研究[D].兰州:兰州理工大学, 2006.
[11]叶伯洪.基于计算机视觉检测的轴类零件尺寸高精度检测方法研究与应用[D].广州:广东工业大学,2010.
[12]张宇,黄亚博,焦建彬.一种基于机器视觉的圆型零件检测技术[J].计算机工程,2008,34(19):185-186,202.[13]徐杜,蒋永平.采用数字同步技术的轴类零件尺寸光电检测[J].光电工程,2004,31(8):45-48.
[14]付佳佳.基于图像处理技术的轴类工件多参数自动检测技术研究[D]. 长春:吉林大学, 2014.
[15]伍济钢,宾鸿赞.薄片零件尺寸机器视觉检测系统的研发[J].装备制造技术,2009(12):88-90.
[16]李伟斌,高二,宋松和.一种全局最小化的图像分割方法[J].电子与信息学报,2013,35(4):791-796.
[17]OTSU N. Athreshold selection method fromgray-levelhistograms[J].IEEE Transaction on Systems, Man, and Cybernetics,1979,9(1):62-66.
[18]KITTLER J, ILLINGWORTH J. Minimum error thresholding[J]. Pattern Recogntion, 1986,19(1):41-47.
[19]HORNG M H,LIOU R J. Multilevel minimum cross entropy threshold selection based on the firefly algorithm[J].Expert Systems with Applications, 2011,38(12):14805-14811.
[20]TSAI W H. Moment-preserving thresholding: a new approach[J]. Computer Vision,Graphics,and Image Processing, 1985, 29(3): 377-393.
[21]吴凤和.基于计算机视觉测量技术的图像轮廓提取方法研究[J]. 计量学报, 2007, 28(1):18-22.
Automatic Visual Inspection System of Shaft Part Surface
SUN Kuo-yuan1, JIANG Li-xing1, WANG Jun-ya1, ZHANG Feng1, HAN Shuo2
(1.College of Navigation and Aerospace Engineering, Information Engineering University, Zhengzhou 450001, China;2.College of Geospatial Information, Information Engineering University, Zhengzhou 450001, China)
Surface physical damage detection is an important part of the shaft part quality inspection. In order to improve the automation level of the quality detection of shaft part and establish its relevant industry quality standard, a machine vision inspection system connected with MCU was designed to realize the surface detection of shaft part. The system adopted the monochrome line-scan digital camera and used the dark-field and forward illumination technology to acquire images with high contrast; the images were segmented to Bi-value images through maximum between-cluster variance method after image filtering and image enhancing; then the mainly contours were extracted based on the evaluation criterion of the aspect ratio and the area; then the coordinates of the center of gravity of defects area, namely locating point coordinates were calculated. At last, locations of the defects area were marked by the coding pen communicated with MCU. Experiment showed that no defect was omitted and false alarm error rate was lower than 5%, which showed that the designed system met the demand of shaft part on-line real-time detection.
Machine vision; Image processing; Shaft part; Surface defect; MCU; OTSU
2015-11-13
孙阔原(1991-),男,硕士研究生,主要研究方向为机器视觉检测。
孙阔原, E-mail: sunkuoyuan@126.com。
10.11973/wsjc201606013
TP271+.4; TG115.28
A
1000-6656(2016)06-0053-05