李敏,周强,王峥,李俊雨
(陕西科技大学电气与信息工程学院,陕西西安710021)
应用于印刷品缺陷检测的改进模版匹配算法
李敏,周强,王峥,李俊雨
(陕西科技大学电气与信息工程学院,陕西西安710021)
模版匹配算法是印刷品缺陷检测的重要环节,传统的模板匹配算法无法适应现在印刷产品的生产速度并难以达到越来越高的精度要求。因此,文章提出一种基于形状模版匹配的多区域模版匹配的改进算法,该算法创建多个特征区域并依次进行配准,根据配准数据获得均匀变换矩阵,并利用此变换矩阵进行仿射变换,从而完成整个模版匹配过程。该文在HALCON这一视觉软件平台开展算法研究,实验表明,该算法具有稳定、准确的特点,通过该算法可以实现对印刷品缺陷的精确检测。
HALCON,多区域,模版匹配
Abstract:Template matching algorithm is an important part of print defect detection,and the traditional template matching algo⁃rithm can not adapt to the speed of printing products now,and it is difficult to achieve higher precision requirements.Therefore,this paper proposes an improved algorithm for multi region template matching Based on shape template matching,the algorithm creates a plurality of characteristic areas and in order to obtain a uniform registration,according to the registration data and trans⁃form matrix,affine transformation using the transformation matrix,thus completing the whole process of template matching.In this paper,the algorithm is researched on the visual software platform of HALCON.The experimental results show that the algo⁃rithm is stable and accurate.Through this algorithm,the printed defects can be detected accurately.
Key words:HALCON;Multi regions;Template matching
随着科技的进步,印刷行业的生产已日趋自动化,但是由于一些人为和环境因素的影响,印刷品在印刷的过程中可能会产生各种缺陷,常见的印刷品缺陷主要有:飞墨、针孔、偏色、漏印、黑点、刮擦、套印不准等[1]。、因此针对于印刷产品的缺陷检测是至关重要的。早期传统检测缺陷方法依靠人工检测,但人工检测方法成本高、速度慢、识别率低,难以满足包装产品批量化生产的要求[2]。随着智能化、信息化时代的到来,基于机器视觉的缺陷检测与传统的人工检测相比,具有非接触、速度快以及现场抗干扰能力强等优点,可以降低检测人员的劳动强度,提高了检测效率和检测精度[3-4]。
印刷品缺陷的自动检测是利用机器视觉获取印刷品图像,经过图像降噪等预处理后与模板图像匹配,通过检测算法确定印刷缺陷的过程。图像匹配作为质量检测的必要前提,一直以来都是图像处理的重要研究内容,它是根据已知模板图像到另一幅图像中寻找与模板图像相似的子图像[2]。然而由于印刷品材质较软在印刷过程易发生伸缩、褶皱或扭曲等变形导致定位不精确,图像匹配误差大;且印刷品的背景多变而复杂及光照不均等原因更易对匹配造成干扰,从而使得印刷缺陷检测易产生误检,因此,针对印刷品,传统模板匹配算法匹配误差较大,印刷品误检率大,所以改进模版匹配算法提高定位精度,减少误检是至关重要的。
HALCON在工业检测上有着广泛的应用,其提供了高速、高精度、强有力的方法和平台[5]。在HALCON平台上,文章针对大幅印刷产品进行多区域模板匹配算法研究,该算法通过多模块区域的联合匹配,减少匹配误差,实验结果表明该方法可以减少漏检误检的发生,提高检测的实时性和准确性。
一般印刷品的检测流程为:首先通过CCD相机采集图像,选取无缺陷的标准印刷图像,然后在线采集待检测印刷品图像,将待检图像和标准图像不断地进行比对,从而判断是否有缺陷,并得到缺陷图像。最后对缺陷图像进行缺陷分类和特征统计,如图1。因此,是否可以精确地检测和辨识到缺陷,主要依靠待检测图像与标准图像的比对,而比对的前提是模板匹配的准确性,因此模板匹配是印刷品缺陷检测的重中之重。
通常情况下,模板匹配是通过计算模板图像和待搜索图像的相似度量,从而在待搜索图像中找到模板图像的过程[6]。模板匹配的过程大致可以表述为:首先按像素计算模板图像与待搜索图像的相似度量,然后找到最大或最小的相似度量区域作为匹配位置[7]。
图1 印刷缺陷检测流程图
印刷品缺陷检测的过程中,会有各种因素影响模版匹配的效果,因此匹配算法也需要进行改进从而提高精度和速度。若待检图像与标准图像两者直接匹配,则运算量极大,不能满足实时性的要求。若选择单模板匹配,则匹配不准确误差大。由于形状匹配算法提取图像的轮廓信息,并用轮廓信息进行相关性比较,因为图像的边缘不会或者很少受到非线性光线、混乱和遮挡的影响,因此对一些外界因素有一定的鲁棒性[8],所以本文提出一种基于形状匹配的多模板匹配算法,提高印刷缺陷检测精度。
本文在HALCON平台上,提出一种基于形状匹配算法进行多区域模板匹配算法,具体流程图如下所示:
图2 多区域模版匹配流程图
如图2所示,多区域模版匹配算法首先创建多个模板匹配区域,依次进行搜索匹配,得到多组中心点坐标,通过坐标信息数据计算得到均匀变换矩阵,根据均匀变换矩阵进行配准。
文章是利用基于形状的模板匹配对待检测图像进行快速对准,所以需要根据合格印刷品形状特征创建模板。利用采集到的合格印刷品图像,进行特征区域ROI选取,本文由于印刷品的变形,选取4个不同方位的ROI,进行模板的创建,如图3。首先调用rgb1_to_gray算子将彩色图像转换为灰度图像[9],随后利用gen_rectangle1算子根据分割的区域创建矩形特征区域,接下来利用reduce_domain和create_shape_model算子根据划分的特征区域ROI创建多个匹配模板。
根据创建的匹配模板,对待检测图像进行搜索匹配,针对检测缺陷的大幅印刷产品,若整幅图进行搜索模板,耗时长效率低。因为印刷产品标准图像和待检测图像印刷环境相同,所以配准模板在待检测图像上相对存在的区域大概区域位置变化不大,因此文章调用dilation_rectangle1算子将上一章节创建的配准区域ROI扩大几百个像素点作为搜索区域,避免了因为搜索整幅图像而导致的模板匹配时长过长,如图4为创建的搜索区域。确定了搜索区域,调用find_shape_model搜索模板,得到带检测图像中ROI的中心坐标、角度等信息数据。搜索过程中,待检测图像是否被搜索成功主要是依靠匹配分值以及匹配个数。按照每一个对应边缘点的梯度方向是否一致来判断,符合的点越多,分值就高,图像就越相似[10]。
图3 印刷品上创建的配准区域
图4 搜索区域
图5 相似度量示意图
模板匹配中模板可以看做是由许多点pi=(xi,yi)T,(i=1,2,3,4,…,n)构成,如图5,每一个点梯度方向方向向量为gi=(ti,ui)T,待检测图像也转换成一系列的点与模板的点对应,它的点梯度方向向量则模板中梯度向量变换表达式:
相似度量函数表达式:
相似度量函数计算的是模板与待检测图像对应点的方向向量点积平均值,需要做归一化处理[11]。
取值范围[-1,1],返回值为1时,表示模板与搜索的图像完全匹配。
通过计算模板与搜索图像的相似度量值获取与模板相似的大概位置;将配准结果映射到图像金字塔下一层,使用小间隔对搜索图像与模板重采样,并在映射位置小邻域内进行相似度量计算,获得更精确的匹配位置;如此往复循环,直到映射到图像金字塔最底层,得到原分辨率下精确的匹配位置。搜索到图像后,调用算子get_shape_model_contours返回模板的形状轮廓,为变换做准备。
仿射变换属于二维直角坐标系下的线性变换,它的显著特征就是可以通过诸如平移、翻转、缩放和旋转等各种变换的组合实现空间直角坐标系的转换,在转换的同时不改变图像的平行性和平直性[7]。调用vector_angle_to_rigid算子创建变换矩阵,通过变换矩阵进行仿射变换。仿射变换一般有三个分量,见公式4-9。
计算得到仿射矩阵后,利用affine_trans_contour_xld算子利用获得的仿射变换矩阵将模板轮廓进行对准。
根据上述描述按步骤分别对4个模板区域进行配准,得到四个模板区域的配准的中心线点坐标数据,随后调用vec⁃tor_to_aniso算子,得到最终的变换矩阵,vector_to_aniso算子为各向异性相似变换,即从至少三个点对应的旋转,非均匀缩放和平移组成的变换,并将其返回为均匀变换矩阵HomMat2D。文章得到四个区域中心点坐标的变换数据,同过四组数据得到均匀变换矩阵,矩阵由3个分量组成:在x和y方向上具有不相同缩放的缩放矩阵S,旋转矩阵R和平移向量t(公式10)。使用afine_trans_image算子对整个待检测图像进行仿射变换。
将印刷品分别通过直接模版匹配算法和本文模版匹配算法进行配准,为了比较两种算法的性能,将同一副待检测图像分别进行两种匹配再分别与标准图像差分运算,差分后的结果体现出匹配效果。
如图6所示,直接匹配算法差分后的图形有很明显的伪影,而使用本文的多区域模板匹配伪影较少且不清晰,有利于后续的印刷品缺陷检测。针对检测印刷品的缺陷,对算法进一步从结果进行分析,图像膨胀腐蚀运算后再进行差分,消除部分的伪影,随后通过形态学处理得到印刷品的缺陷。如表1所示,在HALCON平台上,实现以上操作对印刷品进行缺陷检测,得到直接模版匹配速度为0.541s,缺陷检测会有很多误检,单特征区域模版匹配虽然速度快但是正确率过低,而本文的多区域模板匹配运行速度为0.127s,缺陷检测的正确率也得到了提高。由实验得到多区域模板匹配在传统的模板匹配基础上在速度和精度上都有了较大的提高。
本文基于形状模版匹配算法提出了一种改进的模板匹配算法,该算法将单模板匹配改进为多模板匹配,通过各个方位的特征区域联合匹配,使配准更加精确,同时通过减少搜索区域面积大大减少了搜索模板时间,既体现了传统模板匹配法的简单快捷,又改善了传统模板匹配的精度,一定程度上减少印刷品变形易产生错误结论的状况,使得正确率和适应性都得到了提高,具有很好的鲁棒性和应用价值。
a直接模版匹配
图6 印刷品差分伪影
表1 算法检测性能比较
[1]谭刚,董祥龙,徐继,等.基于机器视觉的玻璃瓶表面缺陷检测[J].上海工程技术大学学报,2009(6).
[2]肖海俊,葛广英,等.基于Halcon的喷码字符识别技术的研究与实现[J].现代电子技术,2015,38(15):95-98.
[3]李小东,陈路,龚修端.基于数字图像处理的印刷品图像清晰度检测算法研究[J].包装工程,2009,30(1):2-3.
[4]王文成.基于HALCON的齿轮缺陷检测系统设计[J].机械传动,2014,38(9):60-63.
[5]陈艺峰.Halcon在工件二维尺寸检测上的应用[J].机电技术,2011(8):12-17.
[6]Zhang Z Y,A Flexible New Technique for Camera Calibration[J].IEEE Transaction onPattern Analysis and Machine Intelli⁃gence,2000,11(22):1330-1334.
[7]周丽莎.基于模板匹配的视觉定位技术研究与应用[D].辽宁:大连理工,2012.
[8]曾强,孙坚.基于HALCON的刹车片轮廓缺陷检测方法研究[J].煤矿机械,2016,37(8):143-146.
[9]王宏丽,赵不贿,孙智权,等.基于HALCON的医疗袋缺陷检测[J].包装工程,2015,36(13):125-129.
[10]肖开明.图像配准算法及其在印刷质量检测中的应用[D].上海:上海大学,2004.
[11]邹广华.基于几何特征的快速模板匹配算法[D].黑龙江:哈尔滨工业大学,2010.
An Improved Template Matching Algorithm for Printed Matter Defect Detection
LI Min,ZHOU Qiang,WANG Zheng,LI Jun-yu
(Shaanxi University of Science and Technology,College of Electrical&Information Engineering,Xi’an 710021)
TP311
A
1009-3044(2017)24-0167-03
2017-07-15
陕西省教育厅专项科技项目(16JK1105);陕西省科技攻关项目(2016GY-005)
李敏(1993—),女,陕西渭南人,在读硕士研究生,研究方向为图像处理。