基于模板匹配的透明盒缺陷检测

付兴勇 任德均 严扎杰 陈儒侠 高永勋

摘 要：模板匹配是图像处理中最基本与常用的匹配方法。为解决印刷、烫金字符与图案在使用模板匹配方法检测透明盒缺陷时，大量产品因字符、图案边缘效应干扰出现误检的问题，采用HALCON软件编写用于去除字符与图案边缘效应干扰的算法及透明盒缺陷检测算法。经过生产流水线上的实际验证，该算法可以有效避免因字符、图案边缘效应产生的误检问题，实现对透明盒缺陷快速、精确的自动化检测，并剔除缺陷产品。

关键词：模板匹配;HALCON;边缘干扰;透明盒;缺陷检测

DOI：10. 11907/rjdk. 181990

中图分类号：TP317.4文献标识码：A文章编号：1672-7800（2019）003-0187-04

0 引言

根据国外调研机构 MarketsandMarkets 预测，2020 年全球机器视觉市场规模将达到 125 亿美元，2025 年全球市场规模将超过 192 亿美元，机器视觉技术未来发展空间巨大[1]。随着全球制造中心向中国转移，中国机器视觉市场开始成为继北美、欧洲和日本之后，国际机器视觉厂商的重要目标市场[1-2]。

随着数字图像处理分析理论的逐步完善，机器视觉技术在工业在线检测[3-4]及测量[5-6]方面的应用也越来越广泛。在对模板匹配算法的研究中，浙江大学的孙炼杰、樊臻[7]对基于模板匹配的光纤收发 PCB 板目标检测进行研究;山东大学的丁筱玲等[8]对基于模板匹配的目标识别算法进行改进;河海大学的钱俞好等[9]通过检测印刷码改进模板匹配算法;华北计算技术研究所的蒋昭颖、郝福珍[10]使用模板匹配算法对伤票进行识别与定位;广西科技大学的李厚君[11]对基于梯度模板匹配的眉毛识别方法进行研究;江苏大学的安宗权、王匀[12]通过线激光与模板匹配方法对工件表面平坦度进行测量。模板匹配算法还可应用于车牌识别[13]、玉米螟识别[14]等众多领域。

然而以上对于模板匹配算法的研究并不能实现对透明盒缺陷的检测。针对透明盒特点以及字符、图案印刷边缘效应会对模板匹配产生干扰的问题，本文自主设计了一套将内外打光相结合的打光方案，并采用HACLON软件编写可用于去除边缘效应干扰的算法与缺陷检测算法，从而实现对透明盒缺陷快速、精确的检测。

1 检测系统组成与检测流程

基于模板匹配的透明盒缺陷检测系统需要实现对图像的采集与处理，以及将处理后的结果发送给剔除模块，剔除不合格产品，从而提高产品质量。硬件部分由多个模块组成，主要包括：产品输送模块、图像采集模块、图像处理模块、电器控制模块以及剔除模块。产品首先由输送带运送到图像采集模块，当透明盒触发传感器挡板，气缸伸出挡住透明盒;面光源在高速气缸带动下插入透明盒内部点亮，相机进行拍照;拍照结束后挡板气缸与高速气缸缩回，同时图像处理模块对获取的图像进行处理;当检测出透明盒存在缺陷时，剔除模块对产品進行剔除。硬件结构简图如图1所示。

2 检测算法与软件

本系统采用HALCON图像处理软件对图像进行处理，HALCON是世界公认具有最佳效果的机器视觉处理软件[15]。目前常用的图像处理方法有模板匹配法[16-17]与基于人工神经网络的算法[18-19]，系统采用二值化与模板匹配相结合的方法对采集图像进行处理。

模板匹配主要包括：基于灰度值的匹配、基于形状的匹配与基于组件的匹配。基于形状的匹配一般包括4种情况： 一般形状匹配模板、线性变形匹配模板、局部可变形模板与比例缩放模板。由于本系统属于在线检测，无法保证每次拍摄图片位置不变，因此图像存在小范围的线性变形。根据基于形状模板的特点，选用线性变形匹配模板。

3 基于模板匹配的图像处理

图像处理流程如下：①相机首先在线抓取待检测透明盒图像，筛选出合格产品图像作为透明盒检测的模板图像;②然后画出待检测区域的ROI，建立待检测区域的线性变形匹配模板，对模板进行训练并将其保存在相应文件夹中;③在相机抓取的待检测产品图像中找到与训练模板相匹配的区域，对匹配区域进行比较;④最后去除匹配结果的边缘干扰，进行相应算法处理，判断透明盒是否存在缺陷。图像处理流程如图2所示。

3.1 模板创建与训练

人工选取合格产品并对其进行在线图像采集，筛选效果较好的图像作为模板图像。首先选取一张图像，利用HALCON中的算子gen_rectangle1获取需要检测的ROI字符区域;通过rgb1_to_gray算子将三通道图像转换成单通道图像，再通过create_planar_uncalib_deformable_model与create_variation_model算子创建字符模板;利用find_planar_uncalib_deformable_model从筛选图像中找到与第一张图像匹配度较高的图像，即从find_planar_uncalib_deformable_model中输出参数Score数值较高的图像。由于是在线采集图像，拍摄物品相对位置必然会发生变动，因此需要采用2D仿射变换算子对找到的图像进行位置变换，并将变换后的图像转换成单通道图像，然后通过train_variation_model算子对图像选定的ROI区域进行模板训练;最后通过get_variation_model（：Image，VarImage：ModelID：）获取训练后的模板，并通过write_variation_model将训练得到的模板Image与变化模板VarImage保存到相应文件夹中。与此同时，用convert_image_type（VarImage，VarImage1，‘byte）将变化后的模板转换成byte类型并加以保存。创建的模板图像与变化模板图像如图3、图4所示。

3.2 透明盒在线检测

產品在流水线生产与运输过程中，通过触发传感器伸出挡板气缸，基本可以实现使相机在同一位置抓取图片。将相机抓取的图片传输到由HALCON和C#编写的图像检测软件中，实现对透明盒缺陷的检测。

首先从保存模板的文件夹中获取训练好的模板，将相机抓取的图像转换成单通道图像，采用find_planar_uncalib_deformable_model（Image ： ： ModelID， AngleStart， AngleExtent， ScaleRMin， ScaleRMax， ScaleCMin， ScaleCMax， MinScore， NumMatches， MaxOverlap， NumLevels， Greediness， ParamName， ParamValue ： HomMat2D， Score）算子找到与模板匹配的区域。算子中的MinScore、Greediness即最小匹配度及贪婪度的值，可根据实际需要进行设置，其值域为[0，1]。MinScore、Greediness的值越大，图像与模板匹配速度越快，但容易漏掉与模板匹配度不高的图像。如果可预期图像永远不被遮挡，MinScore可设置高达0.8甚至0.9，在多数情况下，可变形模型的贪婪性多为0.9。算子中的NumLevels即图像金字塔层级，图像金字塔是图像多尺度表达的一种，是一种以多分辨率解释图像、有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列、分辨率逐步降低，且来源于同一原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。将一层层图像比喻成金字塔，层级越高，则图像越小，分辨率越低[20-21]。因此，可通过选择NumLevels的大小确定图像分辨率，NumLevels越大，图像分辨率越低，图形与模板匹配速度越快。根据实际需要，将系统MinScore、Greediness和NumLevels分别设置为0.6、0.9和5。

然后用compare_ext_variation_model（Image ： Region ： ModelID，Mode：）将处理后的图像与模板进行比较，得到模板与图像的不同区域Region，再对Region进行二值化等处理，并根据相应区域特征对透明盒缺陷进行检测。但印刷字符、图案受印刷机印刷压力、印刷速度等多方面因素影响，会产生边缘效应，导致图像上的字符、图案与模板匹配时，在字符、图案边缘会产生许多不同的小区域（见图5）。

由于无法判定图像上的字符、图案与模板对比后产生的不同小区域是由字符、图案的边缘效应产生的，还是由于字符、图案的缺陷产生的，因而将严重影响对透明盒缺陷的检测结果。为了解决字符边缘效应问题，本文采用get_variation_model（ ： Image， VarImage1 ： ModelID ： ）算子获取保存的变化模板图像VarImage1，用阈值算子threshold处理得到Region1;通过边缘算子获取模板图像的Image边缘，对其边缘进行阈值、形态学等一系列处理得到Region2;取Region1和 Region2的交集得到Region3，也即字符边缘易干扰区域，如图6所示;对compare_ext_variation_model（Image ： Region ： ModelID， Mode ： ）中的Region进行相应的形态学处理得到Region4，取Region3、Region4的交集得到Region5;取Region4和Region5的差集得到Region6，Region6则是去除了边缘干扰的缺陷区域。

最后跟据实际需要与缺陷区域特征，采用select_shape对缺陷区域进行筛选，计算筛选后得到的区域面积，根据面积大小是否为0判断产品字符是否合格，并通过disp_message算子显示出来。当检测透明盒字符无缺陷时，则会在窗口上显示“ok”，且字体为绿色，如图7所示;当检测透明盒字符有缺陷时，则会在窗口显示缺陷面积，且字体为红色，如图8、图9所示，原始效果见图10。图9中的缺陷面积只有9个像素，即“酒”字上的缺陷，肉眼几乎无法发现。检测结果表明，系统检测精度非常高，且精度可以根据用户需求进行调节。系统可以检测透明盒上的诸多缺陷，例如字体残缺、砂眼、字体笔画粗细、少印、多印、印刷错误、黑点、字体倾斜、划痕、偏膜等，由于篇幅有限，不再一一列举。

4 结语

针对透明盒存在的诸多缺陷问题，本文提出一种基于模板匹配的透明盒缺陷检测方法。由于字符、图案存在边缘效应，在匹配过程中会对字符、图案的缺陷检测产生干扰，本文编写的可去除边缘效应干扰的算法与缺陷检测算法，能够实现对产品字符进行高速、精确地检测，并能准确且无损坏地剔除不合格产品。系统查准率高达99.5%以上，漏检率低于0.2%，可以很好地代替人工实现自动化生产检测。

参考文献：

[1] 马梅彦. 智能装备与系统产业发展动态与趋势[J]. 科技中国，2018（4）：61-66.

[2] 《智能机器人》编辑部. 机器视觉时代，最好的时代[J]. 智能机器人，2018（2）：1.

[3] JIA H B，MURPHEY Y L，SHI J J. An intelligent real time vision systern for surface defect detection[C]. Proceedings of the 17th International Conference on Pattern Recognition，2004：239-242.

[4] PENG X Q，CHEN Y P，YU W Y. An online defects inspection method for float glass fabrication based on machine vision[J]. International Journal of Advanced Manufacturing Technology，2008，39（11）：1180-1189.

[5] BU X Z，LI G J，YANG B，et al. Fast unwrapping of panoramic annularimage with center deviation[J]. Optics and Precision Engineering，2012，20（9）：2103-2109.

[6] 李鹤. 基于神经网络的零件缺陷机器视觉识别系统[J]. 计算机测量与控制，2017，25（11）：248-256.

[7] 孙炼杰，樊臻. 基于模板匹配的光纤收发 PCB 板目标检测[J]. 计算机应用与软件，2018，35（1）：128-131.

[8] 丁筱玲，赵强，李贻斌，等. 基于模板匹配的改进型目标识别算法[J]. 山东大学学报，2018，48（2）：1-7.

[9] 钱俞好，周军，田胜，等. 基于机器视觉检测印刷码的改进模板匹配算法研究[J]. 机电工程，2018， 35（4）：442-446.

[10] 蒋昭颖，郝福珍. 基于改进模板匹配算法的伤票识别与定位[J].  电子设计工程，2018， 26（3）：175-179.

[11] 李厚君. 基于梯度模板匹配的眉毛识别方法[J]. 广西科技大学学报，2018， 29（3）：62-70.

[12] 安宗权，王匀. 基于线激光与模板匹配的工件表面平坦度测量[J]. 控制工程，25（2）：341-345.

[13] 张俊峰，尚振宏，刘辉. 基于颜色特征与模板匹配的车牌识别系统设计与实现[J]. 软件导刊，2018，17（1）：212-215.

[14] 刘博艺，唐湘滟，程杰仁. 基于多生长时期模板匹配的玉米螟识别方法[J]. 计算机科学，2018， 45（4）：106-111.

[15] 郭佳寅，岳秀江，吴双，等. 基于HALCON的乳制品箱体喷码字符识别方法研究[J]. 制造业自动化，2013（3）：21-22.

[16] 项辉宇，刘倩倩，黄佳军，等. 基于HALCON的字符识别及缺陷检测[J]. 机电产品开发与创新，2014，27（2）：77-79.

[17] 李志强，项辉宇，李哲. OCR 在印刷字符实时检测系统中的应用[J]. 机电产品开发与创新，2013，26（3）：129-130.

[18] 张银苹，葛广英. 基于HALCON的车牌识别研究[J]. 现代电子技术，2014，37（16）：92-95.

[19] 朱正礼. 基于三层BP神经网络的字符识别系统的实现[J]. 现代计算机，2006（10）：93-95.

[20] GARY BRADSKI，ADRIAN KAEHLER. 學习OpenCV（中文版）[M]. 北京：清华大学出版社，2009：150-154.

[21] RAFAEL C GONZALEZ，RICHARD E WOODS. Digital image processing（third edition）[M]. 北京：电子工业出版社，2011：290-292.

（责任编辑：黄 健）