基于图像匹配和验证识别的元件型号检测

张慧，罗兵



基于图像匹配和验证识别的元件型号检测

张慧，罗兵

（五邑大学 信息工程学院，广东 江门 529020）

电子制造业的电路板元件贴片安装检测中，需要根据元件上的字符图像来检测其型号是否正确. 现有的整体匹配方法误检率高，且无法检测不同批次字符字体差异的元件. 本文设计了位置校正后字符匹配的快速检测方法，对于更换元件批次后的字体差异则采用字符图像分割后进行验证性识别，并重新建模. 实验结果表明了本方法具有高效，无漏检，误检率低等特点.

光字符验证；光字符识别；图像匹配；贴片安装技术；神经网络

元件型号检测是贴片质量自动检测（AOI）的一部分，在电路板元件贴片安装检测中，需要检测贴片元件的型号是否正确. 但是不同型号的电阻和电容等元件外观相似，可以通过元件上的字符来区分[1]. 由于元件允许有一定的位置和旋转角度偏差，因此相同型号的元件因批次不同可能存在元件型号标识字符字体差异. 传统整体匹配检测方法将型号检测与质量检测放在一起，没有考虑正常的位置差异和更换元件批次存在的字符字体差异，误检率高[2-3].

为提高AOI检测中对元件型号检测的性能，在保持低漏检率、快速检测速度性能的同时，降低误检率，本文设计了结合字符图像匹配、字符图像验证性识别的改进方法.

1 算法框架

首先根据正确贴片产品建立图像模板. 模板是基于元件位置校正、多幅字符区域图像配准后的均值图像，采用灰度值即可.

元件型号的检测算法流程图如图1所示. 校正待检测元件的位置后，将元件字符图像与模板进行匹配处理，如匹配正确，则显示“通过”信号，该元件型号检测完成；如匹配不正确，则判断元件是否旋转了180°，如是，需将图像旋转180°后再次匹配，仍然不正确则判断是否因更换了元件批次的字体差异，如是，需将字符图像进行分割，然后将每个字符分别与正确字符进行同一性验证识别. 如验证识别为与模板同一字符，则根据新的字符图像建立新模板，如字符验证识别存在不一致，则显示型号错误并报警.

图1 检测算法流程图

2 位置校正及模板的建立

对于元件在许可范围内的位置和旋转角度差异，在进行图像匹配前应先进行校正，并处理因元件旋转180°导致的误判. 如图2中两种型号的元件均存在许可的无极性方向不同导致的图像差异. 图3的左起第2个元件位置偏左但在许可范围内，右起第1个元件存在逆时针的旋转角度偏差.

图2 两种型号的贴片电阻图像

图3 同一型号元件的位置、角度偏差

图4 图2中4个元件邻近区域灰度水平差分结果

图5 图2左1元件邻近区域灰度每行求和结果

首先确定旋转角度差异. 根据先验知识，首先对于图3所示的4个元件邻近区域进行算水平灰度差分计算，结果如图4. 然后根据每个元件左侧边缘取4个点，两两计算斜率，取平均后可估算元件的旋转角度差异. 旋转校正后也可根据边缘点确定水平位置差异.

对于竖直位置差异，先将每个元件邻近区域图像灰度每行像素分别对灰度求和. 图2中左1元件求和结果如图5所示. 将求和结果与模板元件的求和值按式（1）进行上下移动5个像素的相关计算，峰值处即竖直位置差异像素个数. 这样可将二维相关计算简化为一维相关计算.

3 快速型号检测

3.1 正确型号的检测

在检测元件型号时，校正元件位置后，将元件字符邻近灰度图像与模板图像按式（2）进行相关计算，若峰值处的相关结果超过设定的阈值，则判断型号正确.

3.2 新批次元件的型号检测

对于相关峰值小于阈值的元件，需首先判断贴片元件是否被旋转了180°. 解决方法为将元件图像旋转180°后再计算相关结果，并根据阈值判断.

若仍然小于阈值，则需进行字符验证性识别. 首先将元件图像进行图像分割，图像分割按照灰度直方图统计动态确定分割阈值[6]. 然后将各字符分割后分别进行验证性识别[7]. 如图6-b图像应转换为图6-c. 这样可以避免字符验证性识别时因背景颜色不同的误判.

图6 图1和图2左1元件字符图像分割及反色处理结果

本文对于不同字符，分别建立验证性识别的神经网络. 该神经网络有1个隐层、2个神经元，采用Sigmoid激发函数，字符输入采用5列8行图像，单输出采用符号函数[8]. 训练样本分别采用各种贴片元件常用的字符字体图像. 对于更换了元件批次后字符差异的情形，若神经网络验证识别各字符图像与模板字符同一时，则判断该元件型号也是正确的，若连续出现多个此类差异，则采用新的元件字符图像作为模板.

4 实验

选取10块贴片电路板进行元件型号检测实验，每块电路板有218个各类有字符标识的贴片元件. 检测环境为实际贴片生产线，采用现有的AOI检测设备采集图像. 在零漏检率下，传统方法与本文方法的误检率如表1所示.

表1 检测结果

对于更换了元件批次后有字符差异的情形，传统方法几乎无法正确检测. 采用本文方法，在零漏检率下，误检率小于0.1%. 满足低于0.1%的检测要求.

对于型号正确的元件，本文方法的检测时间为传统检测方法的113%，型号错误元件或字体变化的元件，检测时间为传统方法的165%. 但由于字体变化只发生在更换元件批次时，贴片型号错误总体发生率一般低于1%，所以总体增加的检测时间低于20%，故本文方法仍然能满足在线检测的速度要求[9].

5 结论

本文改进的检测方法在保持低漏检率下使误检率大大降低，可以满足检测性能要求. 检测速度虽然慢了20%，但仍然可以满足在线检测的速度要求.

字符图像旋转角度的快速确定具有特殊性，如何提高确定旋转角度的速度有待进一步改进. 基于字符验证的光字符检测方法在利用了先验知识前提下使速度和精度都有提高，需要结合具体应用和先验知识情况设计具有通用性的光字符验证方法，也是值得进一步研究的问题.

[1] 罗兵，章云. SMT产品质量AOI快速检测方案[J]. 电子质量，2007(02): 8-10.

[2] 罗兵，曾歆懿，季秀霞. SMT产品缺陷及相应的AOI检测方法[J]. 电子质量，2006(6): 35-37.

[3] BEER D. Lead-free: AOI in high- volume production assemblies [J]. SMT Surface Mount Technology Magazine, 2006, 20(1): 40- 41.

[4] 罗兵，甘俊英，章云. 自动质量检测中的分层机器学习方法[J]. 仪器仪表学报，2007, 28(12): 2222-2229.

[5] KOVACS L. Efficient dictionary matching of character stream[C]//Intelligent Systems and Informatics, Proc of 8th International Symposium on IEEE, 2010: 103-107.

[6] PENG Bo, LI Tianrui. A probabilistic measure for quantitative evaluation of image segmentation [J]. IEEE Signal Processing Letters, 2013, 20(7): 689-692.

[7] NAVARRO-CERDAN J R, ARLANDIS J, PEREZ-CORTES J C, et al. User-defined expected error rate in OCR postprocessing by means of automatic threshold estimation[C]//Frontiers in Handwriting Recognition, International Conference on IEEE, 2010: 405-409.

[8] LUO Bing, ZHANG Yun, YU Guangzhou, et al. ANN ensembles based machine vision inspection for solder joints[C]//Control and Automation, International Conference on IEEE, 2007: 3111-3115

[9] HUANG Qianyi. Reducing solder paste inspection in surface-mount assembly through mahalanobis-taguchi analysis [J]. IEEE Transactions on Electronics Packaging Manufacturing, 2010, 33(4): 265-274.

[责任编辑：韦 韬]

SMT Components Model Inspection Based on Character and Image Matching and Verification

ZHANGHui, LUOBing

(School of Information Engineering, Wuyi University, Jiangmen 529020, China)

In the installation and testing of circuit board components, the component model has to be identified based on the characters and images on the components. The existing holistic matching method is prone to high false detection rate and cannot test components of different batches and of different characters and fonts. This paper presents a method for rapid detection of character matching after position correction. Identification of font differences is conducted of replaced batches of components after character and image segmentation and remodeling. The experimental results show that this method has the advantages of high efficiency, zero missing rate and low false detection rate.

optical character verification; optical character recognition; image matching; mounted technology; neural network

1006-7302（2013）04-0063-05

TP216.1

A

2013-06-12

广东省产学研项目（2010B090400026）

张慧（1983—），女，河南周口人，在读硕士生，研究方向为数字图像处理及应用；罗兵，教授，博士，硕士生导师，通信作者，研究方向为机器视觉应用及智能控制技术.