基于图像饱和度分量Zernike矩的元件封装识别

袁小平, 龚 戬

(中国矿业大学信息与控制工程学院，徐州 221116)

传统的人工元器件识别和检测手段由于精准度低、效率低等已经不能满足元件体积变小、密度增大的识别和检测要求[1-2]，基于图像处理的检测技术现已成为元器件识别和检测的主要方法。元件识别是自动光学检测(automated optical inspection，AOI)的一部分，当前的自动光学检测系统是由电荷耦合器件(charge coupled device，CCD)摄像机、光源、镜头等设备和软件算法构成[3]。目前识别图像中目标的方法有区域生长法、模板配准法、投影检测法等[4-7]。区域生长算法把相似特征的像素分割，但是很难保证分割精度。基于灰度的模板配准法所需要的运算量大，很难保证实时处理。基于投影序列的目标识别与分类主要是通过对比目标的投影实现，但是所提取的特征不具有图像相关不变性的特点，误识率比较高。近年来，有关元器件识别的改进方法较少。杜思思等[8]将霍夫变换和最小二乘法相结合，使用元件图像边缘信息进行识别，元器件识别，然而需要处理数据量过大，维数过高；陈翔等[9]提出基于神经网络的元器件封装的识别方法，减轻了计算量，但对于不同尺度下的元器件图像识别准确率仍然需要提升，易受噪声干扰；李威等[10]提出了基于深度学习的元器件识别方法，可以自动提取元件直方图均衡化后的图像特征向量，然而直方图均衡化后图像的灰度级减少,造成部分细节消失导致误识别，并且系统较为复杂，需要大量的训练样本，忽视了检测的实时性。以上方法都忽视了元器件图像的颜色特征、光照等关键的信息,对于灰度不明显、模糊等容易造成图像的分割精度不高。

根据元器件引脚与塑封的颜色特点，在色调、亮度、饱和度(hue，intensity，saturation，HIS)颜色空间内提取引脚和塑封的颜色特征，通过遗传算法对目标元器件进行图像分割预处理，提高匹配的鲁棒性，将尺度不变性的Zernike矩理论与用曼哈顿与切比雪夫距离[11-12]加权线性表示作为特征向量的相似判别进行元器件的识别。此方法经过试验有效地解决元器件封装图像尺度不变性的特征提取问题，运算量小，能够实现对电阻、集成电路芯片等元器件封装识别，证明了此方法具有可行性。

1 基本原理

元器件的图像主要取决于其颜色和形状，所以颜色和形状特征结合可以有效地提升对元器件识别的准确率。本文的方法从元器件图像的预处理分割开始，然后是分割后的二值化图像Zernike矩计算和相似性判定3个方面进行介绍。该方法的具体架构如图1所示。

图1 元件封装识别的架构Fig.1 Architecture of component packaging recognition

2 元件图像预处理

2.1 饱和度分量模型提取

电子元器件的封装由黑色塑封和银色或金色的管脚组成，可以利用元器件相对单一的颜色这一特点对图像进行处理。在图像色彩模型中，色调、亮度、饱和度颜色空间可以把亮度通道(I分量)和表示颜色本质特性的彩色通道(色调H与饱和度S分量)分离，HIS色彩模型中的H、I、S分量可以由RGB模型的R、G、B分量表示[13]，计算公式如下：

(1)

(2)

(3)

式中：

(4)

饱和度表示色彩的浓淡或深浅程度，饱和度高表示色彩越深。饱和度跟白色成分的比例有关，白色成分越多，饱和度越低。从元器件的颜色特点考虑，提取图像中的元器件时主要采用HIS色彩模型中的S分量，元器件的S分量如图2所示。

图2 元器件的S分量图像Fig.2 Saturation image of S components

2.2 遗传算法的饱和度分量二值化

最大类间方差法(Otsu法)是一种基于概率与数理统计的图像分割方法，然而该算法由于需要不断迭代计算图像中每一灰度的方差，冗余计算的运算量较大[14]。遗传算法是群体的择优的算法，以所求函数的最大或最小值为目标，选定一组初始值然后不断更新繁衍。遗传算法属于非线性的处理过程，包括定义染色体、选定种群体、评价函数定义、选择种子、遗传运算[15]。遗传算法相对独立，可以并行进行运算，适用于实时性要求的应用场合。Otsu法是寻找最优解的过程，遗传算法的非线性特性可以提高Otsu法寻找最优解的速度。

待识别图像经提取HIS彩色模型的饱和度分量后，通过离散余弦变换对饱和度分量进行滤波后的图像已经很大程度减少了背景灰度值对元器件图像的干扰。提出根据HIS空间的饱和度分量经过离散余弦变换(discrete cosine transform，DCT)滤波后的图像，利用最大类间方差法与遗传算法相结合得到最优阈值从而对图像进行分割，最后通过进行闭运算得到二值图像。程序流程如下。

(1)对已预处理的饱和度值进行数值编码。用8bit位编码表示一个染色体。

(2)随机取出一个包含15染色体单元的种群，其中，染色体长度为8。

(3)由最大类方差确定为染色体的评价函数，同时对染色体从二进制到十进制解码。

(4)使用遗传算法处理，合适选择杂交率为0.8，变异率为0.3，最大代数为70，通过交叉和变异运算得到新种群，再对新种群进行交叉和变异，不断进行繁殖到设定的最大代数后得到期望的阈值。

(5)按照期望阈值对预处理后的饱和度分量进行分割，然后通过形态学中的开闭运算去除噪声得到最终二值化图像。

经过完成上述步骤后，预处理的图像最终效果如图3所示。

图3 图像预处理的最终结果Fig.3 Final results of image preprocessing

3 元件封装的识别

3.1 元件图像Zernike矩

Zernike矩是二维函数f(x,y)在单位圆内的Zernike正交多项式基函数的映射[16]，一幅预处理后的元器件二值图像的n阶m次的Zernike矩的实部与虚部可写为

(5)

(6)

式中：n为任意自然数，且需满足(n-|m|)为偶数、n≥|m|；Rnm(ρ)表示正交多项式，ρ为图像中像素点(x,y)到原点的向量长度；θ为此向量与x轴逆时针倾斜角，当计算预处理后的元器件二值图像Zernike矩时，还需要二值图像的重心在极坐标原点上等归一化处理，然后使图像像素通过正交多项式基函数在极坐标投影。Zernike矩由复数表示，由式(5)、式(6)得到Zernike矩的模值，Zernike矩的旋转不变的特点，低阶矩有效地反映识别对象的整体轮廓信息，高阶矩反映细节信息，高阶Zernike矩较高阶几何矩不易受噪声的干扰。

3.2 相似性判定

在自动检测识别领域中，模板分类配准被广泛使用，对已提取出的元器件待识别与模板图像的Zernike矩作为特征点，即

ZS=(ZS20,ZS22,ZS31,ZS33,ZS42,ZS51,ZS53,ZS55)

(7)

ZT=(ZT20,ZT22,ZT31,ZT33,ZT42,ZT51,ZT53,ZT55)

(8)

式中：ZS为待识别图像的Zernike矩特征；ZT为模板图像的Zernike矩特征。

可以采用距离法对元器件的相似性进行分类识别。常用的距离法[17]对特征点进行相似性判定如下。

欧几里得度量：

(9)

曼哈顿度量：

(10)

切比雪夫度量：

(11)

从式(9)～式(11)可见，欧几里得度量中使用N次乘法和1次开平方计算，所需的计算时间比切比雪夫和曼哈顿度量长，同时因为L∞≤L2≤L1，如果使用L∞将会导致比L2结果大，如果使用L1将会导致比L2结果小，可以使用α(L1+L∞)取代L2，其中α为待定参数，α(L1+L∞)是使空间中的超多面体拟合超球面达到面积相等后，得到待定参数的最优结果。待定系数确定的公式如下。

(12)

式(12)中：n为维数。

由于元器件图像的特征点为8维向量，将N=8代入到式中计算出待定参数α=0.338 9，得到新的距离度量为

L(x,y)=α(L1+L∞)=

(13)

将待识别与模板的特征点组成的向量代入式(13)计算其距离，相对距离越近，相似度越高。通过设置阈值LT，当L>LT时，识别为不同类，反之则识别为同一类别。

4 实验结果及分析

通过对LQFP、SOT223、SO-8、SO-14封装的元器件图像使用本文的方法进行图像预处理及Zernike矩特征提取，表1所示为该方法的处理结果，最终分割的二值化图像轮廓可以充分反映出元器件的几何形状，同阶次的Zernike矩的差别明显，方便了后续的相似判别与分类工作。

表1 元件封装的Zernike矩

表2表明：待测件1特征点向量与所有模板向量距离最近的是LQFP封装元件，因此能够判断为LQFP封装类元件；待测件2特征点向量与所有模板向量距离最近的是SOT223封装元件，因此能够判断为SOT223封装类元件；待测件3特征点向量与所有模板向量距离最近的是SO-8封装元件，因此能够判断为SO-8封装类元件。此方法可以满足准确性要求，同时改进了欧几里得距离法，减少计算时间，可以达到实时检测的应用场合。

表2 相似度量结果

5 结论

针对元器件图像的分类与识别进行了研究，解决了元件图像的特征点提取与识别的问题。根据Zernike矩的旋转不变性等特点，能够充分反映各类元器件封装图像几何形状，对于同种封装类型元件，Zernike矩的相似程度很高，但对于不同类型器件，则有较明显的差别。通过待定系数距离法简化欧几里得距离法提高了一定的计算速度，满足一些对实时性要求的应用场合。提出的方法可以适用于元器件图像自动化识别和在线定位检测应用，具有一定的实用性。