高密度柔性集成电路基板的表面氧化缺陷检测

胡跃明,李 璐+,罗家祥

(1.华南理工大学 自动化科学与工程学院，广东 广州 510640；2.精密电子制造装备教育部工程研究中心/广东省高端芯片智能封测装备工程实验室，广东 广州 510640)

0 引言

柔性集成电路基板(Flexible Integrated Circuit Substrate, FICS)是一种在聚酰亚胺介质材料表面使用铜箔腐蚀形成线路的印刷线路基板，其制造涉及IC制程、封装和组装3大电子信息制造领域。FICS具有重量轻、体积小、高密度和可弯曲等特点，广泛应用于军工、航空航天、医疗和汽车等高端电子产品领域[1-2]。覆铜技术作为FICS生产的关键工艺，其品质控制与FICS成品的性能休戚相关[3]。尤其是未覆保护膜的铜箔线路在潮湿空气中极易发生氧化变色，直接影响着FICS的外观与电性能，因而铜箔表面氧化缺陷检测对FICS制造过程品质可靠性具有极为重要的保障作用。

正常FICS铜箔表面为黄铜色，而氧化缺陷则呈现出部分氧化的黄褐色或全氧化的黑褐色等特征。颜色特征非常稳定，对于图像的平移、尺度、旋转等变化不敏感，具有很强的鲁棒性且计算简单[4]。基于颜色特征的目标分割与检测技术已广泛应用于金属成分检测[5]、医疗诊断[6-7]、农作物检测[8]等多个领域。张宏伟等[9]运用颜色矢量角等对铜成分进行了检测。程翠兰[10]在HSV空间利用主元分析提取图像颜色特征对矿物浮选精选泡沫进行分类。陈竟博[11]运用跨越8种颜色空间的25维特征对舌诊进行分类。赵贝贝[12]运用颜色直方图统计特征、颜色熵值、主颜色等特征对木材进行分类。赵海[13]运用L×a×b×颜色分量均值特征对皮革进行分类。氧化缺陷最显著的特征体现在其颜色的变化，因此采用颜色特征来表征氧化缺陷是可行的。

普通的印刷电路板(Printed Circuit Board，PCB)和柔性电路板(Flexible Printed Circuit， FPC)出现时间更长，其缺陷检测的研究成果相对成熟[14-15]。华中科技大学模具技术国家重点实验室[16]早期将模板匹配技术应用于FPC检测;中南大学CAD/CAM 研究所[17]则针对手机软板进行了缺陷检测;华南理工大学李迪教授团队[18-19]针对FPC 金面与焊盘表面缺陷进行了研究;湖北工业大学孙国栋等[20]致力于FPC补强片缺陷研究。由于FICS缺陷种类复杂多样，氧化缺陷多数情况下被作为异物或变色缺陷处理，针对印刷线路板氧化缺陷的研究仍处于相对初级阶段。

目前，FICS线路尺寸已达到微米级别，并随着IC制程的技术进步向纳米级方向发展。相比PCB与FPC毫米级别线路尺寸，FICS检测在精度上的要求更高，特征更复杂。PCB与FPC的检测算法已无法满足FICS检测需求。在实际生产中，流水线上的检测工序仍采用自动光学检测设备(Automatic Optical Inspection, AOI)初检，人工运用显微镜细检确认的方式，效率不高。因此，迫切需要提供更精密的仪器与实时算法实现氧化等缺陷的精密检测。本文通过颜色特征建立高斯模型，实现氧化缺陷及氧化程度的检测，及时反馈给覆铜工艺，解决了FICS覆铜表面氧化缺陷检测难点问题。

1 硬件系统设计

鉴于传统的人工目检方式和普通的工业相机已经无法满足高密度超薄FICS制造过程的精密检测需求[21]，本文首先搭建基于超精密显微成像的硬件系统对FICS铜线表面氧化缺陷进行检测。系统硬件结构示意图与实物图分别如图1和图2所示。

系统硬件主要包括显微成像平台与精密载物台，其中显微成像平台由金相显微镜、工业相机和光源组成。金相显微镜放大倍率达到5～50倍，满足微米级精密检测需求。光源采用卤素灯同轴光，加蓝色滤光片，使金属面反光呈白色，氧化面漫反射呈黄褐色。本系统采用参数如表1所示的精密型电动载物台，两轴使用高品质精磨丝杠驱动，很好地保证了运动和重复运动精度。同时，该载物台两端装有零位和限位开关，可实现待检物体的准确定位。在载物台上增加真空吸盘装置，能解决因工件不平整导致光源不均，获取的图像模糊等问题。

表1 精密载物台参数

2 算法设计

针对氧化缺陷检测难点问题，本文首先给出一种基于局部直方图自适应阈值的铜箔表面快速分割方法。然后，提出一种基于单高斯模型(Single Gauss Model，SGM)二维颜色分割的氧化缺陷检测算法，能快速检测出氧化缺陷，精准反馈氧化缺陷位置和面积。最后，设计了一种基于8维颜色特征的氧化程度检测算法，能快速计算出氧化等级。算法分为离线建模与在线监测，具体流程图如图3所示。

本文算法的难点是氧化像素呈离散分布，且形态多样化，噪声多。其创新点是运用氧化块区域作为训练样本，而非单个氧化像素，同时在训练样本块中引入非氧化像素，这样既有利于训练样本的收集，也符合在线氧化区域检测特点。

2.1 铜箔表面快速分割方法

系统采集图像如图4所示，高亮部分为铜箔，铜箔上的黄褐色区域为需要检测的氧化缺陷，如图4左上角方框所示，黑暗部分为与检测无关的背景。由于光线与基板材质的问题，背景上，特别是铜箔边缘四周会产生红褐色的区域，对需要检测的氧化缺陷区域产生干扰，如图4右下角方框部分。

针对基板背景噪声较多，而图像中铜箔与背景灰度相差明显的特点，本文首先对铜箔表面进行分割，去除背景和边缘毛刺的噪声对氧化像素检测的干扰。为避免光源衰减与外界光线的干扰，增强算法光源适应性，本文设计了一种基于局部直方图的自适应阈值分割法，算法流程如图5所示。首先对系统采集图像的前景与背景像素灰度进行统计分析，得到局部约束区间[g1,g2]，然后计算直方图局部约束区间的最小极值作为分割阈值，最后采用计算得到的自适应阈值进行铜箔分割。通过局部约束，使得到的分割阈值更为准确，同时具有一定的自适应性。

2.2 氧化缺陷检测算法

铜线氧化缺陷检测可以将图像像素分为氧化像素和非氧化像素，转换为一个二分类过程，其检测过程存在一些难点：①由于氧化程度不同，氧化像素呈现不同的颜色，呈现出多样性；②光照与摄像机参数会对系统采集的氧化像素的颜色与亮度产生一定的影响；③氧化像素呈离散型分布，对检测精度等要求更高，极大地增加了检测难度。

面对上述难点，本文提出了一系列应对措施：

(1)首先进行铜箔表面分割，可以去除背景像素噪声的干扰；根据颜色特征可将氧化缺陷分为不同的氧化等级。

(2)系统采用稳定光源与固定摄像机，能较好地减轻光照与摄像机参数的干扰，降低检测难度。

(3)采用高斯模糊、形态学滤波等图像后处理将离散氧化像素连通成块区域。通过硬件和软件的优化，可以提高氧化检测的有效性。

在光照一定的条件下，不同程度的氧化像素在颜色空间的一定区间内聚集。在RGB空间中，色调、饱和度没有被分离出来，氧化像素会受亮度的影响，偏离主要聚集区域；在HSV空间中，由于HSV空间将色调、饱和度及亮度很好地分离，但氧化像素在色度分量上分布在两端，产生断层，不能很好地聚集在一起；在YCbCr空间中，氧化像素非常好地团聚在一个类锥形区域，在Cb、Cr分量上的分布比较集中。如图6所示。

本文设计了一种基于SGM模型的二维颜色分割氧化像素检测算法。使用YCbCr颜色空间中Cb、Cr通道进行高斯建模，将颜色分量落在高斯模型范围的像素定义为氧化像素。

高斯分布的联合概率密度函数表达式如下

(1)

式中：x是像素颜色向量；均值向量μ和协方差矩阵Σ是高斯分布参数，

x=(Cb,Cr)T，

(2)

μ=E(x)，

(3)

Σ=E((x-μ)(x-μ)T)。

(4)

P(x/oxide) 是像素x属于氧化像素的概率，也可以通过高斯分布参数计算输入像素颜色x与均值μ的马氏距离：

d=(x-μ)TΣ-1(x-μ)。

(5)

式中d表示该像素与氧化模型的接近程度。

构建高斯模型过程主要分为3步：

(1)收集大量氧化像素图片样本，收集的样本应多样化，包含不同氧化程度区域。

(2)将色彩空间转换到YCbCr色彩空间，统计所有像素的Cb、Cr的数量。

(3)计算出均值μ，以及协方差Σ。

检测过程也分为3个步骤：

(1)对于待检测彩色图像，将其从RGB色彩空间变换到YCbCr空间。

(2)计算每一个像素点属于氧化像素的概率，根据该点离高斯分布中心的远近得到和氧化像素的相似度d，将彩色图像转化成灰度图，其中每个像素的灰度值对应该点与氧化像素的相似度。

(3)设置相似度阈值，将相似度高的像素点分割出来。

由于氧化像素呈离散状分布，导致分割出来的氧化像素存在许多孔洞与杂散点噪声。后期需要通过一系列的滤波、形态学和孔洞填补等处理得到氧化块状区域。统计氧化区域像素面积，记录氧化区域最小内接矩形的中心为缺陷位置，最终标记氧化缺陷检测结果。算法流程如图7所示，后处理虽然忽略了少量离群氧化像素点，并引进了非氧化像素噪声，但是使氧化像素连接在一起，更便于标记与统计。

2.3 颜色特征提取

常用的颜色特征有颜色矩、颜色熵等。本文基于RGB、HSV与分块策略，提取颜色矩、颜色占比等特征，构建8维的颜色特征向量。首先，运用基于RGB、HSV颜色空间的颜色矩表示颜色特征，具体步骤为：计算获得氧化区域的颜色通道直方图，并根据颜色直方图计算出铜线表面氧化缺陷区域在颜色空间的颜色距。颜色矩的计算公式如下：

(6)

式中：i表示颜色通道的3个分量，i{1,2,3}；μi为颜色通道i的一阶矩，表示均值；P(i,j)表示彩色图像颜色通道i分量中第j个像素的值；N表示图像中的像素个数。通过代入计算，得到RGB、HSV颜色矩特征[μR，μG，μB，μH，μS，μV]。

针对氧化区域形状多样化和氧化像素分布不规则的特点，本文采用分块策略提取氧化代表色C，并计算代表色分布概率P，将其作为颜色特征。获取氧化代表色的具体方法如下：将FPC铜线氧化区域以九宫格的形式平均分为9块，计算每一个方块的RGB均值(μRk，μGk，μBk)，得到方块的氧化代表色。实验分析得到，颜色最深的区域最能代表该氧化区域的氧化等级，故先分别取9个方块中RGB均值加权和，定义其最小值为该氧化区域的氧化代表色，用公式表示为：

(7)

式中：i{R,G,B}；k{1, 2, 3,…,9}；ωi为RGB分量的加权值，这里取ω1=0.3，ω2=0.59，ω3=0.11；μik为第k个方块第i个通道的均值。

计算得到氧化加权和最小的方块为氧化代表方块，氧化代表色分布概率P的计算方法如下：

(1)计算氧化代表方块RGB三个分量的方差σi，并计算其均值σ。

(2)建立氧化代表色区间[C-σ，C+σ]。

(3)运用循环计算氧化区域中任一像素的颜色范围，统计落在氧化代表色区间内的像素的个数。

(4)计算氧化代表色在氧化区域的占比P，作为颜色特征参数。基于分块代表色的颜色特征，构建颜色特征分量[C，P]。

最终颜色特征表示为F=[μR，μG，μB，μH，μS，μV，C，P]。

2.4 氧化程度检测算法

不同的氧化程度对FICS的产品质量影响不同，因此氧化程度检测也是一项重要的检测指标。本文设计了一种基于颜色特征的氧化程度检测方法，提取氧化缺陷的8维颜色特征，输入离线训练好的有向无环图支持向量机(Directed Acyclic Graph Support Vector Machines, DAG-SVMS)分类器对氧化缺陷进行分级。

2.4.1 训练样本集

建立分类模型，首先需要获取一定数量的训练样本集。运用搭建系统采集一定数目的FICS氧化缺陷图像，人工分割出FICS图像的氧化缺陷中心区域。目检人员根据经验将氧化程度划分为K个等级，每个等级选取N个具有代表性的氧化区域为训练样本集，同时人为地标记上述提取的铜线表面氧化缺陷区域所属氧化程度等级。SVM分类效果与样本数量无关，只需比特征维数大即可，关键在于特征的好坏[22]。本文根据实际检测需求，将氧化程度划分为3个等级，每个等级选取32个具有代表性的氧化区域做训练样本，共96个训练样本，组成一个训练样本集。部分样本如图8所示。

2.4.2 建立DAG-SVMS分类器

SVM为经典的二类分类器，在解决小样本、非线性及高维的分类问题中具有良好的优势及效果[22]，其原理如图9所示。

图中：w为最优超平面法向量，γ为两类样本间的距离。在分类正确的情况下，最大化分类间隔，得到最优化问题：

s.t.

yi(wTxi+b)≥1,i=1,2,…,n。

(8)

其中：yi、xi分别表示第i个样本的标签与特征向量；n为样本数量。为求解最优w*与b*，通过拉格朗日对偶性，引入拉格朗日乘子αi≥0，构造拉格朗日函数并求极值。

(9)

分别对w与b微分，得：

(10)

(11)

将式(10)和式(11)代入式(9)，得

(12)

通过SMO(sequential minimal otimization)算法，固定αi和αj以外的参数，求解式(12)得到更新后的αi和αj，不断更新迭代直至收敛，得到最优的αi*。由KKT条件：

(13)

利用更新的αi对b进行更新，得到最优的b*，从而得到最优超平面法向量：

(14)

对于多分类问题，SVM方法不能一次性地计算得到多个分类面，需要将多分类问题分解为二分类问题。采用DAG构造SVM模型， 建立DAG-SVMS分类器，如图10所示。K类样本之间两两生成K(K-1)/2个分类器，并以决策树形式调用，使SVM可以解决多分类的问题。

实验发现，DAG方法存在累计误差，如在第一层中，若3被误分成了1，则在第二层中分类的结果只有1,2，再也不会出现3。这种误差会被一层一层累加，因此越往高层的节点分类器犯的错误应该越小，即越往高层分类的两个类别应该差别越大，错分的概率越小[23]。因此，本文将氧化程度1级与3级的分类器放在第一层，能减少累计误差，提高分类的正确率。

3 实验结果

为验证本文算法的有效性，进行了两大类实验：①分析本文算法对氧化缺陷的检测分割效果；②分析算法的检测精度与时间效率。本文实验在配置为Intel® CoreTMi3-3220 CPU @ 3.30 GHz，内存大小为4 G的PC机上进行，实验平台为MATLAB 2015a与VS2013。

3.1 氧化缺陷检测效果

对于大小为2 454×2 056的系统采集图片，在分割的铜箔表面运用基于SGM的二维颜色的分割方法，其中μ=[124.212 5，132.944 9]，Σ=[75.388 1，40.258 7；40.258 7，250.294 2]，分割得到氧化像素，通过后处理得到氧化区域，并将氧化区域最小包围矩形分割出来，效果如图11所示。其中第一行结果为图4图像氧化缺陷检测结果。图11b所示为运用基于三维颜色分割方法得到的氧化像素，呈离散状分布。通过后处理，氧化像素呈块状分布，如图11c所示。轮廓检测并标记结果如图11d所示。

为了验证所提氧化分割方法的有效性，本文对比现有5种不同方法[24-28]。文献[24]给出了最优的全局阈值分割方法Otsu。文献[25]提出了一种简单有效的k-means聚类算法，称为Lk-means聚类算法。文献[26]引入了一种新的高斯混合熵模型，称为GMEM。文献[27]基于简化脉冲耦合神经网络(Pulse Coupled Neural Network, PCNN)模型的一种新的图像自动分割方法，称为SPCNN。文献[28]提出了一种新的基于样本划分的认知转换算法，称为MBGCT。本文采用图8a中a3(大小为186×297缺陷图像)进行实验。比较了图像分割的准确度Ac、灵敏度Se、特异度Sp、互信息MI、正则互信息NMI、像素误差Pe和运行时间t(单位：s)的性能评价指标[29-30]，实验结果如表2所示，检测效果如图12所示。实验表明，本文方法具有较高的准确度、灵敏度和特异度，像素误差较小，运行时间较短，具有一定的有效性。

表2 不同方法之间的性能指标比较

3.2 检测效率与精度

3.2.1 氧化程度检测实验

对于系统检测到的氧化区域，如图11所示，截取氧化矩形区域75%的中心区域，计算第2.3节中基于RGB、HSV与分块策略的8维颜色特征向量，并输入第2.4.2节建立的DAG-SVMS分类器，可分类得到1、2、3的氧化等级，如图13所示。

本文在原先建立好的训练样本集上，随机选取每个等级中的24个为训练样本，8个为测试样本，采用不同图像特征与不同分类器进行测试。本文进行了两组实验，每次实验均进行10次，取其平均正确率作为实验结果。第一组实验是测试图像特征对分类正确率的影响，实验结果如表3所示;第二组实验是在相同的特征下，测试不同分类器的分类效果，分别运用最近邻分类器、朴素贝叶斯分类器与本文训练的DAG-SVMS分类器的分类效果进行比较，结果如表4所示。

表3 不同图像特征对分类正确率的影响

表4 不同分类器对分类正确率的影响

实验数据表明，本文设计的基于RGB、HSV与分块策略的8维颜色特征与DAG-SVMS分类器在氧化程度检测上平均正确率最高，达到97.5%，效果最好。

3.2.2 算法效率与精度实验

本文算法可识别的最小尺寸氧化缺陷区域像素面积为200，实际检测尺寸随着显微镜的放大倍率不同而变化。针对不同尺寸级别的FICS线路，系统采用不同的放大倍率，其检测精度如表5所示。

表5 不同放大倍率下的检测精度

对照表5，对于毫米级别的FICS线路，采用5倍的放大倍率已远远达到检测要求，50倍率可满足10 μm线路的检测需求，最小检测误差可达±0.075 μm，满足高精度检测需求。

时间上，对于Wori×Hori=2 454×2 056的系统采集图像，检测算法各个部分运行的平均时间如表6所示。

表6 检测算法平均运行时间

多次实验结果表明，检测算法整个过程平均耗时不足1 s，且氧化程度检测可以作为离线抽检过程，因此氧化缺陷检测算法满足在线检测实时性的需求。

4 结束语

本文针对高密度超薄FICS精密检测需求，搭建了基于超精密显微成像的FICS铜箔表面缺陷检测系统，设计了一种基于局部直方图最小值自适应阈值的铜箔表面快速分割方法和一种基于三维颜色特征的氧化缺陷检测算法，同时提取氧化缺陷的8维颜色特征向量，输入DAG-SVMS分类器对氧化程度进行分级。最终，检测系统将整张FICS图像的氧化缺陷的个数、位置、面积及氧化程度等信息反馈到生产线，进而提高FICS的生产质量和成品率。本文所提算法能实现微米级线路表面氧化缺陷检测与氧化程度分级，从而为高密度超薄柔性集成电路基板制造过程提供了精密的铜箔表面缺陷检测手段，解决了铜箔表面氧化缺陷的自动检测难题，具有一定的理论意义和工程实用价值。目前，该系统正在大生产线上进行应用验证工作，随着实际应用数据的积累，将应用深度学习等智能算法[31-32]进一步提高检测速度和精度。