基于Gamma校正HSV模型的变色镀铜管脚检测

李 研，车艳秋，2，梅健强

（1.天津职业技术师范大学自动化与电气工程学院，天津 300222；2.天津市噪声危害工程防护技术指导中心，天津 300222；3.天津职业技术师范大学电子工程学院，天津 300222）

完整的芯片由引线、固封材料和封装基板等（统称封装体）与晶圆组合而成。其中，封装基板作为芯片封装过程中的核心材料，不仅能够支撑、固定、保护芯片，还可以大幅提升芯片散热性能，保证芯片物理稳定性。此外，作为芯片与印刷电路板连接的中间层，封装基板还实现了物理和电气连接，信号和功率分配等重要功能。在芯片生产过程中，人为触碰、异物污染、摩擦、氧化、腐蚀、潮气等因素均可使芯片封装基板镀铜管脚变色，致使芯片整体性能受损。因此，在芯片封装前对基板进行质量检测，可以有效提高成品率。早期的芯片封装基板检测主要是操作员利用扫描电镜（scanning electron microscope，SEM）进行人工检测，其结果严重依赖检测者的主观经验，且具有一定的滞后性[1]。特别地，由于变色镀铜管脚表面色差较小，在实际生产流程中，无法客观地对其缺陷快速做出精准评判。

随着数字图像处理技术的不断发展，边缘分割[2]、色差法分割[3]，聚类分割[4]等多种分割算法被用于自动缺陷检测。文献[5]针对镀锡引脚氧化缺陷，将图像由红-绿-蓝（red-green-blue，RGB）颜色空间转至色调-强度-饱和度（hue-intensity-saturation，HIS）颜色空间，并基于引脚颜色进行缺陷芯片的检测，但该算法仅针对镀锡引脚，不适用于镀铜管脚。文献[6]先根据RGB颜色过滤特征方法找到感兴趣的竹叶区域，再通过色调-饱和度-明度（hue-saturation-value，HSV）颜色滤波分割方法去除阴影，从而检测出不同层次的竹叶变色区域。该研究中正常竹叶与病害竹叶区分度较大，易于分割。文献[7]通过提取红枣叶片病害区域，将图像的HSV色彩空间分离得到H、S、V通道颜色分量图，再对每个颜色分量的灰度图像进行形态学开运算处理、中值滤波平滑及阈值分割等操作，获得红枣叶片病斑区域的分割方法。

本文研究芯片封装基板变色镀铜管脚的检测问题。芯片封装基板镀铜管脚的材质复杂，正常管脚与变色管脚区分度小，且不易形成连续区域；而较小的变色区域对芯片封装基板的测试与功能影响较小，可忽略不计，导致变色管脚检测的精度偏低。本文提出一种基于非线性变换Gamma校正的HSV颜色空间阈值分割方法，并通过平滑去噪、形态学处理，实现了精度较高的变色镀铜芯片管脚检测。

1 数据与模型

1.1 数据获取与数据处理流程

本文图像数据集选自某芯片封装公司自动光学检测（automated optical inspection，AOI）设备拍摄的存在变色缺陷的芯片封装基板。典型变色镀铜管脚缺陷芯片封装基板图像如图1所示，图中亮黄色为正常镀铜管脚，暗黄色为变色镀铜管脚（加框区域），黑色为管脚以外的基板和印刷电路区域。

图1 典型变色镀铜管脚缺陷芯片封装基板图像

采集芯片封装基板图像后，应用RGB阈值分割法去除管脚以外的背景区域，随后将图像从RGB颜色空间变换至HSV颜色空间，再经过Gamma校正、平滑去噪、形态学处理以及阈值截断，最后通过设置最小轮廓面积阈值获取最大外接矩阵进行画框标记，得到变色缺陷区域。

1.2 RGB颜色模型分析

常用描述图像颜色空间的色彩模型包括RGB、HIS、HSV和LAB等，通常应用于数字电视、数字图像分析处理以及计算机图形学等不同场景[8]。作为应用最广泛的颜色空间，RGB颜色空间以红（red，R）、绿（green，G）、蓝（blue，B）三原色亮度的组合定量表示任意颜色。按照亮度等级，8 bit RGB颜色空间的每个通道分量的取值范围为0～255。通过分析被提取区域在RGB颜色空间的特性，可以建立RGB颜色判据。图2为去除背景的镀铜管脚图像在B-G、B-R空间的散点图。

图2 B-G、B-R空间散点图

由图2可见，尽管变色管脚呈明显的聚集现象，但与正常管脚和其他类缺陷重叠较多，较难区分，阈值设置较为困难。

1.3 HSV颜色模型分析

A.R.Smith根据颜色直观特性创建的色调-饱和度-明度颜色空间[9]，有效地分离了色调（Hue）、饱和度（Saturation）和亮度（Value），相比于RGB颜色空间，更适合描述人类色彩感觉，在图像处理领域中也更有优势[10]。从RGB空间到HSV色彩空间的变换表达式为[11]

其中：色调（H）的范围为0～360°，饱和度（S）的范围为0～100%，亮度（V）的范围为0～255。HSV三要素的变化对应着管脚表面、底板以及边缘范围内的颜色变化，不同的区域和背景之间的S值或V值有可能相等，但H值总是存在差异。

图3为镀铜芯片管脚在H-V、H-S空间的散点图。由图3可知，变色管脚在H-S呈明显的聚集现象，但在V维度分布较为分散，阈值较难划分。

图3 空间散点图

进一步提取芯片封装基板在HSV模型中的3个分量，3个分量的三通道分离图如图4所示。

图4 原图及H、S、V三通道分离图

对比图4可以发现，H通道分量图只能简单区分镀铜管脚和基板背景，无法区分变色管脚和正常管脚，且管脚间粘连严重。S通道分量图中变色管脚与正常管脚区分度较高，同时去除了部分噪声。V通道分量图清除大部分噪声，但变色管脚与正常管脚区分度不高。

2 实验与分析

2.1 重采样与平滑去噪

为更好地进行特征提取，对原图像进行重采样，去除管脚以外的背景区域，同时对原图像进行平滑处理来抑制管脚颗粒化噪声。图像平滑处理的本质是一种信号滤波方法，从信号学的角度理解即抑制图像中的高频噪声，保留低频信息。在一定的光源条件下，芯片管脚上铜离子与其他部分差异较大，但与正常管脚、管脚边缘差异较小。在正常管脚部分以及边缘部分也存在阈值之内的噪声，但是极小面积的变色区域对管脚性能几乎无影响，可忽略不计。所以，本文采用非线性平滑方法中值滤波来减少边缘模糊以及较小的噪声。中值滤波的基本原理是把图像中某一点的像素值用该点邻域像素中间值替换，以此实现减少孤立噪声点、降低边界模糊的目的。本文选取的滤波窗口为3×3。原图以及重采样、平滑去噪后对比图如图5所示，经过重采样、平滑后的图像噪声减小，图像更为细腻。

图5 原图及重采样、平滑去噪后对比图

2.2 Gamma校正

封装基板图像整体亮度较低，且管脚部分因工艺问题及光照条件限制不够光滑、颗粒感较为明显。针对图像光照不足、特征不明显等问题的图像增强算法主要分为频域法和时域法2类。频域法由于较难构造并分离出符合需求的高低频分量，会造成图像细节以及部分特征的丢失[12]；而时域法则是直接处理图像的像素点值，降低了频域算法中时频域相互转换操作的复杂性，因此被广泛应用。常用的时域处理方法有非线性Gamma校正[13]、直方图均衡化[14]、非锐化掩模、基于深度学习生成对抗网络的无监督图像增强[15]，以及Retinex系列算法的SSR（singal scale Retinex）[16]，MSR（multi-scaleRetinex）[17]、MSRCP（multi-scaleRetinex with chromaticity Preservation）[18]等。直方图均衡化方法是根据图像的像素值分布频率进行非线性拉伸，达到均衡化的效果，但是会造成细节丢失和过分增强。非锐化掩模方法是利用图像中的高频分量来增强图像的细节和边缘，但同时存在放大噪声以及过度增强的风险。Retinex系列算法的复杂度较高，较易出现“光晕”现象，不适用于快速高精度大批量图像识别。非线性Gamma校正是对输入图像的像素值进行指数变换，进而校正亮度偏差，但这种方法往往会由于校正参数设置不合理而导致过度增强或过度减弱亮度的问题，因此选择合适的参数是Gamma校正非常重要的一环。Gamma校正式为

式中：L（x，y）、L′（x，y）分别为校正前和校正后的亮度值；γ(x，y)为校正参数，其取值直接决定校正效果。

当γ(x，y)＜1时，图像的整体亮度提高；当γ(x，y)＞1时，图像的整体亮度降低。选择合适的γ值，可通过Gamma校正非线性调整图像的整体亮度，从而提高正常管脚与变色管脚亮度差异的显著性。不同γ值下校正转换特性如图6所示。

图6 Gamma校正转换效果

以图5所示图像为例，对重采样和中值滤波后的S单通道图像和V单通道图像分别进行Gamma校正，为了获得最优γ值，计算了单通道图像变色区域和正常区域平均亮度差值随校正参数γ的变化，如图7所示。当亮度差值最大时，γ值最优，可得到对S通道和V通道Gamma校正的最优参数值分别为γ=2.26和γ=4.32。应用此最优值对S和V通道进行Gamma校正后，重构H-V、H-S空间散点图，如图8所示。

图7 Gamma校正单通道图像中变色区域和正常区域平均亮度变化

图8 校正后空间散点图

从图8可以看出，通过重采样、中值滤波和Gamma校正后的图像在H-V空间与H-S空间呈明显的聚集现象，相比于原图的HSV空间，变色管脚与正常管脚的差异显著性更强，阈值更易划分。

2.3 形态学处理

形态学处理是采用结构体元素对图像区域进行像素运算处理，其是一种基于集合论基础的图像处理方法，主要包括膨胀、腐蚀、开运算和闭运算等形态学操作[19]。

膨胀操作相当于对图像的反色图像进行腐蚀后再取回反色，其作用是把图像周围的背景点合并。膨胀的运算符为⊕，A用B来膨胀，记作A⊕B，表达式为

腐蚀操作是膨胀操作的反运算，其作用相当于对图像的反色图像进行膨胀后再取反色。腐蚀操作的作用是消除物体边界点，通过选取不同大小的结构元素可以去掉小于结构元素的物体，运算符为Θ，A用B来腐蚀，记作AΘB，表达式为

先腐蚀操作后膨胀操作为开运算，运算符为“○”，记为A B，表达式为

反之，先膨胀操作后腐蚀操作为闭运算，运算符为“·”，记为A·B，表达式为

对经过非线性平滑处理的图像再进行形态学处理，选择卷积核类型为矩形，宽、高尺寸均为3。形态学处理效果如图9所示。

图9 形态学处理（腐蚀、膨胀、闭运算、开运算）

本文采用迭代2次闭运算来处理图像，达到在保持管脚变色区域位置和形状不变的同时，弥合小缝隙、填平小孔的目的。

2.4 最大外接矩阵阈值画框标记

在区域特征分析和提取获得的变色管脚目标区域，小面积的变色管脚对性能影响较小，可忽略不计，因此采用设置最大外接矩阵阈值画框标记变色管脚。设置阈值宽×高≥100并画框标记，结果与人工标记对比，最大外接矩阵阈值画框标记结果如图10所示。

图10 最大外接矩阵阈值画框标记结果

3 结果

为评价典型区域变色管脚的检测精度，选取了数据集中94张图片的1 160个变色区域，通过人工目视解译结果，测试对比RGB、HSV和Gamma校正HSV 3个颜色空间模型，检测效果对比如图11所示。

图11 检测效果对比

本文方法框选人工目视解译所在的变色管脚区域为准确，反之为漏分，框选人工目视解译之外的变色管脚区域为错分。使用RGB颜色空间算法，1 043个变色区域错分，0个变色区域漏分；使用HSV颜色空间算法，13个变色区域错分，40个变色区域漏分；使用Gamma校正HSV颜色空间算法，6个变色区域错分，16个变色区域漏分。本文计算了检测精度、错分率和漏分率3个性能指标，结果如表1所示。

表1 不同颜色空间模型检测精度

从表1可以看出，RGB阈值法检测精度仅为10.10%，显然该方法不适用于变色镀铜芯片管脚检测；与原始HSV阈值法相比，重采样后经过Gamma校正的HSV阈值法得到的变色管脚检测总体精度更高，达到98.11%，且错分率及漏分率更低。其原因是经过重采样后的管脚照片剔除了除管脚以外的背景以及部分较暗边缘部分，又经Gamma校正后的变色管脚显著性提高，更易与正常管脚区分。受相机成像时光照不均、阴影，以及平滑去噪与形态学处理等因素影响，漏分主要发生在多个连续较小的变色区域及管脚边缘，错分主要发生在管脚边缘与基板相接区域、管脚边缘亮度稍暗的区域。

4 结论

本文采用HSV颜色空间变换法将芯片封装基板图像从RGB颜色空间转换至HSV颜色空间，通过对特征区域进行重采样去除背景干扰，利用中值滤波进行平滑去噪，消除边缘模糊及较小噪声，利用闭运算形态学操作以填平小孔，弥合小缝隙。同时，针对HSV颜色空间，本研究提出基于重采样以及滤波后的图像的S通道与V通道进行Gamma校正，进而区分变色管脚区域与正常管脚区域，检测精度达到98.11%，高于传统HSV阈值法（95.46%）。虽然不同封装方式的基板管脚材质与底板材质各不相同，但由于AOI设备的特性，拍摄芯片封装基板的环境以及光源基本一致，复用本文算法流程，更改所对应的阈值即可适应其他封装方式下不同材质的封装基板，为封装基板变色缺陷的快速自动识别奠定了基础。