基于机器视觉的LED芯片缺陷检测系统研究

曹深怡 李笑勉 文心妍 谢子聪 杨浩瀚

（东莞职业技术学院，东莞 523808）

LED芯片在现代工业生产中应用广泛，如石英晶体、玻璃屏幕及透明胶囊等。电子设备是人们必不可少的用品，其中电子设备的重要元器件就是以石英晶体为原料的。但是，在生产过程中，由于石英晶体本身质脆的特质，生产的元器件可能会有刮痕、局部破损等情况。当这些情况发生时，元件的功能就会受到影响。比如，晶体震动的固有频率会发生改变，从而影响产品的使用效果。所以，在生产过程中对元器件的缺陷检测必不可少。玻璃制品是另一种重要的LED芯片，广泛应用于各个领域[1]。尤其是伴随着电子信息产业的发展，它在各类电子设备中得以广泛应用，且随着设备性能的提高对屏幕的要求不断提高。生产过程中的划痕、气泡或杂质等会影响其美观及性能，需要工作人员进行严格的缺陷检测。另外，透明胶囊也是LED芯片在医学领域的一个重要应用，其性能好坏影响药物的保存及有效性，需要进行严格的缺陷检测。LED芯片的缺陷检测在工业生产领域具有极其重要的作用。缺陷检测技术在不断发展，目前基于图像处理的检测方法最为流行[2]。

1 常见LED芯片及传统缺陷检测方法

1.1 玻璃缺陷检测方法及其优缺点

玻璃的缺陷检测方法有人工视觉检测法、电学参数检测法和机器视觉检测法3种，对比如表1所示[3]。

表1 玻璃平板常见缺陷检测方式及其对比

1.1.1 人工视觉检测法

人工视觉检测法是将玻璃置于强光下，依靠人眼进行缺陷识别。这种方法存在很大的局限性，如人眼的识别能力有限，受到视力、外界环境及个人主观因素的影响，不能给出完全客观的结论。人工视觉检测需要极高的注意力和耐心，对工人要求高，且易疲劳，不利于工作效率的提高和企业效益的增加。

1.1.2 电学参数检测法

该方法依靠传感器与仪表进行缺陷检测，但传感器比较脆弱，容易受到环境的影响而降低灵敏性，同时检测范围有限，不能满足生产需求。

1.1.3 机器视觉检测法

该方法通过相应的摄影设备，结合图像处理技术进行缺陷检测，克服了传统检测中对环境要求高、对人力要求高的缺点，具有高效、准确的特点[4]。

1.2 石英晶体缺陷检测及其优缺点

石英晶体的缺陷检测方法主要有目视法、明场检查、暗场检查、电子束检测及数字图像处理等。

1.2.1 目视法

最开始晶片缺陷的检查依靠人眼的观测，同玻璃检测相似。该方法耗时耗力，且限于人眼的识别能力，晶体表面存在微小瑕疵及污物无法识别。此外，人工操作容易对脆弱精致的元器件造成损伤。随着晶体元件的体积不断减小，人工缺陷检测方法不再适用[5]。

1.2.2 暗场检测

激光具有很高的能量和很强的方向性，是暗场检测使用的光源。在实际应用中，激光的光路不同于检测信号。当被检测物体有缺陷时，入射光会产生散射现象，同时在暗场屏幕上产生不同的信号，表现为光亮的差别。这时通过探测器显示可以发现缺陷，进而进行定位和决策。虽然暗场检测效率高、成本低，但是精确性不尽人意[6]。

1.2.3 明场检测

该方法中可见光或者激光都可以作为入射光。与暗场检测不同，该方法中入射光和检测信号通过同一通道垂直投射在被检测元件的表面，如果有缺陷存在，那么明场背景中就会出现较暗的部分，从而捕捉到缺陷。该方法检测缺陷具有很高的准确性，但是设备昂贵，检测效率有待提升。

1.2.4 电子束检测

该方法用到聚焦电子束作为光源，可以发射出二次电子，通过相应的设备可以捕捉这些发射物进而进行研究分析和决策。该方法不会受到被检测物体色泽、厚薄等的影响，还可以用于微小缺陷的检测，因而灵敏性高。但是，它的速度比明场检测慢，且成本比前者高。

1.2.5 数字图像处理

该方法是信息技术发展的产物，是将实际的图片信息转化为计算机可以处理的数字信号进行相应操作的过程。最初的图片处理只是改善画质，现在已经得到极大的发展，甚至能够进行对象的识别与相应的匹配。该技术效率高、成本低、精确性高，已经应用于生活的方方面面[5]。

1.3 透明胶囊检测

1.3.1 人工检测

人工检测主要通过人的视力观察来发现胶囊的缺陷，通常称为灯检。实际中，胶囊存在尺寸差别、表面污迹、轻微褶皱、挤压变形以及切口不平整等人眼难以识别的问题。同时，由于胶囊的产量很大，人工检测效率极其低下。在实际生产中，耗费大量人力仍然存在大量漏检的情况，给药物安全、卫生等带来了隐患[7]。

1.3.2 缺陷检测机器

一些大型公司通过制造自主研发的缺陷检测机器进行缺陷检测。实际应用中，机器成本高，算法不够精良，出现耗时耗力的问题，不能很好地解决胶囊缺陷检测问题。

1.3.3 基于图像处理的视觉检测技术

该技术应用于胶囊的缺陷检测具有重要意义。一方面方法效率高、灵敏性高，在检测中标准统一，有利于胶囊的标准化生产；另一方面避免了人工检测过程中由于工作人员接触而产生的二次污染。此外，由于技术的进步，设备的费用逐渐降低。该方法得以广泛应用，使得胶囊的标准化和批量化生产得以实现。

通过以上分析可知，在生产效率和产品标准迅速提高的当今社会，传统的人工、机器缺陷检测手段已不再适用，而基于图像处理的缺陷检测方法由于高灵敏度、高效率、低成本的特性，在工业领域得到了广泛应用。

2 基于图像处理的缺陷检测方法原理及应用

机器视觉技术的使用克服了人工缺陷检测疲劳性的限制，避免了与检测物体的直接碰触，有效提高了安全卫生性。另外，随着技术的发展，机器视觉技术辨识度正在逐渐提高，能够识别人眼无法辨识的缺陷。

数字图像处理是将采集的图片利用计算机转换为其可以识别的数字图片，进而利用相应的计算机程序进行图片修改。数字图像处理技术的兴起一方面是对图像画质改进的需要，另一方面是为了对图像进行保存、交流共享与显示。数字图像处理进一步扩充了其功能，可以进行图像的美化、修改甚至进行相关的识别匹配等。由于数字图像处理方法可以灵活高效地对图片进行处理和识别匹配，被应用于工业领域。其中，LED芯片缺陷检测就是一个重要的应用。

数字图片处理技术具有强大的功能及很多优点，主要表现在以下几个方面。

（1）不会使图像失真。在模拟图像操作中很容易使原本的图像失去原来的面目，但是数字图像处理技术读取的是图片的数字信息，只要这些信息得以准确保留，那么任何操作都不会影响图片的原貌。

（2）利用数组存储图像信息。图像数字化设备可以将图片的每个像素进行等级量化。等级化越高，得到的图片越精确，数组也越大。对计算机而言，数组的大小并不影响处理速度，因此数字图像处理技术在效率和效果上都远远超过模拟处理，且更加经济。

（3）可用于各种途径收集到的图像。传统的模拟处理只能处理可见光图像，但数字图像处理技术可以处理各种波谱图像，如各种医学成像、红外图等，也不限制被拍摄物体的尺寸，如从显微镜得到的图片到卫星遥感图像都可以处理。因为数字处理只需要得到这些图像的数字编码，然后对表示这些图像的二维数组进行处理即可，所以不管来源如何，只要能得到图像的二维数组信息，这个方法就能使用。

（4）信息可以进行任意的计算处理。图像处理中一般需要进行图片修改和内容分析进而进行重现。在光学处理中，由于只能对图片进行线性运算，因此不能实现图片处理，导致相当丰富的内容不能得到理想的效果。数字处理利用二维数组可以实现一切计算公式或逻辑关系可以表达的各种运算和操作，具有极大的灵活性，能够实现更多的功能。

数字图像处理信息的广泛使用与计算机编程环境和编程技术的发展息息相关。OpenCV是一个开放源代码的视觉库，拥有大量数字图片处理源代码，为图像处理技术的使用提供了极大便利[5]。OpenCV是一个源代码开发的图片处理库，具有数字图片处理的各种强大功能，可以跨平台使用。它不仅能对图像进行相应的处理，而且能对视频进行相应的处理。此外，它的各个类型的应用程序接口都是存在的，且利用C语言编写，能够进行并行运算，执行速度快。

数字图片处理极高的灵活性及效率，使其广泛应用于生活的方方面面。工业领域中产品智能检验减少了人力物力投入，提高了生产效率。军事领域中，它分析遥感图像、红外图像等来追踪敌人、打击敌方。在民用领域，它可以用于交通管理、医学图像搜集研究等。在科学领域，它可以进行各种材料分析、生物实验中进行相应的分析化验等。

3 基于图像处理的缺陷检测实现过程

建立基于图像处理的LED芯片缺陷检测系统，并对图像采集、预处理、图像分割、特征提取及分类决策等过程及其内容进行详细介绍。基于图像处理的LED芯片缺陷检测系统流程，如图1所示。

图1 基于图像处理的LED芯片缺陷检测系统流程图

3.1 图像的获取

设计图像采集系统，包括照明光源的选择和图像采集的各个参数，对检测对象进行图像采集。在图像采集中需要对照明设备进行合理选取，并设置各种参数，得到更加清晰高质量的图片。

LED光源是一种高科技照明设备，具有很多传统光源没有的特点。第一，节能性高。LED灯电能转换为光能的效率几乎为100%，功耗非常低，照明效果远远好于传统光源。第二，LED使用寿命长。由于原料是环氧树，为固体冷光源，因此它克服了传统光源易发热、易损坏的缺点，其使用寿命是传统光源的10倍多。第三，LED光源可以变换色彩。利用三基色原理，结合计算机控制。它可以产生千万种色彩，以实现丰富多彩的图像变换效果，满足各种色彩灯光的需要。第四，科技含量高。LED等的设计和使用融合了计算机技术，利用计算机编程可以方便灵活地实现LED灯的升级、图像变换等功能。此外，LED无论在功能上还是在环保上都远超传统光源，可以提高所收集图像的质量。

3.2 图像预处理

获取到图片后，需要将图片上传到计算机并转换为数字信息，通过相应的图片处理程序进行图片的预处理。图片的预处理方法多种多样，包括图像的色彩处理、删减、平滑及提取等。

灰度化图像是指只有黑白两色的图像。显示器一般使用红、绿、蓝3色，按照RGB配色准则表示图像颜色，如图2所示。通常将每种颜色分为256个亮度类别，通过将代表3种颜色亮度的像素点叠合起来，就可以显示出这个像素点所代表的色彩。当3种原色分量具有同一亮度时，原本具有色彩的图片,会成为黑白色，即变为灰度化图像。灰度图像虽然只有黑白两色，但是仍然具有不同的亮度值。灰度值有0～255共256个不同的亮度等级，0表示亮度最小，255表示亮度最大。图像的灰度化是把原本有色彩的图利用计算机转换为只有黑白两色的图。转化中，将3原色分量的亮度按照权重进行叠加，并用它们的加和结果表示得到图像的明亮程度即灰度值。通常使用两种方法得到图片的灰度值：一是平均值算法，是对3个颜色分量进行算数平均值的计算得到；二是权重法，即建议一个重要性标准，并分别给3个分量一个重要度的评价，进而通过加权计算得到灰度值。

图2 RGB颜色模型示意图

腐蚀是将图片变小的过程，常用来处理图片中某些不需要或者不想要的部分。据研究，LED芯片图片中有缺陷的部分会比没有缺陷的部分颜色深，且灰尘等杂质很微小，因此可以通过这个功能可以除去这些受杂质污染的缺陷部分。

膨胀是一个与腐蚀功能相反的过程，即扩大图像。这个功能能够将需要的对象变大，进而有利于补充目标中的空洞。

对于区域A和区域B，首先利用B对A进行腐蚀处理，得到处理结果后再对B实施膨胀措施，这个过程叫做开运算。这个功能可以通过把小一些的突出删掉，使计算机得到边缘平滑的图片，同时可以将有狭窄连接的部分断开。

图像中存在的噪声可以通过过滤的方法处理，原理是图片的平滑滤波。图片平滑滤波分很多种，根据原理的差别，可以分为空间域平滑滤波和频率域平滑滤波两个方法。

图像边缘对图像处理具有重要作用，而幅度和方向是体现边缘特性的两个重要参数。研究发现，在边缘垂直方向上的点具有的灰度与边缘部分有很大差异。利用这个突变，可以通过微分的方法对LED芯片检测图像进行边缘的获取。

图像中相互连通的区域边缘上所有像素点集合起来即轮廓，一般是一条封闭的曲线。在图像处理技术中，一般采用二值图像轮廓跟踪技术提取轮廓，然后针对性地对轮廓内的连通域进行进一步的操作，如填充所选定的区域、对特定的对象进行特征提取等。在轮廓追踪中，常见的方法有链码和傅里叶描述等。前者使用比较普遍，可以将矢量线段即具有长度和方向的线按照一定的顺序连接起来，从而得到图像的轮廓即边界线。

3.3 图像的分割

这一阶段主要是从图片中将每个物体识别出来，且将这些识别的物体从图片中分割。可见，这是一个获取信息的过程，可以识别检测对象中存在的缺陷，并且将其分离出来，为后续缺陷的识别分类奠定基础。

3.4 特征的提取

这一阶段将定义一些特征量或特征函数，进而提取缺陷的特征。定义中选择对象可以度量的重要特征建立相应的度量法则。根据度量法则，可以实现对物体各方面特征的量化估计，从而区分出缺陷对象。在特征抽取中，不同的识别对象有不同的特征。对于检测对象可以建立一个特征向量，该向量中各个分量对应一个特征，将所有特征集合在一起就可以代表研究对象的全部特征信息。不同的对象提取特征时侧重点不同。一般图像特征包括3个方面——图形的几何特征（包括图像中目标的位置和方向、周长和面积等）、对象的形状特征（包括矩形度、圆形度等）和图像的纹理特征（包括裂纹、缺损等）。

3.5 分类决策

在特征提取进行匹配后，可以将对应的物体进行归类和判定。通过对LED芯片提取图像进行特征提取，进而与已经建立的物体向量库进行对比和识别。归类主要依据缺陷特征如气泡大小、裂痕位置大小形状延伸长度等来判断产品的残次等级等。

4 基于图像处理的缺陷检测实例应用

以LED芯片为例，对基于图像处理的LED芯片检测过程进行实验研究。首先读取并显示图像，其次进行图像平滑，再次进行图像二值化、边缘检测，最后进行模板匹配与决策。

4.1 图像去噪

为了使图像细节更加清晰，并实现对噪声的清除，本文选取中值滤波算法。在含奇数点的平面窗口中，中心点灰度值用各点中值代替。二维中值滤波输出为：

式中：f(x,y)为平滑前的函数；g(x,y)为平滑后的函数。以处理对象为中心，选一个合适大小和形状的区域进行数值的排序，中值就是所求的数。

灰度矩阵为：

按照同样的方法处理其他目标，就能完成去噪过程。函数程序如下：

void cvSmooth(const CvArr*src,CvArr*dst,int smoothtypes=CV_MEDIAN,int param1=3,int param2=0;double param3=0,double param4=0)

例如，LED芯片图像经过光滑处理后的图像如图3所示。

图3 滤波处理后LED芯片图像

4.2 阈值分割

通过设置一定的阈值，将目标区域与背景区域区分开，以便以后有目的性地对某些区域进行处理。用一定的方法寻找一个分界值，将图像分为两部分[8]：

规定函数上半段为黑色，下半段为白色，得到二值化的图片，如图4所示。

图4 二值化处理后LED芯片图像

4.3 边缘检测

边缘检测方法有很多。由于Canny算子具有检测准确性高、误检率低、边缘重复率低的优点，因此本文选用该方法，算法程序如下：

void cbCanny(const CvArr*image,CvArr*edges,double threshold1,double threshold2,int aperture_size=3)

通过该方法得到的边界拾取图像如图5所示。

图5 边缘检测后的LED芯片图像

4.4 模板匹配

得到边缘检测图像后，可以进行模板的对比和缺陷的匹配工作。实现的过程中，需要将检测边缘图像与标准图像进行对比，程序如下：

double cvMatchShapes(const void*object1,const void*object2,int method,double parameter=0);

程序中的参数依次为检测边界、标准模板、对比方法及参数。运行后，返回参数值如果为0，即为完全匹配；小于0.1，为合格；超过0.1，视为存在影响功能的瑕疵，不合格。通过实验对比得到返回值为3.456 12，表明所检验的对象存在瑕疵不合格。实际观察也是如此，因此实验结果令人满意。

5 结语

数字图像处理技术在LED芯片缺陷检测领域发挥了重要作用。本文通过对比传统LED芯片缺陷检测手段与数字图片处理技术检测方法的优缺点，突出了该方法的优越性，并介绍了数字处理技术的原理应用特点及应用领域，进一步建立了基于图像处理的LED芯片缺陷检测系统，对系统的流程进行了详细阐述，包括图像采集、预处理、图像分割、特征提取、最终的决策及对透明晶片缺陷检验的实验，表明该方法可靠高效。本文研究可以为基于图像处理的LED芯片缺陷检测工作提供系统指导，对LED芯片检测工作提高效率、降低人工成本具有重要意义。