不依赖于边缘的TFT-LCD面板缺陷自动检测方法

严成宸,闫真真

不依赖于边缘的TFT-LCD面板缺陷自动检测方法

严成宸,闫真真

（合肥工业大学仪器科学与光电工程学院,安徽合肥230009）

为了检测TFT-LCD面板上可能出现的点缺陷和线缺陷,同时为应对其粗糙面及透明、半透明材质在光线的散射和多重反射下缺陷成像边缘较模糊的问题,提出了一种不依赖于边缘的TFT-LCD缺陷机器视觉自动检测方法.由工业CCD相机采集到的图像,采用Wiener滤波实现图像去噪；构造实值Gabor小波滤波器实现纹理背景抑制；采用基于最大熵的阈值分割方法分割缺陷；最后提取缺陷参数.通过实验实现了对样本图像中缺陷的判断、定位、面积测算和形状确定,与已有机器视觉检测方法相比,算法能够显著提高检测效率,适合缺陷在线检测.

缺陷检测；Wiener滤波；Gabor滤波；最大熵分割；特征提取

TFT-LCD面板在制造的过程中会出现一些常见的缺陷,根据缺陷的形状、大小,一般分为点缺陷、线缺陷、MURA缺陷3类.其中,点缺陷最为常见,分为亮点和暗点；线缺陷可分为亮线、暗线和微亮线等；MURA缺陷即斑或者云纹,主要特点为局部区域亮暗程度不均,无固定形状.本文主要针对前两类缺陷.

Lu等[1]基于独立成分分析进行图像重构,能有效地移除全局结构图案,仅保留局部异常,不受水平移动和光照变化的影响,但对受检图片的垂直移动敏感且重构图像不能保存缺陷的大小和形状.Tsai等[2]利用一维傅里叶重构直接作用于一维线性图像,以滤除重复纹理背景,再利用小波分解去除不均匀的照度,可以检出各种模糊的缺陷,但不能测出不同种类缺陷的量化特征.Cen等[3]利用低阶矩阵重构方法,可以较好地消除纹理背景的重复图案,但得到的最终图像中噪声点较多,且处理时间较长,不能很好地满足在线实时检测的要求.吴寅[4]分别采用奇异值分解法、傅里叶变换法、Gabor小波滤波,对比总结出Gabor变换适合均匀纹理下的LCD缺陷检测.

平板类材料检测的难点一是材料表面跨越从粗糙到光滑,材料材质跨越从透明到不透明,以及光线的散射和多重反射的干扰,缺陷边缘成像较为模糊；二是平板显示屏缺陷检测中采集的信息量巨大,如玻璃基板尺寸为1 950mm×2 250mm的7.5代液晶屏能产生175.5GB的图像数据量,要求完成在线实时检测.为此本文提出了一种不依赖于边缘的TFT-LCD缺陷机器视觉自动检测方法,兼顾实时性和准确性.

1 缺陷检测算法

本文所提缺陷检测算法主要分为图像去噪、纹理背景抑制、缺陷分割和参数特征提取4个步骤.

1.1 图像去噪

图像在获取的过程中,会受到相机自身性能、机器抖动、光强变化和人员控制等因素的影响,初始图像可能会附带各种噪声.常见的噪声有高斯噪声（主要由阻性元器件内部产生）和椒盐噪声（主要是图像切割引起的黑图像上的白点噪声或光电转换过程中产生的泊松噪声）等.

为了不影响图像分析和特征提取等处理,首先要对获取图像进行预处理.Wiener（维纳）滤波是一种自适应滤波器,可以实现原始图像和去噪图像之间较小的均方误差,并能够根据局部方差来调整滤波器效果,可以很好地保存图像的边缘和纹理等高频细节信息,能有效地去除高斯噪声[5].

图像首先通过Wiener滤波,基本消除了CCD及其他元件在采集图像时由于抖动产生的噪声,并且保留了图像缺陷信息,同时保证纹理背景没有变模糊,这对下一步纹理背景抑制极其重要.

1.2 纹理背景抑制

针对LCD纹理的分布特点,设计Gabor滤波器,滤除待测图像的纹理背景.Gabor变换[6]在空域、频域和方向上都能获得很好的分辨率,是纹理分析中重要的方向性滤波器.Gabor滤波通过设置不同参数构成不同的滤波器,实现对图像多尺度、多方向特征提取,可以模拟人类视觉系统.

在空域中,Gabor滤波函数由一个高斯函数和一个正弦复值函数乘积得到,完整表达见式（1）、式（2）.

式（1）中,和为Gabor滤波器的尺度因子,分别代表二维椭圆高斯包络沿两坐标轴标准偏差,决定了计算某像素点加权时受影响的像素领域的大小.式（2）中θ表示Gabor滤波器的滤波方向,改变θ取值可以构成不同方向的Gabor滤波器.二维Gabor函数是一个复值函数,其实部和虚部分别见式（3）和式（4）.

式（3）、式（4）中：f是中心频率,θ是旋转角度.经验证,实值Gabor滤波器在纹理分析中适合于块状区域的检测,而虚值Gabor滤波器适合于边缘检测.因此,为消除重复纹理背景,选用实值Gabor滤波器,与常用的复值滤波器相比,可大大减少检测时间.

通过设定不同的中心频率f和旋转角度θ,可以构造出多尺度、多方向的Gabor滤波器组,即Gabor小波滤波器[7].背景抑制的关键因素是滤波器的3个参数中心频率f、滤波方向θ、尺度因子σ的设定,参数的最佳取值需要根据待测图像纹理特点,通过不断试验得到.本文通过设定4个中心频率和4个方向共16个滤波器组成了实值Gabor滤波器组.文献[8]指出,以1/（2l）为中心频率的实值Gabor滤波器可以作为宽度为l的物体的理想Blob检测器.本文采用的4个中心频率为fm=fmax/2m-1（m=1,2,3,4）.其中,fmax≤1/（2T）,T为一个纹理单元的宽度.本文中试验图像,T≈2,故取fmax=1/4.考虑到对称性,4个方向分别选择θ=0°、45°、90°和135°.在本算法中,采用圆对称的Gabor滤波器,尺度因子和均设定为5.6[4].

构造好实值Gabor滤波器之后,通过待测图像与滤波器模板做卷积来实现对图像进行Gabor滤波,所得图像可用式（5）来表示.

式（5）中：I(x,y)表示输入图像,IG(x,y)表示经Gabor滤波处理后的输出图像.

由于Gabor滤波器设定了4个方向和4个频率,一共16个滤波器,故用这16个滤波器对待测图像进行处理,结果得到16幅输出图像,各个输出图像的信息有所不同.本算法中,依次采用求均方根、几何平均和算术平均的方法来实现图像融合[9].

（1）均方根

（2）几何平均

同理得到I23、I24.

（3）算术平均

经过图像融合将16幅Gabor滤波输出的图像合成一幅图像,为了将缺陷部分与背景完全区分开,下一步必须对合成图像进行缺陷分割.

1.3 缺陷分割

一般情况下,TFT-LCD面板图像可能出现缺陷边缘模糊、对比度低等问题,手动设定阈值或利用边缘检测算子进行图像分割均不适用,因此必须考虑使用不依赖于边缘的模糊缺陷分割方法.

熵是图像统计特性的一种表现形式,反映了图像包含信息量的大小.数字图像分割后的二值图像的熵值越大,说明分割图像细节越丰富,分割效果越好.采用基于最大熵的阈值分割算法[10],受目标缺陷大小的影响小,能实现高精度的分割[11].

假设一幅灰度级为大小为M行N列的灰度图像,f(x,y)表示坐标为(x,y)的像素的灰度值.计算分割阈值分为3步.

（1）计算整张图像中灰度级i出现的概率pii

式（9）中,Ni为图像中灰度值为i的像素点总数,Nimage为整幅图像像素总数.

（2）分割阈值从0到255遍历,计算每个阈值分割后前景和背景的熵,故图像前景和背景熵值分别为

（3）前景熵与背景熵之和最大值时对应的灰度,即为所求阈值

1.4 参数特征提取

TFT-LCD屏的缺陷种类较多,且表现各异,对于不同特点的缺陷要进行具体的分析,选用能够准确反映图像中缺陷的类型、性质和状态等特征的图像特征值.点缺陷一般为单个子像素面积,缺陷类型为亮点或者暗点,而相邻的多个点缺陷则尤为严重,所以判断点缺陷需考虑面积和位置两个特征参数.线缺陷一般宽度为单个子像素,而长轴方向贯穿屏幕纵轴或横轴方向的一排亮点或暗点,可通过面积、位置和矩形度3个特征参数来判定.

样本图像中缺陷的面积、位置和矩形度可由下列公式得出

（1）位置（质心）

式（14）中：U表示缺陷存在的区域.

（2）面积

（3）矩形度

式（16）中：AS表示缺陷区域S的面积,AR表示包围该区域的最小矩形面积.

2 实验与结果

为了验证前文提出的缺陷检测方法,对带有缺陷的样本图像图1进行了实验验证.

图1 样本图像Fig.1 Sample images

本算法以Matlab R2014a为工具,采用win7 64位系统的计算机,CPU主频为3.2GHz,内存为4GB,对像素均为256×256的样本图像,图1分别给出其经过图像去噪、Gabor滤波、最大熵分割和参数特征提取的结果,见图2至图5.

图2 图像去噪Fig.2 Image denoising

图3 Gabor小波滤波Fig.3 Gaborwavelet filter

图4 最大熵分割Fig.4 Maximum entropy segmentation

图5 参数特征提取Fig.5 Extraction ofparameters feature

从结果中可以看出,通过Wiener滤波,图像基本消除了高斯噪声,并完好地保存了缺陷信息；根据图像的纹理特点构造的实值Gabor小波滤波器能很好地消除纹理背景,且能适应一定程度的纹理变形、旋转及图像光照不均匀；最大熵分割不依赖于缺陷边缘,可以很好地分割出缺陷,对点缺陷和线缺陷都有很好的识别效果；参数特征提取可以在图上标记出缺陷的具体位置,并给出相应的特征参数.

图4所示3幅样本图像经过最大熵分割后得到的效果图,图中的缺陷基本被检出,其中分割阈值分别为43、43、47.图5中面积以像素点个数为单位,坐标位置以图的左上角为原点,自原点往右、往下分别为X、Y轴.图5-a上中心的针孔缺陷像素面积为1 018,位置坐标为（119.66,123.63）.表1给出了图5-b中各颗粒缺陷的质心位置、面积及矩形度等参数.表2给出了图5-c中划痕上各点的质心位置、面积及矩形度等参数.

表1 图5-b的缺陷参数Tab.1 Parametersofdefects in Fig.5-b

表2 图5-c的缺陷参数Tab.2 Parametersofdefects in Fig.5-c

从表1、表2可以看出,3幅样本图像中各个缺陷完整的参数数据被成功地提取出,并可直接用于后续的在线识别.经测算,每幅图平均检测用时为0.8 s,基本满足TFT-LCD面板在线检测系统要求的实时性.文献[3]使用低阶矩阵重构方法得到的效果图见图6.

图6 文献[3]检测效果Fig.6 Detection results in documentNo.3

由图6可以看出,未滤去的纹理背景多以点线状存在,对缺陷的分类和参数特征提取会引起很大干扰.相比较而言,本文中提出的方法可以更好地抑制纹理背景,便于提取缺陷的特征参数,且检测用时短,可大大提高检测的效率.

3 小结

本文提出了一种不依赖于边缘的TFT-LCD点缺陷和线缺陷的机器视觉自动检测方法.由工业CCD相机采集图像,通过Wiener滤波,基本消除了高斯噪声并完好保留了缺陷信息；通过设定不同的参数,构造实值Gabor小波滤波器以实现均匀纹理背景抑制；采用基于最大熵的分割方法分割出点缺陷和线缺陷；最后提取出缺陷的位置、面积及矩形度等参数特征以便后续工作使用.相比较现有的机器视觉检测方法,本方法能够显著提高检测效率,适用于在线检测,而对于微小缺陷的分割检测则需要做进一步的优化研究.

[1]LU C J,TSAIDM.Independent componentanalysis-based defectdetection in patterned liquid crystal display surfaces[J].Image Vision Computer,2008,26：955-970.

[2]TSAIDM,HUNGCY.Automatic defect inspection ofpatterned TFT-LCD panelsusing 1-D Fourier reconstruction andWavelet decomposition[J].International JournalofProduction Research,2005,43：4589-4607.

[3]CEN Y G,ZHAO R Z,CEN LH,et al.Defect inspection for TFT-LCD images based on the low-rankmatrix reconstruction[J]. Neurocomputing,2015,149：1206-1215.

[4]吴寅.基于机器视觉的航空显示组件LCD缺陷检测技术研究[D].南京：南京航空航天大学,2012.

[5]王姣斐,王双喜.基于MATLAB软件的图像去噪方法比较[J].甘肃农业大学学报,2011,8（4）：157-160.

[6]GABOR D.Theory of communication.Part 3：Frequency compression and expansion[J].Journal of the Institution of Electrical Engineers,1946,93（26）：429-457.

[7]毕昕.面向TFT-LCD制程的Mura缺陷机器视觉检测方法研究[D].上海：上海交通大学,2009.

[8]CASASENT D.P,SMOKELIN JS.Neural net design ofmacro gabor wavelet filters for distortion-invariant object detection in clutter[J].OpticalEngineering,1994,33（7）：2264-2271.

[9]ESCOFET J,NAVARRO R,Garciaverela M SM.et al.Detection of local defects in textile webs using gabor filters[J].Vision Systems New Image Processing Techniques,1996,2785（8）：163-170.

[10]章毓晋.图像工程：中册：图像分析[M].北京：清华大学出版社,2006.

[11]刘文萍,吴立德.图像分割中阈值选取方法比较研究[J].模式识别与人工智能,1997,3（10）：271-278.

（责任编辑：卢奇）

Automatic detection of TFT-LCD panel defectsw ithout edge-dependence

YAN Chengchen,YAN Zhenzhen
（InstrumentScienceand Opto-electric Engineering College,HefeiUniversityof Technology, Hefei230009,China）

In order to detect pointand line defectswhichmay occur on TFT-LCD panels,at the same time,under the light scattering and multiple reflections,fuzzy edge of defects was imaged by the rough surface and transparent or translucent material.To deal with them,an independent-of-edge machine vision method of automatic detection of TFT-LCD defects was proposed.The images obtained by industrial CCD camera were denoised by Wiener filtering；the background texture was suppressed by constructing real value Gabor wavelet filter；the threshold segmentation method based on maximum entropy was employed to segment defects.Finally,the defect parameters were extracted. The judgment,positioning,areameasuring and shape confirmation of defects in sample images were achieved through the experiment.Compared with the existingmachine vision detection method,this algorithm can significantly improve the efficiency of detection,and is suitable for online detecting defects.

defect detection；Wiener filtering；Gabor filtering；maximum entropy segmentation；feature extraction

TP391.4

A

1008-7516（2017）03-0065-07

10.3969/j.issn.1008-7516.2017.03.011

2017-04-01

科技部重大仪器专项资助项目（2013YQ220749）

严成宸（1992—）,男,江苏泰州人,硕士生.主要从事机器视觉研究.