LCD显示缺陷检测装备中的形状配准新方法

叶 涵，叶玉堂，刘 霖，刘娟秀，罗 颖

（电子科技大学 光电信息学院 现代光电测控及仪器实验室，四川 成都 610054）

近年来TFT-LCD技术发展取得长足进步，液晶显示器功耗低、寿命长、画质好、可靠性高等优势愈发凸显，在家电、仪器仪表的显示等各个领域都有广泛的应用[1]。然而LCD制备工艺繁复，对环境要求极高，容易产生缺划、多划、白点、黑点、PI不均等常见显示缺陷，生产过程中的缺陷检测变得越来越重要。目前国内液晶生产厂家大多采用人工肉眼检测的方法，带有极大的主观性和偶然性，漏检误检率高且难以形成行业统一的检测标准，制约着液晶行业的发展[2]。

以机器视觉作为标准技术的自动光学检测研究主要集中于对 LCD的Mura缺陷进行检测[3]，而对由驱动程序控制呈现的LCD的显示缺陷自动光学检测在国内外鲜有报道。为此，文中提出了一种基于特征点形状匹配的LCD显示缺陷自动光学检测方法。该方法的主要思路是图像配准和与标准模板作差进行缺陷检测[4]。图像匹配是文中算法的核心，传统的基于像素灰度值进行模版匹配的方法受像素取值影响较大，对光照一致性有较高要求，不适宜LCD显示缺陷检测条件[5]。文中采用基于特征点的形状匹配方法，在指定的搜索区域寻找待测LCD与模版具有相同形状特征和位置关系的定位标志，首先利用边缘提取的方法获得模版图像和待测图像边缘信息，并计算边缘各点的方向向量，然后用特定的相似度量进行图像匹配，最后通过最小二乘法调整位置参数来达到亚像素精度。在匹配位置确定过程中，采用了金字塔分层识别策略，在低分辨率图像上进行匹配特征粗定位，利用粗定位结果在高分辨率图像上进行精确定位，有效提高搜索速度[6]。实验结果表明：该方法能够准确定位缺陷位置，并精确计算出缺陷面积大小，可以有效检测出缺划、多划、白点、黑点、PI不均等常见LCD显示缺陷。

1 LCD的显示缺陷

液晶显示器形如三明治，主要由上下偏光片、ITO玻璃、彩色滤光片、定向材料、液晶等组成。液晶生产过程涉及光刻、显影、喷粉、灌晶等多道工序，尽管对制造工艺和制造环境都进行了严格的控制，仍然无法避免LCD产生各种显示缺陷[7]。如图1所示，分别为白点、黑点、缺划、多划。

图1 几种常见缺陷Fig.1 Several common defects

1.1 各缺陷现象及产生原因：

1）白点：在显示图形中表现黑背景处出现白点，主要由于生产过程中PI空洞或PI脏点、以及喷粉时粉聚或混入脏物造成。

2）黑点：在显示图形中表现为白背景处出现黑点，液晶内含有杂质、脏物造成。

3）多划：表现为显示图形有多余部分。

4）缺划：表现为显示图形部分缺失。

2 缺陷检测系统结构及流程

LCD显示缺陷检测系统原理框图如图2（a）所示，根据显示缺陷特点以及检测精度0.1 mm的要求，本系统采用分辨率3 272×2 469的工业面阵CCD相机，且置于待测LCD正上方垂直拍摄；LCD置于两块偏振片之间；针对LCD被动发光透明物体的特点，采用LED白色背光源置于待测LCD下方，以尽量提高图像显示质量；待测LCD在定制的电测仪控制下由专用的驱动程序点亮，并根据预先设定的内容显示特定的画面。计算机是本系统的核心，它完成从控制相机采集图像、图像处理、到最终的显示缺陷检测等所有任务。图2（b）为实际采集到的一张待测LCD完整图像。LCD显示缺陷检测算法流程如图 2（c）所示。

图2 系统及流程图Fig.2 Structure and algorithm

3 缺陷检测算法实现

3.1 参考模版与容差模版建立

本检测系统对待测LCD亮度一致性有较高要求，尽管自动检测全程都在暗室中进行，仍然无法避免光源亮度的微弱变化，因此实际不同待测图像间存在丰富的灰度变化；每次放置待测LCD位置不可能完全相同，在可控范围内存在一定偏移旋转量。基于以上两点考虑，对于检测模版的建立，笔者做法是，首先通过采集10张无缺陷的标准液晶屏图像，再指定相同大小检测区域以后，求对应每个像素的灰度平均值生产参考图像；然后计算参考图像与10张标准图像的标准方差，并且使用掩膜大小为3×3的灰度膨胀以使被检测图像与参考图像间允许的差异增加。利用此方法得到的参考图像与容差图像分别如图 3（a）、图 3（b）所示。

图3 检测模版图片Fig.3 Detect template images

由图3（b）可见，质量合格的LCD图像信息与参考图像仅在显示内容的边缘处灰度有较大差异，其余部分差异很小。

3.2 待测图像配准

3.2.1 基本原理

由于人工每次放置LCD的位置存在一定的偏差，待测LCD图像与模版LCD图像难免存在一定平移和少量的旋转，但成像距离固定，不存在图像缩放。而对应实际检测，少量的平移可能导致几个像素的偏差，影响了检测精度。图像配准是通过一定的配准算法来建立待测图像与模板图像对应关系的过程，因此图像配准的引入能很好的解决上述偏差问题。文中采用基于特征点的形状匹配算法，其主要包括了配准区域选择、特征点提取、相似度量以及搜索策略等步骤。

3.2.2 配准区域选择

在实际配准过程中，需要提取ROI边缘来实现配准。配准区域选择过小，得到的边缘信息较少，会影响配准精度，甚至导致配准失败。配准区域选择过大，得到的边缘信息较多，会严重降低配准速度[8]。同时，由于待测LCD图像的ITO图形中重复部分较多，在直径较小区域内选择某一会重复出现的图形，会找到多处相近边缘信息而导致配准失败。针对文中所述的LCD型号，配准区域选择和配准区域细节图分别如图4（a）、（b）所示。

3.2.3 特征点提取

图4 配准区域选择Fig.4 Selection of registration area

文中以图像边缘点作为特征点，图像的边缘是一些特定像素的集合。图像的灰度在边缘处有显著的变化，即在那些地方图像的梯度取得较大的值。传统的边缘检测算子如Sobel、Laplacian等，对边缘提取精度不高且对噪声比较敏感，处理实际图像效果不是很理想。文中采用Canny算子进行边缘检测，提取模板图像和待测图像边缘，并计算和每个边缘点相关联的方向向量，图5为配准区域使用Canny边缘检测后的效果图。

图5 配准区域Canny边缘检测效果Fig.5 Result of canny detection of registration area

3.2.4 相似度量

形状匹配的过程，就是在待搜索图像中寻找与模板形状具有一定匹配程度的过程，而这个匹配程度是由相似度量来判断的。经过Canny边缘提取处理后，设得到的模板图像像素点集为 pi=（ri，ci）T，与各点相关联的方向向量为 di=（ti，ui）T，i=1，…，n，待搜索图像经过同样的Canny边缘提取之后，也得到图像中每个点（r，c）相关联的方向向量 er，c=（vr，c，wr，c）T。 在配准过程中，将仿射变换中的平移部分分离出来非常有用。先计算模板图像配准区域中心点P到待搜索图像中的某个特定点q=（r，c）T的变换矩阵A，然后通过点=Api将模板图像按照变换矩阵A进行整体平移，得到变换后的模板图像点集=（，）T，以及相应的变换后的方向向量=（，）T。 对应于仿射变换中的平移部分，计算变换后模板中所有pi点的方向向量di与待搜索图像中相应点q的方向向量eq+p′的点积总和，并以此作为匹配分值，就得到了变换后模板在点q出的相似度量如式（1）所示。

使用等式（1）计算模版在所有可能位置上的相似度量，当计算所得到的相似度量s达到用户定义的阈值smin时，表示在点q=（r，c）T处找到了与模板相匹配的对象。

3.2.5 金字塔搜索策略

本系统采集得到的图像分辨率达到3 272×2 469，在整幅待搜索图像中计算相似度量将是一个非常耗时的工作，当模板图像的配准区域很大时，匹配将花费更多的时间。为减少计算时间，采用基于图像金字塔的分层搜索策略，在低分辨率图像粗略定位可能的匹配位置，逐步在高分辨率图像中精确定位匹配位置。具体步骤如下：

1）使用2×2的均值滤波器平滑图像，分别构建模板图像金字塔和待搜索图像金字塔，使用图像金字塔的层数必须保证在图像金字塔最高层上目标无图的相关结构可辨别出；

2）在低分辨率的图像金字塔最高层中进行一次完整匹配，利用在模板图像中提取的特征点，在同样分辨率的待搜索图像中匹配所有模板特征点；

3）按照这些潜在匹配点的匹配分值大小依次映射到金字塔的下一层，并将匹配位置的5×5邻域定为新的待搜索区域，然后在这个小的感兴趣区域中进行匹配，再将匹配结果映射到下一层；

4）如此重复直到金字塔的最底层匹配结束。

利用金字塔分层搜索策略，图像金字塔每增加一层，图像点数和模板的点数都减小4倍，搜索速度提高16倍，因此能够有效提高搜索效率，减少匹配耗时。配准区域分层后的金字塔图像如图6所示，共分为5层，由最底层的完整边缘图以及均值滤波后的其余4层组成。

图6 配准区域边缘金字塔图像Fig.6 Pyramid image of the edge of the registration area

3.3 缺陷检测与信息统计

由采集到的缺陷图像可知，LCD显示缺陷在视觉上主要表现为白背景中的黑点、以及黑背景中的白点，同时每次采集图像可能因为光照、环境等影响存在不同的灰度分布，因此不能通过简单的阈值分割方法判断缺陷。文中建立偏差模型，使用动态阈值分割的方法进行LCD显示缺陷检测。设fr，c为待测图像，mr，c为参考图像，sr，c为容差图像，则偏差图像 Ir，c为：

偏差图像取绝对值，主要是为了能同时检测出白色和黑色缺陷。引入缺陷判定式：

其中，Dr，c为对应像素的检测结果，δ为引入的绝对阈值，k 为与容差图像相乘的因数，max（δ，ksr，c）表示取两个数中较大的一个。当偏差图像Ir，c大于或等于对应的动态阈值时，则判定为缺陷，并把该像素置白；反之，则判定为良，像素置黑。实验发现，式中δ取20，k取10时比较合适。

在标准训练图像差异很小的时候，标准偏差sr，c几乎为零，这时绝对阈值的引入对缺陷判定起了重要作用。图像配准以后需要进行仿射变换，仿射变换得到坐标一般不为整数，而后续工作中的双线性插值按整数计算，容易在图像边缘产生一定误差，造成检测结果图像出现伪影。由图3（b）经过边缘膨胀的容差模版可知，ksr，c的引入作为阈值之后，可有效去除图像边缘伪影的影响，正确的检测出缺陷图像。

4 实验与讨论

在LCD显示缺陷检测系统中进行实验，采用分辨率为3 288×2 470的工业面阵CCD相机，焦距16 mm的千万像素级分辨率工业镜头。所用PC配置Intel Core2 Duo T6570，2.1 GHz处理器，4 GB内存，Windows 7操作系统。针对不同型号LCD适当调整工作距离，在检测精度为0.1 mm的要求下，每个像素尺寸大概为0.03 mm，能够达到检测需求。图7～9分别为LCD显示缺陷白点、缺划、多划的检测结果。

在工业应用现场，基于上述的算法和检测系统，针对4种不同型号的LCD，每种型号选取100个样本进行实验，这些样品中包含了白点、黑点、缺划、多划、Pi不均、字体变形等多种缺陷。总共400个样品中，系统检测正确率达到了98.5%，每块样品检测时间会根据待测LCD尺寸不同而有变化。经过优化后，采用0.7的匹配分值，配准识别率100%，配准时间40.18 ms，检测时间基本控制在0.9 s以内。可见，本系统能够有效完成常见LCD显示缺陷的自动光学检测。

图7 白点检测结果Fig.7 Detect result of white spot

图8 缺划检测结果Fig.8 Detect result of stroke-lose

图9 多划检测结果Fig.9 Detect result of stroke-extra

5 结 论

分析了LCD显示缺陷现象及形成原因后，提出了一种基于形状匹配和偏差模型的LCD显示缺陷自动光学检测新方法，提取边缘特征点的方法一定程度上可消除光照不均的影响，图像金字塔的搜索策略降低了算法复杂度，提高了配准效率。缺陷判定中，采用基于动态阈值分割原理的偏差模型，抑制了配准后仿射变换带来的图像伪影现象对缺陷判定产生的影响。通过实验验证，文中介绍的方法可以有效的检测常见LCD显示缺陷，检测正确率达到98.5%，在LCD显示缺陷检测方面具有很好的应用前景。

[1]YEH Chi-Hao，WU Ful-Chiang.An image enhancement technique in inspecting visual defects of polarizers in TFT-LCD industry[C]//IEEE International Conference on Computer Modeling and Simulation，2009:257－259.

[2]Hye Won Kim，Suk In Yoo.Non referential method for defects inspection of TFT-LCD Pad[J].Image Processing:Machine Vision Applications， edited by Kurt S.Niel， David Fofi，Proc.of SPIE-IS&T Electronic Imaging，2008：257-261.

[3]You-Ching Lee，Cheng-En Shie，Din-Chang Tseng.LCD Mura detection based on accumulated differences and multiresolution background subtraction [C]//2009 IEEE Fifth International Conferenceon Imageand Graphics，2009:189-194.

[4]Changki Jeong，Jinwoo Yoo，PooGyeon Park.Adefectinspection method for TFT panel using the compute unified device architecture （CUDA）[J].IEEE International Symposium on Industrial Electronics， Seoul Olympic Parktel，2009:5-8.

[5]Liang Zong，Yanhui Wu.A parallel matching algorithm based on image gray scale[C]//International Joint Conference on Computational Sciences and Optimization，2009：109-111.

[6]Carsten Steger，Markus Ulrich，Christian Wiedemann.Maching Vision Algorithms and Applications[M].双语版.北京：清华大学出版社，2008:318-350.

[7]Kyu-Bong Lee，Min-Seok Ko，Joan Jae Lee，et al.Defect detection method for TFT-LCDpanel based on saliency map model[C]//TENCON 2004 IEEERegion 10 Conference，2004:223-226.

[8]Ahmad N B，Sulaiman M B，Aripin M K B.Quality Inspection of Engraved Image Using Shape-Based Matching Approach[C]//2011 4th International Conference On Mechatronics （ICOM），2011:1-6.