基于机器视觉的液晶屏字符缺陷检测系统设计

徐炜东++王毅++张荣阁

摘要：针对目前液晶屏字符显示缺陷检测主要依靠人工方式，效率低，主观性强，设计了一套基于机器视觉的自动化在线检测装置。文章介绍了整个装置的总体框架和检测方法，对采集的图像进行校正、阈值分割等预处理，然后进行图像匹配，最终作出是否存在缺陷的判定。通过实验，该装置能够准确实现对8片液晶屏不同状态的同时检测，并显示缺陷所在位置。

关键词：机器视觉；液晶屏；字符缺陷；图像匹配

中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2016）17-0182-03

TFT液晶屏具有低功耗、高亮度等优点，广泛应用于各类显示装置[1]。传统液晶屏显示缺陷检测主要依靠人工方式完成，检测效率低，主观性强，准确率低[2-4]。随着机器视觉技术的发展，其在液晶屏显示缺陷检测中被广泛采用[3]- [4]。采用机器视觉技术，能够提高检测效率和准确率，降低成本，同时也避免由于人的主观因素造成的错判和误判，适用于工业自动化生产线检测。

文中研制了一套基于机器视觉的液晶屏字符缺陷检测装置。首先对采集到的图像进行校正，使图像转化为水平视角，并进行阈值分割[5]-[6]，提取出标准模板图像，之后运用图像匹配技术[7]- [10]，采用基于液晶屏字符特征的图像匹配，将标准模板图像匹配到待检测图像中，最后对数字和汉字分别进行相应的缺陷检测判断，并将检测结果显示在上位机界面。

1检测装置总体设计

检测装置框架构成如图1所示，主要包括USB相机、光源、PC机、待检液晶屏工装板。装置启动时，计算机给工装板发送上电命令，然后发送相应显示状态命令，相机将采集到的图片上传给计算机，计算机进行相应的图像处理后做出判断，将检测结果实时显示在软件界面上。检测系统实物图如图2所示。

2 检测算法设计

2.1 校正

受液晶屏工装板本身视角影响，相机倾斜安装，导致采集到的图像是倾斜的（如图3（a）所示），为了便于后续图像处理，有必要对采集到的图像进行校正，将图像的倾斜角度转为水平视角。通过相机标定得到的内外参数，然后对采集到图像进行校正，校正后的图像效果如图3（b）所示。

2.2 图像分割

图像分割是把图像中具有特殊涵义的不同区域区分开来，这些区域是互不相交的，每一个区域都满足特定区域的一致性。通过前期处理后得到的图像背景和目标具有强的对比度，易于区分，本文采用全局阈值分割法进行图像分割，设预处理后得到的图像的灰度值P分布为区间[P1， P2]，设定的阈值最大值为PMAX，最小值为PMIN，若灰度值P满足如下条件：

灰度值P将会被分割出来，分割后得到的二值化图像如图4所示。

2.3 图像匹配

图像匹配是寻找不同时间、不同传感器（成像设备）或不同条件下（照度、摄像位置和角度等）获取的两幅或多幅图像之间的变换函数，目的是使得图像中相应目标的位置对准。图像匹配的精度决定了后续检测的准确性。

本文采用基于液晶屏字符形状的图像匹配，该匹配算法主要包括以下过程：（a）确定ROI（Region of Interest感兴趣区域）区域；（b）从图像中获取ROI区域的图像，并求取该区域中心的坐标（Row，Col）；（c）根据（b）中得到的图像创建模板；（d）读取待匹配图像，进行匹配，获得模板在待匹配图像中的位置参数坐标（Row[i]，Col[i]）、角度Ang[i]和缩放比例因子Scale[i]，其中i为模板在待匹配图像中匹配成功的数目；（e）首先求取刚性变换矩阵HMATIX，HMATIX矩阵形式如式（1）所示：

其中H（t）为平移变换矩阵，H（R）为旋转变换矩阵，HMATIX与（b）和（d）得到的相关参数关系如式（2）所示：

得到刚性变换矩阵后，由于不同位置匹配得到的缩放比例因子Scale[i]不同，因此需要将比例因子添加到刚性变换矩阵，得到新的矩阵HMATIXSCALE与之前的刚性变换矩阵关系如式（3）所示：

其中S是一个2*2比例因子矩阵，其形式如式（4）所示：

得到矩阵HMATIXSCALE后，就可以进行仿射变换，显示匹配结果。用图像分割得到的图像（图4）与待检测图像匹配，匹配效果如下图5（a）、（b）所示，模板图像与待检测图像具有良好的对应关系。

2.4 缺陷检测

经图像匹配后，液晶屏中字符在图像中的位置就得以确定，就可以根据各自特点进行相应的缺陷检测，二者检测如下所述。

1）数字缺陷检测

数字缺陷检测是通过得到待检图像中的数字部分后，与对应状态的标准数字模板作差，对作差结果进行开操作，求取开操作后的面积，与设定面积阈值作比较，从而判断是否存在缺陷。图6是某一次试验其中一片液晶屏的检测结果，其中白色部分是缺陷位置所在。

2）汉字缺陷检测

汉字缺陷检测与数字缺陷检测相比较，对工装板的位置非常敏感，考虑到实际流水线检测的条件，工装板或多或少的在位置上存在左右偏移，因而对预先划分的汉字区域有必要进行扩大，这样才能保证工装板在存在偏移的情况下能够提取完整的汉字，故对标准汉字模板区域进行适当的膨胀。图7是某一次试验其中一片液晶屏的检测结果，其中白色部分是缺陷位置所在。

3 实验

考虑到检测液晶屏工装板尺寸较大（一块工装板有8片液晶屏），以及液晶屏本身视角影响，本装置采用双相机，相机为大恒图像水星系列工业相机，型号为MER-500-7UM/UC-L，该相机为USB 2.0接口数字摄像机，能稳定工作在各种恶劣环境下，可靠性高。

上位机软件运用vs2005开发平台，采用vc++语言编程，软件界面实时显示图像采集窗口和检测结果，当字符显示存在缺陷时，相应汉字会变红，相应数字部分会出现“ERROR”。

为了检验装置检测的准确性，厂家提供了200块具有各种代表性字符缺陷的工装板，其中有180块是存在缺陷的工装板，20块是合格的工装板，存在缺陷的工装板全部检出，并准确地显示出缺陷所在位置。同时通过对检测一块工装板11种显示状态的时间进行计算，平均每块工装板的检测时间为35s，与人工检测方式相比明显缩短了检测时间。图8（b）是某一时刻相机采集到的图像，其中白色部分是缺陷位置所在，图8（a）是对应的检测结果。

4 结束语

针对液晶屏字符显示缺陷检测的问题，通过图像匹配技术确定相应字符的显示位置，根据数字和汉字的特点分别设计相应的检测算法，最后以面积为特征值来判定是否存在缺陷。在此基础上搭建了机器视觉检测平台，检测效率较人工方式明显提高，同时具有较高的准确率，能够满足工业自动化在线检测要求。

参考文献：

[1] 钱慰宗. 显示器件综述[J]. 计算机应用， 2006，26（8）：1964-1971.

[2] ChangDo Jung， Seun Kim， HeeYul Lee. Fourier Spectrum based Periodic Cell Patter Elimination in Thin Film Transistor Liquid Crystal Display Cell Image[C]. IEEE International Conference on Consumer Electronics， 201l： 871-872.

[3] 毕昕， 丁汉. TFT—LCD Mura缺陷机器视觉检测方法[J].机械工程学报， 2010， 46（12）：13-19.

[4] 刘毅， 郑学仁. 液晶屏显示缺陷自动检测系统的设计[J].微计算机信息， 2008， 24（7）： 249-251.

[5] 冈萨雷斯.数字图像处理[M].北京： 电子工业出版社， 2007.

[6] 韩思奇， 王蕾.图像分割的阈值法综述[J].系统工程与电子技术， 2002，24（6）： 91-94，102.

[7] Rueckert D， Aljabar P. Nonrigid registration of medical images： theory.methods.and applications[J]. IEEE Signal Processing Magazine， 2010， 27（4）： 113—119.

[8] Thomton J，Savvidos M.A Bayesian approach to deformed pattern matching of iris image[J].IEEE Pattern Analysis Machine Intelligence，2007，29（4）：596-606.

[9] Kolmogorov V.Graph based algorithms for scene reconstruction from two or more views[D].The Graduate School of Cornell University，2004.

[10] Jain A K， Yi Chert. Pores and ridges： high-resolution fingerprint match using level3 features[J]. IEEE Pattern Analysis Machine Intelligence， 2007， 29（4）： 596-606.