基于BP神经网络和均值差分的TFT-LCD MURA缺陷检测方法

曾 毅, 郭龙源, 罗百通



基于BP神经网络和均值差分的TFT-LCD MURA缺陷检测方法

曾 毅, 郭龙源, 罗百通

(湖南理工学院信息与通信工程学院, 湖南岳阳 414006)

TFT-LCD MURA缺陷具有背景整体亮度不均、灰度变化不明显等特点, 用基于机器视觉的方法从TFT-LCD图像中分割出缺陷是非常困难的. 本文提出一种新的MURA缺陷检测方法, 首先在分析TFT-LCD图像中背景与MURA缺陷灰度值差异的基础上, 采用均值滤波和背景差分法来抑制背景杂波, 然后采用灰度约束获取疑似MURA缺陷区域, 最后提取疑似区域灰度特征并将其放入训练后的BP神经网络提取缺陷目标. 结果显示, 本文方法正确检测概率为98.1%, 误检率为1.4%, 平均检测时间为0.33秒. 仿真实验结果表明, 本文提出的方法对MURA缺陷的检测非常有效, 且算法简单, 实时性高, 易于实现.

机器视觉; BP神经网络; TFT-LCD; MURA; 缺陷检测

引言

薄膜晶体管液晶显示器[1](TFT-LCD)具有高分辨率、高亮度、功耗低、重量轻等优点, 因此被广泛应用于显示器行业. 但由于其制造工艺复杂, 在制造过程中难免会出现各种显示缺陷[2](点缺陷、线缺陷、MURA缺陷等). 显示缺陷是外观缺陷, 它与正常的产品存在差异, 所以传统的检测方法是通过人工目视的方式实现的. 但此法易受人主观因素影响, 且对细小缺陷及MURA缺陷检测效果较差, 有很大局限性, 已经不能够满足现代企业对液晶屏质量控制以及评估的要求. 基于机器视觉[3]的检测方法具有无接触、无损伤、可连续长时间检测等优点, 被逐渐应用于液晶屏点灯检测中. 基于机器视觉的检测方法减少了工人的工作量, 提高了工作效率, 也使缺陷检测更加客观化, 提高了检测的正确率. 因此, 用机器视觉进行显示缺陷检测, 提取缺陷区域特征, 检测和识别显示缺陷, 具有十分重要的意义和研究价值.

TFT-LCD显示缺陷中, 点缺陷、线缺陷特征明显, 易于检测, 而MURA(日语, 表示脏污的意思)缺陷具有边缘模糊、对比度低、图像中存在重复纹理背景和整体的亮度不均匀等特点, 因此是TFT-LCD显示缺陷中最难检测的缺陷之一. 在TFT-LCD MURA缺陷分割方面, 国内外学者已经提出了多种处理方法[4~10].如JIANG[4]等用统计学中的方差分析和指数加权移动平均对LCD屏中的显示不均匀缺陷进行研究; 卢晓鹏[5]等提出基于Chan-Vese模型的MURA缺陷快速分割方法, 通过改进C-V模型克服TFT-LCD背景复杂图像的分割困难; 李坤[6]等提出MURA缺陷的B样条曲面拟合背景抑制算法, 在最小二乘法准则的约束下, 采用双三次B样条曲面拟合算法拟合出背景, 再用原始图像减去拟合背景, 消除亮度不均匀背景对MURA缺陷分割造成的影响; 王松芳[7]提出基于局部和全局特征, 并利用SVM(Support Vector Machine)进行分类的触摸屏表面缺陷检测方法. 尽管研究的MURA分割方法很多, 但由于实际TFT-LCD显示图像的复杂性, 现有MURA缺陷检测算法对不同生产工艺生产的TFT-LCD检测方法的有效性还有待考量. 并且随着TFT-LCD生产工艺不断进步, 检测要求随之提高, 检测精度要求也在不断增加. 目前市面上普遍采用29M相机成像, 并朝着47M相机发展, 图片存储的增大, 对算法的实时性要求也大大提高.

鉴于此, 本文提出基于BP神经网络[11, 12]和均值差分的MURA缺陷检测方法, 通过将原始图像与经过均值滤波后的图像进行差分对消处理, 从而有效地抑制背景杂波, 然后利用灰度约束提取若干疑似缺陷域, 并在此基础上将BP神经网络应用于MURA缺陷的判断, 将区域灰度特征: Homogeneity、Deviation、Entropy, 作为BP神经网络的输入单元, 通过BP神经网络判断输出, 进而找出缺陷区域. 此算法原理简单, 计算量小, 能应用于高分辨率成像下的MURA缺陷检测.

1 算法简介

一幅TFT-LCD MURA缺陷图像可简单描述为

在TFT-LCD MURA 缺陷图像中, 背景在局部区域灰度变化平缓, 缺陷和噪声则存在较大灰度值变化, 因此在局部区域内缺陷和噪声对背景存在一定的灰度差, 这也是肉眼能够分辨缺陷的主要原因. 噪声的主要来源是由成像系统所产生, 由于仪器的性能限制, 真实场景中光照变化、反射等都会产生噪声. 同时TFT-LCD MURA缺陷所含信息量少、边缘模糊、图像对比度低、形状多变、整体亮度不均, 这使得实现TFT-LCD MURA缺陷检测存在诸多困难[13].

本文利用背景和缺陷存在灰度差这一特点, 首先对原始图像进行均值滤波, 从而滤除部分背景杂波,实现图像的平滑, 然后利用背景中的像素点灰度值与其周围像素点的灰度值相关性很强, 而缺陷区域上的灰度值与其周围像素点的灰度值相关性很弱这一特性, 将滤波后的图像与原始图像做差分对消处理(背景差分), 背景差分图像通过灰度约束获得若干准缺陷区域, 提取区域内灰度特征、标准差、熵、相关性, 最后用灰度特征作为BP神经网络的输入, 判断区域是否为MURA缺陷区域.

1.1 二维均值滤波

使用均值滤波的目的是是利用均值滤波器对异常值不敏感的特性, 实现TFT-LCD图像表面的平滑. 二维均值滤波是以窗口中×个像素点的灰度均值来置换中心点像素的灰度值. 设为一幅图像中第行第列的像素值, 滤波窗口的大小为(一般为奇数), 以为中心点的滤波窗口内所有像素点为, 窗口内像素点总数为, 则在点处以为滤波窗口尺寸的输出均值为

. (2)

二维均值滤波模板分十字形、菱形、方形和圆形等多种, 不同滤波模板适用于不同滤波对象. 考虑到本文滤波对象为MURA缺陷, 而MURA缺陷具有区域面积大、灰度变化不明显等特点, 经多次实验综合考虑, 最终使用圆形模板作为二维均值滤波模板.

则从左边数圆形点阵为

邻域内像素值之和为344, 均值为16. 利用均值滤波原理, 圆形模板内中心像素点的灰度值15会被16代替, 而3×3和5×5方形模板的输出结果分别为15和17.

1.2 背景差分法

本文背景差分的基本思想是: 利用原图像与经均值滤波处理后图像中所有对应像素点的差来检测MURA缺陷.

TFT-LCD图像中的背景主要是大面积缓慢变化的低频部分, 背景中的像素点灰度值与周围像素点的灰度值相关性很强, 而MURA缺陷上的灰度值因和背景存在灰度差异, 所以与其周围像素点的灰度相关性较弱. 鉴于此, 可将原始图像与均值平滑滤波后的图像作差分处理, 从而使得背景点相减后的预测残差很小, 而MURA缺陷相减后的预测残差较大, 依此可通过灰度约束获得疑似MURA缺陷区域. 背景差分中的任意灰度差分值, 当存在时, 此灰度值所在区域为疑似MURA缺陷区域, 反之, 此灰度值所在区域为非疑似MURA缺陷区域, 其中为灰度约束值.

1.3 BP神经网络

使用BP神经网络的目的是从疑似的MURA缺陷区域中, 找出正确的MURA缺陷区域. 因MURA缺陷处灰度值和正常区域灰度值存在微弱差异, 所以缺陷区域内灰度特征和正常区域内灰度特征存在不同. 因此人工选取若干MURA缺陷区域和非MURA缺陷区域, 求其区域内的灰度值的不同灰度特征, 选取其中具有代表性的几个灰度特征为BP神经网络的输入层, 放入经过训练后的BP神经网络中, 以是否为MURA缺陷作为BP神经网络的输出层, 依此判断疑似区域是否为缺陷区域.

BP神经网络是误差反向传播多层前馈神经网络的简称. BP神经网络模型包括输入层、中间层和输出层, 其结构如图1所示. BP神经网络的学习规则是最速下降法, 通过误差的反向传播调整内部连接的权值和阈值, 以达到减小误差的目的[14]. 本文BP神经网络学习的主要过程为:

1) 确定输入向量即MURA缺陷区域灰度特征和非MURA区域灰度特征;

2) 确定输出向量为是否为MURA缺陷区域, 如果是则向量为[1,0], 如果不是则向量为[0,1];

3) 计算BP神经网络的层数及隐含层向量个数及初始权值、学习速率、期望误差的选取;

4) 求出BP神经网络的实际输出和样本之间的误差;

5) 根据误差, 必要时重复步骤1)~3)直到训练收敛.

2 仿真实验

实验所用的图像是由德国SVS公司生产的2900W黑白面阵CCD相机拍摄的, 图像像素为6576×4384. TFT-LCD尺寸为5.0inch, 分辨率为1920×1080像素. 计算机配置为Inter(R) Core(TM) 内存4.0G, 算法用OPENCV语言编程实现. 因MURA缺陷为大型缺陷, 所以在使用本文算法之前对拍摄图像作了平滑处理.

取300幅TFT -LCD图像做仿真实验, 其中100幅含有各类MURA缺陷的样本用于BP神经网络训练, 另190幅含缺陷样本和10幅不含MURA缺陷的样本用于缺陷检测. 滤波尺寸大小的选择也是需要考虑的问题. 若选择较大的滤波尺寸如100、120等, 虽能更好地减弱缺陷和噪声, 但难免会丢失图像中固有的灰度背景信息; 若选择较小的尺寸又不能较好地减弱缺陷区域. 对于MURA缺陷图像来说, MURA缺陷尺寸一般处于40~70之间, 因此均值滤波模板尺寸统一取为80.

2.1 背景差分法突出目标区域

为了说明均值滤波背景差分法的有效性, 分别对均值滤波背景差分法、中值滤波背景差分法、高斯滤波背景差分法三种算法进行对比分析. 三种算法的实验结果如图2所示.

从图2三种算法的处理结果中可以看出:

(1) 高斯滤波背景差分法无法有效抑制背景杂波, 难以突出目标缺陷, 而且处理结果产生了纹理背景; 中值滤波差分法虽然可以抑制背景杂波, 突出目标缺陷, 但也产生了纹理背景.

(2) 高斯滤波使用固定模板计算, 随着高斯函数窗口增大, 计算量呈指数增长; 中值滤波需先对窗口内数字排序, 随着窗口增大, 窗口内数字个数也呈几何数增长, 计算量较大.

(3) 均值滤波背景差分法有效克服了以上两种算法的缺陷, 能有效抑制背景杂波, 突出缺陷目标效果较好. 从处理时间方面来看, 均值滤波只需计算窗口内均值, 随着窗口增大计算量几乎不变.

2.2 MURA区域筛选

对背景差分图像作灰度约束处理提取出疑似缺陷区域, 为保证能找出MURA缺陷区域的同时尽量分割出少的非缺陷区域, 灰度约束值取值为5. 本文计算了100幅实验图像中所有区域的不同灰度特征, 表1为某幅实验图像中疑似MURA缺陷区域对应的灰度特征值, 其中区域3和7为缺陷区域, 其他区域为非缺陷区域. 统计100幅实验图像的灰度特征, 用主分量分析法找出适用于判断MURA缺陷区域的三个灰度特征: Homogeneity, Deviation, Entropy, 将缺陷区域灰度特征和非缺陷区域灰度特征分别作为BP神经网络的训练样本进行网络训练, 训练收敛后对疑似MURA缺陷区域进行判断.

表1疑似区域灰度特征值

TFT-LCD MURA缺陷分割的效果一般无法进行定量评价, 广泛采用的评价原则就是检测速度和看能否分割出MURA缺陷区域且无误分割. 因此本文选用的评价指标为单幅图像平均检测时间T、正确检测缺陷概率和误检概率. 正确检测概率R和误检概率R分别定义为

(3)

2.3 结果分析

MURA缺陷检测结果见表2.

从表2可以看出, 本文方法对三种常见MURA缺陷正确检测率都较高, 且误检率低, 平均检测时间少.这是因为本文方法利用均值差分加灰度约束得到疑似MURA区域, 缩小了检测范围, 解决了直接从整幅图像中寻找MURA缺陷所带来的时间损耗问题. 提取出的疑似缺陷区域内灰度特征很容易被经训练收敛的BP神经网络筛选, 缺陷的正确检测率就会很高.

图3、4、5为三幅典型的TFT-LCD MURA缺陷图像, 分别为团MURA、线MURA、影MURA. 从原始图像的可以看到: 三幅图像中MURA缺陷用肉眼几乎无法识别, 经本文选择的均值滤波、BP神经网络方法处理后可明显发现缺陷区域. 图3、4、5的(c)和(d)分别为灰度约束检测疑似MURA区域和BP神经网络判断最终MURA缺陷区域. 从图3、4、5(d)中对应的检测结果可以看到, 本文的算法能够很好地检测出MURA缺陷区域.

3 结论

针对MURA缺陷背景亮度不均、灰度变化不明显等特点, 提出了先均值背景差分抑制背景杂波, 再灰度约束分割疑似缺陷区域, 最后提取区域灰度特征并使用BP神经网络提取缺陷区域的MURA缺陷检测算法. 对200幅疑似MURA缺陷图像进行检测, 正确检测率为98.1%, 误检率为1.4%, 平均检测时间为0.33秒. 实验结果表明, 本文方法能有效、快速检测MURA缺陷区域. 但是算法也存在一些需要解决的问题, 如均值滤波模板大小及灰度约束值等采用的是经验值, 如何自动选取这些参数有待进一步研究. 同时, 为更好地提高检测效果, 与其他MURA缺陷分割算法相结合, 对其他算法分割结果增加本文提出的BP神经网络判断步骤也是将来研究的一个方向.

[1] 罗丽平, 贠向南, 金基用. TFT-LCD生产及发展概况[J]. 现代显示, 2012(03): 31~38

[2] 简川霞. TFT-LCD表面缺陷检测方法综述[J]. 电视技术, 2015, 39(9): 146~152

[3] 王新新, 徐江伟, 邹伟金, 等. TFT-LCD缺陷检测系统的研究[J]. 电子测量与仪器学报, 2014, 28(3): 278~284

[4] JIANG B, WANG C,[J]. I2005, 43(1): 67~80

[5] 卢晓鹏, 李 辉, 刘云杰, 等. 基于Chan-Vese 模型的TFT-LCD Mura 缺陷快速分割算法[J]. 液晶与显示, 2014, 29 (1):146~151

[6] 李 坤, 李 辉, 刘云杰, 等. LCD Mura 缺陷的B样条曲面拟合背景抑制[J]. 光电工程, 2014, 41(2): 33~39

[7] 王松芳. 基于特征分类的低分辨率触摸屏表面缺陷检测[D]. 北京: 北京交通大学硕士学位论文, 2016

[8] CHEN D L, CHEN Y Q, XUE D Y.[J]., 2012: 1043~1047

[9] YI G C, RUI Z.[J]., 2015, 149: 1206~1215

[10] 毕 昕, 丁 汉. TFT-LCD Mura缺陷机器视觉检测方法[J]. 机械工业出版社, 2010, 46(12): 13~19

[11] 王洪元, 史国栋. 人工神经网络技术及其应用[M]. 北京: 中国石化出版社, 2002

[12] 黄 丽. BP神经网络算法改进及应用研究[D]. 重庆: 重庆师范大学硕士学位论文, 2008

[13] 李 茂. 基于机器视觉的TFT-LCD屏Mura缺陷检测方法研究[D]. 成都: 电子科技大学硕士学位论文, 2013.

[14] 巫 影, 陈定方, 唐小兵, 等. 神经网络综述[J]. 科技进步与对策. 2002, 19(6): 133~134

TFT-LCD MURA Defect Detection Method Based on BP Neural Network and the Mean Difference

ZENG Yi, GUO Longyuan, LUO Baitong

(College of Information and Communication Engineering, Hunan Institute of Science and Technology, Yueyang 414006, China)

TFT-LCD MURA defects have the background overall brightness unevenness and gradation change significantly. It is very difficult that segmentation defects from TFT-LCD based on machine vision method. This paper proposes a new method for detection of MURA defects. Firstly, using mean filtering and background different to suppress background clutter, this paper analyzes gray value differences on the basis of the TFT-LCD image background and MURA defect. Then we use the gray constraint to get a suspected MURA defect region. Finally, extract gradation characteristics from suspected region into the trained BP neural network to extract defect target. Experimental results indicate that correct detection probability is 98.1%, false positive rate is 1.4%, the average detection time is 0.23 seconds. Simulation results show that the proposed method for the detection of defects MURA is very effective, and the algorithm is simple, real-time high, and easy to implement.

computer vision, BP neural network, TFT-LCD, MURA, defect detection

TP394.1; TH691.9

A

1672-5298(2017)01-0032-07

2016-10-03

湖南省高校创新平台开放基金(14K042)

曾 毅(1989− ), 男, 湖南岳阳人, 湖南理工学院信息与通信工程学院硕士研究生. 主要研究方向: 图像技术与识别技术