液晶显示屏背光源模组表面缺陷自动光学检测系统设计*

史艳琼,卢荣胜,张腾达

(1.淮南联合大学机电系,安徽 淮南 232001;2.合肥工业大学仪器科学与光电工程学院,合肥 230009)



液晶显示屏背光源模组表面缺陷自动光学检测系统设计*

史艳琼1,卢荣胜2*,张腾达2

(1.淮南联合大学机电系,安徽 淮南 232001;2.合肥工业大学仪器科学与光电工程学院,合肥 230009)

详细介绍了自动光学检测技术在液晶显示屏背光源模组表面缺陷在线检测中的应用,分析并比较了背光源模组缺陷自动光学在线检测中的成像技术、检测系统的组成、结构原理与设计方法,阐述了检测结果为不良品的返修方法。给出了背光源模组表面缺陷常见缺陷的种类和缺陷分类判断准则,把种类繁多的背光源模组表面缺陷分为画面缺陷、外观缺陷与异常缺陷;根据背光源模组缺陷形成的原因、种类,设计了背光源模组缺陷点灯检测和非点灯检测两种自动光学检测方案,所设计的自动光学检测方案对背光源模组组装产业开发缺陷检测系统具有有益的参考价值。

自动光学检测;背光源模组;表面缺陷

TFT-LCD液晶显示屏已广泛应用于电脑、手机等电子产品的文本与图像显示,其中的背光源模组是液晶显示屏中的关键元件之一,功能在于供应充足的亮度与分布均匀的光源,使液晶面板能正常显示影像。背光源类型按光源类型划分主要有EL、CCFL及LED 3种,依光源分布位置不同可分为侧光式和直下式(底背光式)。其基本结构如图1所示,由灯管、灯管反射片、导光板、底反射板、扩散片、交叉棱镜膜、上保护膜等薄片型光学零件组成。背光源模组在生产过程中由于原材料和生产过程的技术原因,会产生多种缺陷,如各光学膜片上的外来杂质和表面划伤等,这些缺陷的产生将对液晶显示屏的使用性能带来严重的影响。为了降低生产成本,提高零件制造与部件组装过程中的成品率,生产过程中需要对背光源模组各光学膜片的微观和宏观缺陷,进行100%实时在线自动检测。

基于自动光学检测技术的表面缺陷检测方法,由于不需要或较少需要人工干预,是一种自动化、高性能的检测方法,是实现100%实时在线自动检测的一种有效手段,也是当前发展最快的表面缺陷检测方法之一[1-2],已经在液晶显示屏[3]、钢板轧制[4]、纺织品[5]等生产过程中得到逐步应用。但目前国内背光源模组的在线检测,不少厂家还是采用人工目视检测,不仅难以降低生产成本,也难以保证液晶显示屏的制造质量。随着表面缺陷检测技术的研究发展,采用自动光学检测技术检测背光源模组的表面缺陷,是当前背光源模组器件制造与部件组装产业的发展趋势,本论文结合工程应用需要分析比较了背光源模组表面缺陷自动光学检测方案。

图1 TFT-LCD液晶显示屏背光源模组结构示意图

1 背光源模组表面缺陷的分类与检测技术要求

物体表面上的缺陷种类繁多[6],背光源模组表面缺陷按照在产品上的位置可分为画面缺陷、外观缺陷与异常缺陷;按照形状可分为:①点状缺陷:黑点、点状异物、白点、亮点(含发亮异物和残/液胶),②划痕:刮伤、线状刮伤、擦伤,③线状异物,④污迹:油迹、脏污、指纹,⑤点灯不亮、灯管闪烁、暗带/暗影/亮斑,⑥装配不良:灯管离型纸脱落,漏光,Film材漏(多)装、组装不良,FPC折痕、划伤、锡点氧化、气泡、锡点多锡少锡等。在背光源模组装配过程中,人工检测目前仍然是有些组装厂的主要检测方法,根据背光源模组缺陷形成的原因、种类,检测方式通常有两种:点灯检测和非点灯检测。表1和表2列出了某手机液晶显示屏背光源模组表面缺陷人工目视检测方法、缺陷大小和形状的判断准则。

表1 背光源模组表面缺陷人工目测检测方法

表2 背光源缺陷判断标准

2 表面缺陷自动光学检测技术

自动光学检测技术将光学传感技术、运动控制技术与信号处理技术集成运用,执行工业生产过程中的测量、检测、识别和引导等任务。目前在工业生产中得到广泛应用的是基于机器视觉成像原理的自动光学检测技术,它是采用高分辨率与高灵敏度的成像技术(通常使用摄像机)获取被测目标的图像,再经过快速图像处理与图形识别算法,从图像中获取目标的尺寸、位置、方向和缺陷等信息,从而实现目标产品检验、装配线上的目标的识别与鉴定、目标定位与装配机构的引导等任务。自动光学检测技术的基本原理如图2所示。

图2 自动光学检测技术基本原理

图3 表面缺陷检测中的照明与成像技术

在表面缺陷自动光学检测中,关键技术之一是照明与成像技术。根据照明光源与相机之间的角度关系,可以得到明场照明、暗场照明与背光成像方式。如图3所示,在暗场照明成像方式中,若光均匀照射在被测物体表面上,光在物体表面上向四周空间均匀散射,进入到相机的光线较少,照度均匀,照相机接收到的图像是一个均匀的暗灰色背景。在图3中,如果物体表面上有一个缺陷,光在缺陷处的散射规律会发生变化,导致大量的光线进入相机视场,相机采集到的图像中会有一个亮斑,这个量斑的大小和形状反应了表面缺陷状态。对于明场照明,其情形与暗场照明相反,若待测物体上没有缺陷,相机获得均匀的明亮背景,如果表面上某处出现缺陷,明亮的背景中会产生暗点。暗场照明适用于光滑的表面(如平板玻璃表面)缺陷检测,而明场照明主要适用于非光滑的表面;背光照明是在被测表面的背面进行照明,适用于透明物体的内部缺陷(如气泡、杂质异物等)的检测[7-8]。

在表面缺陷自动光学检测中,相机能够检测到的缺陷信息与缺陷检测的分辨率,除了成像镜头与相机本身的景深[9]和光学分辨率外,一个重要的因素是取决于缺陷的本身与光作用的散射特性和相机相对于光线方向的角度,特定角度的相机只能感受到特定的缺陷。为了同时检测到多种表面缺陷,需要采用角度分辨成像技术,也就是在不同的角度布置几台相机,对被测表面同时成像,不同相机拍摄到的图像含有不同的表面缺陷。一般情况下,沿着3个角度方向布置相机,就可以满足绝大多数应用场合的需求。

如第2节所述,对于液晶显示屏的背光源表面缺陷的检测,采取自动光学检测方案时分为点灯检测与非点灯检测。点灯检测可以检测出背光源模组中的内部表面缺陷,点灯检测不需要外加光源,利用背光源本身发出的均匀散射光,实现瑕疵检测。

在背光源缺陷检测中,对于点状缺陷、划痕、线状异物等缺陷比较容易检测,检测图像直观,容易判断。对于误装配,如表面Film材有可能安装不只一片,判断相对较难,其检测方式是:拍摄光散射时产生的周期性条纹图案,如果有倾斜的周期性条纹图案,表明表面Film材多装了一片。利用该种方案,也可以检测背光模组发光二极管漏光现象,但是该种方法的检测比缺陷检测复杂,因为需要对相机进行光照度标定。

对于背光源模组上面的油渍、脏污、指纹、FPC折痕、划伤、锡点氧化、气泡、锡点多锡和少锡等情况,需要进行非点灯检测。非点灯检测时,相机布置在背光模组的正上方,需要外加条形光源进行倾斜照明,采用暗场成像的方法进行检测。

为了能同时检测不同种类的缺陷,可以用2至3个相机分别布置在不同的角度进行多角度分辨扫描检测,如图4(a)所示。当检测到缺陷时,在下个工位用气浮吸盘机械手机构把有缺陷的背光源搬运到次品传输线上。如果产品表面缺陷较少,有可能用一个相机就可以实现,对于大尺寸的背光源模组,需要采用多相机扫描拼接的技术,如图4(b)所示。

图4 背光源表面瑕疵检测成像方案

3 数据处理和控制方案设计

图6 背光源模组在线自动光学检测系统

在现代化的背光源制造与组装线上,背光源的表面缺陷检测不仅需要100%全检,还需要做到在线实时,满足生产线的节拍对检测速度的要求。如前述可知,被光源的检测需要多个摄像机协同扫描成像才能完成任务,图像的数据量非常大,甚至达到每秒几个Gigabyte的数据量,这么大的图像数量对采集、传输、处理与系统控制技术提出了非常高的要求。目前通用PC机CPU的处理能力越来越强,鉴于通用工控CPU可靠性好,成本低,构建系统的研发周期短,可以把扫描图像分块交给多个工控多核CPU与图像处理卡去并行高速处理,满足装配线的节拍要求。

图5表示了高速图像采集、传输、处理与控制的架构方式,在这种处理架构中,相机采用CameraLink接口的高速扫描数码相机,每个相机输出的图像通过CameraLink接口卡分配给一台甚至4台工控CPU+图像处理卡去处理,计算机之间可以进行信息交换,各个处理结果由一台主控机合成,这样就可以大幅度地提高图像预处理速度,解决高速处理难题[10-11]。

图5 高速图像采集、传输、处理与控制的架构方案

4 全自动在线检测系统设计

背光源模组缺陷在线自动光学检测系统包括自动上料、编码、对准、检测、分选、返修识别等几个部分,检测方案布局与工作原理参见图6所示。

4.1 自动上料机构

自动上料机构包括装配线上传输来的背光源模组探测、电动与气动机构抓取、位置校正、送料等部分组成。工作原理如下:

①在装配线传输带工位(1)的上方放入一个监视相机,当前道工序组装系统装配好背光源模组,把背光源模组放入到传输带上传输到工位(1)后,监视相机拾取到有待测模组时,计算模组在工位(1)处的位置与模组姿态信息,并发出工作同步指令给后续上料与检测系统。

②监视相机发出工作同步指令后,气动与电动缸组成的送料系统把工位(1)处的背光源模组从传输带上吸起来,然后在气动滑台的带动下,把工位(1)处的背光源模组搬运到工位(2)处。在放到工位(2)上之前,计算机根据工位(1)上方的相机拍摄到的模组位置与姿态,发出指令给真空抓取吸盘角度校正电缸,初步校正背光源模组在空间的角度。当背光源模组运送到工位(2)处后,模组在工位(2)处由4个气动滑缸从四边向中间对中运动,校正模组的位置,然后背光源模组下方的相机,对模组成像,识别待检背光源模组喷码序列号,作为有缺陷模组在返修过程中,从缺陷数据库中自动调出缺陷信息,指导返修任务。

③在工位(1)处吸盘抓取背光源模组的同时,右边的吸盘在工位(2)处把已经校正好的模组吸起来,然后在气动滑台的带动下,把校正后的模组输送检测转盘工位(3)处。至此,一个上料循环完成。

4.2 检测机构设计

检测机构由间隙转动工位转盘、上料位置对准探测、异常检测、画面检测和外观检测工位组成。工作原理如下:

①背光源模组被自动送料机构传输到工位(3)后,转盘在控制系统的控制下,转到工位(4)。在工位(4)的上方安装一个相机,检测背光源模组定位是否正常,模组LED灯工作是否正常,并把信息传给主控计算机。如果一切正常,则后续检测工位按预定的方案进行检测;如果不正常,后续检测对该模组不检测,然后传送到工位(9),由分选机构抓取,传送到不良品传输带上。

②当模组转到工位(5)～(8)处后,缺陷扫描成像系统对画面缺陷进行扫描检测,缺陷扫描成像系统由高速扫描相机、一维滑动台、光栅、伺服系统、调整机构组成。由于外观检测项目较多,一个工位难以不够,故把工位(7)和(8)两个工位作为外观检测机构。

4.3 分选机构设计

分选机构由良品与不良品气动抓取机构、间隙运动传输带组成。结构布局参看图6所示,其工作原理如下:

①如图6所示,画面(外观、异常等)缺陷检测完毕后,模组继续向下到工位转动,当模组运动到工位(9)后:分选机构左边的气动吸盘抓取工位(9)上的模组,传输到工位(11)处。

②如果该模组是不良品,在分选机构向工位(9)移动的过程中,不良品传输带向前移动一个工位,把工位(11)清空,等待放置下个模组。

③如果是良品,在下一个时刻分选机构抓取工位(9)上的模组时,右边的吸盘同时抓取工位(11)上的模组,在分选机构左吸盘把模组放到工位(11)处时,右吸盘把良品模组放置到良品传输带上工位(12)处,然后良品传输带向前移动一个工位,清空工位(12)等待放置下个模组。

传输带之所以作间隙运动,一方面可以节省空间,即传输带的长度,另一方面考虑到不良品只是少数,这样可以让不良品按顺序一个一个紧凑地排列在传输带上,不需要有人监视,返修人员只要传输带上放满了不良品后取走返修。

图7 人工复检与不良品人工返修机构

4.4 不良人工目视复检与不良品返修

对于检测到的不良品,再采用人工目视复检,并对不良品进行返修,系统机构的布局如图7所示。在返修工作台上放置一个电脑,并安装一台成像系统,拾取不良品背面的编码。返修显示电脑通过工业以太网与缺陷数据库服务器相连,相机在电脑的控制下,获得带返修的不良品编码后,根据编码从服务器中调用缺陷信息,显示在屏幕上,导引返修人员对不良品进行合理的返修。

5 关键器件的选型与性能参数计算

下面以表1和2所示的某手机液晶显示屏背光源模组为例,举例介绍检测系统主要器件选型。

①相机参数确定与选择:根据表2可知,测量系统需要能够识别黑点、白点和点状异物的大小为0.1 mm。我们可以选择分辨率为0.01 mm的相机与镜头组合成像,则0.1 mm的点状物可以用10 pixel×10 pixel来表示,这样可以确保0.1 mm点状物能够准确的检测出来。因此,对于宽为55 mm的背光源模组,相机的点阵数为:55/0.01=5 500像素。考虑到暗场成像需要高灵敏度的相机,我们可以选择Dalsa ES-80-08K80相机[12]。

②镜头的选择:Dalsa ES-80-08K80相机的像元大小为7 μm,因此可以选择放大倍数为1左右的光学镜头,接口M72x0.5,生产此类镜头的厂商有:日本Nikon、myutron、德国Schneider的镜头。

③图像采集卡与处理卡:相机的图像扫描采集卡可以选择Matrox公司的RadientPro CL和GiDEL公司的PROCStar实时图像处理卡,也可以选择Dalsa的Xcelera-CL PX4 Full采集卡和GPU组合[11]。

④测量系统检测速度:相机扫描速度为在8 k～68 k之间,则检测扫描速度为:v=(8 k～68 k)*0.01 mm=(80 mm/s～680 mm/s),对于3.5 inch的背光源扫描成像时间大约为:t=75/(80-680)=1 s～0.1 s,图像处理时间小于1 s,分选与扫描可以同时进行,不占用检测时间;所以检测速度为:<1～2 s/每件。

6 小结

自动光学检测技术是基于光学成像与高速图像处理技术的一种新兴的检测技术,它从获取的图像中可以提取出被测目标的尺寸、位置、方向和缺陷等信息,能够执行产品检验、装配线上的目标的识别与鉴定、目标定位与装配机构的引导等任务,是当前精密零件制造与部件组装产业中保证产品质量的一种重要在线检测手段。本文详细介绍了自动光学检测技术在液晶显示屏背光源模组表面缺陷在线检测中的应用技术,对背光模组中的缺陷进行了归纳整理,给出了常见的缺陷的种类和缺陷分类判断准则。系统地阐述了背光源模组缺陷自动光学在线检测中的成像技术、检测系统的组成、结构原理与设计方法,并给出了检测结果为不良品的返修方法,对液晶显示屏背光源模组组装产业开发背光源模组缺陷检测系统具有有益的参考价值。

[1] Lu R S,Shi Y Q,Li Q,et al. AOI Techniques for Surface Defect Inspection[J]. Applied Mechanics and Materials,2010,36:297-302.

[2]http://en.wikipedia.org/wiki/Automated_optical_inspection.

[3]Du-Ming Tsai,Hsin-Yang Tsai. Low-Contrast Surface Inspection of Mura Defects in Liquid Crystal Displays Using Optical Flow-Based Motion Analysis[J]. Machine Vision and Applications,2011,22:629-649.

[4]张洪涛,段发阶,丁克勤,等. 钢板表面缺陷在线视觉检测系统研究[J]. 传感器技术学报,2007,20(8):1989-1902.

[5]Henry Y T,Ngan a,Grantham K H Pang,et al. Automated Fabric Defect Detection—A Review[J]. Image and Vision Computing,2011,29:442-458.

[6]Whitehouse D J. Handbook of Surface and Nanometrology[M]. 2nd Ed. CRC Press Inc,2010.

[7]Jahr I. Lighting in Machine Vision,Handbook of Machine Vision[M]. 2007:73-203.

[8]Liu Yan,Yu Feihong. Automatic Inspection System of Surface Defects on Optical IR-CUT Filter Based on Machine Vision[J]. Optics and Lasers in Engineering,2014,55:243-257.

[9]韩芳芳,段发阶,王凯,等. 机器视觉检测系统中相机景深问题的研究与建模[J]. 传感器技术学报,2010,23(12):1744-1747.

[10]李琪. 平板类材料表面缺陷自动光学检测技术系统架构[D]. 合肥工业大学,2012.

[11]王成顺. 表面缺陷检测GPU并行图像处理技术[D]. 合肥工业大学,2012.

[12]https://www.teledynedalsa.com/imaging/products/cameras/hs-line-scan/piranha-es/ES-80-08K80/.

Defect Inspection System Design Based on the Automated Optical Inspection Technique for LCD Backlight Modules*

SHIYanqiong1,LURongsheng2*,ZHANGTengda2

(1.Electromechanical department,Huainan Union University,Huainan Anhui 232001,China;2.School of Instrument Science and Opto-Electronics Engineering,Hefei University of Technology,Hefei 230009,China)

An automated optical inspection method and application for the surface defect inspection of LCD backlight module is presented. The imaging techniques,inspection system composition,mechanical and electric control system principle,and design methods are systematically illustrated. The review inspection method of non-conforming parts and repair strategy are also given. The typical types of the LCD backlight module defects and the defect classification criterions are listed. The wide variety of backlight module surface defects are categorized into three types:the picture defects,the appearance of defects and abnormalities defects. Two AOI detection methods,lighting method and non-lighting method,are introduced according to the causes and types of the defects. The AOI technique given is expected to have a beneficial reference value for the industrial development of the defect detection system for LCD backlight modules.

automated optical inspection;LCD backlight module;surface defects

史艳琼(1977-),女,淮南联合大学机电系,博士,副教授,合肥工业大学博士毕业生,研究方向为机器视觉与精密测量技术,shiyanqiong1105@aliyun.com;

卢荣胜(1963-),男,合肥工业大学仪器科学与光电工程学院,教授,博士生导师,研究方向为机器视觉及其应用、自动光学检测技术、变形应变光学全场测量技术、光学微纳测量技术、数字图像处理及应用等,rslu@hfut.edu.cn;

张腾达(1974-),男,合肥工业大学仪器科学与光电工程学院,讲师,在读博士研究生,研究方向为自动光学检测技术,tdzhang@126.com。

项目来源:安徽省高校自然科学研究项目(KJ2013B255);国家重大科学仪器设备开发专项(2013YQ220749)

2014-12-02 修改日期:2015-02-12

C:7120;7210A;7260F

10.3969/j.issn.1004-1699.2015.05.026

TH702

A

1004-1699(2015)05-0768-06