曾建风,肖琨
(绵阳京东方光电科技有限公司,四川 绵阳 621000)
近年来,随着通讯技术的不断发展,5G 时代已经悄然进入人们的生活,并掀起了各行各业技术创新与变革的浪潮。不管是即将到来的5G 时代还是未来的6G 时代,显示技术都是信息化时代关键技术的核心,也是最前沿技术。
AMOLED 作为最新的一项显示技术,是由柔性显示材料制作而成的一种可变形的显示器件,具备可弯曲、低能耗、更优的显示质量、更长的使用寿命等优势,使其应用范围更加的广泛。但是,由于AMOLED 工艺复杂,在生产过程中受空气洁净度、化学气体、液体及设备工艺参数的影响,会在面板上形成大小不均的不良点。通常情况下,这些不良点不会导致最终产品不良,但具有聚集性的点簇除外。故需要对AOI 检测出的不良点所生成的MAP 图进行在线聚集性分析,找出造成良率损失的点位聚集区,供不良分析。
目前,MAP 图的不良点位聚集性分析均由人工目检完成,但由于人员主观性因素,检测质量和一致性无法保证。基于上述问题,本文提出了一种基于机器学习与图像处理技术,对MAP 图进行在线智能分析方法,可迅速定位出MAP 图中不良点的聚集区域,并根据区域的特征参数对聚集区域进行分析,筛选出造成良率损失的目标点簇区域,从而实现MAP图全自动在线分析。同时,本文所述的方法通过一系列量化的判断指标,降低人员主观判断带来的误判和漏判风险,节约人工成本,提高检测效率。
MAP 图即映射图,是指将一张面板上的不良点按照坐标映射为一张数字图像,用于可视化及后续的不良分析。在AMOLED的制造过程中,同一张面板会经过多个AOI的检测站点,AOI 设备会将面板上所有不良点P及坐标(x,y)上报文件系统。合成MAP 就是将不良坐标点绘制在图像上的过程。
首先,创建玻璃面板与图像坐标系O-XY、O-XY的二维映射关系,其表达式为:
其后,对于玻璃面板的坐标系所有不良点p(x,y),经公式(2)变化后,可得到该点在图像坐标系的坐标p'(X,Y):
最后,将映射变换后的所有不良点绘制在一幅分辨率为的图片上。其中。、分别为基板的长度和宽度,单位为mm。
图1 不良MAP 聚集图Fig.1 Defect map picture
本文提出的自动定位MAP 图不良聚集区域算法,需要将满足聚集特征的区域提取出来,用于后续的图像分析使用,为此选择机器学习中常用的聚类算法完成。聚类是数据挖掘领域中常见的非监督学习算法,其目的是将数据划分为类内相似度最大、类间相似度最小的族类。该算法在图像分析、模式识别、空间数据分析、经济学研究、生物工程等领域已得到广泛应用。
层次聚类算法分为凝聚(自底向上)和分裂(自顶向下)方法。凝聚方法是将每个对象作为单独的一个聚类,然后规则相近地合并相近的类,直到所有的对象合并到一个聚类中,或满足一定的终止条件为止。
本文采用最为经典的AGNES 层次聚类算法,采用类簇间的欧式距离作为聚类分析的度量标准,最小化类间样本距离作为聚类分析连接标准,将所有点簇中,间距≤的点视作一类点簇。
其中, p (x,y)、p (x,y) 为任意两个类簇中相邻距离最近的两个点。
其聚类过程如下:
(1)将MAP 图中不良点视作类簇,并计算出每个类簇之间的距离;
(2)随机找出距离最小且满足≤的两个点簇进行合并,得到1个类簇;
(3)计算1个类簇中相邻两个类簇之间的距离;
(4)重复步骤(2)、(3);
(5)最终得到满足≤条件的类簇数量;
Alpha Shapes 算法是从一堆无序的点簇中寻找边界,并通过算法重构其二维的区域图像。Alpha Shapes 在数学上有明显的定义,其原理为将一个半径为的圆,在一个无序的点簇外滚动;足够大时,圆就不会掉入点簇的内部,圆滚动的轨迹,就是点簇的边界线。所以在该算法中,半径是唯一参数,其大小决定了边界区域的精细度。当足够大时,则提取出来的边界线为点簇的凸包;当足够小时,点簇的任意一个点都可能是边界点。廖中平等提出了一种自适应α-shapes 算法,使得滚动圆在边界滚动时能够自适应调节半径的值,保证边界的精细度和完成性,其核心算法流程如下:
(1)将点云数据生成映射MAP 图,得到一张分辨率为大小的图片,像素值的大小等于该像素内点的数量(2.1 节已实现)。
(2)边界点判定。对每个像素点进行遍历,若该像素的值大于0,且邻域点都大于0,则该点为非边界点。
(3)对剩余的点进行Alpha Shapes 判定:
(a)遍历剩余所有像素点p (x,y),运用K 最近邻域算法核心思想,计算其个最近邻域点,并计算其欧氏距离的均值,并设置为滚动圆的半径α,搜索所有距离该像素点距离小于2α的像素点,形成新的点集。
(b)任意中任意一个点p (x,y),根据p、p及半径α,可以确定两个滚动圆及其圆心和。若中其它所有点到和距离均大于α,则该点p为边界点。
(c)若中没有满足条件(b)的点,则该点p不是边界点。
(d)重复步骤(b)、(c),直到找出所有边界点。
在上文中,已得到满足聚类条件的个类簇,每一次类簇由一系列的离散点组成,如图2(a)所示。本文涉及的算法需要将离散点拟合成多边形区域,并运用图像处理技术处理计算其区域特征进行聚集区域筛选。对于离散点的区域拟合最常见的技术就是凸包拟合,如图2(b)所示。图中离散点簇所围成的区域为凹形,若采用凸包拟合算法得到的域明显不是点簇的真实形状。因此,本文采用自适应Alpha Shapes 算法来寻找点簇的边界点,并将边界点连接起来形成点簇的聚集区域,结果如图2(c)所示。
图2 聚集区域图Fig.2 Concentrated region
在图像处理领域中,对于图像目标区域的自动提取,最常见的方法是:先对图像进行阈值分割,连通区域标记,计算区域特征值,再根据目标区域的特征,自动定位出目标区域。Hu于1962 年提出了基于直角坐标的几何矩的概念,并推导出一系列的具有尺度不变形、平移不变性和旋转不变形的变量,并广泛应用于图像识别、数据重建、图像压缩、运动图像分析等领域。
Hu 几何矩及中心距定义如下:
其中:m为() 阶几何矩;M为()阶几何中心矩;A 为目标区域;(,) 为区域A的几何中心。
本文中聚集区域的特征值包括:点簇区域的面积、点密度、质心(O,O)、方向、长度、宽度、长宽比等特征参数,并运用这些参数对MAP 图中不良点聚集区域进行自动筛选和定位。对于任一点簇区域A,上述特征值计算公式如下:
其中,表示区域A内不良点的数量,、为A的最小外接矩形的长度和宽度。
本文将AOI 上报的不良点映射成不良MAP图,并通过层次聚类、自适应Alpha Shapes、区域特征提取及筛选等算法,自动定位出不良点的聚集区域,详细算法流程如图3 所示:
图3 算法流程图Fig.3 Algorithm flow chart
(1)读取AOI 上报的单张/多张玻璃基板不良点坐标(x,y),建立玻璃基板坐标系与图像坐标系之间的映射关系(公式(2)),将基板坐标系中的不良点坐标转化为图像坐标系中坐标(X,Y)。实验中选择了生产过程中一个批次(28 张)的面板作为分析对象,将这个批次面板上所有不良点坐标叠加到一起,所形成的不良MAP,如图4 所示。在该MAP 图的顶部、右侧、中下部存在明显的不良点聚集区域。
图4 不良点聚集区域提取Fig.4 Defect concentrated region extraction
(2)采用不良点间的欧式距离作为聚类分析的先决条件,将所有点簇中间距≤的点视作一类点簇。具体采用机器学习领域的层次聚类的算法实现,并运用Single linkage(最小化类间样本距离)作为聚类分析连接标准,得到最终的分类结果{,,,…,C},C⊆且≥1。
其中为点簇中不良点的最小数量,且≥1,分类及筛选结果如图4(a)所示。
(4)若步骤(3)筛选结果∅,则说明该MAP 图不存在不良点聚集问题。相反,则进一步进行分析。
(6)采用图像处理领域的插值拟合技术,根据任意点簇C的轮廓点C拟合出该点簇的最小包围图形区域A,由此可得到点簇相对应的图像区域集合{,,…,},如图5(a)所示。
图5 目标区域筛选Fig.5 Objective region filtering
表1 区域特征Tab.1 Region features
(8)根据步骤(7)计算出的区域特征向量,删除集合中不满足条件F∈[α,β]的区域。如:通过区域中心点坐标(O,O),可删除集合和,因为玻璃基板外围区域并不会对产品质量产生影响;通过面积特征,可删除和区域,小面积的聚集性对产品最终的质量影响很小;最终选出造成良率损失的不良点聚集区域集合{,,},如图5(b)所示。
本文方法不仅限于AMOLED 行业,同样适用于其它面板显示及半导体行业应用。该类领域内,需要对AOI 检测出的不良点所生成的MAP 图进行在线聚集性分析,并找出造成良率损失的点位聚集区供后续的不良分析。本文方法创新性地结合机器学习领域的层次聚类、alpha shapes、图像处理领域的blob 分析等算法,并借鉴图像处理领域缺陷定位的思路,完成了对MAP 图在线智能分析。实验结果表明,本方法可迅速定位MAP 图中不良点的聚集区域,可替代当前人工在线目检方式,通过一系列量化的判断指标,降低人工主观判断带来的误判和漏判风险,节约成本并提高检测效率。