基于视觉伺服的LED芯片形状匹配算法研究

李德龙，龚时华，王子悦，鹿怀庆

华中科技大学 机械科学与工程学院，武汉 430074

1 引言

随着LED产能需求的不断扩大，LED关键设备的研发和改进越来越重要。芯片的定位是进行芯片检测、扩晶、贴片等必不可少的关键环节[1]。随着芯片尺寸的不断减小、装备效率的不断提高，特别是由于运动平台在高加速度下的频繁启停，造成硅片、Wafer膜的变形，导致芯片定位与对准产生较大误差，严重影响了LED芯片检测、分选装备定位精度与效率。

视觉伺服（visual servoing）首先是由Hill和Par提出的，其主要涉及计算机视觉、图像处理、控制理论、实时计算等在内的多个相关领域[2]。

文献[3]采用的是没有视觉反馈的运动补偿，仅进行一次全幅的精匹配来实现精确定位。然而平台在高速启停下会产生振动，以及受到摩擦力等干扰，会造成定位误差。

文献[4]为了提高模板匹配的跟踪性能，提出基于梯度搜索的圆模板匹配方法，采用灰度匹配值和差分匹配值来共同设定匹配值。但处理时间不能满足视觉伺服系统的要求。文献[5]针对汽车牌照的识别，提出把彩色图像变为二进制图像，通过设定像素数，去除小于像素数的区域，从而保留字符区域，减少待检测区域。并不适合LED芯片的识别。

本文一方面对传统形状匹配算法进行了优化，提高了LED芯片识别定位的速度。另一方面，提出了多级补偿策略：第一级为快速识别并完成一个芯片间距的移动；第二级为通过视觉反馈补偿，完成芯片的精确定位。在视觉伺服系统的基础上，增加了定位补偿和一次快速粗匹配，同时精匹配从全局优化为特定区域的匹配，有效地减少了时间。

2 视觉伺服系统简介

本文基于的视觉伺服系统由图像采集系统、图像处理系统和运动控制系统组成，构成基于视觉反馈的运动控制系统，实现平台在运动过程中的快速识别与精确定位。为实现该目的，流程图见图1并采用以下步骤：

（1）图像预处理：采用自适应中值滤波算法，消除图像噪声的干扰[6]；采用双线性差值算法，消除因为镜头安装误差导致的图像畸变的影响。

（2）提取模板区域：通过鼠标选取一个区域作为模板区域，采用阈值分割，得到去掉边缘噪声的模板。

（3）快速识别：在运动前进行形状匹配的粗识别，快速得到了wafer膜上所有芯片的坐标信息，为运动控制提供运动数据，并储存在内存中。

图1 视觉伺服流程图

（4）驱动电机移动wafer盘到达相应的位置。

（5）精匹配：基于粗匹配的数据，对当前镜头中心八邻域内的芯片进行精匹配，得到单个芯片的准确坐标和姿态信息，误差为镜头中心与芯片中心的距离。

（6）将误差与设定的定位精度进行比较，若满足要求，则说明当前电机成功移动到了目标位置；若不满足要求，则说明并未移动到目标位置，因此进行运动补偿，直到满足定位要求[7]。

（7）对下一颗芯片进行定位：调用内存中的粗识别数据，循环（4）～（6）的过程，直到完成所有芯片的定位。

传统的定位是进行一次精匹配，缺少运动补偿的过程，因此定位精度较低。相比之下，采用上述过程，通过粗识别得到芯片的理论位置，通过视觉反馈得到芯片的实际位置，通过偏差计算实时得到芯片定位补偿值，由运动控制系统对偏差进行实时补偿，因此提高了芯片定位与对准的精度，同时可以克服运动平台在高加速度下频繁启停带来的误差影响[8]。

3 提取LED芯片的模板区域

拍照获取一幅LED芯片图像，通过肉眼观察，从多个芯片中选择一个无缺陷，没有大幅度旋转的芯片，用鼠标选择该芯片区域。并分析该模板区域的灰度直方图，由图2可知，芯片和背景对比明显，可以选择两峰之间的波谷对应的像素值作为全局阈值，将图像分割为目标对象和背景。其公式如下：

图2 模板区域提取前后的灰度直方图

其中 f(x,y)为原图像点的像素值，g(x,y)为分割后的图像对应点的像素值，T为全局阈值。通过全局阈值分割得到最终模板，如图3所示，有效去除了背景和噪声。

图3 模板区域提取前后的示意图

4 快速识别

传统的模板匹配针对的是单目标定位，通过找出模板在图像中的最佳匹配位姿得到图像中目标的位姿信息。然而一幅LED芯片图像中有多个芯片，属于多目标定位，直接用传统的模板匹配会出现定位错误，以及处理时间过长等问题。因此，本文先进行快速分割等操作，把多目标的模板匹配转化为单目标的模板匹配，再进行先粗后精的匹配。

4.1 减少搜索面积

将芯片与背景进行分割，并删除小面积不完整区域以减少搜索面积，步骤如下：

（1）采用Otsu算法进行图像分割，相比于其他的分割算法，它更适合处理目标和背景处于不同灰度级范围的图像[9]，通过分析图2（a）的灰度直方图可知，本图的背景和目标芯片在灰度上有较大差别，因此采用Otsu算法有更好的分割效果。

（2）采用Blob算法和开运算等形态学操作，填充芯片中的孔洞，并把不完整的芯片过滤掉，最终得到原图像的分割数据。如图4所示。

图4 减少搜索面积

4.2 减少搜索角度

在图4（b）的基础上，计算该图像中每颗芯片的外接矩形，得到该视野640×480像素下每颗芯片的偏离角度。

通过对同一组LED芯片偏离角度θ进行分析，采用Jarque-Bera检验，验证其符合正态分布。考虑到正态分布在(μ-3σ,μ+3σ)以外的取值概率不到0.3%的特性，因此，本文先计算出μ和σ，并采用正态分布3σ准则确定搜索角度范围：(μ-3σ,μ+3σ)。

传统的方法是对每一个芯片均需在[-10°,10°]多次搜索来进行匹配。本算法通过计算外接矩形，求出适合本组芯片的最优角度偏离值，从而减少了搜索的角度。

具体过程如下：芯片的外接矩形有无数个，其中面积最小的定义为最小外接矩形[10]。通过计算芯片的最小外接矩形，可以确定其大致的长、宽和角度。求得外接矩形的方法有投影法、旋转法等[11]，本文采用的是主轴法。

假设经过芯片形心的直线为：

分别做两条平行于主轴的直线和垂直于主轴的直线，且与芯片相切于点ABCD：

因此得到矩形A1B1C1D1，计算对应的矩形面积，如图5所示。通过改变α角度确定最小面积，获得最小外接矩形，从而计算出形心的坐标(x,y)和θ。

图5 外接矩形原理图

4.3 对芯片区域进行形状匹配

基于形状的模板匹配通过计算模板边缘点与待匹配图像（图4（b））相应点归一化的方向向量的点积和，作为相似度量值[12]。

模板由一系列点 p′i=(x′i,y′i)T，i=1,2,…,n 和对应于每个点的一个归一化的灰度梯度向量dˉ′i=(tˉ′,uˉ′)T构成，其中 p′i定义为相对于模板中心的相对坐标。

被搜索图像中每个点(x,y)的归一化的灰度梯度向量[13]：

其中，g(x,y)为被搜索图像的灰度函数。

当模板中心位于待匹配图像g(x,y)上某一点q=(x,y)T时，模板与待匹配图像进行匹配。 eˉq+p′为待匹配图像相应处的归一化灰度梯度向量[14]：

模板中心点在q点处与待匹配图像的相似度定义为：

其中，n为模板边缘点的个数。该相似度具有不受光照变化影响且不受遮挡的特性。该数值与模板中有多少部分在图像中有关，如果物体有60%被遮挡，匹配分值不会超过0.6。

因此可以通过选择一个匹配分值的阈值来决定什么时候找到了匹配目标。假设相似度的阈值为smin。使用公式（9）计算相似度，定义sj表示累计到模板的第j个元素时归一化点积的总和[15]：

模板中剩余n-j项的点积总和：

在计算过程中，当满足：

可判断出当前位置为非目标位置，在第 j个元素后提前停止相似度的计算，从而提高了速度。

最后采用图像金字塔的分层搜索策略，分为3层进行，并使用3.2节得到的搜索角度，得到每个芯片的粗定位坐标(x0,y0)。

5 精定位

将4.3节得到的粗坐标(x0,y0)储存在数组中，并根据该一系列坐标，驱动电机使每个芯片移动到相机的中心，依次进行拍摄，在(x0,y0)的八邻域内，使用公式（12）进行匹配，得到每颗芯片中心的准确坐标(xi,yi)，计算得到偏离坐标(Δx,Δy)，根据偏离坐标再次驱动电机进行补偿从而实现精确定位。

6 实验验证

实验验证视觉伺服系统的多级补偿的有效性，LED芯片搜索角度的优化，以及识别率、识别时间的减少。

实验平台如图6所示，视觉系统选用了高性能工业相机，高倍率连续变焦镜头以及可控点光源与环形光源，运动部分则采用了高性能多轴控制器和交流伺服电机驱动的二维定位平台。

6.1 多级补偿效果测试

对图4（a）内的25颗芯片定位进行测试，计算得到补偿前后的误差值，如图7所示，前10颗芯片的数据如表1、2所示。分析发现，补偿后的误差值在2 μm内，定位效果明显优于补偿前。

图6 实验平台图

表1 测试补偿结果（X坐标） μm

表2 测试补偿结果（Y坐标） μm

图7 补偿前后

6.2 搜索角度测试

计算每个芯片的最小外接矩形，得到25颗芯片的角度偏离值，如图8所示，其中角度最小值为0.117 1°，最大值为0.209 6°，使用Matlab中的jbtest（x，alpha）函数，计算得到h=0，表明接受假设，即满足正态分布。因此求得μ=0.159 2,σ=0.027 8,μ-3σ=0.075 8,μ+3σ=0.242 6，将搜索范围设为[0.075 8°，0.242 6°]，正态分布密度函数图如图9所示。相比较于本算法，传统算法为了能够匹配所有不同情况的芯片，需要把搜索范围设为固定的[－10°，10°]，搜索角度明显增大。

图8 角度偏离值

6.3 形状匹配的耗时测试

随机采集5幅图，并进行粗识别阶段的耗时测试，其中形状匹配阈值均设置为0.7，结果如表3所示。与文献[16]提出的算法进行对比，该传统算法是以局部梯度特征和局部边缘方向作为主要特征，使用梯度方向直方图（HOG）来确定初始位置和方向，第二步使用主方向模板（DOT）进行匹配，从而精确地确定位置。其优点是对变形有较好的鲁棒性，然而该算法无法区分不完整芯片和正常芯片，因此加大了计算量。本算法平均每颗芯片耗时0.8 ms，文献[16]平均每颗芯片耗时2.3 ms，相比之下，效率有了很大的提高。

图9 正态分布图

表3 耗时测试（MinScore=0.7） ms

同时分析形状匹配阈值对实验结果的影响，如表3、4所示，MinScore设置得越大，搜索得就越快。结合实际生产过程中的经验，当MinScore>0.7会出现漏识别，MinScore<0.7会出现误识别，因此把形状匹配阈值设置为0.7最合适。

表4 不同形状匹配阈值的测试

7 结束语

传统的算法面向的是常见的对象，采用的是通用的模板匹配方法，具体到LED芯片，由于破损芯片和正常芯片有较高的相似性，传统算法不能快速准确地区分不完整的芯片，因此消耗大量的计算时间。本文提出了基于视觉伺服的多级补偿策略，同时优化了图像算法：通过图像分割，Blob算法去除破损的芯片，从而减少匹配搜索的面积；通过求取最小外接矩形，从而减少了匹配搜索的角度，最后，再进行模版匹配。本算法减少了模板匹配的计算量，节约了时间，同时为了提高视觉伺服的定位精度，把全局的精匹配优化为一次全局的粗匹配和特定区域的精匹配。

本文后续的研究方向之一是时延补偿，由于图像处理占用较多时间，可采用线性和非线性预测器相结合的特征轨迹跟踪，满足目标跟踪精度和稳定性的要求。

[1]吴晓.面向LED芯片检测与分选的机器视觉定位系统的开发[J].贵州大学学报：自然科学版，2013，30（3）：93-103.

[2]李牧.机器人无标定视觉伺服关键技术的研究[D].哈尔滨：哈尔滨工业大学，2008.

[3]吴晓.基于图案匹配LED芯片定位系统[J].半导体技术，2013，38（7）：556-559.

[4]Xia Junbo.Template matching algorithm based on gradient search[C]//International Conference on Mechatronics and Control（ICMC），2014：1472-1475.

[5]Goel S，Dabas S.Vehicle registration plate recognition system using template matching[C]//InternationalConference on SignalProcessing and Communication（ICSC），2013：315-318.

[6]杨卓东.改进自适应中值滤波的图像去噪[J].通讯技术，2015，48（11）：1257-1260.

[7]周烽.基于数控程序重构的误差补偿技术研究[D].哈尔滨：哈尔滨工业大学，2010.

[8]刘升.高速高精度宏微双驱动运动平台结构优化设计[D].广州：广东工业大学，2015.

[9]陈庆为.基于灰色理论的木板材表面缺陷图像分割质量评价研究[D].哈尔滨：东北林业大学，2014.

[10]张法全，王国富，曾庆宁，等.利用重心原理的图像目标最小外接矩形快速算法[J].红外与激光工程，2013，42（5）：1382-1387.

[11]李勇.基于机器视觉的玻璃瓶在线检测系统研究[D].济南：山东大学，2012.

[12]赵振民，彭国华，符立梅.基于形状模板的快速高精度可靠图像匹配[J].计算机应用，2010，30（2）：441-444.

[13]杨一帆.基于无衍射光的光学偏角测量系统及专用匹配算法研究[D].武汉：华中科技大学，2014.

[14]顾倩芸.LED固晶机视觉系统的设计与算法实现[D].合肥：合肥工业大学，2014.

[15]张代林，陈文广，谢经明，等.基于形状模板匹配的印刷品缺陷检测[J].机械与电子，2013，40（12）：40-43.

[16]Xu Xinyu，van Beek P，Feng Xiaofan.High speed object matching and localization using gradientorientation features[J].Intelligent Robots and Computer Vision XXXI：Algorithms and Techniques，2014，9025（7）：1-13.