基于机器视觉的脚垫装配系统的设计

于芝枝 范毅伟

1、国家知识产权局专利局专利审查协作广东中心，广东广州 510530；2、深圳市九洲光电科技有限公司，广东深圳 518106

一、引言

装配是制造业中重要的一环，是产品生产的后置工序。传统的装配生产线上，主要有两种装配方式：一种是人工操作方式，即通过人眼及人手配合进行装配，但人的易疲劳、主观性等特点，容易造成准确度差和效率低等问题，产品质量难以保证。另一种是利用机器人装配，机器人的操作都是预先严格设定好的，只能做一些固定的动作，这些机器人利用各种传感器来进行控制，在进行装配操作时，要求零件和产品等严格按照设定的位置和方向放置, 需要高精度和高质量的夹具或固定机构，以及精心设计的其他传输机构。在实际应用中，因多方面的原因，零件的位置往往不能严格固定，从而造成装配机器人拾取零件时出现偏差，因此需要机器人能根据零件方向和位置的改变动态调整固有操作程式，提高装配的柔性。

将视觉系统[1-6]引入工业机器人，极大地扩展了机器人的使用性能和应用范围。文献[1]中，利用机器视觉和图像处理技术对大批量的油封尺寸进行在线实时检测；文献[2]将机器视觉系统应用在铜棒的缺陷检测与控制上；文献[3]用视觉方法检测分类有缺陷的和完好的棉籽。实例证明，机器视觉在现代工业生产中的应用越来越广泛，而机器人柔性化装配的特点在提高装配质量、保证产品质量稳定性以及提高生产率等方面，都显示出极大的优越性。

本文将机器视觉系统应用在笔记本脚垫装配生产线上，通过视觉传感器获取脚垫的位置信息，并通过图像处理和识别算法，计算脚垫的位置偏移及角度旋转量，并实时反馈给控制器，从而动态改变机械手的抓取操作，提高了装配操作的柔性和效率。

二、系统组成及设计

1、总体概述

脚垫装配视觉系统的系统结构示意图见图1。系统主要由图像采集、图像处理、运动控制、上位机等部分组成。图像采集设备由工业数字摄相机、光学镜头和光源构成。工业数字摄相机及镜头用于被测对象的图像采集，通过1394接口与上位机相连，将采集的图像数据传输给上位机供其处理，光源用于照明并突出对象的特征。上位机是核心控制部分，负责摄像机图像的采集控制，上位机图像处理软件用于对采集到的图像进行处理，并输出信号给控制工作台，进行后续的操作。

系统的工作过程见图2。整个过程主要分为4个步骤进行：

1、求底板凹槽pin孔角度；

2、抓取脚垫；

3、求脚垫反面pin孔角度；

4、求取底板凹槽中心并对位装配。

首先初始化运动控制、机械手、图像采集设备、图像处理软件，点击运行后，二轴平台控制图1中的相机2分别求取面板四个角的底板凹槽pin孔的角度；因装配一片面板的时间要求控制在10s内，为了节省时间，同时，相机1运动到料盘处，拍照获取脚垫中心坐标，并用吸嘴中心对准脚垫中心吸起脚垫，吸取成功后相机1运动至图1中的孔1处，获取脚垫反面pin孔的角度，然后与第一步求得的底板凹槽pin孔角度作差得到六轴机械手需要旋转的角度，最后相机1运动至底板凹槽处获取底板凹槽的中心；所有的像素坐标通过机械手的标定都统一到机械手的世界坐标，然后便可由机械手下压进行对位装配。与以上步骤相同，安装完其它3个脚垫后即完成一块面板的装配。

2、光学硬件选型

视觉系统必不可少的硬件设备包括相机、镜头和光源。

相机的选型要根据精度要求和工件大小来决定，有下式：

其中，R—表示至少需要的相机分辨率；

F—表示视场大小；

A—表示所要求的精度。

本系统中工件大小约为17mm，而视场通常要比工件尺寸大一些，置为20mm，而要求的精度为0.01mm，综上可得相机分辨率需要大于2000像素，本系统选择了德国AVT公司型号为GuppyPro503B的相机， 该相机像素为500万，像元尺寸2.2μm分辨率为2588×1940（靶面尺寸宽为2588×0.0022mm≈5.7mm），接口类型为C型，传感器为CMOS型，满足项目要求。

镜头的选型由工作距离、视场大小以及相机的芯片尺寸决定，有下式：

其中，M—表示放大倍率；

S—表示芯片尺寸；V—表示视场大小；

f—表示要选择的镜头的焦距；

L—表示工作距离。

由（2）式可得放大倍率为5.7/20=0.285。

本系统的工作距离即镜头前端到工件的距离为120mm，由（3）式可得所需镜头的焦距大小为120/(1+1/0.285)≈ 26。

因此，本系统选择的镜头为日本Computar公司的M2514-MP2普通定焦镜头，其焦距为25mm，光圈范围F1.4～F16，接口类型C型，靶面尺寸2/3"。

光源在视觉系统中有着举足轻重的地位，它影响着处理的精度和速度，有时甚至决定了系统的成败。在机器视觉项目中，并不是一开始就能决定光源的选型，而要遵循一定流程：首先明确检测或测量的目标，然后分析目标和背景的区别并找出二者间差异大的光学现象，从而初步确定光源的大致类型，最后拿多种符合要求的光源进行打光测试，直到可以获得较为理想的图像效果。

本系统选用了科视公司型号为RL-90-80-W的白色环形LED光源，LED光源具有寿命长、发热少、颜色多种等特点，因此视觉项目常常采用LED光源。因为笔记本后盖面板有一个凹槽，为了得到凹槽的圆，本系统选择的环光LED灯照射角度与水平呈80°角，直径为90mm，该光源还带有一块漫射板，它可以将表面不平整的物体照射出比较均匀的效果。

三、图像处理及算法实现

1、图像预处理及阈值分割

脚垫装配视觉系统工作流程的四个步骤所拍的图像如图3所示。

由于受到种种限制及干扰，图像获取和传输的过程中，难免会存在噪声点，需要对其平滑处理，本文借助卷积核与图像进行卷积来实现。

设原始图像为f(x,y)，卷积核为G(i,j)，核大小为m×n，则处理后的图像g(x,y)为：

其中，x、y分别为像素点的横纵坐标，a=(m-1)/2，b=(n-1)/2，m和n为奇数。

对平滑后的图像g(x,y)进行二值化处理，本系统二值化分割使用OTSU法[7-8]分割出图像的目标部分，算法的原理是使得类间方差最大化的阈值T便是分割图像前景目标的最好阈值，即：

其中，α2—类间方差；

q1—灰度值小于或等于T的类的概率，

q2—是灰度值大于T的类的概率，

μ1—灰度值小于或等于T的类的均值，

μ2—灰度值大于T的类的均值，

μ—两类的类间均值。

用阈值T，分割出pin孔区域。对图3(b)进行预处理及分割后的结果如图4所示。

2、边缘检测及轮廓提取

边缘提取是图像分割、目标区域识别、区域形状提取等图像分析领域一个十分重要的关键问题，常用的边缘检测算子有Sobel，Prewitt、Canny、Laplacian等，不同算子具有不同的应用特性。

本文采用Prewitt算子[9]。Prewitt边缘检测算法是一种类似Sobel的边缘模板算法，通过对图像像素进行八个方向的边缘检测，将其中方向响应最大的作为边缘幅度图像的边缘。求取脚垫反面pin角度时，定位小pin本文用了下文要介绍的基于形状的模板匹配，求其中心坐标，而大pin圆里因产品型号不同，不同型号的差别使得无法用匹配来求其中心坐标，所以需要通过求脚垫大圆的圆心来实现。对图3(c)中的图像进行边缘提取的结果如图5所示。

3、模板匹配

模板匹配是数字图像处理中最常用的算法之一。根据已知模式到另一幅图中寻找相应模式的处理方法就叫做模板匹配。通过比较模板和目标的相似性，在目标图像中找到模板图像，确定其坐标位置。常见的目标匹配算法包括基于形状的模板匹配、基于灰度相关性的模板匹配、基于轮廓特征的模板匹配、基于纹理的模板匹配等。

本文采用基于形状的模板匹配[10-11]。首先绘制感兴趣区域ROI，因为图像中脚垫幅面较大，如果对整个脚垫创建模板，会产生过多冗余信息，且花费过多时间，本文绘制了一种环形的ROI，针对该ROI创建一个模板。当然，创建之前要对图像进行一些阈值分割，数学形态学等处理，创建之后再检验模板，以便校验更适合的创建参数。然后在获取的图像上寻找模板，最后找出目标所在位置的中心坐标，本文使用模板匹配是为了进行粗定位，对图3(a)中的图像进行粗定位的结果如图6所示。

4、拟合圆

拟合是指用连续曲线近似地刻画或比拟平面上离散点组所表示的坐标之间的函数关系的一种数据处理方法。拟合圆即用标准圆来近似表示样本点集所表示的坐标之间的函数关系。本文采用最小二乘法来拟合圆[12]，最小二乘法是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。

已知样本点集(Xi,Yi)i∈(1,2,3,...,N)中的点到圆心的距离为d，(A,B)为圆心坐标，则有下式：

对于（7）式中：δi=di2-R2，表示样本点到圆心距离的平方与圆半径平方的差，Q(a,b,c)表示δi的平方和，求出参数a,b,c的值使得Q的值最小即可得到所求的圆半径及圆心坐标。本系统对图3(a)经过模板匹配粗定位后，再进行圆拟合的结果见图7。

四、实验结果分析

本系统装配所用的脚垫直径为16.8mm，而底板孔大小为17.0mm，装配好后的脚垫示意图如图8，脚垫边缘与底板孔边缘的距离命名为gap，实验要测试图8中的 1与 5，2与 6，3与7，4与8四对点对的gap值的差。

本文实验中对用本系统装配好的10块笔记本后盖面板样品做测验，并取其均值，测得的gap数据统计见表1。

表1 实验结果统计（单位：μm）

表中gap1表示图8中点对1和5的gap差值，gap2-4同理。由实验结果可知，各gap差值较均匀，表明本系统装配的脚垫基本都达到了0.05mm的精度要求，但FOOT3的值超出了要求，通过打水平表发现是由于夹具在FOOT3处稍稍高出导致基座不平，从而导致吸嘴下压时脚垫出现少许滑动造成的，最后通过机械手的固定补偿解决。

通过在工厂车间现场实验，验证了本系统能够快速、准确地完成笔记本脚垫装配，准确度达到98.5%，装配速度也得到提高，具体数据见表2。

表2 对比统计表

五、结束语

本文利用机器视觉检测技术和图像处理技术实现了脚垫的在线自动装配，在基于形状的模板匹配中采用了独特的环形感兴趣区域来创建模板，避免了冗余信息，提高了检测速度，使用最小二乘法来拟合圆，达到了很好的效果。通过实验证明该系统装配脚垫的精度达到了0.05mm，满足了客户的需求，提高了笔记本脚垫装配的精确度及装配效率，具有实用价值和一定的通用性。