视觉引导的搬运机器手位置测量研究*

刘文超,夏正乔,朱思斯,余 坤,吴庆华

(湖北工业大学机械工程学院现代制造质量工程湖北省重点实验室,武汉430068)

汽车保险杠作为汽车结构的重要组成部分,在传统的生产工艺中,主要是靠人工取放和搬运,这种人工工位成本高、耗时长、效率低,因此急需一种高效的汽车保险杠抓取方法。现在的保险杠主要以PP(聚乙烯)为原材料,后加入一定比例的弹性材料、无机填料、助剂、色料等经过混炼加工而成[1],具有良好的光泽度和弹性,在托架上摆放时具有一定柔性变形特点。在智能化机械搬运中,对保险杠最佳抓取点的识别跟踪是成功抓取的关键。传统的双目或者多目测量方法,标定复杂,测量精度较低[2]。本文提出的引入视觉引导的搬运机器人,通过视觉测量确定保险杠的最佳抓取点,引导机械手臂准确抓取。与复杂繁琐的机械抓取装置相比,视觉引导搬运机器人具有设备简单,空间占有率小,识别精度高等特点。激光视觉测量技术是一种利用可控光源的图像测量技术[3-14],本质属于三角测量方法,其原理如图1所示。测量系统由计算机、垂直方向投射的线激光投射器和与竖直方向成一定夹角的CCD相机组成。线结构光投射在被测保险杠表面,形成一个或者多个结构光光条,光条成像于CCD相机像平面。

图1 激光视觉测量原理图

1 激光光条中心点识别算法

本文采取的激光光条中心点识别算法流程如图2 所示。

图2 激光光条中心点识别算法流程图

由于汽车保险杠弯曲的表面形貌,所以激光光条的形状也不尽相同。当激光投射在有连续高度变化的曲面上时,图像中会呈现出弯曲变化光条;而激光投射在连续同一高度平面上时,会呈现竖直方向的光条。如图3为现场激光投射在3种不同类型保险杠表面的情况。

图3 激光投射在不同类型保险杠上光条情况

在选择抓取区域时,应优先选择竖直方向的光条识别中心点作为机械手臂抓取点。当图像中激光光条处于同一个连通区域且具有不同程度的弯曲现象时,对于识别效果的准确性有一定影响。本文提出的算法利用形态学膨胀和开运算将竖直方向光条和弯曲的光条断开,提高识别方法的精度。

Blob分析是对图像中相同像素的连通域进行分析[15]。Blob分析是一种对闭合目标形状进行分析处理的基本方法,其核心是连通区域检测算法,可提供图像中的斑点的数量、位置、形状和方向等信息,还可以提供相关斑点间的拓扑结构。所以在进行Blob分析以前,必须把图像分割为构成斑点和局部背景的像素集合。由于光条与背景灰度值不同,可以采用阈值分割法。阈值分割法定义为:

S={(r,c)∈R|gmin≤f(r,c)≤gmax}

阈值分割将图像f(r,c)中灰度介于gmin和gmax范围内点的集合作为输出区域S。

在激光光条的位置确定后,对光条拟合最小外接矩,筛选出合适长宽比S的矩形:

S=L/W

式中:L为拟合矩形的水平方向长,W为拟合矩形的竖直方向宽,长宽比S会随着宽度W的增大而减小。3类保险杠中心点识别结果如图4所示。

图4 识别3类保险杠光条中心点

2 透视变换校准和高度标定

2.1 透视变换

图5 测量模型坐标透视变换原理

2.2 透视变换校准

二维图像透视变换,可以看成三维物体向二维图像透视投影的特殊形式,如图6所示,为透视畸变的棋盘格图像。将一个二维图像经过透视变换变成另外一个平面图像,这个过程可以表示为:

式中:(x,y)为原始畸变图像的像素坐标,(u,v)是矫正之后图像像素坐标,a,b,c,d,e,f,m,l是透视变换中的若干参数。

图6 原始棋盘格图像

首先用Hough变换提取出棋盘格图像的角点坐标和实际坐标[17],作为透视参数的已知量,如图7所示提取的棋盘格交点信息。随意取4个交点坐标,共8个参数进行透视变换计算,其过程可以用下式表示:

记为:

UV=AM

因此,

M=A-1UV

图7 棋盘格角点提取图像

通过解出的透视变换参数对原始透视棋盘格图像进行矫正,矫正后的平面图像如图8所示,棋盘格方格数为19×19,每格代表的实际距离为20 mm(精度±4 μm)。透视变换矫正后得到变换参数信息,代入点P(x,y)坐标值,计算得到点P相对参考点在图像x轴方向实际偏移距离D(mm)。

图8 矫正后棋盘格图像

图9 高度标定图像处理前后

2.3 高度标定

高度标定实验中,用长宽高为200 mm×10 mm×200 mm台阶形状的高度标定板,每个台阶平面高度差为10 mm。通过调整标定板位置,使激光光束能够投射在每个高度台阶平面上,图片经过处理后如图9所示效果。识别出每个高度平面激光条点中心点坐标值Ph(x,y),相邻中心点Ph在Y坐标方向上的像素距离Δy为:

Δyn=yn-yn-1

式中:1≤n≤19。由于Δyn代表实际台阶高度10 mm,所以,可以得到标定系数K(mm/单位像素),

Kn=10/Δyn

高度标定数据如表1所示,其中斑点编号为0的点所在平面,作为参考基准面,高度值记为H0。根据表1中Y值,确定识别点P(x,y)中y坐标值范围的上限值Y2和下限Y1值,其中,Y1值对应的标定系数为K1,Y2值对应的标定系数为K2。

表1 高度标定实验数据

利用差值方法[18],求出点PB对应的标定系数KB值:

计算得到高度H:

H=yKB+H0

3 实验结果与分析

实验中面阵CCD相机由康耐视公司生产,型号1403-11,像素200万,分辨率1 600×1 200,图像长宽比4∶3,采用千兆网口传输图像数据;相机镜头由日本Computar公司生产,手动光圈,焦距f=12 mm,视场角(D×H×V=49.2°×40.4°×30.8°),镜头分辨率100 lp/mm,变形率小于-0.1%;实验工作距离1 050 mm,相机曝光时间设为80 ms,增益55。本文算法识别出三类保险杠检测样本激光光条中心点坐标,结合标定实验结果计算得到如表2所示实验数据,A、B、C 3种型号保险杠,经过图像处理识别出中心点P(x,y)位置,进而计算得到中心点相对参考位置所代表的沿图像x轴方向的实际偏移距离D(mm)和实际高度H(mm),以及算术平均值E和标准差σ。计算测量值与实际值误差情况,如图10所示。

图10 三类保险杠测量偏差情况

从图10中可以看出,A、B、C 3种类型保险杠测量值在沿x轴方向的偏移D和高度H,与实际值的偏差值在±3 mm范围内。存在误差的原因与激光线条的粗细,现场保险杠在托架上随机摆放位置有关。因此,本文提出的基于激光视觉的系统的测量误差较小(小于±3 mm),稳定性好,能够满足工业现场要求。

4 结论

①本文针对汽车保险杠提出一种激光光条中心点识别算法识别出最佳抓取点,并利用透视变换原理对抓取点进行矫正,结合像素标定结果得到抓取点相对参考点的流水线方向偏移距离和相对高度参考点的高度信息。实验结果表明,该方法稳定性能好,测量精度高,可以代替人工实现引导机械手臂抓取汽车保险杠的目的,满足工业现场要求。

②本文为搬运机械手提供一种自动引导的方法,可为视觉引导其他类似机械手提供方法参考。