基于图像识别的端拾器吸盘安装的研究及应用

陈坤煌，樊留群，杨永

基于图像识别的端拾器吸盘安装的研究及应用

陈坤煌，樊留群*，杨永

（同济大学中德学院，上海 201804）

针对传统的汽车冲压件端拾器的线上装配问题，提出了一种基于图像识别的线下安装方法。采用两个摄像机对装配中的端拾器进行视觉检测，通过图像预处理提取图中吸盘的轮廓，利用最小二乘法拟合其轮廓曲线，提取吸盘特征，并与模板库中的吸盘样本图像进行相似度匹配，根据吸盘的圆面特征和空间坐标变换原理，获取吸盘的位姿，通过计算其与理论位姿的偏差，给出调整的方法，为吸盘的正确装配提供指导。实验结果表明，该方法可以有效地提取吸盘的位姿，提高了安装吸盘的效率和精度。

端拾器；真空吸盘；图像识别；位姿验证

随着国内汽车销量的逐步增长，冲压自动化生产线发展迅速，设备及工艺更新换代加快，在生产效率进一步提高的要求下对相应的辅助配套装置也有了更高的要求。端拾器就是一种安装在机器人/机械手端头部位，利用真空吸盘或夹钳辅助取放料的装置[1]。近年来，端拾器已经在冲压自动化生产线上得到了广泛的应用，现已成为其中不可缺少的重要组成部分。

传统的端拾器吸盘的安装方法主要是依靠现场技术人员的经验选取吸盘安装点的线上安装方法。由于缺乏精确的理论技术指导，吸盘的安装往往需要经过多人多次的反复调试，因而增加了安装时间以及自动化生产线上的停机等待时间。若端拾器吸盘的位置安装不当，在后期冲压过程中，还可能产生重大的安全隐患。因此，快速、准确地完成端拾器吸盘的安装工作，具有非常重要的现实意义。关于端拾器吸盘的精确定位问题，文献[2]提出了通过组装机构模拟机器人实现线下组装的方法，文献[3]提出了proximity snapping和collision snapping方法来实现在虚拟环境中的精确定位，文献[4]提出了引入机器人运动学Denavit-Hartenberg模型的方法。但是，对于吸盘现场安装时位置调整的指导方法，目前还没有很完善的研究。

本文采用离线方式进行端拾器装配，研制了基于视觉定位的安装平台。基于OpenCV开发环境，采用机器视觉的方法，研究端拾器吸盘安装位置的验证及修正问题，提出了一种基于图像识别的吸盘底部圆心及位姿的计算方法，利用双目视觉原理和吸盘的圆面特征，结合二维平面与三维空间的坐标系变换，实现端拾器吸盘的定位，检验其安装位置，将吸盘的调整工作拆分为旋转和平移操作，从而降低实际操作时调整吸盘位姿的难度，为高效的吸盘安装提供指导。

1 系统设计

根据不同的适应场合，吸盘的种类与尺寸有多种选择[5]。常见的结构类型有折叠型、平底型和椭圆型等。一般，折叠型吸盘用在弧度较大、定位粗糙的部位，适应性强；椭圆型吸盘用在细长紧凑的部位；平底型吸盘直径较大，用在大平面位置，吸力强。本文主要对折叠型和平底型吸盘进行研究，其外形如图1所示。

图1 吸盘示意图

由于拍摄角度的原因，在图像中真空吸盘底部呈现出椭圆的形状，针对吸盘底部的椭圆形轮廓，本文提出了一种轮廓特征与椭圆特性相结合的算法，识别吸盘底部的椭圆轮廓并求出其圆心及位姿，从而检验吸盘是否安装在理论位置。检验流程如图2所示。

2 图像处理

通常图像会由于背景噪声、光照不均匀、几何畸变等原因出现失真，需要利用灰度化处理、图像增强和图像平滑等技术改善图像的视觉效果[6]，从而提取出图像的有效轮廓。为减少计算量，一般先将彩色图像转变成灰度图像，再进行后续的图像处理。灰度化效果如图3（a）。

图2 系统流程图

高斯滤波器是一类根据高斯函数的形状来选择权值的线性平滑滤波器。对图像进行高斯滤波使图像更加平滑，且边缘保留的效果也更好。为将吸盘的轮廓与背景图像区分开来，需对图像进行二值化处理[7]。当像素点的灰度值小于设定阈值时，灰度值置为0，显示为黑色，大于阈值时，灰度值置为255，显示为白色。

由于摄像头安装在端拾器装配平台的固定位置，所以可建立起相机坐标和端拾器工作坐标之间的变换关系。因此，所采集到的吸盘图像的大小和位置限定于一定的范围内。利用二值化图像提取到轮廓点之后，即可将吸盘的轮廓绘制出来，处理后图像如图3（b）所示。

图3 吸盘图像处理

3 吸盘特征的提取与图像匹配

3.1 最小二乘法拟合吸盘轮廓曲线

为了减小后期图像匹配的计算量，首先进行轮廓曲线的重新采样。吸盘的轮廓曲线中，选取底部椭圆长轴以下的部分等间距地进行曲线采样，取20个采样点，记录其坐标位置，作为轮廓曲线拟合的基础。

最小二乘法[8]可用于曲线拟合，它要求样点中y与(x)之差的平方和最小，其公式为：

式中：为曲线的拟合函数；为待定系数；φ为一组线性无关的函数族，通过人为给定。

圆弧形状可以通过二阶多项式模型很好地拟合出来，故取：

以20个采样点作为待拟合点，根据式（1）编写最小二乘法程序，求解其中的3个未知系数1、2和3，即可得到椭圆曲线的方程为：

3.2 吸盘特征的定义

本文基于吸盘底部椭圆轮廓的特点，定义了吸盘的三个特征：轮廓曲线弯折次数、椭圆弧长与长轴的比值和曲率半径与长轴的比值。

（1）轮廓曲线弯折次数。整个吸盘的轮廓曲线包含一定程度的弯曲变化，轮廓的弯曲可以体现其曲线的特点。实验中采用吸盘轮廓的右半部分进行弯折次数的计算，如图4所示。

图4 弯折次数示意图

（2）椭圆弧长与长轴的比值。椭圆弧长[9]是指吸盘底面上的椭圆轮廓长轴以下部分的弧长，弧长长度取相邻像素点的坐标距离的总和。

（3）各采样点曲率半径与长轴的比值[10]。可体现现场采集的吸盘图像与样本图像采样点的曲率特征的相似程度，在3.1节中采集的20个采样点处，利用椭圆曲线方程进行计算。

以上三个特征均具有平移、旋转和尺度不变性，因而可以作为吸盘特征匹配的依据。

3.3 图像匹配

首先分别计算工厂里现场采集的吸盘图像和模板库中各个吸盘的样本图像的轮廓曲线的弯折次数，然后将其进行对比。图3中的吸盘的弯折次数为3次，与模板库的样本图像进行比对，排除掉弯折次数不为3的样本图像。

接下来对吸盘的样本图像和现场图像进行第2个特征的匹配。当两者的相对误差小于10%时，认为两者的弧长与长轴比值这一特征值匹配成功。

去除掉差异较大的样本图像后，对现场图像和余下的样本图像进行20个采样点的曲率半径与长轴比值的比对。当至少80%的采样点即16个点都满足相对误差小于10%时，认为该特征匹配成功。计算满足该条件的采样点的个数，作为判断依据。

当三个特征的匹配都成功时，实现对图3中吸盘的识别。详细匹配结果如表1所示。

表1 吸盘特征的匹配结果

4 吸盘位姿的计算及调整方案

4.1 吸盘位姿估计方法

端拾器初次安装后，为了验证吸盘是否安装于理论位置，需要通过求取吸盘底部圆心及位姿，定位吸盘在实际空间中的位置和方向。根据小孔成像原理，相机光心，即凸透镜的中心，到成像平面的垂直距离为焦距。吸盘底面在相机成像平面中呈现出椭圆形状，如图5所示。若已知椭圆的长短轴端点坐标和吸盘底面圆的半径，结合空间坐标变换，即可实现吸盘位置和姿态估计[11]。

图5中，将光心与成像平面上椭圆的长轴端点、和短轴端点、连接，并作延长线得到在实际吸盘圆面上的四个端点、、、。此时，相机坐标系的和轴分别对应长轴和短轴方向。令轴的单位向量为，轴的单位向量为，连接、得到交点，得到在方向上且与成像平面垂直的单位向量，则与相机坐标系的轴重合。在相机坐标系中，原点为光心，则椭圆的端点坐标为（0,v,）、（0, -v,）、（-u, 0,）和（u, 0,）。其中：

（3）

本研究采用了两台MV-GE1400C-T型CMOS工业相机，其图像尺寸为4384×3288，两台相机平行等高、一左一右架设。根据椭圆的性质，椭圆的长轴端点的曲率半径最小，短轴端点的曲率半径最大。计算椭圆轮廓的曲率半径，可得椭圆长短轴的4个端点。这4个点在左相机的像素坐标系下的坐标如表2所示。

为了描述点在空间中的位置，需要将像素坐标转化为相机坐标系下的坐标。由相机说明书可得相机的焦距＝6.03 mm，结合相机参数和空间坐标系的变换[12]将椭圆4个端点坐标转化为左相机坐标系的坐标，如表2所示。

表2 椭圆长短轴端点坐标

吸盘底面圆的端点分别在、的延长线上。根据相似性原理可得、的坐标分别为＝、＝。其中，、为比例系数。利用、的坐标得到吸盘底面圆心坐标＝(＋)/2。根据几何关系[12]可求得底面圆的圆心坐标和圆面法向量的两组解：

已知和的坐标可根据几何原理[11]求出单位向量＝（-0.993, -0.052, -0.103）、＝（-0.049, 0.996, -0.034）和＝（-0.105, 0.029, 0.994）。根据式（4）、式（5）可得吸盘底面圆在相机坐标系下的两组位姿解。实际中相机坐标系的、轴与长轴和短轴方向不重合，需将两组位姿解左乘以旋转矩阵1＝[T,T,T]得到实际相机坐标系下的位姿解为：

计算右相机坐标系下两组圆心坐标，将右相机坐标系下位置转化到左相机坐标系下[12]，得到此时左相机坐标系下的吸盘圆心坐标为：

通过比较可得2和2的偏差更小，因此2、2为真实解，且法向量2与实际法向量的方向相同。通过测量发现，相机光心与吸盘圆心间的实际距离为50 cm左右，与计算得到的结果相符。

4.2 吸盘安装位置调整方案

在端拾器离线安装平台上，工人将吸盘初步安装就位后，通过上述视觉识别算法，得到与理论位姿的安装误差，借助三维软件Unity3D，以图像的形式实时显示偏差及调整的方位，给出具体的操作提示，指导工人调整吸盘位姿。如图6所示，实验中，坐标系原点为左相机光心，安装副杆为轴参考方向，端拾器主杆为轴参考方向，并通过右手定则确定轴方向。其中，吸盘通过转接杆与副杆连接，转接杆与主杆平行。

为了将吸盘调整到理论位置，将调整工作分为平移和旋转操作。假设吸盘的理论安装位姿为1＝（1,1,1,1,1,1）、实际安装位姿为2＝（2,2,2,2,2,2）。其中，、、为位置坐标，、、代表空间姿态信息。

图6 吸盘安装坐标系

首先对吸盘进行平移操作，为了便于实际指导工人进行调整操作，分别计算吸盘中心点坐标在、和轴上的误差，将吸盘沿着杆件进行3次平移操作。当差值为正时，沿相应轴的正方向平移；反之则沿相应轴的负方向平移。吸盘沿坐标轴的平移量分别为：

完成对吸盘的平移操作后，还需旋转吸盘至指定姿态。为了方便工人进行实际旋转操作，将旋转过程拆分为沿着坐标轴分别旋转。由于吸盘为旋转体，因此只需对其绕着坐标轴进行两次旋转变换。实际上吸盘在安装时，吸盘只能绕副杆即x轴和转接杆即y轴旋转。记On2为吸盘实际姿态，ONt为理论姿态。首先将吸盘绕y轴从On2旋转θy角度至On2'，此时向量On2'与x轴的夹角等于ONt与x轴的夹角，计算角n2'ONt的大小θx，将吸盘绕x轴继续旋转θx角度至理论姿态ONt。如图7所示。

记ON与轴的夹角为1，2的空间位姿为3＝（3,3,3,3,3,3），绕轴旋转后2与2在平面的投影和的模大小不变，则有：

据此得出3、3、3的值。记ON与2在平面的投影分别为和，则旋转角θ和θ的求解方法为：

现给出吸盘理论安装位姿为1＝（-50.35, 16.03, 498.94, 0.10, 0.30, 0.95）。结合式（7）～式（9），计算得到θ＝40.22°、θ＝21.37°。在实际操作中，旋转吸盘会引起底部圆心坐标的变化。因此计算平移量Δ、Δ、Δ时，需减去吸盘绕和轴旋转时在各个轴产生的偏差，从而得到实际需要平移的距离。记2与轴的夹角为∠2，吸盘绕轴的旋转半径为r＝5 cm，吸盘绕轴旋转时不改变坐标，旋转引起的和轴方向的误差分别为：

吸盘绕轴的旋转半径r＝40 cm，旋转时不影响坐标，在和轴产生的误差分别为：

最终得到实际的轴平移量为：

Δ－Δ＝-11.82 mm

同理可得实际和轴的平移量分别为-218.42 mm和-166.91 mm。根据平移量的大小排序，调整吸盘位置时优先消除较大的偏差。

本文在虚拟现实引擎Unity3D，进行吸盘位置调整的动画展示。根据计算得到的吸盘平移量和旋转角度，首先基于坐标轴对吸盘进行3次平移，然后将其依次绕和轴进行旋转。调整过程如图8所示。

在实际调整过程中平移距离和旋转角度难以精准把控，所以一次调整往往不能直接调整到位。因此，通过相机实时拍摄现场吸盘照片并在计算机中求取所需的平移距离和旋转角度，在显示器中给出实时的用户操作提示，即平移距离和旋转角度及其方向，从而提升安装过程的可操作性，实现高效的端拾器吸盘的线下辅助安装指导。

5 结论

（1）基于机器视觉的图像处理技术，针对端拾器的吸盘，提出了一种基于图像识别的吸盘底部圆心及位姿的计算方法，实现吸盘的定位，提供吸盘安装位置验证和调整的依据。

（2）运用图像处理技术获取吸盘轮廓，使用最小二乘法拟合轮廓曲线，在保证准确度的同时减小计算量，根据轮廓的特征对现场图像

和样本图像进行相似度比较，实现了现场图像中吸盘的识别。

（3）利用吸盘底部圆心及位姿信息作为吸盘安装位置调整的依据。以端拾器为参照物分别对吸盘进行旋转和平移调整，从而降低工人实际操作时的难度。与传统的线上安装相比，本文提供的线下辅助安装指导提高了吸盘装配的效率和精准度。

图8 吸盘位置调整过程

[1]曹署. 实现机械手自动化冲压线端拾器共用的方法[J]. 装备制造技术，2017（9）：75-77.

[2]赵建会，徐志刚. 冲压端拾器的组装和调试[J]. 精密成形工程，2012，4（2）：67-71.

[3]DEWAR R G，CARPENTER I D，RITCHIE JM，et al. Assembly Planning in a Virtual Environment[C]. Proceeding of Portland International Conference on Management and Technology. Los Alamitos，Cal.，USA：IEEE Computer Society， 1997：664-667.

[4]李翠玲，张浩，赵荣泳，等. 轿车车身冲压线Tooling的自动化虚拟装配模型[J]. 计算机集成制造系统，2007（11）：2110-2114.

[5]方芳，谢玉颖. 端拾器在冲压自动化生产线上的应用[J]. 金属加工（热加工），2013（17）：83-85.

[6]田欣利，王健全，唐修检，等. 基于图像处理的单颗粒金刚石曲率半径测定方法研究[J]. 中国机械工程，2013，24（3）：308-312.

[7]杨飞平，徐雷，贺云翔，等. 基于直方图数据拟合的PCB板嵌孔识别研究[J]. 机械，2018，45（7）：1-6，58.

[8]陈良泽. 用矩阵运算实现曲线拟合中的最小二乘法[J]. 传感器技术，2001（2）：30-31+34.

[9]高瑞璞. 一种轮廓曲线的匹配方法[D]. 大连：大连海事大学，2014.

[10]王晓龙. 现场鞋印轮廓提取与估计算法研究[D]. 大连：辽宁师范大学，2015.

[11]韩庆瑶，万书亭. 机器视觉中空间圆透视投影特性研究[J]. 华北电力大学学报，1998（1）：79-84.

[12]赵程. 具有圆面特征的非合作目标双目视觉位姿测量[D]. 哈尔滨：哈尔滨工业大学，2015.

Installation of Tooling Suction Cup Based on Image Processing Methods

CHEN Kunhuang，FAN Liuqun，YANG Yong

( Sino-German School for Postgraduate Studies, Tongji University, Shanghai201804, China )

To solve the problem of traditional on-line assembly of tooling of automobile stamping parts, this paper proposed an off-line installation method based on image recognition. Two cameras were used to detect the tooling in assembly process. The contour of suction cups was extracted by image preprocessing. The least square method was applied to contour curve fitting. Features of suction cups were then extracted and matched with the sample images in template library. The suction cup’s posture was obtained according to the characteristics of the circular surface and the spatial coordinate transformation. By calculating the deviation from its theoretical posture, an adjustment method was developed, which provides guidance for correct assembly of the suction cup. The results show that this method can effectively extract the suction cup’s posture and improve its installation efficiency and accuracy.

tooling；vacuum suction cup；image recognition；posture verification

TP391.7

A

10.3969/j.issn.1006-0316.2020.05.010

1006－0316 (2020) 05－0060－07

2020－01－02

陈坤煌（1994－），男，福建漳州人，硕士，主要研究方向为图像处理和识别；杨永（1993－），男，安徽宿州人，硕士，主要研究方向为图像处理和识别。*通讯作者：樊留群（1964－），男，河南长垣人，博士，教授，主要研究方向为机床数控与机器人和智能制造系统，E-mail：lqfan@tongji.edu.cn。