融合视觉和以太网技术的工业机器人分拣装配控制系统设计

苏建，李在娟

(苏州市职业大学机电工程学院，江苏苏州 215104)

0 前言

以数字化、网络化、智能化为发展方向的制造业迎来了深刻变革，融合新一代信息技术与先进制造技术的智能制造已成为新一轮工业革命的核心驱动力。我国是制造大国，推动智能制造是解决我国制造业由大变强的根本路径。

后疫情时代，人员流动减少、外来务工人员缺乏、企业招工难的问题愈发凸显。同时伴随着人口红利渐弱，原材料成本上升，“机器换人”成为制造业转型升级的必然趋势。工业机器人作为智能制造中智能装备的代表，已经在汽车、3C等制造领域得到广泛应用。工业视觉赋予工业机器人“人眼”的功能[1]，可以辅佐工业机器人进行更高精度、更强适应性的自动化生产。

当前，该领域的研究偏重视觉图像处理方法的研究，或机器人的优化控制问题。如王诗宇等[2]利用并联机器人和康耐视相机搭建了物体分拣平台；李致金等[3]通过视觉技术检测工件位置的偏移。而对工业视觉、工业机器人和PLC三者之间的融合通信与综合编程的研究还不够深入。

针对智能生产线中多类型、多工位、无规则、有残次的工件识别、分拣与装配作业，本文作者构建了一个基于工业以太网通信的硬件系统，应用视觉获取工件数据，基于坐标偏移的方法提出了一种机器人与PLC综合编程控制算法，实现高精度、高效率的工件分拣与智能装配。

1 硬件系统构建

本文作者设计的分拣装配控制系统主要由工业机器人、托盘输送带、装配输送带、视觉系统、装配夹具等组成，如图1所示。其中托盘输送带由PLC控制、三相交流电机驱动，装配流水线由PLC控制、步进电机驱动。AGV将G6工位的托盘输送到托盘输送带的入口，G4工位利用视觉系统检测与识别工件，G1、G2、G3均为已检测过的工件托盘，G1工位为工业机器人抓取工件的位置；G5工位为空托盘和残次工件的存放位置；G7工位为成品区，同时当未存放成品时也可以作为临时区；G8工位为定位及装配区；G9为工件临时存放区。分拣装配系统主要设备及网络拓扑结构如图2所示。

图1 分拣装配系统布局

图2 系统主要设备及网络拓扑图

2 工件检测与识别

选用信捷工业视觉系统来检测工件信息、识别工件类型。该系统主要由光源控制器、光源、相机、镜头、视觉软件等构成，具有成熟的视觉软件，视觉算法工具齐全，视觉脚本功能可以进行二次开发。

2.1 视觉检测原理

(1)图像匹配检测原理

图像匹配是应用计算机和相应的数学理论对给定图像按照特定目的进行相应匹配处理[4]。匹配过程如下:在一定的搜索角度范围内(如对称模板为[-90°,90°])，将模板图像T0(m0,n0)依次旋转一定角度θ得到新的模板图像Tθ(m0,n0)，然后与被搜索图S(W,H)进行匹配，取与模板图像尺寸一致的区域进行对比，每次平移一个像素后执行同样操作，最终在图像中完成(W-m+1)×(H-n+1)次的遍历与搜索，获得图像中模板图像的角度、位置和匹配度等特征数据。

(1)

其中：i，j为子图左下角在被搜索图S上的坐标；θ为模板旋转角度。

(2)圆孔检测原理

圆孔检测是模式识别领域和计算机视觉领域的重要研究内容[5]。基于霍夫变换及相似度的圆孔检测方法较为成熟[6-7]。本文作者选用霍夫变换方法[7]检测了圆孔边缘、圆心及圆面积。首先对目标图像进行滤波、二值化、边缘检测等预处理，然后获取若干封闭图形边沿Tk(m,n)，若封闭图形边缘满足公式(2)，则该封闭图形即为圆孔。

(2)

其中：Rk(i,j)为圆的半径，(i,j)为当前圆孔的圆心位置，k为目标图像中圆孔个数。

2.2 特征学习

特征学习的目的是利用图形处理工具获取工件特征数据。现选用图案定位和圆孔检测工具，对工件进行检测，获取工件类型、偏移量和偏转角度。

利用视觉软件获取工件的清晰图像后，在托盘中心放置一个尖针，获取尖针图像，放大图像记录尖端(托盘中心)位置为PX0=320、PY0=222。然后将工件5、6、7、8以预设的角度放置在托盘中心(机器人示教基准)，通过视觉系统获取各特征工具，其功能如表1所示。

表1 工件特征学习工具说明

各工具学习模型如图3所示。

图3 工件特征学习

2.3 工件数据计算

视觉测量结果是像素个数，为了换算出被测工件的尺寸，必须建立像素与物理尺寸的比例关系，即标定每个像素代表的实际物理尺寸，该变量称为像素当量[8]。此例中，工件类型通过图像匹配的方式进行识别，残次工件通过圆孔检测工具进行区分。工件的偏差尺寸通过像素差与像素当量的乘积获得。由于物理安装位置不同，机器人坐标系Y+方向与相机坐标系X+方向一致，机器人坐标系X+方向与相机坐标系Y+方向相反。通过相机脚本程序计算机器人偏移量的计算方法如公式(3)所示。

(3)

式中：ΔXR、ΔYR分别为机器人X和Y轴方向的偏移量；PXn、PYn为图像模型中心位置；PX0、PY0为托盘中心(机器人示教基准位置)；σn表示不同工件的像素当量。经过测算，工件1、5的像素当量为0.447，工件2、6为0.446，工件3、7为0.495，工件4、8为0.488。各工件图像检测及计算数据如表2所示。

表2 各工件特征数据

3 PLC通信及主控编程

S7-1200 PLC具有支持Modbus-TCP协议的Profinet网口，将PLC、工业机器人和视觉系统建立关联，实现数据的通信与交互[9]。同时S7-1200 PLC可采用SCL语言编程，该语言不仅具备常用的逻辑控制指令，在结构化数据的运算方面还有独特的优势。

3.1 PLC与周边设备通信

S7-1200 PLC与工业机器人采用Modbus-TCP的通信方式，实现16个字型数据接收与16个字型数据发送，通信程序如图4所示。其中PLC发送给机器人的16个字存放在DB4里的i[15]数组中；PLC接收给机器人的16个字存放在DB5里的o[15]数组中，通信部分数据的功能如表3所示。

图4 PLC与机器人通信程序示例

表3 PLC与机器人收发数据功能

S7-1200 PLC与相机也是采用Modbus-TCP的通信方式，实现工件类型、X偏移量、Y偏移量和角度4个float型数据的实时接收。根据通信规则，PLC接收的相机数据需要高低字交换。

3.2 PLC主控流程

PLC是控制系统的核心：一方面控制视觉系统，获取视觉检测数据；另一方面控制作业流程，实现机器人工件分拣、二次定位、智能装配、成品入库等逻辑控制任务。PLC收到相机检测的工件数据后，对工件的动作做逻辑判断，决定机器人对工件搬运的取放偏移位置和数据，然后将数据发送给机器人。基于坐标偏移方法、融合PLC和机器人编程的算法减少了机器人示教位置，简化了机器人程序。PLC程序流程如图5所示。

图5 PLC主控程序流程

4 机器人示教与编程

4.1 机器人坐标系

为确定机器人的位置和姿态而在机器人或空间上进行的位置指标的系统，称为机器人坐标系。针对多种类型工件，作者设计了一套多功能工业机器人末端工具，如图6所示。其中，工件2、3、4、6、7、8及残次工件选用吸盘工具，工件1、5选用三爪工具，吸盘工具和手爪工具的夹角为80o。现设定工业机器人PHome1、PHome2(吸盘朝下)、PHome3(手爪朝下)三个工作原点的关节坐标系如下所示：

图6 工业机器人多功能末端工具

PHome1=[0°,0°,0°,0°,-90°,0°]

PHome2=[0°,0°,0°,40°,-90°,0°]

PHome3=[0°,0°,0°,-40°,-90°,0°]

利用辅助标定装置标定吸盘和手爪工具坐标系数据如下所示：

吸盘数据Pdisc=[0.5,174.0,145.0,-90°,140°,90°]

手爪数据Ppaw=[0,-144.8,165.7,90°,140°,-90°]

4.2 位置示教

所谓位置示教，就是利用示教盒使工业机器人末端工具到达预期的位置，并记录相应位置数据。机器人示教通常是肉眼观察，存在一定的误差。采用坐标偏移的方法可以获取相近坐标位置、减少机器人示教位置、提高机器人的位置精度。

示教前需标定G1、G7、G8、G9坐标方向，使其与机器人坐标方向一致。此例中，工业机器人、相机与示教位置坐标如图7所示，其中吸盘工具示教位置有5个，分别位于G1(XP1)、G5(XP1)、G7(XP5)、G8(XP4)、G9(XP3)，手爪工具示教位置有三个，分别位于G1(SZ1)、G7(SZ3)、G8(SZ2)。

图7 系统坐标示意

4.3 机器人程序流程

机器人收到PLC发送的数据后，确定所用末端工具，通过基准位置和偏移量的代数和计算出工件的取放位置，决定机器人对工件的搬运、分拣或装配动作，实现工件的分拣与装配。机器人程序流程图如图8所示。

图8 机器人程序流程

5 总结

通过300个工件的实验与测试，该系统残次工件识别正确率为100%，合格工件获取数据正确且机器人均能正确抓取工件；基于工业以太网技术的控制系统可以实时交互工业视觉、PLC和工业机器人三方数据；应用基点偏移的方法进行西门子PLC的SCL语言编程，减少了工业机器人的示教位置，简化了工业机器人的程序，提高了工业机器人的装配效率和装配精度。融合视觉和以太网技术的机器人分拣装配控制系统满足实际生产要求，有助于提高生产效率。