基于视觉导引的协作机器人自动上下料系统开发与应用

摘 要：机器人自动上下料系统作为智能制造的核心关键技术之一，已广泛应用于智能化工厂、智能化车间及自动化生产线，但其仍存在自主作业能力低，环境适应能力差，缺乏多机及人机协作能力等技术缺陷。现构建一种基于结构光视觉导引协作机器人的自动上下料系统，针对系统标定、毛坯上料和成品下料，制订了一种自动上料策略，搭建了自动上下料实验平台，开展了毛坯与成品的上下料试验。试验结果表明，该系统运行状况良好，可稳定高效地完成自动上下料工作，提升了企业的生产效率和自动化水平，创造了较好的经济效益和社会效益。

关键词：结构光视觉;协作机器人;视觉导引;多机协作;自动上下料

0    引言

随着机器人、图像技术的发展，以视觉为感官，以机器人为执行主体的多机协同装备受到国内外专家学者的热烈追捧和广泛关注[1]。周书华等人提出了一种基于视觉引导的工业机器人动态分拣系统，但抓取目标为结构化物体，并不涉及非合作目标的位姿估计，因而应用范畴有限[2]。季旭全等人提出了针对星载设备的视觉导引机器人智能装配方法，将机器学习智能算法融入双目视觉测量方法中，但系统复杂、成本高、环境适应性差，难以在工业制造领域推广应用[3]。

本文重点论述了结构光视觉系统、协作机器人系统和数控机床的多机协作自动上料方案及其在实践中的应用。

1    系统构成

基于视觉导引的协作机器人自动上下料系统架构如图1所示，主要包括出料仓、供料架、结构光视觉系统、协作机器人、数控机床等。结构光视觉系统具有测量精度高、抗噪能力强的优点，可适应光照时变、冲击振动等物理变化的非结构化工业制造场景;协作机器人具有安全性高、感知能力敏锐等优势。因此本文选择结构光测量系统和协作机器人作为感知和执行系统。出料仓、供料架及机床设置在协作机器人作业范围内，结构光视觉系统架设于供料架上方，工件毛坯放置于供料架上且在结构光视觉系统视场范围内。

2    自动上料策略

图2为自动上料策略流程图，主要包括系统标定、毛坯上料和成品下料三个阶段。

阶段一：系统标定。将标定板固装于协作机器人末端，结构光系统采集标定板图像，根据张正友标定法，获取结构光视觉系统与协作机器人末端外部参数，结合机器人当前位姿先验信息，构建光视觉系统与协作机器人的手眼转换关系。改变协作机器人位姿，多次采集不同位姿下的标定板图像，获取手眼转换关系最优最小二乘解。

阶段二：毛坯上料。结构光视觉系统检测毛坯图像，若存在毛坯，估计毛坯空间位姿。根据阶段一中手眼转换关系，以毛坯位姿为目标位姿，以当前协作机器人位姿为初始位姿，实现协作机器人抓取毛坯。

阶段三：成品下料。数控机床打开舱门，运用示教器或者PLC系统作为上位机，构建机器人轨迹规划，实现工件抓取，完成成品下料。

3    视觉导引方法

视觉导引方法是实现工件自动上下料的核心关键技术之一。基于结构光视觉系统的协作机器人导引方法主要包括工件位姿估计和机器人运动轨迹规划。

3.1    位姿估计

结构光视觉系统可获得毛坯的三维点云信息，完成毛坯抓取需实际解决毛坯的绝对定向问题。绝对定向问题是指一组三维空间点，在两个不同坐标系下的三维坐标已知，解算两个坐标系间的坐标转换关系。如图3所示，假设n个空间特征点分布于坐标系O1-X1Y1Z1和O2-X2Y2Z2，分别为pi，pi′，那么绝对定向问题可描述为以下最优问题：

||pi′-（Rpi+t）||2                （1）

為解决该问题，首先将特征点坐标去质心化，即：

Q=pi-p，Qi′=pi′- p′    （2）

其中，p=pi，p′=pi′。相应的去质心点可表示为A=[Q1，Q2，…，Qn]，B=[Q1′，Q2′，…，Qn′]，可将绝对定向最优问题转化为：

||A-RB||2        （3）

已知||M||2=tr（MTM），tr（MN）=tr（NM），可将式（3）化简为：

||A-RB||2 =tr（ATA）+tr（BTB）-2tr（RTABT）      （4）

因此获得式（3）的最小解即获取tr（RTABT）的最大值，该绝对定向问题的最优解为：

R=UDVT                （5）

其中U和V满足ABT=UΣVT，即ABT的SVD分解，D=

dig（1，1，det（UVT））。

旋转信息提取之后，可进一步解算平移值最优解：

t=p′ -Rp                       （6）

3.2    轨迹规划

首先，在充分考虑遮挡、避障、冲击、振动等因素的前提下，以运动时间最短为性能指标，预设初始点位和目标点位间若干离散中间点位。

其次，轨迹插补作为轨迹规划的核心关键技术，在实际应用中任意两点位常利用三次多项式插值，拟合中间过程位姿，即：

θ（t）=a0+a1t+a2t2+a3t3                （7）

式中：θ为关键转角;t为时间;a0、a1、a2、a3为参数。

为保障机器人运动的平稳性，运动函数需满足起始点与终点关节角约束及速度连续性约束，即：

θ（0）=θ0，

θ（tf）=θf，

（0）=

0，

（tf）=

f        （8）

可得公式（7）的参数解，即a0=θ0，a1=0，a2=3（θf-θ0）/tf2-20/

tf-tff，a3=

0+

f/tf2-2（θf-θ0）/tf3。

最后，根据机器人逆运动学[3]解算关节转角，控制关节角到达目标位姿。

4    试验验证

本文搭建了基于结构光系统导引协作机器人的上下料系统，借助标定板对结构光系统进行标定，获取相机内部参数、结构光平面参数及结构光系统与机器人系统的手眼转换关系，标定结果如表1所示。

以100个毛坯为例，开展毛坯上料，并进行成品下料作业。试验结果表明，该系统自动上下料的成功率为100%，验证了该系统和方法的可行性和有效性。

5    实践应用

采用结构光视觉检测目标位姿并导引协作机器人实现自动上下料，联合数控机床，能够形成自动化工作站或生产线，显著解决了实践中的以下问题：

5.1    使用协作机器人有效解决了人机协作难题

实践中广泛存在的机床上下料需求，由于其产品的高频换型以及机床本身换刀等方面的需求，采用工业机器人无法解决人机高效协同的问题。本文构建的系统，成功引入了协作机器人，有效解决了机床加工产品高频换型以及加工刀具、工作台切换时的人机协同问题。

5.2    采用结构光视觉增加了系统的抗干扰性能

結构光视觉的成功测试应用，对于整个自动上下料系统适应加工车间实际工况提供了极大的便利。区别于实验室的测试，在实际机床加工时会有诸如光照条件、加工机床的冲击振动以及上下料机构等的微量移动变化等导致的综合性干扰，成功剔除这些干扰可能导致的视觉定位偏差直接决定了协作机器人能否实现有效作业。

采用结构光视觉后，在机床加工实践中显著改善了上述各种因素导致的对定位的偏差判断。结构光视觉可以更加有效地识别非结构化工业生产场景，实现精准的位置坐标确定，进而为协作机器人的精准取放提供依据。

5.3    基于结构光视觉与协作机器人的协同，实现了设备快速部署

结构光视觉系统与协作机器人可以实现坐标绑定，形成的子系统可以与机床实现便捷的通信对接。这对诸多高技术人才匮乏的机床加工企业部署自动上下料系统，实现“机器换人”的目标提供了便利。绑定的结构光视觉系统与协作机器人实现了通过机器人控制器作为主站控制整个系统的目的，可以直接提供给机床加工企业完整的解决方案，缩短了系统部署时间，得到了目标企业的肯定。

6    结语

本文构建了一种基于视觉导引的协作机器人自动上下料系统，采用结构光视觉系统检测目标位姿信息导引协作机器人抓取，协作机器人联合数控机床合作上下料。针对系统标定、工件毛坯上料和成品下料，制订了一种自动上料策略。系统开发成功后在实践中得到了实际应用，有效适应了非结构化的机床加工场景，实现了高效的设备部署。该系统极大地降低了工人劳动强度，提升了企业的生产效率和自动化水平，促进了多机协同作业在智能制造领域的发展，创造了较好的经济效益和社会效益。

[参考文献]

[1] 张丰.空间机械臂装配建模与视觉导引问题研究[D].哈尔滨：哈尔滨工业大学，2019.

[2] 周书华，雷伟敏，叶晓平，等.基于视觉导引的工业机器人动态分拣与控制系统开发[J].丽水学院学报，2019，41（5）：10-15.

[3] 季旭全，王君臣，赵江地，等.基于机器人与视觉引导的星载设备智能装配方法[J].机械工程学报，2018，54（23）：63-72.

收稿日期：2021-04-02

作者简介：刘伟萍（1985—），女，浙江杭州人，机械工程师，主要从事机械自动化设计、研发等工作。