智能拾取机械臂系统*

□ 顾 勇 □ 袁鸿斌 □ 吴小涛

1.杭州师范大学 钱江学院 杭州 310036 2.杭州师范大学 工学院 杭州 310036

1 研究背景

伴随着中国制造2025和工业4.0计划的提出,机器人在全球各个产业中的需求逐年增加[1]。机械臂虽然已经从最初的工业领域逐渐进入人们的日常生活,但是大多只是应用在简单的工作环境中,或针对固定的工作任务,与人类对机械臂的期望相差甚远。随着人们对机械臂工作要求的不断提高,传统机械臂缺乏自主控制能力所带来的弊端逐渐凸显。因此,如何使机械臂具备足够智能化,已经成为当前机械臂领域的主流研究之一。

机器视觉在不与外部环境接触的情况下获取外部信息,属于一种认知交互,为控制机器动作提供丰富的参照。机器视觉在机械臂中应用,将提高操作灵活性和工作效率。通过机器视觉对工件进行识别和定位,并进行图像处理,可高效、精确地定位工件,获得工件的位置数据,从而实现机械臂自动完成工件的抓取。

笔者搭建了一套智能拾取机械臂系统,搭载视觉系统对混合场景下需要抓取的目标进行识别,并估计目标在空间中的位姿,从而引导机械臂靠近目标,完成拾取任务。

2 整体结构

智能拾取机械臂系统主要由视频采集、图像识别、拾取执行三部分组成,硬件框架如图1所示。首先将物体放置在固定位置,将摄像机采集的实时视频信息传输至计算机,形成数字图像。然后利用训练后的目标检测网络对图像中包含的物体进行分类、识别和定位。最后将信息输入至控制柜,形成指令,从而控制机械臂运动完成拾取。智能拾取机械臂系统的整体结构模型如图2所示。

▲图1 智能拾取机械臂系统硬件框架▲图2 智能拾取机械臂系统整体结构模型

3 视觉识别系统

通过对比国内外研究[2-7],发现 YOLOv3算法网络框架模型最佳,因此笔者选用YOLOv3算法网络框架模型,基于Jetson Nano硬件,参考文献[8]线性迭代等算法实现识别功能,并进行改良。引入随机失活算法、AdaGrad算法代替传统的随机梯度下降算法,在模型的全连接层进行批标准化处理。引入迁移学习,加快模型的训练速度。引入混合注意力机制,提高网络细化特征的能力。由此实现识别工件种类、分析工件姿态、提取旋转锚框特征等功能。视觉识别系统界面如图3所示。

▲图3 视觉识别系统界面

针对目标检测,选择YOLOv3算法,并对YOLOv3算法网络结构进行分析。为了减小目标检测中的计算量,对YOLOv3算法进行轻量化设计。使用轻量级移动网络v3代替YOLOv3算法的骨干网,并实现路径聚合网络的深度可分离卷积轻量化。

笔者采用YOLOv3算法,即基于深度学习的目标识别算法,过程如下:① 摄像机采集图像,并将其划分为正方形网格;② 每个网格预测B个边界框,记录元素x、y、w、h和P×IOU,其中,P为当前位置为目标的概率,IOU为交并比,x、y为中心坐标,w为宽度,h为高度;③ 计算每个预测网格的概率P。YOLOv3算法使用卷积网络提取特征,然后使用全连接层得到预测值。网络结构包含24个卷积层和两个全连接层。

4 控制系统

针对机械臂进行Denavit-Hartenberg建模[9],并进行运动学分析,包括正运动学方程推导、运动学逆分析、雅可比矩阵求解及逆解推导。利用MATLAB软件中的Robotics Toolbox建立机械臂模型,通过仿真验证逆矩阵的正确性。Denavit-Hartenberg模型如图4所示。其中,机器人的三个关节都可以旋转或平移,第一个关节指定为n-1,第二个关节指定为n,第三个关节指定为n+1。连杆n-1位于关节n-1和n之间,连杆n位于关节n和n+1之间。Denavit-Hartenberg建模需要为每个关节指定一个局部参考坐标系。对于每个关节,必须指定X轴和Z轴,而不指定Y轴。若关节为旋转式,则Z轴按右手定则位于旋转方向上。若关节为滑动式,则Z轴为沿直线运动的方向,可理解为Z轴为电机输出轴方向。X轴定义为两个相邻关节的Z轴之间的共垂直方向。Denavit-hartenberg模型参数见表1。

表1 Denavit-Hartenberg参数

5 样机制作

通过完善硬件和软件,笔者搭建了一套智能拾取机械臂系统样机,制作指标如下:

(1) 单件抓取时间为15 s;

(2) 机械臂活动范围为400 mm;

(3) 最大移动速度为0.2 m/s;

(4) 连续工作时间为2 h。

智能拾取机械臂系统样机如图5 所示。对样机进行调试,能够完成规定动作,运行情况稳定,拾取瞬间如图6所示。

▲图5 智能拾取机械臂系统样机▲图6 拾取瞬间

6 结束语

笔者在分析目前国内外分拣机器人的基础上,搭建了一套智能拾取机械臂系统。根据实际应用需求,将机器视觉技术应用于各种工件分拣中。智能拾取机械臂系统样机达到预期的设计要求,能够自动分拣放置在地面上的工件,验证了控制系统设计的合理性。

目前,智能拾取机械臂系统的路径规划面临许多痛点[10-11],从试验结果可以看出,改进的轨迹规划过程中生成的路径也有拐点,并且角速度和角加速度的变化也不平缓。机械臂在实际运动过程中,可能会受到一定的冲击。因此,未来的研究重点是利用相关传感器来纠正运动过程中关节速度不稳定的问题。笔者已有研究针对的是简单的拾取任务,三维构造较为简单。对于真实生活中的复杂模型,获取三维数据并不容易。今后重点需对真实生活三维构建参数的准确性进行研究,并且分析自主拾取和拾取最佳姿势。