基于双目视觉的机器人抓取系统

周晏 韩毅 王旭彬 郭圆辉

摘 要：基于机器视觉系统引导的机器人抓取技术是当前机器人技术研究的热点，如何对机器人与摄像机进行精准的手眼标定是实现机器人精准抓取的前提和基础。本文通过双目摄像机和四轴机器人建立了基于双目视觉的机器人抓取系统，采用张正友标定法对双目摄像机的内外参数进行标定，对眼在手外的抓取系统进行手眼标定，并将抓取目标物体空间坐标信息转化为机器人控制信息，完成目标抓取。

关键词：双目视觉;机器人;手眼标定;物体抓取

中图分类号：TP242文献标识码：A文章编号：1003-5168（2020）35-0004-04

Abstract： Robot grasping technology guided by the machine vision system is a hot spot in the current robotics research， and how to perform accurate hand-eye calibration of robots and cameras is the prerequisite and basis for achieving accurate robot grasping. A robot grasping system based on binocular vision through binocular cameras and four-axis robots was established in this paper， which used Zhang Zhengyou calibration method to calibrate the internal and external parameters of the binocular cameras， and performed hand-eye calibration on the grasping system with eye-to-hand， and the space coordinate information of the captured target object was transformed into robot control information to complete the target capture.

Keywords： binocular vision;robot;hand-eye calibration;object grasping

《中国制造2025》的核心目标是装备生产的信息化与智能化，而智能机器人恰好是实现这一目标的重要执行者。传统的工业机器人通常以在线教学或离线编程等方法实现其自动化工作。机器人按照特定的工位和工序来完成抓取任务，缺乏柔性和适应性[1]。随着视觉技术的发展，视觉感应被引入工业机器人领域，让摄像机变为工业机器人的“眼睛”，通过摄像机来实现对外部世界的有效感知，增强其柔性，使其能够更加高效、更加智能地完成工作任务。本文以双目立体视觉摄像机获得目标物体的空间位置信息，从而引导机器人抓取目标物体。

1 双目视觉测距原理

双目视觉测量是基于视差原理，通过左右两个摄像机从不同的角度对物体进行拍摄，然后对获取的数字图像进行视差计算，从而得到前方物体距离。其原理与人眼感知相似，人眼能够感知物体的远近，是由于两只眼睛对同一个物体呈现的图像存在差异，这也被称为“视差”。视差是同一个空间点在两个摄像机成像中对应的

如图1所示，[O1]、[O2]为平行的左右两个摄像机，基线[T]表示两个摄像机投影中心连線距离，摄像机焦距为[f]，空间观察点的坐标为[P（x，y，z）]，系统分别在左摄像头[O1]和右摄像头[O2]上获取了空间点[P]的图像，[P]点在左、右图像的坐标系为[pc1（xc1，yc1）]、[pc2（xc2，yc2）]。由于两摄像机平行，左、右成像在同一个平面上，即[yc1=yc2=yc]，则根据相似三角形原理[Δpc1Ppc2～ΔO1PO2]，可以得出：

结合坐标系之间的变化关系、几何关系，人们可以计算出图像中目标点的景深，同时可以确定目标点的三维空间位置信息[2]。

2 机器人手眼标定方法

将双目系统测出的物体三维坐标引入机器人系统，通过视觉引导机器人抓取物体是系统的目的。在常见的视觉引导机器人抓取系统中，根据视觉相机安装方式的不同，机器人手眼标定方法可以分为两大类。

2.1 眼在手上（Eye-in-Hand）

眼在手上示意图如图2所示。从图2可知，该种方式将摄像头安装在机器手臂上，即摄像头随着机器手臂运动而运动。

2.2 眼在手外（Eye-to-Hand）

眼在手外模型如图3所示。从图3可知，该种方式将摄像头安装在机器手臂之外的部分，与机器人的底座（世界坐标系）相对位置固定，摄像头不随着机器手臂运动而运动[3]。

本文采用的是眼在手外的方式，如图3所示，{B}为机器人基础坐标系，{F}为机器人末端连杆坐标系，{T}为标定板坐标系，{C}为双目摄像头坐标系。其中，[K1]表示机器人基坐标系与机器人连杆末端{F}坐标系转换矩阵，该矩阵可以通过机器人运动学正解计算得出;[K2]表示标定板坐标系{T}与机器人连杆末端{F}坐标系转换矩阵，由于安装问题，该转换矩阵在标定前未知;[K3]为双目摄像头在标定板坐标系下的位姿，即为双目摄像头的外部参数矩阵，该矩阵可以通过双目摄像头标定获得。[D]为双目摄像头在机器人基坐标系下的位姿，[D=K1·K2·K3]，因此，只需要计算出[K2]即解出双目摄像头在机器人基坐标系下的三维信息。

通过变换机器人末端位姿，如图4所示，可以得出：

由于标定板安装在机器臂上，所以标定板与机器臂末端相对位姿是固定的，即[K2]=[K5]，令[K]=[K2]=[K5]，得：

这就是关于K分量的线性方程组求解，本文采用学者Tasi和Lenz提出的辗转求解方法[4]，得到[K1]、[K2]、[K3]，从而得到双目摄像头在机器人基坐标系下的位姿信息。

3 基于双目视觉的机器人物体抓取试验

试验平台硬件部分由越疆DOBOT魔术师四轴机器人、小觅D1000双目摄像头和计算机三部分组成。越疆DOBOT魔术师四轴机器人实物图如图5所示，小觅双目摄像机实物图如图6所示。具体来说，试验包括以下两大步骤。

3.1 双目视觉标定

本文采用小觅双目摄像头D1000作为双目立体视觉系统。该设备左、右相机拍摄分辨率均为1 280×720。采用张正友标定法[5]，标定板为7×11张氏棋盘标定板（见图7），正方形边长为28 mm。小觅双目摄像机拍摄的标定图片如图8所示，采用MATLAB相机标定工具箱对双目摄像机进行标定。

在进行小觅双目摄像头标定后，为了进一步验证目标空间坐标计算的准确性，将两个小球放置在试验台上，如图9所示，对双目视觉计算距离与实际距离进行比较。首先，采用OpenCV的Canny目标边缘检测方法来定位图像中的目标并计算中心点，获得左、右相机图像坐标系中的每个目标的坐标。然后，根据两个摄像机坐标系下的坐标关系，从图像坐标到世界坐标，可以获得两个目标的坐标。因此，可以计算两个目标球体之间的距离，并且将间距与实际测量值进行比较，距离误差用于表示三维坐标解的精度。

双目摄像头标定测量结果如表1所示。由5组试验数据可以看出，计算间距和实际距离存在误差，最大误差为4.80%，最小误差为0.70%，平均误差为2.35%，可以满足机器人抓取精度要求。

3.2 机器人抓取试验测试与分析

机器人抓取试验平台如图10所示。本研究采用越疆DOBOT魔术师四轴机器人作为抓取设备。为降低抓取环境颜色对试验的影响，选用白色作为抓取试验台背景，并在保证光线充足的情况下进行抓取试验[6]，分别在4个不同位置抓取5种物体，每种物体被抓取10次，试验总次数为5×4×10=200次，试验结果如表2、表3所示。

4 结语

本文设计了一种基于双目视觉引导的机器人抓取系统，利用双目视觉技术完成对抓取目标的三维空间位置信息获取，再将位置信息传递给机器人控制系统，从而完成目标抓取任务。通过系统测试，该系统定位误差较小，能够满足机器人抓取的定位精度要求，可以针对不同目标物体完成实时抓取任务，具有可靠性高、适应性强的特点。

参考文献：

[1]朱良，林浒，吴文江.基于机器视觉的工业机器人工件定位[J].小型微型计算机系统，2016（8）：1873-1877.

[2]夏茂盛，孟祥磊，宋占伟，等.基于双目视觉的嵌入式三维坐标提取系统[J].吉林大学学报（信息科学版），2011（1）：61-66.

[3]何佳唯，平雪良，刘洁，等.一种机器人手眼关系混合标定方法[J].应用光学，2016（2）：250-255.

[4]Tsai R Y，Lenz R K.A new technique for fully autonomous and efficient 3D robotics hand/eye calibration[J].IEEE Transactions on Robotics & Automation，1989（3）：345-358.

[5]于勇，张晖，林茂松.基于双目立体视觉三维重建系统的研究与设计[J].计算机技术与发展，2009（6）：127-130.

[6]傅华强，房芳.工业机器人视觉定位技术研究与应用[J].工业控制計算机，2016（3）：1-3.