基于3D 深度相机的机器人手眼标定方法研究与应用

葛绍强，杨永辉，周自维

（辽宁科技大学 电子信息与工程学院，辽宁 鞍山 114051）

0 引言

目前，视觉工业机器人在工业生产中有很多应用，比如机器人抓取、焊接、喷涂、搬运等各个方面。在工业机器人视觉领域中，手眼标定的主要目的是获取相机到机器人末端法兰盘的转换关系，根据这种转换关系将空间中点的坐标转换到机器人基坐标系下，这样才能更好地控制机器人的手臂去完成相应的任务，因此手眼标定的研究对于工业机器人视觉有着重大的意义。

对于手眼标定的研究，文献[4]中叙述了手眼标定的定义；文献[5]提出一种相机标定和四点位姿估计的手眼标定方法，但该方法需要进行相机标定获取相机的外参，即需要获取标定板到相机的转换关系；文献[6]提出一种高精度的手眼标定方法，对标定过程中采集的图像进行校正，提高相机外参的精度，进而进行手眼标定。文献[7]提出一种基于ROS 的机器人自动手眼标定方法，其中利用PnP 的方法求解标定板到相机的转换关系。对于手眼标定复杂的问题，本文根据深度相机的原理和棋盘格上的参考点的几何关系，求取参考点到相机的转换关系，再结合机器人末端法兰盘到机器人基坐标系的转换关系，求解相机到机器人末端法兰盘的转换关系。

1 矿山爆破机器人视觉系统设计

矿山爆破机器人视觉系统，由六自由度工业机器人（KUKA R16⁃2F）、深度相机RealsenseD435、机器人抓取工具组成，采用眼在手上的方式，将深度相机固定在机器人末端处，深度相机随着机器人的位姿变换而变化，这种类型的手眼标定，相机的视野更大。矿山爆破机器人视觉系统结构图如图1 所示。

图1 视觉系统结构图

首先，相机利用深度学习算法YOLOV3 识别出矿山中的孔洞，得出孔洞中心点的像素坐标；然后，结合深度相机原理计算出孔洞中心在相机坐标系下的空间坐标，随后结合手眼标定关系，将孔洞中心的空间坐标转换到机器人基坐标系下。

2 手眼标定

2.1 手眼标定原理介绍

手眼标定分为两种类型：一种是眼在手上的手眼标定（Eye⁃in⁃Hand）；一种是眼在手外的手眼标定（Eye⁃to⁃Hand）。本文主要叙述眼在手上的手眼标定类型，首先对照下手眼标定的示意图，如图2 所示。Base 表示机器人的基坐标系，在机器人末端法兰盘上安装一个相机（图中Center 表示法兰盘的中心，Camera 表示的是相机），在机器人视野前面固定一个标定板（棋盘格，图中用Checkerboard 表示），棋盘格上的某个参考点与机器人基坐标的关系是固定不变的，利用这个不变的关系进行机器人的手眼标定。

图2 手眼标定示意图

用示教器控制机器人移动，让相机拍摄棋盘格标定板，把此时的机器人位姿定义为1，用T表示机器人末端法兰中心到机器人基坐标系下的转换关系，T表示相机坐标系到机器人末端法兰中心的转换关系（待求，这个关系是固定不变的），T表示参考点到相机的转换关系。同样控制机器人移动到另外一个位姿下，把此时的机器人位姿定义为2，用T表示机器人末端法兰中心到机器人基坐标下的转换关系，T仍然是相机坐标系到机器人法兰中心的转换关系，T表示此时参考点到相机的转换关系。T表示位姿1 和位姿2 机器人末端法兰中心坐标系之间的相对位置的齐次变换矩阵。T表示位姿1 和位姿2 下特征点到相机的转换关系的齐次变换矩阵。根据标定板上棋盘格中的某参考点到机器人基坐标系下的转换关系不变的原则有如下关系：

可以令T=,T=,T=,得：

式中，已知，那么手眼标定的问题转换成求解=的问题，求解利用TSAI 两步法求解。

2.2 参考点姿态确定方法

根据参考点的像素值、深度值和深度相机RealsenseD435的SDK函数rs2_deproject_pixel_to_point（），获取棋盘格上参考点的空间坐标，这里参考点选择3个，且这3 个点构成一个直角三角形，利用直角三角形有两个边相互垂直的原理，可确定角度为90°的参考点姿态。具体原理如图3 所示。

图3 参考点姿态确定原理图

图4 棋盘格上参考点示意图

已知点处的姿态的空间坐标（位置）和姿态，就可确定点的位姿，或者说是参考点到相机的转换关系矩阵。

3 手眼标定实验与分析

根据第2 节手眼标定的叙述，画出了整个手眼标定的流程图，如图5 所示。根据图5 所示，首先操作机器人到位姿1 处，拍摄棋盘格图片，根据特征点的几何关系确定点的姿态，姿态和位置已知，计算参考点到相机的转换关系矩阵，同时计算机器人末端到机器人基坐标系的转换关系矩阵。反复操作机器人到9 个不同的位姿处，可以获得9 张棋盘格图片、9 组参考点到相机的转换关系和9 组机器人末端到机器人基坐标系下的变换矩阵，8 组T和8 组T。9 张图片如图6 所示。

图5 手眼标定流程图

图6 拍摄的9 张棋盘格图片

取8 组T和8 组T中的3 组 数据如表1 所示。

表1 Tgij和Tcij的数据

根据8 组T和8 组T数据，再结合TSAI 两步法，即可求得相机到机器人末端的转换关系矩阵T，用Matlab 程序进行仿真，求T矩阵和在机器人基坐标系下，参考点与相机的相对位置的关系图，T如下：

相对位置关系如图7 所示。

图7 参考点与相机的相对位置关系

图7 中，分散的点表示相机的姿态，密集的点表示参考点的姿态。

利用该标定关系，将棋盘格中参考点的像素坐标转换到机器人基坐标系下，参考点坐标在机器人基坐标系下的，理论值和实际值如表2 所示。

表2 实际值和理论值 mm

其中，理论值是根据T*T*T关系求得的，因为机器人共移动9 个位姿，因此理论值有9 个，实际值是根据控制机器人末端的法兰盘移动到参考点，根据示教器读出的该参考点在机器人基坐标系下的坐标且都为（1 704.8，-252.5，1 030.1）。从表中可以看出，其理论值中3 个坐标值和实际值中3 个坐标值的误差最大为5.7 mm，最小误差为0 mm。随后，搭建一个模拟矿井隧道，孔洞的半径大约控制在50 mm 左右，控制机器人工具抓取注药工具运动到炮孔中心测试，每次都能精准地抓取注药管运送到孔洞中心处，其精度满足矿山爆破的需求。测试过程中的实验图如图8 所示。

图8 实验测试图

4 结语

本文提出一种基于深度相机的手眼标定方法，该标定平台利用棋盘格上的特征点几何关系，获取棋盘格上参考点到相机的转换关系矩阵，同时利用示教器读取的机器人末端的位姿计算机器人末端到机器人基坐标系下的转换矩阵，把这两个关系矩阵与TSAI 两步法结合，即可求得相机到机器人末端法兰盘的转换关系。此过程充分利用深度相机的原理，不需要对其求取相机的外参，过程简便且精度满足矿山爆破任务的要求。该标定平台在其他应用工业机器人视觉领域中也有一定的借鉴意义。

注：本文通讯作者为杨永辉。