基于RGB-D相机的机械臂抓取系统设计

郭圆辉　王旭彬　韩毅

摘 要：随着现代工业化、自动化进程的加快，机器人在现代工业领域的应用愈发重要。智能机器人可以高效地完成搬运、移动等工作，而建立相机与机械臂坐标系之间的关系是实现以上任务的基础。通过DOBOT Magician与Intel realsense d435i建立了基于RGB-D相機的机械臂抓取系统。首先采用张正友标定法求出RGB-D相机的内参矩阵信息;然后通过实际场景的机械臂位置信息建立外参矩阵，通过矩阵逆求解得到外参矩阵信息;最后通过内外参矩阵信息得到相机坐标点对世界坐标点的转换关系，并控制机械臂完成对目标的抓取。经测试，该系统平均成功率为87.5%.

关键词：计算机视觉;RGB-D相机;机械臂;相机标定

中图分类号：TP241.2 文献标识码：A 文章编号：1003-5168（2021）29-0011-04

Design of Robot Grasping System Based on RGB-D Camera

GUO Yuanhui WANG Xubin HAN Yi

（Department of Computer Science and Information Engineering， Anyang Institute of Technology，Anyang Henan 455000）

Abstract： With the modern industrialization， the automation process is accelerating， the robots are more important in modern industrial sectors. Intelligent robots can efficiently complete handling， move， etc. How to establish a relationship between the camera and the mechanical arm coordinate system is the basis for implementing the above tasks. This article establishes a robot-based robotic arm grabbing system based on DOBT Magician and Intel realsense d435i. First， Zhang Zhengyou calibration method is used to obtain an internal reference matrix information of the camera to the camera; then establish a foreign reference matrix by the actual scene of the robot arm position information， and the outer parameter matrix information is obtained by the matrix reverse; finally through the internal and external reference matrix information is obtained from the camera coordinate point to the world coordinate point conversion relationship， and controls the cracking of the robot to the target.

Keywords： computer vision;RGB-D camera;robotic arm;camera calibration

在人工智能飞速发展的现代，智能机器人在工业领域的应用愈发重要。近年来，在制造行业中，使用机器人替代人工成为一种较为普遍的现象[1]，但如何确保机器人对抓取目标定位的准确性，提高设计方案的鲁棒性，降低产品的维护成本依然是十分艰巨的任务。在目前大部分工业制造中，对机器人抓取目标的定位仍然采取固定工件位置，设定固定的机械臂移动路线和抓取位置的方式实施工作，此类方案在工业实施过程中的鲁棒性和自适应性较差[2];或者使用模板匹配方案[3]，将预定好的目标与待抓取的物体进行匹配，但此方案更换目标困难。笔者将相机成像原理、张正友标定法[4]应用于机械臂抓取中，建立点对点坐标转换模型，并以此为基础，使用卷积神经网络[5]实现对目标物体的抓取，旨在解决机械臂抓取在工业应用中鲁棒性和自适应性较差的问题。

1 图像坐标系转换相机坐标系

在工业机械臂目标抓取过程中，从RGB-D相机得到的图像信息中目标的坐标是由物体的世界坐标投影到相机坐标系，再经过仿射变换到图像坐标系，然后进行平移变换，最终得到像素坐标信息。因此，该目标位置信息不能直接作为抓取的位置。由相机拍摄得到的世界坐标系下的物体位置信息的转换关系如图1所示，其中（x，y，z）表示相机坐标系，O表示相机坐标原点。（x，y）表示图像坐标系，O表示相机图像坐标原点，f表示相机焦距，P与P′分别表示相机坐标系某一点的坐标与图像坐标系下的某一点的坐标。

相机坐标系转换为图像坐标系，实际上是利用了仿射变换，将相机坐标系的坐标投影到图像坐标系，其中两者的转换关系是以焦距f为变换量，根据相似三角形原理可以得到（x，y）与（x，y）的关系：

而在计算机视觉中，图像坐标系并不是实际计算机中的坐标系，这主要是因为像素坐标系与图像坐标系存在单位量与坐标轴的变换关系。具体变换关系如图2所示，其中O表示图像坐标系，O'表示像素坐标系。

根据图像坐标系与像素坐标的关系，设在坐标轴的x，y方向下每个毫米单位下有p个像素。同时，定义相机坐标系与图像坐标系中的（x，y）平移距离为（u，v），可得（x，y）与（u，v）的关系：

结合式（2）與式（4）可得，由图像坐标系到像素坐标系的转换关系如下：

2 相机坐标系转换机械臂坐标系

在机器臂抓取的实际应用中，相机坐标系与机械臂坐标系存在一定的旋转和平移关系。因此，需要建立相机坐标系与机械臂坐标系的转换矩阵，根据当前转换需求，将机械臂坐标系视为世界坐标系。其变换关系如图3所示。

其中，O表示相机坐标系原点，O表示世界坐标系原点。由于两个坐标系之间存在平移与旋转的关系，因此存在3个自由度的旋转矩阵与平移矩阵，设r为旋转向量，t为平移向量，可得O与O的变换关系：

3 基于RGB-D相机的机械臂抓取试验

本试验中硬件部分分别由四轴机械臂DOBOT Magician、Intel realsense d435i深度相机与计算机3部分组成。DOBOT Magician是越疆科技自主研发的多功能轻量型智能机械臂，采用一体化设计，体积精巧，重复定位精度为0.2 mm，负载为0.25 kg，运动范围为340 mm，性能优秀，其外观如图4所示。

Intel realsence d435i深度摄像头外形小巧，功耗低，旨在提供现成可用的追踪性能，具有跨平台、开发人员友好的同步定位与建图功能，可满足机器人、无人机和增强现实等快速原型制作需求。其外观如图5所示。

3.1 RGB-D相机标定试验

相机标定试验即通过求出机械臂坐标系与图像坐标系中的一系列参数，得到由图像坐标系到机械臂坐标系的转换关系，其中包括相机的内参矩阵、机械臂坐标系与相机坐标系的位置关系下的外参矩阵。

利用张正友标定法进行标定，采用标准的7X9的标定板进行标定，为了保证标定数据的精确性，共采集了30张不同角度的图像用于标定。首先通过OpenCV提取标定板的角特征信息，得到标定板的每个角点的位置信息，随后通过一系列逆向求解过程，得到相机的内参矩阵信息，部分标定板拍摄图像如图6所示。

通过张正友标定法，求得相机的标定结果，得到相机的内参矩阵M，其数值如下：

3.2 RGB-D相机-机械臂坐标系转换试验

根据以上得到的相机的内参数据，以及上文中相机坐标系与机械臂坐标系转换关系，求解即可得到相机与机械臂的转换关系。选取4个坐标点进行矩阵方程的求解，即选取4个机械臂的坐标位置与4个像素坐标系下的对应位置，随后根据相机的内参信息，求解相机的外参矩阵。4个坐标数据如表1所示（R表示机械臂坐标，M表示像素坐标）。

根据机械臂坐标信息与图像坐标信息，依照4个点的坐标对应关系及内参矩阵M，即可求得外参矩阵：

随机在棋盘坐标系上选取6个点，选取欧氏距离的绝对值作为评价指标，经过测试，预测坐标位置与实际坐标位置如表2所示。

通过表2中的数据计算可得，定位坐标与实际坐标的误差平均值为1.105，精度基本满足机械臂的抓取要求。

根据坐标系转换的数据信息，使用OpenCV，在棋盘格上绘制出其坐标系示意图，如图7所示。

3.3 机械臂物体抓取试验

试验抓取系统由3部分组成，即摄像头、机械臂和PC端。其中，摄像头位于工作场景上方，负责采集数据，机械臂位于相机右方负责抓取物体，PC端负责处理和控制机械臂。机械臂抓取平台如图8所示。

试验抓取系统坐标关系来自相机标定得到的图像坐标系与机械臂坐标系的关系，通过使用YOLO_v3卷积神经网络识别出物体坐标，然后通过坐标系转换得到机械臂的坐标，最后对机械臂发出指令完成对目标的抓取和搬运。其中，每个目标物体进行20次抓取测试，共计抓取120次，抓取结果如表3所示。在试验中，机械臂基本能抓到目标物体，其中green cube抓取成功率达到了95%。平均成功率为87.5%，基本满足机械臂的抓取操作。

4 结语

设计了一种基于RGB-D相机的机械臂抓取系统，利用计算机成像原理与坐标转换技术完成目标物体在三维空间中的定位，再将目标传递给机械臂控制系统，从而完成对目标的抓取任务。经过试验分析，系统定位误差小，基本满足机械臂抓取目标的需要。该系统有效改善了传统方法中鲁棒性与自适应性较差的状况，对现代工业化机械臂抓取、物体分类抓取等具有重要意义。

参考文献：

[1]谢邦晋.基于机器视觉的工业机器人定位抓取技术[J].内燃机与配件，2018（21）：216-218.

[2]朱良，林浒，吴文江.基于机器视觉的工业机器人工件定位[J].小型微型计算机系统，2016（8）：1873-1877.

[3]戴健春.基于RGB-D相机的工业机器人定位抓取技术与系统集成研究[D].重庆：重庆邮电大学，2018：18.

[4]ZHANG Z Y.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000（11）：1330-1334.

[5]REDMON J，FARHADI A.YOLO_v3： An incremental improvement[J].arXiv Preprint，2018（4）：33-35.