机器人视觉引导下的机柜操作技术研究

2024-11-12 00:00:00黄彪吴尤骏刘迅
无线互联科技 2024年19期

摘要:针对狭窄环境下机柜操作效率低下、精度不足的问题,文章基于机器人视觉技术开展了系统性研究。首先,通过系统总体设计框架的规划,研究了机柜操作系统的整体架构和功能模块。其次,对视觉模块设计进行了深入探讨,包括相机选择与安装、相机标定与参数配置、目标识别与定位算法的开发等,旨在实现对机柜及其内部设备的准确识别和定位。最后,针对执行模块设计展开了研究,并以JAKA-ZU3机械臂为基础分析了机械臂运动规划与控制方法,以实现对机柜的自动识别、定位和操作。

关键词:机器人;手眼标定;视觉引导;系统构建

中图分类号:TP242.6 文献标志码:A

0 引言

随着数字化信息时代的不断发展,机器人技术正成为工业自动化领域的研究热点[1]。随着工业生产和服务领域的自动化程度提高,这些领域对机器人视觉技术提出了更高的要求,特别是在狭窄环境下的机柜操作。传统的操控方式往往效率低下、精度不足[2],因此研究基于机器人视觉引导的机柜操作技术更具有重要的实际意义和应用前景。

本文研究旨在针对机柜操作这一特定场景,结合机器人视觉引导技术展开深入研究与探索,为机器人在狭窄环境下的操作提供一种新的解35YPStaaDXUbTlqphMx1CA==决方案,以推动机器人技术在工业生产中的应用与发展。

1 基于机器人视觉的机柜操作方法设计

本文设计的基于机器人视觉的机柜操作方法如图1所示,该框架包括机器人操作系统、目标识别定位方法(数据集建立、模型建立、机柜识别定位)、相机标定模块(确定相机位置、相机标定、获取相机内外参数、手眼标定、机械臂坐标变换矩阵)等多个部分。

(1)系统中的计算机作为主控制单元,负责整个系统的协调和控制。机器人操作系统作为机器人控制的核心,负责接收处理计算机发送的指令并通过执行模块实现相应的动作[3]。

(2)目标识别定位方法是系统的重要组成部分[4-6],主要包括数据集建立、模型建立和机柜识别定位3个步骤。在数据集建立阶段,该方法通过收集机柜的图像数据来构建数据集,接着利用已建立的数据集训练模型。在应用时,系统对实时采集的机柜图像进行处理,从而实现对机柜的准确识别和定位。

(3)相机标定模块负责确定相机的位置和内外参数,包括相机标定[7-8]、手眼标定和机械臂坐标变换矩阵等多个步骤[9-11]。

(4)机械臂坐标变换矩阵用于转换相机坐标系与机械臂坐标系,确保机械臂能够根据相机采集到的图像进行准确操作。

2 视觉模块设计

本文设计的机器视觉系统如图2所示。视觉系统先通过相机标定步骤对相机进行标定,以获取相机的内外参数。该过程中,系统采用相机内参标定模块获取相机的焦距、主点坐标等内部参数,这些参数对于后续的图像处理和相机位置计算至关重要。在确定相机摆放位置之后,手眼标定用于标定相机与机械臂之间的相对位置关系。通过采集相机和机械臂末端执行器的关键位置数据,并结合相应的标定算法,系统能够准确地确定二者之间的相对位置关系。机械臂坐标变换矩阵模块用于获取机械臂坐标系与相机坐标系之间的转换矩阵,以实现机械臂的运动控制和目标定位。

在识别定位中,算法模块是系统的核心部分,结合深度学习和图像处理技术,系统对采集到的图像进行分析和处理,以实现对机柜等目标物体的识别和定位。

手眼标定是该方法的关键技术,具体如式(1)所示。

Tcw=Tew·Tbe·Tcb(1)

式中,Tcw表示相机在世界坐标系中的位置和姿态;Tew表示末端执行器在世界坐标系中的位置和姿态;Tbe表示末端执行器在机器人基座坐标系中的位置和姿态;Tcb表示机器人基座到相机之间的位置和姿态关系。

手眼标定的目标通过一系列采样点(Tei,Tci)求解Tcb。其中,Tei表示机器人末端执行器在世界坐标系中的位置和姿态;Tci表示相机在世界坐标系中的位置和姿态。手眼标定的过程可表示为式(2)。

Tcb=ni=1(Tei)-1·Tci(2)

式中,n表示采样点的数量。手眼标定可以通过最小化以下误差来求解Tcb,如式(3)所示。

E=∑ni=1‖Tcb-(Tei)-1·Tci‖2(3)

通过最小二乘法等数值优化方法,该方法可得到最优的Tcb,从而实现相机和机器人基座之间的准确标定,为后续的机器人操作提供可靠的基础。

3 执行模块研究

JAKA-ZU3机械臂是由JAKA公司研发生产的一款工业机器人,如图3所示。该机械臂采用先进的电气伺服控制技术和高精度的运动控制算法,具备较强的运动控制能力和灵活性,并配备了先进的电气伺服控制系统,采用闭环控制算法,能够实现高速、高精度的运动控制。其控制系统支持多种通信接口,可与各类工业设备和自动化系统实现无缝连接。在该机械臂上进行手眼标定及机柜操作引导时包括以下基本步骤。

3.1 手眼标定

(1)准备标定工具:准备用于手眼标定的工具,包括标定板和相机。

(2)安装标定板:将标定板安装于机械臂末端执行器上,确保其能够被相机清晰地拍摄到。

(3)采集标定数据:控制机械臂移动采集一系列不同位置和姿态下的机械臂末端执行器和相机数据。

(4)计算标定参数:通过手眼标定算法利用采集到的数据计算出机械臂基座坐标系到相机坐标系之间的转换矩阵。

3.2 机柜操作引导

(1)相机安装和标定:将相机安装在机械臂上使相机能够准确拍摄到机柜的图像,并进行相机的内参标定和外参标定。

(2)目标识别与定位:利用机器人视觉算法对机柜进行目标识别和定位,确定机柜在工作环境中的位置和姿态。

(3)规划路径:基于机械臂的运动学模型和目标位置信息规划机械臂的运动路径,使其能够准确地移动到机柜前方。

(4)执行操作:根据规划的路径控制机械臂执行相应的操作,如打开机柜门、取出或放置物品等。

(5)实时反馈与调整:通过实时监测相机图像和机械臂的位置姿态对操作过程进行实时反馈和调整,确保操作的准确性和稳定性。

4 系统构建方法

本文搭建基于机器人视觉的机柜操作系统步骤如图4所示,具体如下。

4.1 系统设计与规划

(1)确定系统需求:分析机柜操作的具体场景和需求,明确系统需要实现的功能和性能指标。

(2)设计系统架构:设计系统的整体架构并确立各个模块之间的交互关系,包括硬件平台选择、软件框架搭建等。

4.2 相机选择与安装

(1)选择相机:根据机柜操作的需求和环境条件,选择性能优良的工业相机。

(2)安装相机:将相机安装在机器人末端执行器上,并根据实际情况进行调整和固定。

4.3 相机标定与参数配置

(1)相机标定:通过标定板等工具对相机进行内参和外参的标定,获取相机的准确参数。

(2)参数配置:根据标定结果配置相机的参数,确保相机能够正常工作并拍摄清晰的图像。

4.4 目标识别与定位算法开发

(1)开发目标识别算法:开发机柜及其内部设备的目标识别算法实现对目标物体的准确识别。

(2)开发定位算法:结合相机标定参数开发目标物体在图像中的定位算法,确定目标物体在三维空间中的位置和姿态。

4.5 机械臂运动规划与控制

(1)运动学建模:对机械臂进行运动学建模,建立机械臂的运动学模型。

(2)路径规划:基于目标位置信息和机械臂的运动学模型进行路径规划,确定机械臂的运动轨迹。

(3)运动控制:利用机器人操作系统等平台实现对机械臂的运动控制,确保机械臂能够按照规划的轨迹准确移动。

4.6 系统集成与调试:

(1)搭建系统框架:将各个模块集成到系统中,建立完整的机柜操作系统。

(2)系统调试:对系统进行全面调试来验证各个功能模块的准确性和稳定性。

5 结语

本文以机柜操作为背景,利用机器人视觉技术研究了一套完整的系统。通过对视觉模块和执行模块的深入研究与设计,系统可以实现对机柜的自动识别、定位和操作,其中,相机标定、目标识别与定位算法的开发以及机械臂运动规划与控制系统的设计是系统实现的关键性内容。通过理论研究和框架设计,本文为机器人在狭窄环境下的操作提供了一种新的解决方案,对推动机器人技术在工业生产中的应用和发展具有重要意义。未来的研究可进一步优化和完善该系统并将其拓展到更广泛的应用领域。

参考文献

[1]陈立新.工业机器人在冲压自动化生产线的应用[J].机械设计与制造,2010(10):94-96.

[2]毕运波,李永超,顾金伟,等.机器人自动化制孔系统[J].浙江大学学报(工学版),2014(8):1427-1433.

[3]HARAPANAHALLI S,MAHONY N O,HERNANDEZG V,et al.Autonomous navigation of mobile robots in factory environment[J].Procedia Manufacturing,2019,38:1524-1531.

[4]YANG J C,WANG C G,JIANG B,et al.Visual perception enabled industry intelligence:state of the art,challenges and prospects[J].IEEE Transactions on Industrial Informatics,2021(3):2204-2219.

[5]郑太雄,江明哲,冯明驰.基于视觉的采摘机器人目标识别与定位方法研究综述[J].仪器仪表学报,2021(9):28-51.

[6]高智伟,谭晓东,刘客.基于双目视觉的物体识别定位与抓取[J].科学技术与工程,2020(20):8285-8291.

[7]支健辉,董新民,孔星炜,等.相机标定的外界影响因素分析[J].应用光学,2014(2):286-291.

[8]尹洪涛,刘成,李一兵,等.相机标定误差因素分析[J].信息通信,2012(1):28-30.

[9]王君臣,王田苗,杨艳,等.非线性最优机器人手眼标定[J].西安交通大学学报,2011(9):15-20,89.

[10]陈鲁刚,平雪良,徐稀文.平面三自由度机械臂的轨迹规划及仿真[J].工具技术,2011(9):26-30.

[11]王一,刘常杰,任永杰,等.工业坐标测量机器人定位误差补偿技术[J].机械工程学报,2011(15):31-36.

(编辑 沈 强)

Research on cabinet operation technology guided by robot vision

HUANG Biao1, WU Youjun2, LIU Xun3

(1.Beijing AVIC Weak Current System Engineering Co., Ltd., Beijing 100028, China;

2.Airport Construction Headquarters, West Airport Group Co., Ltd., Xianyang 712000, China;

3.Shenzhen Xbrother Technology Co., Ltd., Shenzhen 518100, China)

Abstract: This article conducts systematic research based on robot vision technology to address the problems of low efficiency and insufficient accuracy in cabinet operation in narrow environments. Firstly, through the planning of the overall system design framework, the overall architecture and functional modules of the cabinet operating system were studied. Secondly, in-depth discussions were conducted on the design of the visual module, including camera selection and installation, camera calibration and parameter configuration, and the development of target recognition and positioning algorithms, aiming to achieve accurate identification and positioning of the cabinet and its internal equipment; Finally, research was conducted on the design of the execution module, and the motion planning and control methods of the JAKA-ZU3 robotic arm were analyzed to achieve automatic recognition, positioning, and operation of the cabinet.

Key words: robot; hand-eye calibration; visual guidance; system construction