耳温计检定系统机械臂位姿自动修正方法研究

摘" 要： 针对耳温计自动检定系统中机械定位随机偏移的问题，提出一种基于机器视觉的机械臂位姿自动修正算法。在恒温槽基准位建立机械臂运动的基准参考坐标系，在此坐标系下设计机械臂作业路径动作；系统作业过程中，通过定位恒温槽上的特征图案生成变换矩阵，产生新参考坐标系；机械臂来到新参考坐标系下拍照，反推变换矩阵偏差值并对其迭代更新；通过对机械臂运动的参考坐标系进行修正，完成对机械臂三维作业的位姿修正。实验结果表明，所提算法对恒温槽上3个平面的定位精度达到0.5 mm以内，为相似场景下的视觉引导提供了一种新思路。

关键词： 耳温计； 检定系统； 机械臂； 位姿修正； 恒温槽； 手眼标定

中图分类号： TN911.23⁃34； TP242" " " " " " " " " "文献标识码： A" " " " " " " " " 文章编号： 1004⁃373X（2024）08⁃0090⁃05

Research on automatic correction method for pose of mechanical arm in ear thermometer verification system

ZHAO Zihui1， ZHANG Yupei2， CHEN Yibing1， CAO Songxiao1， TANG Jianbin1， XU Zhipeng1

（1. College of Metrology and Measurement Engineering， China Jiliang University， Hangzhou 310018， China;

2. Zhejiang Institute of Metrology， Hangzhou 310063， China）

Abstract： In allusion to the problem of random deviation of mechanical positioning in the automatic ear thermometer calibration system， an automatic correction algorithm of mechanical arm pose based on machine vision is proposed. In the reference position of the thermostat tank， the reference coordinate system for the movement of the mechanical arm is established， and the operation path action of the mechanical arm is designed under this coordinate system. During the operation of the system， the transformation matrix is generated by locating the feature pattern on the thermostat tank to generate a new reference coordinate system. The robotic arm can take photos in a new reference coordinate system， to deduce the deviation value of the transformation matrix， and iteratively update it. By correcting the reference coordinate system for the motion of the robotic arm， the three⁃dimensional operation pose of the robotic arm is corrected. The experimental results show that the positioning accuracy of the proposed algorithm for three planes on the constant temperature bathcan reach within 0.5 mm， providing a new approach for visual guidance in similar scenarios.

Keywords： ear thermometer; verification system; mechanical arm; pose correction; constant temperature bath; hand⁃eye calibration

0" 引" 言

机器视觉与机械臂相结合，使机械臂在自动化领域有了更加广阔的应用前景[1⁃3]。通过视觉技术，可根据作业场景对机械臂作业位姿进行修正[4⁃5]。通常，采用3D相机获取目标点的三维信息，对机械臂三维位姿进行修正；采用2D相机获取目标点在某平面的二维信息，对机械臂在某一个平面内的位姿进行修正。

王稼祥等利用双目结构光相机获取三维点云数据，引导自动化系统进行低压涡轮轴装配[6]。张良安等通过双目结构光视觉系统获取螺栓三维点云信息，识别其在空间中的位姿，引导机械臂末端进行自动装配拧紧[7]。董大钊等提出一种基于单目视觉的机器人装配位姿在线校正算法[8]，采用相机拍照，获取机械臂夹取工件后工件的二维位姿，将工件位姿校正量分解为原始位姿差、旋转引入位姿差及残余位姿差三部分，再将这三部分位姿误差补偿量反馈给机器人，以引导机器人完成装配。

针对在研的耳温计检定系统具有成本有限、精度要求不高的特点，本文提出一种基于2D视觉的机械臂三维位姿自动修正方法。

1" 系统组成及工作原理

耳温计检定系统示意图如图1所示。系统硬件部分包含恒温槽、二等铂电阻、测温电桥、托盘、机械臂、机械臂末端结构（智能相机、气缸、柔性夹具、按键机构）等。其中，机械臂选用埃斯顿ER12⁃1510型号六轴机械臂，重复定位精度为±0.03 mm；相机选用海康工业智能黑白相机，分辨率为1 024×1 408。系统通过上位机控制机械臂运行，控制相机取像，获取测温电桥测得的温度真值；通过机械臂程序控制机械臂末端夹具及按键机构；通过视觉处理程序对所获图像进行处理并计算，获取相应的修正信息。

机械臂从托盘上夹取耳温计并将其倾斜放置于恒温槽的支架上，使其探头垂直于恒温槽上的黑体空腔。之后在末端采用按键机构对耳温计按键，并用智能相机拍照，识别耳温计显示屏温度后将其放回原位。经过长期使用后，机械臂与恒温槽相对位置发生改变，所以需对机械臂三维作业位姿进行修正。机械臂末端与恒温槽上表面如图2所示。黑体空腔表面示意图直径为10 mm，耳温计探头直径为6 mm，综合考虑机械臂及末端机构的定位精度以及视觉系统的检测能力，系统综合定位精度应优于1 mm。

解决该问题的难点如下：

1） 系统采用单目相机对物体进行定位，单目相机通常仅用于对空间中某一平面上的物体进行定位，无法识别物体在空间中的三维信息。

2） 机械臂末端夹具、按键机构、智能相机与机械臂末端TCP不共轴，即使得到目标三维位姿信息后，也需根据按键机构、夹具、智能相机与机械臂末端TCP的相对位置参数以及耳温计机身尺寸参数，求解机械臂位姿修正值，而多个参数的引用会降低位姿修正的精度。

为此，本文提出一种机械臂位姿自动修正方法，通过视觉算法迭代修正机械臂运动的参考坐标系，实现对机械臂路径动作的自动修正。

2" 机械臂基准参考坐标系及手眼标定

2.1" 建立机械臂基准参考坐标系

机械臂基座坐标系[{Wo}]是机械臂内部自带的坐标系，基准参考坐标系[{Wu}]是由使用者创建的，两者可通过平移和旋转相互转换[9]，转换关系如下：

[xoyozo1=RT0T1xuyuzu1] （1）

式中：[R]为[3×3]的旋转矩阵；[T]为[1×3]的平移向量。

为方便建立机械臂基准参考坐标系，在恒温槽上表面贴上Mark点，Mark点示意图如图3所示。以Mark点中心点作为基准参考坐标系[{Wu}]原点，Mark点中心延展的2条互相垂直的直线分别作为[x]轴、[y]轴，建立机械臂运动的基准参考坐标系{[Wu]}。采用三维向量描述Mark点在该坐标系下的位姿，记作[[x，y，ε]T]，[[x，y]T]为Mark点中心点在[XOY]平面的坐标，[ε]为Mark点旋转角度，Mark点基准位姿为[[0，0，0]T]。

2.2" 手眼标定

系统采用九点标定技术，机械臂末端携带相机移动9个点位，建立基准参考坐标系和像素坐标系的转换关系，公式如下：

[rc1=cosθ-sinθ0sinθcosθ0001SxxuSyyu1+txty0] （2）

式中：[Sx]、[Sy]分别为[x]轴、[y]轴方向的缩放比例；[tx]、[ty]分别为[x]轴、[y]轴方向的平移量；θ为对应的旋转角度；[r]、[c]表示像素坐标；[xu]、[yu]表示基准参考坐标系下机械臂在[XOY]平面的二维坐标。

3" 参考坐标系迭代方法

建立基准坐标系，确立其余像素坐标系的转换关系后，在基准位置，以基准参考坐标系作为机械臂运动的参考坐标系，设计机械臂携带耳温计对恒温槽测温的路径动作。因为设计的路径动作与其参考坐标系间的相对位置关系具有不变性，所以针对恒温槽位置发生改变的情况，可通过修改机械臂运动的参考坐标系对机械臂三维位姿进行修正。

坐标系间转换关系如图4所示。

3.1" 生成新参考坐标系

恒温槽偏移和旋转的情况在理论模型上可简化为Mark点在基准参考坐标系[{Wu}]中[XOY]平面的坐标变换。机械臂到达基准参考坐标系下的拍照点，拍照并通过模板匹配算法定位图像中的Mark点[10]，进行手眼转换[11]，得到Mark位姿[[x y θ]T]，将其与Mark点基准位姿[[0 0 0]T]作差，即可得到位姿差[[Δx Δy α]T]，如下所示：

[[Δx Δy α]=[x y θ]-[0 0 0]]" （3）

Mark点为基准参考坐标系坐标原点，其仅在XOY平面平移旋转，如图5所示。

故可根据位姿差[[Δx Δy α]T]生成新参考坐标系[{W'u}]，公式如下所示：

[x'uy'uz'u1=cosα-sinα0Δxsinαcosα0Δy00100001xuyuzu1=Txuyuzu1] （4）

在新参考坐标系[{W'u}]中进行基准参考坐标系下设计的路径动作，机械臂内部通过式（1）和式（4）联立转换，即可实现位姿自动修正。

3.2" 新参考坐标系迭代修正

由于九点标定定位误差[12]、相机畸变、模板匹配的识别误差等干扰因素的存在，生成的新参考坐标系[{W'u}]存在误差，所以需对参考坐标系迭代修正。令机械臂在新参考坐标系下拍照位拍照，定位图像中Mark点坐标。拍照位置示意图如图6所示。

获得Mark点在新参考坐标系下位姿[[m n q]T]，并与基准位姿[[0 0 0]T]作差，获得坐标偏差[（ΔX，ΔY）T]和角度偏差γ如下：

[[ΔX ΔY γ]=[m n q]-[0 0 0]] （5）

已知，新参考坐标系[{W'u}]中坐标的偏移量与基准参考坐标系[{Wu}]中坐标的偏移量可由旋转矩阵进行转换，根据坐标偏差可求得修正值，如下：

[Δx'Δy'=cos（-α）-sin（-α）sin（-α）cos（-α）ΔXΔY] （6）

更新式（4）中变换矩阵[T]的参数如下所示：

[Δxi+1Δyi+1αi+1=ΔxiΔyiαi+Δx'iΔy'iγ'i] （7）

式中[i]为迭代次数。更新变换矩阵[T]参数后再次生成参考坐标系，机械臂到达新参考坐标系拍照位拍照，求解坐标偏差[（ΔX，ΔY）T]和角度偏差γ，若偏差小于设定最大允许值，参考坐标系迭代更新完毕；否则重复上述步骤，迭代更新参考坐标系，直至偏差小于设定值。

4" 实验与分析

为验证机械臂位姿自动修正方法在系统中的可行性，进行精度验证实验与重复性实验。搭建的实验装置如图7所示。在恒温槽的3个平面上（面Ⅰ、面Ⅱ和面Ⅲ）贴上激光定位纸，且将一支红色激光笔固定在机械臂的末端。实验流程如下：示教机械臂使激光笔光斑质心对准3个平面上的定位点，由此得到3个示教点；考虑到相机单像素精度为0.017 mm，并结合实验实际情况，设定算法中最大允许值分别为0.02 mm、0.02 mm和0.04°；调整恒温槽位置5次，每次恒温槽旋转角度在-20°～20°之间，平移距离在-8～8 cm之间；令机械臂迭代修正参考坐标系，修正完毕后，来到3个示教点，用相机拍摄图像，记录激光点与定位点的位置关系。

完成实验后，对所拍摄的图像进行处理，处理过程如图8所示。以2条直线的交点作为定位点，通过直线检测算法[13]获得定位点的像素坐标[（x1，y1）T]；通过边缘检测算法和blob分析法[14]，求得激光笔光斑的质心的像素坐标[（x2，y2）T]。

由式（8）即可求解坐标偏差值[d]。

[d=k（x2-x1）2+（y2-y1）2] （8）

式中：[k]为单位像素精度，取0.017 mm。实验所得坐标偏差数据如表1所示。

根据表1可以得知，机械臂在重复性定位精度为0.03 mm的情况下，在迭代更新参考坐标系后，对于面Ⅰ、面Ⅱ和面Ⅲ均实现了0.5 mm以内的定位精度，满足系统所需精度要求。

5" 结" 语

针对机械臂与恒温槽相对位姿相对于示教时有较大偏差这一问题，本文提出机械臂位姿修正算法，增强了耳温计检定系统的鲁棒性。该方法通过视觉技术迭代更新机械臂运动的参考坐标系，从而实现机械臂检定动作的位姿修正，具有成本较低、适应性强等特点。实验结果表明，提出的方法定位精度达到0.5 mm。

注：本文通讯作者为徐志鹏。

参考文献

[1] 陈贇.我国工业自动化行业产业链技术水平和差距分析及发展对策[J].科学发展，2022（10）：30⁃36.

[2] 丁博，付秀蓉，宗成龙.探究工业产业背景下机械制造及其自动化的发展方向[J].内燃机与配件，2021（2）：154⁃155.

[3] AZARMIPOUR M， HANA R， KLEINERT T. An IT⁃OT integration concept for flexible process automation： Virtualization of industrial control systems for application in the process industry [J]. at⁃Automatisierungstechnik， 2023， 71（5）： 403⁃411.

[4] YANG X， CHEN F， WANG F， et al. Sensor fusion⁃based teleoperation control of anthropomorphic robotic arm [J]. Biomimetics， 2023， 8（2）： 169.

[5] SIAO C Y， CHEN M H， WANG S Y， et al. Telemedicine medical ultrasonic system based on robotic arm [J]. Sensors and materials， 2022， 34（6）： 2181⁃2188.

[6] 王稼祥，陈坤勇，江录春，等.基于视觉引导的航空发动机低压涡轮轴自动化装配系统研究[J].机械设计与研究，2021，37（3）：94⁃100.

[7] 张良安，李鹏飞，谢胜龙.双目结构光视觉引导的螺栓自动装配系统设计[J/OL].计算机集成制造系统：1⁃19[2023⁃11⁃02].http：//kns.cnki.net/kcms/detail/11.5946.tp.20230104.1056.005.html.

[8] 董大钊.涡旋式汽车空调压缩机动盘自动装配系统研究[D].杭州：浙江大学，2021.

[9] FOGLI D， GARGIONI L， GUIDA G， et al. A hybrid approach to user⁃oriented programming of collaborative robots [J]. Robotics and computer⁃integrated manufacturing， 2022， 73： 102234.1⁃102234.16.

[10] 彭刚，熊超，夏成林，等.一种基于Mark点的点胶机器人视觉目标定位方法[J].智能系统学报，2018，13（5）：728⁃733.

[11] 王耀南，江一鸣，姜娇，等.机器人感知与控制关键技术及其智能制造应用[J].自动化学报，2023，49（3）：494⁃513.

[12] 郑启强.基于视觉引导的工业机器人贴标系统研究[D].福州：福建工程学院，2020.

[13] 刁燕，吴晨柯，罗华，等.基于改进的概率Hough变换的直线检测优化算法[J].光学学报，2018，38（8）：170⁃178.

[14] 赵朗月，吴一全.基于机器视觉的表面缺陷检测方法研究进展[J].仪器仪表学报，2022，43（1）：198⁃219.

作者简介：赵子惠（1999—），女，黑龙江鹤岗人，硕士，主要研究领域为仪器仪表检定与机器视觉。

徐志鹏（1982—），男，安徽潜山人，博士，副教授，研究方向为精密运动控制、高压气动元件及系统。