基于双目视觉的目标识别与定位及机械臂的抓取研究

黄贤振，彭淑萍

（1.天津职业技术师范大学 机械工程学院，天津300222；2.江西冶金职业技术学院 制造工程学院，新余 338000）

机械臂抓取控制过程中，虽然在百年前已经建立了完善的多坐标系联合控制算法，但相关控制至今仍停留在顺序程序或基于反馈数据的半自动化控制模式，机械臂智能化相关研究仍有巨大提升空间。 智能化控制领域中，文献[1]指出的实验室研究已经可以使用模糊神经网络实现基于机器人自主视觉的智能化控制， 即对被切削工件不同节理、结核的反馈数据，及时调整切削机器人机械臂的给进量和给进力度，实现基于机械手和机器人自主视觉的切削机器人控制。 文献[2]认为机械手抓取机构的控制难度远大于机械手切削机构，每年全国大学生机器人大赛（RoboMaster）的保留竞赛项目为机械手捡鸡蛋比赛，机械手抓取控制的难度和控制稳定性直接决定了选手的胜负。

文献[3]使用120°夹角的三眼识别控制机械手，即在3 个相互交叉视野的支持下使用Smart3D 软件生成三维模型，将该模型的定位信息反馈到机器人控制系统中。 但三眼视觉的硬件系统仅能用于传统固定式机械臂， 难以应用到飞行机器人或行走机器人中。 近年来玉兔号月球车和祝融号火星车中使用的机器人双眼自主视觉，使用2 个共轴的摄像头仿生人眼定位功能实现机器人可移动自主视觉。

文献[4]认为机器人双眼视觉无法直接用于Smart3D 的三维建模解析，但可以形成不完备三维模型，利用元胞自动机和互搏神经网络的结合算法，在智能化算法的基础上实现高精度的基于双眼视觉的三维建模。

1 双眼视觉的元胞自动机互搏算法的模型

双眼视觉与三眼视觉相比， 三眼视觉可以给Smart3D 提供全角度的原始视频信息， 而双眼视觉只能获得被观测物体面向机器人一面，无法获得被观测物体的背面信息。 文献[5]认为需要使用元胞自动机完成背面三维结构的生成工作。 文献[6]认为元胞自动机对三维结构背面的建模过程具有随机性，需要在其后通过机器学习算法进行互搏判断，当机器学习算法给出较高评分时， 才可以输出三维模型，如果不能给出较高评分，则该模型被返回重生成。 上述数据逻辑如图1 所示。

图1 双目视觉元胞自动机互搏算法示意图Fig.1 Schematic diagram of binocular vision cellular automata beat algorithm

摄像头：机械臂的视觉传感器，为机械臂提供影像信息；流媒体数据：通过摄像头拍摄所得数据；原子钟：高精度计时装置；单帧提取：将流媒体数据通过单帧方式进行提取；Smart3D： 全自动倾斜摄影测量三维实景建模软件；不完备三维模型：基于双目视觉的机器人通过Smart3D 生成的未经机器学习判断模块判断的三维模型；随机数生成器：生成随机数的器件。

元胞自动机的统计学任务是在随机数生成器的驱动下，在点阵式三维模型中计算自动生成被遮挡点的坐标位置，文献[7]认为其中依赖双眼视觉中的单眼视觉获得参照数据，即双眼视觉中支持元胞自动机运行的摄像头被认为为主视觉眼，另一个摄像头作为辅助视觉眼。 机器学习判断模块的统计学任务是根据双眼视觉图像和待比较三维模型的三维点阵数据提供二值化判断， 当其输出结果接近1.000 时，将待比较三维模型输出为最终模型，当其数据结果接近0.000 时，驳回待比较三维模型，重新发出随机数重新生成待比较三维模型。 该机器学习判断模块的内部结构如图2 所示。

图2 机器学习判断模块数据逻辑图Fig.2 Data logic diagram of machine learning judgment module

二维图像：左右摄像机经过单帧提取所输出的二维图像；空间卷积：为了加强边界强化，二维图像及三维模型需要经过空间卷积进行处理，以便用于模糊卷积；模糊卷积：神经网络模块，在此用于处理空间卷积的输出，以生成双精度数据进行二值化处理；二值化：提供二值化判断，当其输出结果接近1.000 时，将待比较三维模型输出为最终模型，当其数据结果接近0.000 时，驳回待比较三维模型。

经过摄像机单帧提取的二维图像及带比较三维模型需要经过空间卷积进行边界强化，适用空间卷积基函数为

式中：g（x）为原始图像；j（a-x）为卷积核；x 为遍历变量；a 为辅助定位变量；y 为神经网络输出值。

经上式处理后的数据需要神经网络模块处理成双精度数据，神经网络模块均采用多项式深度迭代回归节点函数，其基函数为

经过神经网络模块所输出的双精度数据需要进行二值化判断，针对每套方案设计一个独立的二值化神经网络模块， 形成二值化多列神经网络，二值化神经网络的节点基函数为

式中：e 为自然常数，此处取近似值e=2.718281828；其他数学符号含义同前文。

2 双眼视觉机器人与三眼视觉机器人的算法效能比较

用于参照的三眼视觉机器人使用固定在机器人活动空间的不少于3 个中轴相互交叉的摄像头获得的多眼视觉，数据分析系统采用相关文献中使用较广的空间卷积神经网络与模糊卷积神经网络综合的机器学习系统，受制于篇幅，此处不展开讨论参照组的具体算法。 但近5年文献中，机器人多眼视觉属于较先进机器人自主视觉实现方案。

比较算法中使用SPSS 统计软件的双变量t 校验获得两列数据的差异值。

t 检验，也叫做Student t 检验，是用t 分布理论来推论差异发生的概率，从而比较两个平均数的差异是否显著。主要适用于样本量不大，总体标准差σ未知的正态分布。 t 值来自比较结果的Value 值，当t＜10.000 时认为两列数据存在统计学差异， 且t 值越小，数据差异性越大；P 值来自比较结果的Log值，当P＜0.05 时认为比较结果拥有统计学信度，当P＜0.01时认为比较结果存在显著的统计学意义。

2.1 机器人移动范围及移动效率比较

通过比较基于双眼视觉的机器人和基于三眼视觉的机器人的移动效率，可以掌握机器人在基于不同视觉模式下的行走灵活程度，详细数据见表1。

表1 机器人移动范围及移动效率比较结果表Tab.1 Comparison results of robot moving range and moving efficiency

表1 中，移动范围指可接受控制精度要求下机器人自主行走或程控行走的最大直线距离；移动速度为相同行走机构的机器人行走的平均速度；避障精度使用行走路线与行走路线测点的线性回归结果的R2值，R2值指均值法距累加值与回归法距累加值的比值。

从表1 中可以看出，基于双眼视觉的机器人在移动范围方面要远大于基于三眼视觉的机器人，同时比较此时t 值与P 值可知其差异巨大且存在显著统计学意义，这是由于基于三眼视觉的机器人无法离开外部传感器所提供视野区域所限制；在机械臂移动速度方面，基于双眼视觉的机器人和基于三眼视觉的机器人相差无几，此时t 值接近100 且P<0.05，说明结果可信；而对于避障精度方面，由表可知基于双眼视觉的机器人的避障精度要优于基于三眼视觉的避障精度，此时t<10.000，且P<0.001，说明避障精度结果具有统计学差异且存在显著的统计学意义。

2.2 机械手控制精度比较

通过比较基于双眼视觉的机器人和基于三眼视觉的机器人的机械手控制精度，可以掌握机器人在基于不同视觉模式下对于目标识别的稳定程度及抓取力度的控制程度，详细数据见表2。

表2 机械手控制精度比较结果表Tab.2 Comparison results of manipulator control accuracy

表2 中，抓取力度指机械臂抓取物品时对物品所施加的压力；定位精度指机械臂基准坐标的空间实体位置信息与机械臂真实位置之间的接近程度；而行走精度指机械臂按预设程序行走时，机械臂与预设导轨基准面之间的平行度。

从表2 中可以看出，在抓取力度、定位精度、行走精度方面针对三眼视觉机器人和双眼视觉机器人进行比较可知，基于双眼视觉的机器人均要优于基于三眼视觉的机器人。 在抓取力度、定位精度以及行走精度方面，比较三者的t 值和P 值发现，此时t<10.000，且P<0.001，说明在抓取力度、定位精度以及行走精度方面的结果均具有统计学差异且存在显著的统计学意义。 这也反映出基于双眼视觉的机器人拥有更高的灵活度，这一点在定位精度及行走精度等方面上尤为明显。 这是由于基于双眼视觉的机械臂相比于三眼视觉的机械臂拥有更为灵活的视野，不用考虑三眼视觉机械臂的视野限制，从而在目标识别部分可以更加灵活的进行图像预处理，获得更好的识别稳定性和算法执行效率。

2.3 “捡鸡蛋”任务模式下的机械手工作效率比较

通过比较基于双眼视觉的机器人和基于三眼视觉的机器人在“捡鸡蛋”任务模式下的机械手工作效率，可以掌握机器人在基于不同视觉模式下在具体任务中的执行任务能力及工作效率，详细数据见表3。

表3 “捡鸡蛋”任务模式下的机械手工作效率比较结果表Tab.3 Comparison results of manipulator’s work efficiency in “egg picking” task mode

表3 中，平铺效率为每分钟机械臂将鸡蛋从一个平铺状态“捡入”至另一平铺状态的个数；篮中效率为每分钟机械臂将鸡蛋从一个篮中状态 “捡入”至另一篮中状态的个数；损伤率为“捡鸡蛋”任务模式下，损伤鸡蛋的个数与所抓取鸡蛋个数的比值。

通过比较可知，基于双眼视觉的机械臂“捡鸡蛋”的平铺效率及篮中效率均大于基于三眼视觉的机械臂的平铺效率和篮中效率。 比较t 值和P 值可知，此时基于双眼视觉的机器人和基于三眼视觉的机器人的工作效率差异巨大且具有显著统计学意义，这点在平铺效率上尤为明显。 而对于损伤率的比较中，基于双眼视觉的机械臂在“捡鸡蛋”任务中的鸡蛋损伤率要远小于基于三眼视觉的机械臂的损伤率，此时P 值<0.01，认为损伤率结果也具有显著统计学意义。

通过对于机器人移动范围及移动效率的比较、机械手控制精度的比较、以及“捡鸡蛋”任务模式下的机械手工作效率的比较，结果显示基于双眼视觉的机器人相比基于三眼视觉的机器人拥有更为灵活的移动精度、控制精度及工作效率。 分析造成这些结果的可能原因为基于双眼系统的机械手由于避免了因摄像机视野范围的限制，从而在目标识别部分可以更加灵活的进行图像预处理，在算法上获得更好的识别稳定性和算法执行效率，进一步影响对采集到的图像的立体校正工作，以此获得更为精确的目标物体的形心位置，得到更好的算法效能结果。

3 结语

本研究给出了元胞自动机互博算法的模型流程，解释了元胞自动机对三维结构背面的建模过程，从而得到基于双眼视觉的机器人的模型构建。 随后进行了双眼视觉机器人与三眼视觉机器人的算法效能比较，结果显示基于双眼视觉的机器人相比基于三眼视觉的机器人拥有更为灵活的移动精度、控制精度及工作效率。 本研究改善了在复杂工作环境及复杂工作任务下，机械臂的自主调整能力和交互能力，为未来机械臂自主作业的研究提供方向，对工业、医疗等领域自动化水平的提升有显著意义。