机器人视觉伺服的发展现状

四川大学锦城学院智能制造学院 丁渔庆

本文介绍了视觉伺服系统的基本结构和3种机器人视觉伺服策略，本文对机器人视觉伺服的主要问题进行了分析和探讨，并对机器人视觉伺服的未来研究方向进行了展望。

随着机器人技术的持续发展，机器人在众多领域发挥作用，为了探索变化的环境，确定自身定位、地图构建、独自搜索等任务，通常把传感器安装于机器人身上，以便快速获取外部信息。视觉传感器具有信息量丰富、尺寸小、功能齐全等优点，常适用于机器人控制系统中。视觉伺服便成为现在机器人领域的研究重点。机器人视觉伺服是用传感器来探测和感知机器人目前位置或其与目标物体之间的相对位置，对机器人实现精准控制或轨迹跟踪，这是一个集机器视觉、运动学、自动控制、实时系统分析于一体的新兴交叉学科。视觉伺服系统由视觉系统、控制策略和机器人系统组成。视觉系统经过图像采集和视觉处理得到视觉反馈信息，控制器便得到机器人的控制输入。针对具体情况，根据实际需求设计了视觉伺服系统的实现策略。

1 机器人伺服系统

1.1 机器人视觉控制系统分类

目前，机器人伺服系统按照功能和性质的不同，有如下几种分类：由于摄像机数量不同，经常分为单目视觉伺服系统、双目视觉伺服系统和以及多目视觉伺服系统。单目视觉只能获得二维图像，通过平移获得深度信息。单目视觉系统适用于深度要求简单的工作环境。多目视觉伺服能够获取目标多维度的信息，由于信息量大，很难保证系统的稳定性。目前，人们通常采用双目视觉伺服系统来理解深度信息。根据摄像机安装位置的不同，可分为手眼系统和固定摄像机系统。在手眼系统中，能获得目标的精准位置，计算出目标的绝对误差也较低；但手眼系统不能感知机器人的末端，通常采用固定运动模型来计算目标与机器人末端的位置关系；实际上，手眼系统常丢失目标。为了可以同时观察目标和机器人末端，通常采用固定摄像机系统。但机械臂进行工作时，会遮挡目标，由于机械臂在移动过程时，摄像机位置固定，摄像机测量结果不变，当摄像机精度不高时，会造成较大的绝对误差。因此造成机械臂无法到达目标。为了克服两种系统的不足，当前的一种解决方法是两种方式的协作工作。

按照反馈信息的不同种类，分为基于位置的视觉伺服系统和基于图像的视觉伺服系统。由于这2种伺服系统都存在不同的缺陷，因此，在此基础上提出一种2.5维视觉伺服方法。

1.2 基于位置的视觉伺服

基于位置的视觉伺服利用图像信息来得到机器人与目标之间的位姿误差，把计算的误差指令反馈给机器人关节控制器，最后实现机器人运动，这种方法成功与否依赖于从图像到位姿的估计精度，除了确保摄像机参数的准确和噪声的大小外，对于这种方法而言，还存在目标随时可能脱离视场等问题。

1.3 基于图像的视觉伺服

基于图像的视觉伺服系统是把将捕获的图像参数与开始采集到的目标信息对比，计算的图像误差直接用于反馈。

图像雅克比定义如下：

设s=[s1,s2,...sp]T为三维坐标系下的末端位姿，q=[q1,q2,...qn]T为关节坐标，f=[f1,f2,...fm]T为特征的空间坐标；为末端的速度矢量，为关节速度矢量，f为图像特征的变化速度。与之间的表达式为其中j1叫机器人雅克比矩阵，表示向量s对向量q的导数。任务空间速度与对应的图像特征的变化速度f之间的关系是，其中j2称为Local Jacobian，也有人称为图像雅克比。图像特征的变化速度f与对应的关节速度之间的关系为，其中j=j2j1。一般把j称为图像雅克比矩阵，图像雅克比表示了在某个关节角附近图像特征变化与机器人关节角变化之间的关系。计算雅克比矩阵有多种方法。基于图像的伺服系统，不需要三维重建；对摄像机模型的偏差具有较好的鲁棒性，可以保证机器人或目标始终处于视场中。但这种方法存在雅克比矩阵的奇异性和局部发散等问题。

1.4 2.5D视觉伺服策略

上述两种方法都存在各自的问题，在此基础上Malis等人提出的2.5D被广泛运用，通过把平移与旋转分量解耦，反馈信号由三维坐标和二维图像空间坐标表示。增强了系统的稳定性，扩大了收敛域。Hashimoto和Morel此外，还介绍了放大图像特征收敛区间的方法。采用2.5D视觉伺服策略可以很好地解决系统的鲁棒性、奇异性、局部极小问题；但也存在如下缺点。①需要进行特征点匹配。②在分解单应矩阵时，有时存在解不惟一的问题。③解H矩阵计算复杂且需要多次迭代。④2.5D视觉伺服系统对噪声鲁棒性不强。⑤不能保证目标总是在摄像机的视野内。

2 视觉伺服领域主要存在的问题

2.1 深度信息缺失的问题

当摄像机成像时，物体被映射到二维平面上，造成深度信息丢失的问题。由于深度信息未知，导致视觉伺服控制器的设计非常困难。许多学者采用Lyapunov非线性控制方法进行研究。方纯勇等人提出了一种新的方法来解决机器人伺服系统在未知深度信息条件下的稳定控制问题。张雪波等人开发了一种具有指数收敛性的视觉伺服系统控制器。用一种特殊的方法，让未知深度信息不影响系统其他参数的条件下，只改变控制器的收敛速度。Luca等人利用机器人在线估计深度的方法以及图像中特征点的变化规律获得雅克比矩阵。在此基础上，为了满足伺服任务，运用Lyapunov方法设计了一种非线性控制器。以上大多采用牺牲机器人的三维路径的方式来弥补深度信息不足的问题。对此，一些学者利用机器人在欧式空间中的运动与特征点在图像平面上的运动间的动态关系；即深度识别技术，能实现目标未知深度信息的在线估计。但是如何提高深度信息在线识别的鲁棒性仍是待解决的问题。

2.2 摄像机内外参数与图像噪声问题

摄像机内外参数的标定误差和噪声对伺服精度有很大干扰。因此，在摄像机参数未知和存在标定误差的情况下，一些学者提出了一些未标定的、鲁棒的视觉伺服算法。苏剑波等人提出了一种无标定的视觉伺服算法，采用有效的基于图像雅克比在线估计的方法，并将其与自抗扰控制技术结合。方纯勇等人设计了一种基于经验在未知的摄像机内外参数矩阵下粗略估计的视觉伺服系统的方法。当估计误差在一定范围内，该算法能实现误差成指数衰减。然而，这些方法一般都是以机器人手臂为对象，忽略了移动机器人的非完整性约束以及标定误差的存在对这些系统的影响。因此，如何提高视觉伺服对标定误差和图像噪声等问题的鲁棒性，特别是存在非完整性约束的机器人，如何实现高精度伺服控制是待解决的问题。

2.3 目标特征出离视野范围的问题

为了保证视觉伺服的顺利进行，通常将感应器置于机器人身上。利用目标特征图像进行视觉反馈控制。如果目标突然消失在摄像机的视野中，伺服任务将直接失败。因此，许多学者对怎么保证目标特征的可控性做了大量的研究。通常分为基于图像平面的轨迹规划以及基于三维运动空间的路径规划两种研究方法。对于有更多自由度的六自由度机械手，Mezouar等人把基于图像的视觉控制和势场分析结合，为了保证目标始终处于摄像机视野内，采用在图像平面上进行势函数轨迹的方式。但是，该方法会导致机器人陷入势场的局部极小值，且对摄像机和参数信息精度要求严格。另外，为了满足视野范围内的限制，一些学者在三维空间中规划特定的轨迹。Chesi等人为了保证六自由度机械手的大范围伺服任务，设计了一种圆形轨迹。为了优化路径效率，G.Chesi等人提出了一种基于位置的视觉伺服和后向运动融合伺服策略，为了保证摄像机视场约束以及伺服效率，设计了相应的切换控制器。但是，该方法对目标特征以及摄像机参数精度要求很高。因此，在六自由度机械手视觉伺服过程中，目标特征在视觉范围内的提取仍然是个待解决的问题。

3 总结与展望

视觉伺服的发展，像2.5D的视觉伺服策略，基本源自于从三维到二维之间的投影关系的深入研究，2.5D的视觉伺服策略的优点在于控制不单建立在图像空间或三维空间上。在以后的研究过程中。从图像空间与三维空间统一的角度考虑问题，对图像空间与三维空间之间的投影关系再深入研究，都能有助于视觉伺服的发展。该系统存在深度信息不足、摄像机参数和噪声干扰、目标逃离视野等问题。为了视觉伺服发展，上述不足都必须解决。