基于光流场的手眼相机任务函数研究

王天琪 贺乃宝 高倩 赵俊杰

摘要：利用视觉信息驱动机器人运动的技术称为视觉伺服，其中视觉信息一般采用图像平面误差构成任务函数法。图像平面误差由期望特征点和当前特征点差值产生，虽然目前对特征点的研究非常成熟，但是其存在噪声敏感、容错率差等固有缺陷，所以不适用于实际生产。本文采用光流场信息作为任务函数的自变量，能够实时反映运动过程中的目标状态，使用PID控制器在线调整特征速度，避免在手眼相机趋近过程中出現特征点丢失，任务函数不收敛等问题。

关键词：视觉伺服;光流场：PID控制器;任务函数法

中图分类号：TP393 文献标识码：A

文章编号：1009-3044（2020）03-0261-02

随着现代生产小批量、多品种的生产特点，生产线的柔性化要求越来越凸显出来。利用传统的PLC生产线难以适应多变的生产要求，机器人生产系统承担了越来越复杂的任务。通过引进视觉伺服控制作为机器人的视觉反馈信息，能够最大限度上获取外部信息，提高机器人制造系统的灵活性，并能够缩减周边设备的资金投入，在机器人控制系统中具有不可替代的作用[1]。

视觉伺服技术核心思想是利用采集到的视觉信息构成任务函数e（p* -p），并使用一个控制器将其调节到最小，其中p*是目标的期望状态，p是目标的当前状态。因为只需要考虑物体在两个相邻帧直接的相对位移，所以视觉伺服简化了由视觉传感器传送数据的处理流程。用手眼相机趋近目标的作业任务包括两个主要研究方面：任务函数的构建和控制器的设计。本文采用光流场信息作为任务函数的自变量，通过趋近过程中产生的光流信息，确定在与目标进行配准时的运动状态，避免视野丢失这类问题。设计了一个PID控制器，减小超调量，加快系统的响应时间，改善系统的动态性能。

1 控制方案说明

在经典的控制方案[2]基础上，本文提出了如图1所示的视觉伺服控制方案。在本方案中机器人离散模型用R（z）表示，视觉系统用V（z）表示，其通常被建模为一个纯延迟V（z）=k.Z^-d。其中的增益kv是将目标姿态与图像平面相关联的增益。模块C（z）表示机器人PID控制器，它将最大限度地减小;（目标位置茹x（k）与机器人位置x，（k）之间的差的数值）。低水平的连续机器人模型R'（ s）/s由机器人的惯性和执行机构的动力学构成，采用经典单元负反馈的低水平动态控制器D（Z）对机器人块R（Z）进行控制。

由式（8）和式（13）可知，点特征的光流解析解建立在两个很小间隔内的点坐标之差，基于雅克比矩阵的点特征则需要结合相机速度和该点坐标以及深度。考虑到光流解只需要获取到准确的点坐标，即可计算出精准的解析解，而图像雅克比需要考虑外部相机的速度以及点的深度信息，具有不确定性。因而，将光流解作为期望的速度矢量，将雅克比矩阵计算得到的点速度作为当前的速度矢量，通过计算两者的差值，保证其在一个可控范围内，可以保证相机趋近作业非常平稳。

以两个不同角度摆放的象棋为例，使用上述步骤进行实验仿真的结果如图2所示。使用SIFT算法[s]检测特征点，在运动过程中，特征点能够很好地进行配准，并平滑地向期望位姿变化。

5 结论

本文以光流场的解析解和点特征的雅克比矩阵计算的速度矢量之差代替传统的图像像素平面误差，能够实时反映运动状态下的目标位姿，驱动相机平稳的到达定位点。

参考文献：

[1]贾丙西，刘山，张凯祥，等.机器人视觉伺服研究进展：视觉系统与控制策略[J]自动化学报，2015，41（5）：861-873.

[2] Hutchinson S，Hager G D，Corke P I.A tutorial on visual servocontroI[J]. IEEE Transactions on Robotics and Automation.1996.12（5）：651-670.

[3]崔智高，王华，李艾华，等.动态背景下基于光流场分析的运动目标检测算法[J].物理学报，2017，66（8）：107-115.

[4]（澳）Peter Corke，机器人学、机器视觉与控制[M].刘荣，译，北京：电子工业出版社，2016：449-450.

[5]左飞.数字图像处理原理与实践：MATLAB版[M].北京：电子工业出版社。2014.