基于强化学习微操作系统的机器视觉与无标定视觉伺服研究

涂胜倩

(安徽三联学院 基础实验教学中心，合肥，230601)

当前，人工智能、传感设备及计算机技术迅猛发展，机器人系统智能化程度更高。作为非接触式传感设备，视觉传感器在生活或工业生产中广为应用。视觉传感器与机器视觉技术相结合，获取精准的信息目标或识别肉眼没法看清的物体，解决传统技术留置的问题。机器视觉伺服系统是一非线性极复杂系统，具强耦合性。机器视觉伺服系统涉及多领域技术，含自控原理、机器人学、机器视觉、伺服控制、操作实时系统等。因此，视觉伺服系统是当今机器人智能化研究领域的热点。

1 机器视觉

大量机器视觉法都运用于某些设备的控制。常见机器视觉任务是目标定位[1]。可用简单二值分割进行目标定位，如对比度、颜色、纹理分割，或用模板匹配法，此法适于某较固定场景。

视觉立体系统包含自标定摄像机、三维立体重建、图像配准等。特殊视觉伺服机器需选特征图像，图像鲁棒性越稳定越适合选为视觉特征。视觉伺服特征研究是当今热点之一。点、线特征较为常见，整幅图像和点密度也可作为特征。

2 无标定视觉伺服

雅可比矩阵在视觉伺服图像中有重要内涵，是对摄像机全部参数的另一种表达形式。像机内参有景深、畸变、焦距、孔径等，外参指像机焦点与目标之距离。若得知参数，此视觉即能标定；如已知参数部分，从厂家知摄像机内参，某些深定场景外参数可粗略计算得出，此系统为部分标定。若全然不知则为无标定。也可视部分标定属无标定。早期的视觉伺服多为标定型，直接通过已知参数计算雅可比矩阵，人工标定成本较高；另自然中摄像机内参数会不断变化，如自然退化或人为影响等。若标定人工反复进行，成本高又费时。为获较强鲁棒系统，研究无标定视觉伺服法受到重视。

传统视觉伺服，需精确计算标定，标定方式有两种，一为固定安装摄像机于机械臂，精确标定转换矩阵；二是安装摄像机，机械臂末端标算出摄像机到其末端的转换齐次矩阵X。从本质上看，两种标定方式一致，计算Ax=xB得矩阵X。但计算较复杂，需在实验中得出大量数据，求解迭代使误差减小得精确标定结果，且操作环境复杂X矩阵出现变化，要重新标定过程。因而无标定视觉伺服备受关注。无标伺服系统用估算矩阵X和雅可比矩阵提高系统性能。性能依赖于估算在线噪声处理和优良特性，在线估算法分状态估计法和非线性优化法两类。无标定视觉无需标定机器运动模型和摄像头参数，用平面图像特性偏差得到指令信号，预先设定方向和位置，驱动机械运动完成任务。比需标定参数的伺服更具应用前景。无标定视觉调节需要的函数e(s*-s(m(t),a))到最小，s,*s各为伺服所需值，m(t)表图形消息，a表焦距参数。结构系统图如图1所示。

图1 无标定视觉伺服构造图

无标定视觉伺服不需对三维目标重建，用图像对运动驱动，使伺服结构得到简化，比起标定伺服，无标定的鲁棒性提高。

3 基于强化学习的无标定视觉伺服

3.1 基于强化学习的无标定视觉伺服控制

在图像领域分类中，强化神经网络应用逐步扩展，得以发展用于多种视觉领域系统中[2]。传统方法需提取视觉特征以设计控制律对机器控制。为解决强化学习视觉控制找出了方法，此法直接对比目标和当前图像，并非是对图像特征匹配和比对，据此法做大量改进得丰富成果。强化技术学习在应用中可操作性强，用卷积网抓取机械目标点计算，获得目标点精确，用信息视觉对复杂定位抓取，摄像机信息及工作环境未知时，用强化学习完成机械抓取任务。在视觉系统中目标物和相机自运动应用得到普及。卷积神经网络设计PoseNet，据相机单目视野视觉获6自由度相机运动信息，用不同神经网络，目标图像视野及转换作数据训练，可输入视野图像训练得模型预测得转换矩阵。神经网络训练，预测两图片间输入光流信息获相机帧和帧间转换视觉矩阵。卷积神经网络应用于分类中，把图片至目标矩阵作数据训练标签，训练好的模型可预测转换矩阵。

3.2 基于强化学习的无标定视觉伺服控制算法设计

利用强化学习训练机械视觉控制器，达到无标定视觉目标。设计了无标定算法，利用强化学习训练机械器。找到无标定图像特性方案，用卡尔曼滤波图像和雅克比矩阵估计二者结合对系统设计。

(1)强化学习的无标定视觉伺服

强化学习无标定视觉伺服控制结构和设计详细方案如图2所示。

图2 基于强化学习的无标定视觉伺服控制框图

从控制框图得知，无标定机械视觉伺服控制，用固定的设计双目摄像头，两摄像头在机械运动时对图像信息实时采集，利用的是小孔成像模型原理，可得末端机械位姿4个特征图像点P11、P12、P21、P22。 摄像机1由P11、P12两点产生，摄像机 2由P21、P22两点产生，为减少计算量，转换图像特征点为目前图像特征fc=(μ1,u1μ1,u1,μ2μ2,u2u2,θ1θ1,θ2θ2)T,P11=(μ1,u1μ1,u1),P21=(μ2μ2,u2u2),θ1θ1,θ2θ2分别是P11、P12点与摄像机1图像u轴间夹角和P21、P22点与像机2 之u轴夹角。无标定伺服使图像特性期望值fd与图像特性当前值fc进行偏差运算得Δf，收到运算Δf下一步执行动作Δq，关节器控制机械器至目标位置q，由运动学可得机械器位信息空间T，再由双目摄像头得到机械器运动后图像，生成偏差信息，循环执行此过程，直至机械器达期望目标位。机械器完成任务起作用的是图像特性与机械器运动两者变化关系成非线性，雅克比矩阵用于控制机械器运动，机械器运动关节变化微小时[3]，雅克比图像拟合近似非线性关系，使用滤波Kalman在线算法，递推估计图像雅克比矩阵，但在空间对机械器运动轨迹未达理想化，本研究提出强化学习视觉，将学习系数乘给图像偏差，在线联合滤波Kalman算法，使机械器运动变化与图像变化间效果逼近，产生空间运动轨迹较优。

应用本研究算法中强化学习差分无模型时序算法Sarsa，原理如图3所示。现学习训练无标定视觉伺服控制器程序，图像离散化特性Δf偏差构成Agent环境中S态，系数偏差离散化运算k获环境Agent行动A，依图像特性Δf偏差确立Agent环境状态st，再用贪心s-greedy算法选Agent行动操作at，得到系数k，产生机械器动作伺服后得奖值R，再对当前状态-动作值Q(st,at)更新，为后面用贪心算法施展动作作好准备。机械器各周期得特征偏差，按图像大小偏差设Agent态，A学习gent操作动作得系数k，机械器控制作用产生，据反馈环境得Agent现在态下操作动作奖赏。反复进行，至机械方达期望位。让机械器再用此法在空间工作中多次以初始位运动至期望位，机械器因学习在空间轨迹运动得逐步改进。

图3 强化学习原理

4 强化学习无标定视觉伺服实验与应用

4.1 应用背景

微操作器多和任务关联，每台微机器有特有的操作任务。系统装备为微装配机器，可执行常规靶装ICF配操作，把图4(a)(b)中两柱腔及图4(c)中靶球配备成一ICF靶常规(见图4(d))。腔柱典型长是1 mm，靶球典型直径是200～500 μm。图4(a)(b)灰线横向的背景为一切槽成V形，放置的作用是防柱腔受震发生位移，还可防靶球陷坑。

图4 ICF常规靶装备零件图

图5 系统结构图

4.2 系统构建

4.2.1 整体概述

整体硬件系统有: 含视觉高清摄像机两台；含六自由度运动系统机械器2台，四自由度机械器1台，旋转升降平台1个；系统含陶瓷压电微夹持双晶片器2个、吸附真空微夹持器1个；上位控制主机及下位运动多轴控制机等。系统实物图如图6所示。

4.2.2 视觉系统

原始系统图像由两台单彩高清像机获得，3个视觉垂直、水平和立体构建正交体系，如图7所示。再经计算机对目标算法定位并获取目标坐标。

图7 水平视觉与垂直视觉

4.2.3 操作手和升降旋转平台

操作左右手均达六自由度，自由度包含三平移x，y，z与绕x，y，z三自由旋转度。中操作手是四自由度，包含三个x，y，z平移和一绕z旋转度[4]。旋转升降平台为两自由度即绕z旋转和z轴平移。平台建构高精度位移，配备精度高电机。以单元控制多轴运动器，主机控制PCI插槽。

4.2.4 末端执行器

末端执行器由实验室研发，为压电双晶片陶瓷微夹持器和真空吸附微夹持器。先一个对较硬金属柱腔夹持，后一个吸附轻且塑料或易碎玻璃靶球。

4.3 软件设计

4.3.1 软件系统结构

为满足模块化设计和升级硬件需求，软件分层设计，分层有接口、硬件、应用和机器人层，如图8所示。

图8 四层运动控制器软件系统

(1)硬件层。硬件层为厂家开发软件包，若是开发包功能不达标，需厂家编写功能且烧入控制器中，像停止限位、自动回零等。

(2)接口层。接口层提供上层硬件接口，解耦上层硬件。接口层部分属运动抽象类[5]，任务是对下层进行封装，对上层提供运动器连接断开、多轴运动、单轴联动、紧急停止、回零、解除锁定等共有的功能。各控制器执行不同大小缓冲区指令，执行队列缓冲命令，统一提供缓冲指令。另包含一类连接，负责维护主机控制接口之间的连接，接口发生损坏得更换，无需改动任意代码，只改动文件设置。

(3)机器人层。接口层控制输出轴，选择平动轴和旋转轴及连接次序即轴类型无关。这些全由机器人层维护，此层含人类机器，可用下层连接类设置机器各轴关节，及关节连接种类和顺序，各关节相对位置量给出就行，可依运动机器人学得各关节末端和绝对两位置。

(4)应用层。此层不需维护具体类，全部机器人算法控制及界面都可由此层管理。

4.3.2 靶装配ICF关键技术

(1)准备期用分割法分割彩色视野内不同部分目标，获大致范围和位置，再为加快速度处理切换至灰度图像。

(2)压电陶瓷双晶片微夹持器夹取柱腔

要使定位精度高，此系统用多级定位由粗至细法。先使用前以示教法，获陶瓷压电微夹持器双晶片应达位置，在配置文件中记录下来。粗定位后发指令[6]，让微夹持器运行至所定位置，因为人工放置的柱腔没法十分准确，还需靠图像对陶瓷压电微夹持器双晶片定位精确。按精定位阶段算法获双晶片压电陶瓷微夹持器和柱腔位置，再用伺服算法控制压电执行器末端对柱腔夹取。

(3)吸附真空微夹持器和靶球

压电双晶片陶瓷微夹持器，对真空微夹持器定位吸附是从粗至细两个阶段。依位置示教，真空末端吸附操作器移至附近靶球陷阱。依据所提算法定位靶球和末端玻璃吸管位置，据此视觉信息，用视觉伺服算法移动末端精确吸取靶球。

(4)靶球和柱腔的伺服微装配

先直接移靶球与柱腔至示教位置，定位靶球与柱腔，其它3台操作器末端不用定位识别。用右柱腔作基准，移左柱腔与靶球完成装配任务。

4.4 实验效果

(1)预准备。放置人工柱腔于V形槽两侧台，在台左下方陷坑内放入靶球。再对中央转盘进行旋转。

(2)柱腔拾取。移陶瓷压电双晶片微夹持器至两端V形槽处，再据定位算法定位微夹持器与柱腔，移伺服驱动微夹持器对柱腔拾取。如图9所示。

图9 拾取柱腔

(3)靶球拾取。移微夹持器至圆形陷坑处，自动地靶球定位并对微夹持器进行吸附，伺服算法吸附驱动微夹持器移至靶球旁。如图10所示。

图10 靶球拾取

(4)靶球与靶腔配准。靶球移动、左右柱腔到示教位置，再对三者的位置定位，基准为右柱腔，以伺服算法驱动靶球与左柱腔移动和配准。如图11所示。

图11 靶球与靶腔配准

(5)靶球与靶腔对接。监视柱腔人工紧压度，撤去吸管。等粘胶干了，张开双晶片左压电陶瓷末执行器。如图12所示。

图12 靶球与靶腔对接

(6)制备完成。置备制好的常规靶于载物台上。恢复全部设备于准备位。位移平台用高精度、运动控制器、高清显微镜、吸附真空微夹持器、双晶片压电陶瓷微夹持器等设备建构了一装配微机器人系统，四层软件设计了框架。在靶微ICF装配任务中此系统验证了算法有效性，应用实际中得到好的效应。