基于随机森林算法的气动软体机械臂视觉伺服

陈元杰 赵翰宇 何启宁 陈彦希 彭江 江沛

doi： 10.11835/j.issn.1000-582X.2022.002

收稿日期：2021-12-10

網络出版日期：2022-02-26

基金项目：中央高校基本科研业务费科研平台与成果培育专项（2020CDCGJX023）。

Foundation：Supported by the Fundamental Research Funds for the Central Universities （2020CDCGJX023）.

作者简介：陈元杰（1996—），男，硕士研究生，主要从事机械臂视觉伺服、运动学模型研究，（E-mail）804830684@qq.com。

通信作者：江沛，男，副教授，博士生导师，（E-mail）Peijiang@cqu.edu.cn。

摘要：软体机械臂具有灵活性和柔顺性的特点，可在实现对位姿跟踪的同时确保与环境交互的安全性，近年成为研究的热点。但由于软体机械臂材料变形是非线性的，其运动学建模的参数众多且难以获得准确值，使软体机械臂实现运动学控制较为困难。为了补偿软体机械臂的不确定性，在现在视觉伺服的基础上，提出一种基于历史数据驱动的手眼视觉伺服新方法。该方法结合基于随机森林算法的控制器来完成机械臂控制任务，通过对历史数据聚类，基于随机森林回归模型建立软体机械臂驱动状态和末端图像特征的逆映射，无须求解机械臂和摄像机的任何参数，即可快速获取系统输入变量。实验结果表明，所提出的方法可以较好地实现预期控制目标。

关键词：软体机械臂控制；视觉伺服；随机森林

中图分类号：TP241.3          文献标志码：A      文章编号：1000-582X（2023）09-033-08

Visual servo control of pneumatic soft manipulator based on random forest algorithm

CHEN Yuanjie¹， ZHAO Hanyu¹， HE Qining²， CHEN Yanxi³， PENG Jiang⁴， JIANG Pei¹

（1. College of Mechanical Engineering， Chongqing University， Chongqing 400044， P. R. China; 2. Chongqing City Construction Development Co.， Ltd.， Chongqing 400025， P. R. China; 3. Chongqing Industry Polytechnic College， Chongqing 401120， P. R. China; 4. CCTEG Chongqing Research Institute， Chongqing 400042， P. R. China）

Abstract： The soft manipulator possesses dexterity and flexibility， ensuring safe interaction with the environment while accurately tracking position and posture. It has emerged as a prominent area of research in recent years. However， because the material deformation of the soft manipulator is nonlinear， its kinematic modeling parameters are numerous and it is difficult to obtain accurate values， these difficulties hinder the realization of kinematic control for the soft manipulator. To address the uncertainty of the soft manipulator， this paper proposes a new hand-eye visual servoing method driven by historical data， building upon the current visual servoing techniques. This method integrates a controller based on the random forest algorithm to accomplish the control tasks of the manipulator. By clustering historical data， an inverse mapping of the driving state of the soft manipulator and image characteristics is established using the random forest regression model. The system input variables are predicted quickly without the need to solve any parameters of the manipulator and camera. The experimental results show that the proposed method can better achieve the expected control objectives.

Keywords： soft robot control; visual-servo; random forest

与传统的刚体机器臂相比，软体机器臂拥有连续变形机体结构，具有良好的运动能力和环境适应性，可高效完成抓握、攀爬等功能性动作，引起了研究人员的广泛关注，在工业生产、医疗手术、救灾探测、生活护理等方面具有广阔应用前景。虽然软体机械臂具有很多优点，但由于软体机械臂的柔性材料和驱动方式，给构型和结构设计、材料选取、力学建模与仿真带来了挑战，也给控制模型及控制系统设计提出了新的难题。

为实现软体机械臂的精确控制，研究者们提出了很多对软体机械臂进行近似建模的方法。Mahl等^[1]和Hildebrandt等^[2]运用连续曲率方法和拉格朗日方法建立了一种象鼻软体机械臂的运动学和动力学模型；Webster等^[3]介绍了常用的软体机械臂建模方法，假设软体机械臂变形均匀对称进行建模；Penning等^[4]结合位置传感器实现软体机械臂在自由空间中位姿的闭环控制；Luo等^[5]基于分段恒定曲率假设，通过曲率传感器反馈实现对软体机械蛇运动的控制；Wang等^[6]将软体机械臂虚拟成刚性机械臂，基于动力学对其进行运动控制。其他的一些针对特定机械臂结构的建模方法，如有限元方法^[7]、彈性杆理论^[8]等，在软体机械臂模型控制中不常用。

数据驱动的无模型控制方法通过机器学习等方法建立感测数据与软体机械臂运动的映射进行控制，可以在一定程度上避开软体机械臂建模困难的问题。Thuruthel等^[9]使用神经网络建立了软体机械臂的全局映射；Lee等^[10]提出了一种用于气动软体机械臂的在线加权学习控制器控制软体机械臂追踪3D轨迹。

除了通过上述方法建立精确的映射外，运用传感器采集状态信息用于控制反馈是提高控制精度的重要方法。视觉传感器常与机械臂集成，很多学者对视觉伺服进行研究并提出了很多方法。Wang等^[11?14]提出深度无关雅可比矩阵，基于运动学模型，对拉线控制的软体机械臂eye-in-hand视觉伺服进行研究；Xu等^[15]提出了一种基于动力学的水下环境软体机械臂eye-in-hand视觉伺服控制方法；Fang等^[16]通过高斯回归算法，设计在线学习控制器，实现了具有一定抗干扰能力的视觉伺服控制；Wang等^[17]融合图像和光纤光栅传感器提高运动估计的准确性，在手术机器人中实现更精确的运动跟踪；Cao等^[18]基于神经网络用非线性模型近似柔性弯曲驱动器的动力学，跟踪参考轨迹。

为了克服软体机械臂建模及控制系统设计困难的问题，提出了一种基于机器学习的eye-in-hand视觉伺服控制方法，通过机器学习建立气动软体机械臂气腔压力与图像映射关系，以图像误差为反馈，对气动软体机械臂状态进行动态调整，从而对流体驱动的软体机械臂进行视觉伺服控制。这种方法不需要求解机械臂和摄像机的任何参数，避开了相机标定和软体机械臂建模困难和不精确的问题，实现软体机械臂视觉伺服控制，具有较高的控制精度。

1控制策略

1.1任务空间的定义

Eye-in-hand视觉伺服控制方法需将摄像头安装在机械臂末端执行器上。实现对软体机械臂的控制，须先建立驱动空间、操作空间和任务空间的映射关系。

1.2图像平面上的运动

相对于横向移动，相机的轴向移动对特征点坐标识别影响很小，因为轴向运动主要导致被识别对象的缩放，而不是平移。因此，在具有合适帧率的情况下，图像连续帧之间引起的深度变化对图像处理的影响可忽略。在软体机械臂连续运动的过程中，通过特征点图像坐标和预期图像轨迹，能够连续地估计达到预期位置所需要的位移增量。

1.3基于随机森林的控制方法

从图像任务空间运动到驱动空间输入的逆映射学习是一个回归问题。随机森林回归是一种基于CART决策树的集成回归算法，可以解决软体机械臂关节空间和摄像机标定甚至摄像机反馈的噪声引起的参数不确定性。此外，通过聚类将任务空间分类加权，可以提高计算效率和预测的准确度。

1.3.1 CART决策树

在控制任务中，可将目标变量看作连续变量，建立回归树，用均方误差（mean-square error， MSE）或者平均绝对误差（mean absolute error， MAE）进行属性划分。对于有M片叶子的回归树，最小化MSE公式为

决策树算法所需训练数据少、可靠性高，但易产生过于复杂的模型，对数据的泛化性能差，易产生过拟合现象，对数据微小变化的敏感度高，因此可采用基于决策树的随机森林算法。

1.3.2 随机森林模型

随机森林是决策树的集成算法，在集成算法中利用装袋的思想构造多个独立的决策树，根据平均或多数表决原则决定集成评估器的结果，以降低数据过拟合风险。由于算法中加入了随机过程，每个决策树都有少量差异。合并各个树的预测结果，以减少预测方差，提高预测性能。随机森林生成的规则如下：

1）从原始训练集中随机发放回采样训练样本，重复T次；

2）用这T个数据集，分别作为训练集训练T个CART树模型；

3）若特征为M维，指定常数m，随机从M维特征中选取m个子特征集，按照上述建立决策树的方式获得最佳分割；

4）将生成的T棵决策树集成，构成随机森林；

5）由T棵树预测结果的均值作为最终结果并输出。

1.3.3 模型聚类

2实验与分析

2.1实验平台

如图3所示，软体机械臂固定在基座上，一特征点固定在工作空间中。软体机械臂由3根气动肌肉组成，机械臂末端通过刚性基板固连在基座上。空气通过与管段中心轴对齐的挠性管供应到气动肌肉，不同的气压使气动肌肉有不同的伸缩长度。3根气动肌肉围绕中心轴均匀排列，通过3根气动肌肉的不同长度组合，可以实现机械臂的伸长和各个方向上的弯曲。

气动肌肉由橡胶管、两端刚性基板、外部编织网构成，其内部无任何刚性结构，可以伸长和弯曲。气动肌肉全长180 mm，直径14 mm，壁厚2 mm，外部编织网角度约为70°，可在充气后伸长。

3根气动肌肉和基座连接盘中间留有直径约为6 mm的间隙孔，中间嵌入工业内窥镜相机用以采集实时图像并传输至上位机。相机镜头直径5.5 mm，刚好穿过间隙和小孔，线材长2 m，帧率为30 FPS，采集图像像素为640×480，镜头上带有6个LED灯，可以补充光线，提高图像质量。

驱动系统由气泵、3个电磁比例阀构成。气泵为无油空气压缩机，转速1 380 r/min，公称容积流量40 L/min，額定排气压力0.7 MPa。电磁比例阀为SMC公司ITV0030-3BS轻薄型空气电子比例阀，压力调节范围0.001～0.5 MPa，输出压力分辨率为0.001 MPa。3个电磁比例阀分别与3根气动肌肉相连控制其气压。

2.2模型训练

2.3实验结果与分析

通过2个控制任务检测控制模型的性能。

1）单个点的追踪：在640×480的图像平面中，任意选择目标点，通过随机森林模型预测驱动变量，驱动软体机械臂，使软体机械臂末端相机图像特征点到达目标点。图像平面中，特征点运动轨迹如图4所示，蓝色圆圈为目标点位置（150，278），红色为特征点运动轨迹。起始坐标位置为（312，217），追踪过程迅速收敛，在3个控制循环内便使追踪误差小于10像素点。

2）预期轨迹的运动：在640×480的图像平面中，规划一条预期目标轨迹，通过随机森林模型预测驱动变量，驱动软体机械臂，使软体机械臂末端相机图像特征点按照预期轨迹运动。图像平面中，特征点运动轨迹如图5（a）所示，蓝色线条为规划的正弦轨迹，红色为特征点运动轨迹，轨迹跟踪误差如图5（b）所示，按照预期轨迹运动过程中，最大跟踪误差为47像素，最小跟踪误差为1像素，平均误差约为20像素，整个追踪过程用时约27 s。

实验结果表明，运用随机森林模型近似的逆映射能够准确地拟合输入空间和任务空间的关系，并对到达预期目标位置的驱动变量进行准确的预测。实验结果验证了控制策略的有效性和随机森林模型的准确性。

3结束语

为了克服软体机械臂运动学建模困难和相机标定的问题，提出了一种基于随机森林算法的气动软体机械臂视觉伺服方法。该方法基于历史数据建立气动软体机械臂气腔压力与图像映射关系，以图像误差为反馈，对气动软体机械臂状态进行动态调整，从而实现对流体驱动的软体机械臂视觉伺服控制。最后搭建了一个由3根气动肌肉构成的软体机械臂实验平台，在此平台上进行单个目标点和预期目标轨迹的追踪控制。实验结果表明软体机械臂追踪时反应迅速，追踪平均误差约为20像素，能够达到预期精度，验证了模型的准确性和有效性。

但是，目前的方法控制精度对历史数据依赖度高，对环境变化适应性不强。在未来的工作中，将研究在线学习的算法进一步提高软体机械臂追踪的准确度和环境适应能力，同时探索一些更有挑战性的动态控制任务。

参考文献

［1］  Mahl T， Hildebrandt A， Sawodny O. A variable curvature continuum kinematics for kinematic control of the bionic handling assistant[J]. IEEE Transactions on Robotics， 2014， 30（4）： 935-949.

［2］  Falkenhahn V， Mahl T， Hildebrandt A， et al. Dynamic modeling of bellows-actuated continuum robots using the euler-lagrange formalism[J]. IEEE Transactions on Robotics， 2015， 31（6）： 1483-1496.

［3］  Webster R J， Jones B A. Design and kinematic modeling of constant curvature continuum robots： a review[J]. International Journal of Robotics Research， 2010， 29（13）： 1661-1683.

［4］  Penning R S， Jung J， Ferrier N J， et al. An evaluation of closed-loop control options for continuum manipulators[C]// IEEE International Conference on Robotics and Automation. IEEE， 2012： 5392-5397.

［5］  Luo M， Pan Y X， Skorina E H， et al. Slithering towards autonomy： a self-contained soft robotic snake platform with integrated curvature sensing[J]. Bioinspiration & Biomimetics， 2015， 10（5）：055001.

［6］  Wang C S， Frazelle C G， Wagner J R， et al. Dynamic control of multisection three-dimensional continuum manipulators based on virtual discrete-jointed robot models[J]. IEEE/ASME Transactions on Mechatronics， 2021， 26（2）： 777-788.

［7］  Till J， Bryson C E， Chung S， et al. Efficient computation of multiple coupled Cosserat rod models for real-time simulation and control of parallel continuum manipulators[C]// IEEE International Conference on Robotics & Automation. IEEE， 2015： 5067-5074.

［8］  Lee K H， Leong M， Chow M C W， et al. FEM-based soft robotic control framework for intracavitary navigation[C]// IEEE International Conference on Real-time Computing and Robotics. IEEE， 2018： 11-16.

［9］  Thuruthel T G， Falotico E， Manti M， et al. Learning closed loop kinematic controllers for continuum manipulators in unstructured environments[J]. Soft Robotics， 2017， 4（3）：285-296.

［10］  Lee K H， Fu D K C， Leong M C W， et al. Nonparametric online learning control for soft continuum robot： an enabling technique for effective endoscopic navigation[J]. Soft Robotics， 2017， 4（4）： 324-337.

［11］  Liu Y H， Wang H S， Wang C Y， et al. Uncalibrated visual servoing of robots using a depth-independent interaction matrix[J]. IEEE Transactions on Robotics， 2006， 22（4）： 804-817.

［12］  Wang H S， Chen W D， Yu X J， et al. Visual servo control of cable-driven soft robotic manipulator[C]// IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE， 2014： 57-62.

［13］  Wang H S， Yang B H， Liu Y T， et al. Visual servoing of soft robot manipulator in constrained environments with an adaptive controller[J]. ASME Transactions on Mechatronics， 2017， 22（1）： 41-50.

［14］  Xu F， Wang H S， Chen W D， et al. Visual servoing of a cable-driven soft robot manipulator with shape feature[J]. IEEE Robotics and Automation Letters， 2021， 6（3）： 4281-4288.

［15］  Xu F， Wang H S， Wang J C， et al. Underwater dynamic visual servoing for a soft robot arm with online distortion correction[J]. IEEE/ASME Transactions on Mechatronics， 2019， 24（3）： 979-989.

［16］  Fang G， Wang X M， Wang K， et al. Vision-based online learning kinematic control for soft robots using local Gaussian process regression[J]. IEEE Robotics and Automation Letters， 2019， 4（2）： 1194-1201.

［17］  Wang X M， Fang G， Wang K， et al. Eye-in-hand visual servoing enhanced with sparse strain measurement for soft continuum robots[J]. IEEE Robotics and Automation Letters， 2020， 5（2）： 2161-2168.

［18］  Cao Y， Huang J， Ru H G， et al. A visual servo-based predictive control with echo state Gaussian process for soft bending actuator[J]. IEEE/ASME Transactions on Mechatronics， 2021， 26（1）： 574-585.

［19］  Siciliano B， Khatib O. Springer handbook of robotics[M]. Berlin， Heidelberg： Springer Berlin Heidelberg， 2008.

［20］  Zelinsky A. Learning OpenCV-computer vision with the OpenCV library [J]. IEEE Robotics & Automation Magazine， 2009， 16（3）：100.

［21］  Suzuki S， Be K. Topological structural analysis of digitized binary images by border following[J]. Computer Vision， Graphics， and Image Processing， 1985， 30（1）： 32-46.

（編辑  詹燕平）