双臂机器人的协调控制算法综述

王 琪，闵华松

武汉科技大学 机器人与智能系统研究院，武汉430080

尽管传统的单臂机器人已经在工业领域的各个方面得到了越来越广泛的应用。但是，随着机器人应用范围的不断扩大，各种新的操作任务和工作环境对机器人的性能提出了更高的要求。单臂机器人在操作能力、控制等方面的不足限制了其应用。与之相比，拥有协调操作能力的双臂机器人具有巨大的优越性和更广泛的应用场合。尤其面对一些复杂的操作任务，例如搬运重物、柔性装配等，双臂机器人的优势更加明显。双臂机器人不是两个单臂机器人简单叠加，而是在同一系统中相互配合，双臂操作相对于单臂操作扩展了两臂之间的配合作用，因此对双臂操作的规划和控制的研究受到了越来越多的关注。

在人类环境中，通常需要双手之间进行各种类型的运动协调，根据生物力学的研究（如图1所示），Park等[1]提出扩展-协作-任务空间（Extended-Cooperative-Task Space，ECTS）的概念，通过指定两个运动变量（绝对和相对速度变量）和两个ECTS 系数（协调系数β 和平衡系数α）以达到指定目标的期望运动，其中β 系数用于双臂之间的协调，α系数用来修改协调运动过程中相对运动任务的分布。双手操作运动大致可分为非协调运动和协调运动，协调运动包括对称运动（如搬运物体[2]）和非对称协调运动（如孔内组装[3]）。

图1 双臂操作分类

双臂机器人的协调操作任务也可如此划分，其中非协调操作指机器人双臂在同一操作空间内分别执行各自无关的任务，协调操作则指机器人双臂在同一操作空间内执行同一或多项相关操作任务。与非协调操作相比，协调操作任务中机械臂之间存在更加严格的运动约束和力约束，可进一步划分为对称协调操作和非对称协调操作[4]。

（1）非协调操作，双臂独立进行规划操作，相当于两个单臂操作，不考虑双臂之间的运动和力的约束关系，仅考虑运动规划中双臂之间的避障问题。

（2）协调操作，需要双臂同步运动，由于双臂与物体之间的空间关系，这些操作可进一步划分为：对称协调操作，动约束关系，且双臂末端执行器之间是相对运动的关系。非对称协调操作，为双臂操作不同的双臂操作同一物体，双臂与被操作物体之间构成一个封闭的运动链，协调运动过程中双臂与被操作物体之间始终保持一定的运物体。双臂末端执行器不相互接触，仅存在运动约束，例如倒水操作；或有瞬时的碰撞接触，双臂末端执行器之间存在相对运动和力约束关系，例如轴孔装配操作。

从控制方式的角度分析，双臂机器人协调控制可以分为运动学与动力学控制，基于运动学的协调控制集中在机械臂冗余特性的研究，基于动力学的协调控制集中在机械臂末端力控制的研究。协调运动主要包括运动学动力学模型、双臂机器人运动中的约束关系分析、运动规划策略研究。运动学逆解的求解由于双臂系统的冗余自由度与单臂运动学有较大差异，双臂构型不同也决定了逆解求解方法的差异性，逆解的不确定性也影响了动力学模型的建立方式，双臂运动速度、加速度的变化与末端相对力的差异，因此对双臂系统运动学和动力学模型建立方式的不同，双臂协调运动控制的方式也不同。力控制方式主要包括主从控制、位置/力控制、阻抗控制以及自适应控制方法等。在非结构化环境下，双臂机器人系统无法获取运动学、动力学的全部信息，机器人如何感知外部环境，包括操作对象的位置、速度、接触力等参数，以及外部环境信息如何参与双臂协调控制成为新的研究热点。正是由于传感器研究的进步，发现不仅外部环境信息可以获得，人类双手操作也可以作为参考应用到双臂协调控制中，即模仿学习，这种学习方式极大地提高了双臂操作的拟人性。人类不断参与到双臂协调控制过程中，以交互的方式进行技能传递，人/机器人根据交互反馈信息对其运动进行修正，以满足不同的任务要求。

本文针对近年来双臂机器人协调控制算法的主要研究展开讨论，整体框架如图2 所示，分别从协调运动的控制方式、感知传感器的集成，特别是视觉传感器在双臂研究中的应用，模仿学习中如何体现双臂操作的拟人性，人机交互协作控制，最后总结全文研究内容，并阐述目前研究的不足以及未来展望方向。

图2 整体框架图

1 协调运动方式

1.1 运动学和动力学研究现状

冗余自由度给机器人运动学逆解求解带来了不确定性，即末端位姿确定时，双臂各关节的位姿具有不唯一性。逆运动学求解问题，可以使用数值法或解析法来解决。利用冗余自由度优化机械臂的运动即数值求解法，在雅克比矩阵的零空间中考虑子任务，常见的优化目标函数有增强可操作度、避关节极限和避奇异位形。Zheng等[5]提出了一种基于位置的闭环逆运动学（CLIK）算法，利用伪逆矩阵求解数值解，采用位置+速度方案，同时考虑了期望的姿态限制，能避免奇异点的影响。

解析求解法，对冗余自由度进行参数化，基于该参数建立额外的任务约束，从而消除冗余性，保证运动的唯一解。一种是直接指定一个冗余关节角作为冗余变量，推导剩余关节的封闭解法，另一种是通过引用其他变量来反映冗余特性，推导各关节角相对于引用变量的封闭解法。对拟人机械臂的冗余自由度的参数化一般考虑机械臂的生理特性，从宏观上描述拟人臂的臂形。Oh等[6]通过臂角限制冗余度，考虑联合极限、自碰撞、奇异性等子任务的冗余问题的求解方法，即通过引入臂角的单变量优化问题求解。从各子任务可行臂角中选择能量消耗最小的最优解，只考虑臂角这个变量。基于对偶臂角参数化的解析解法，Yan 等[7]利用两个正交向量作为两个参考向量，定义两个绝对参考平面，得到了满足一定条件的两个臂角，由于腕部点不能同时位于两个参考矢量上，所以至少存在一个合理的参考平面和一个对应的臂角，可以作为冗余参数，算法避免了奇异性问题。Zou等[8]通过定义臂角为附加约束参数来控制关节空间中的双臂，能够保证拟人双臂机器人执行同一目标时运动的一致性。为了得到冗余机器人的最优解，需要添加附加约束，Jin等[9]将解析法与数值法结合的思想应用于机器人的逆运动学求解，提高算法效率，通过优化算法确定肘关节的运动方向。

采用传统的数值法或解析法存在耗时较长、通用性较差等缺点，启发式算法用于不同机械手的逆运动学求解优化问题，如神经网络算法[10]、差分进化算法[11]、人工蜂群算法[12]、粒子群优化[13]、萤火虫算法[14]等，这种算法不需要对雅可比矩阵进行求逆，避免了奇异点构型。

Almusawi 等[10]提出了基于人工神经网络（ANN）的逆运动学控制方案，将机械臂当前关节角度配置的反馈以及所需的位置和定向包含到神经网络的输入模式中，可以提高ANN 在估算关节角度输出的准确性。Antonio-Gopar 等[11]基于差分进化算法（DE），找到冗余臂的最优构型，解决了末端执行器姿态的估计问题。Dereli等[12]提出基于人工蜂群算法（ABC）计算运动学逆解，得到最优关节角。Alkayyali 等[13]利用粒子群算法（PSO）通过搜索六维空间来生成运动学逆解，利用正运动学来构造末端执行器姿态，目标是找到最优的关节角。利用多目标适应度函数来测量所生成解的位置和方向误差，该算法能有效地解决末端执行器位姿误差最小的逆运动学问题。为了找到一个以上的解，可以将逆运动学作为多模态约束优化问题，找到全局最优和多个局部最优，这些多重解代表了逆运动学解的多重无碰撞关节构型，Hernandez 等[14]基于萤火虫算法（FA）为逆运动学问题提供一个或多个解。

双臂协调动力学模型[15]主要有两种：一是两臂捕捉目标物体形成闭链系统的研究。利用目标物体与机械臂之间相互作用力形成闭环约束关系，建立目标物体与机械臂的联系，主要分析夹持物体运动的作用力和夹持内力。二是两机械臂末端相对力的研究。将双臂末端的相对运动视为单机械臂的运动，基于单机械臂动力学模型求解两机械臂末端绝对运动参数，主要分析两臂末端接触瞬间作用力与操作物体装配时接触碰撞力，目前相关研究较少，建立的模型不完善。

1.2 双臂约束关系

当单臂系统的自由度n（关节数目）大于执行给定任务所需的变量m（任务的维数）时，被定义为运动学冗余，即n＞m。由于双臂系统是两个单臂系统操纵一个刚性物体形成一个闭环的运动链，双臂系统的自由度变为2n，因此双臂系统被认为是冗余的，其中任务的维数通常为操作物的运动变量维数（位置和姿态，6DOF）。但双臂机器人相比于单臂机器人在本质上的区别是双臂具有其固有的协调特性，即双臂之间存在一定的约束关系，如图3所示。

图3 闭链系统

根据坐标变换关系可得两臂末端执行器和操作物质心相对于坐标原点的变换矩阵为：

由于不考虑两臂之间的相对运动，双臂末端速度相等，由式（3）（4）可以得到两臂末端的速度约束关系：

式中，J(qL)、J(qR)分别表示左臂和右臂的雅可比矩阵，Jv(q)、Jw(q)分别表示机械臂的位置雅可比矩阵和姿态雅可比矩阵。

保持双臂系统的协调操作中的一种常用方法是相对雅克比矩阵[16]，该方法允许将双臂系统考虑为唯一的冗余机械手，其关节数量等于每个机械手相对关节的总和。此外，用相对雅可比矩阵建模的双臂系统可以用与单臂系统相同的算法进行控制。然后，将相对雅可比矩阵推广到雅克比零空间保护中，以实现协同任务。

双臂机器人非对称协调示意图如图4所示，在非对称协调操作任务中，需要实现两个末端执行器的位姿协调，在接触力的作用下调节两个末端执行器的相对跟踪误差[17]，以实现目标期望轨迹的跟踪。假设左右臂分别夹住物体，运动过程中末端执行器与各自物体之间没有相对运动，从而整个系统形成闭环运动学。其中所需位置显示为虚线，实际位置显示为实线，ΔeR和ΔeL表示双臂末端在Y-Z平面上跟踪误差（期望轨迹与实际轨迹之差）的控制域，Δe表示双臂末端在Y-Z平面上的最大相对误差域（主臂实际轨迹根据双臂间约束关系得到的从臂期望轨迹与从臂实际轨迹之差），Δe=ΔeR+ΔeL。

图4 双臂非对称协调坐标图

非对称协调操作任务需要在工作空间进行任务分解，每个手臂在任务空间中执行各自的子任务，而双臂运动受到协调约束，即两个末端执行器按照期望轨迹控制两个操作物实现位置和姿态对齐。从运动规划的角度看，非对称协调的关键问题是如何分解单臂和双臂的运动约束，然后根据约束条件，左右臂按照各自规划的运动轨迹达到期望位姿。

1.3 双臂协调运动规划方法

双臂的运动规划是双臂控制的基础，目前的双臂协作运动规划方法主要有主从式运动规划、基于避障策略的运动规划、多优先级运动规划以及其他规划方法。

Wang等[18]将机器人和被操作对象视为闭合运动学链，提出了任务的运动和力的统一动态控制方法，分为独立模式、从属模式和半从属模式三种。

申浩宇等[19]引入用于描述协调操作任务的绝对位姿变量和相对位姿变量，构造雅克比矩阵，根据实时最小距离的变化实现双臂末端的轨迹跟踪和避障运动之间的主从任务优先级转换。王巍等[20]基于虚拟力的改进方法，采用修改引力场函数方法调整双机械臂运动规划中的位置，完成避障运动规划。王安琪等[21]利用构形平面的方法，通过空间矢量引导、避障路径的比较，实现多目标冗余机械臂空间轨迹规划方法。

Hu等[22]基于任务层优先级关系之间的协调提出了一种相对雅可比矩阵方法，将两个机械臂等价成一个高冗余度的机械臂，通过相对雅可比矩阵和末端相对速度分量，求出两条机械臂的关节角。

Tang 等[23]采用深度确定性策略梯度（DDPG）算法通过误差训练模型来优化其规划策略以得到最优路径，并能保证优化策略的规划效率。Wang等[24]提出基于约束粒子群优化（PSO）算法，解决了在自由漂浮模式下双臂空间机器人的协调轨迹规划问题，避免了动态奇点。魏源鑫[25]采用神经网络算法更新障碍物信息，获得目标点与障碍物关系，分离各关节变量，使用混合交叉粒子群算法规划局部路径，得到局部最优解。熊志金等[26]采用RBF神经网络算法对滑模控制器输出误差进行逼近，用于控制冗余机械臂运动轨迹。Wu等[27]提出了一种具有两个隐藏层的前馈神经网络的无模型强化学习策略，通过模拟环境中的在线轨迹规划实验将状态映射到动作，应用于空间机器人快速调度和执行动作。

2 控制方式

移动双臂机器人为了实现更为灵活的操作，其双臂系统一般有14 个以上自由度，是一个高维度高冗余的系统，双臂系统具有其固有的协调特性，即双臂之间存在一定的运动约束关系，因此其运动学逆解计算较为复杂。有两种思路用来解决双臂的控制问题，一种思路是将双臂建立为完整统一的封闭运动链，另一种思路是采用主从控制的方式，将其中一条臂作为主臂，另一条臂作为从臂进行分别控制。

统一封闭运动链的控制方式，基本采用基于概率的搜索方法来进行处理。Yang 等[28]基于近似雅可比矩阵（AJM）和自适应模糊逻辑系统（FLS）方案，使得双臂机器人在动态不确定性环境下可以得到很好控制。这类方法比较好沿用单机械臂基于采样的搜索算法，但是缺点也较为明显，高维度高冗余运动链的计算过程十分复杂，而且容易出现运动奇点[29]。

2.1 主从控制

对于双臂协调操作，更常用的方法是主从控制方式[1]，这种方法的原理是将一条机械臂设为主臂（Master），另一条机械臂设为从臂（Slaver）。根据控制目标预先规划主臂的运动轨迹，从臂跟随主臂运动，主从臂满足一定的约束关系，根据运动约束关系推导从臂运动轨迹。

Gharbi等[30]根据双臂末端约束条件，在初始位置和目标位置之间构成多个流形，使用概率路线图算法（Probabilistic Road Map，PRM）在这些流形中搜索一条连续的轨迹，缺点就是规划时间较长，生成的末端轨迹不光滑。Liu 等[31]以双臂搬运方块为研究对象，在双臂末端与物体之间分别设置位置约束、速度约束和加速度约束进行优化，以减小在运动过程中双臂与物体之间产生的内力，实现了双臂协调运动分解，实时补偿了运动误差，这种方法由于较强的约束导致双臂运动范围极其有限。

Cohen 等[32-33]在高维度空间采用启发式搜索算法，利用双臂构造搜索空间后，采用Anytime Repairing A*算法进行搜索得到双臂协调的轨迹。该方法虽然解决了双臂末端轨迹光滑问题，但双臂关节运动轨迹仍不太光滑，有时会产生抖动现象。

对于孔内装配任务，Huang 等[3]受人类在组装过程中协调行为的启发，提出基于机器人左右臂交替移动的主从协调控制方案，固定臂和移动臂分别为从动臂和主动臂。

主从式控制方法，其从臂是通过传感器或根据主从臂约束关系来跟踪、辅助主臂的运动规律，这就要求从臂能够具有快速的响应速度。在机器人运动速度较低、操作对象不易变形的情况下控制效果较好，适合于复杂度较低的工作，但是没有直接采用双臂同时从被操作物体的目标运动轨迹，结合逆运动学封闭算法进行运动规划来得直观和有效。此外该方法是基于运动学模型的控制方法，没有考虑机器人质量、惯性参量等对机器人实际运动的影响。容易因为算法处理速度、效率不高等问题带来从臂获取信息延迟现象，控制不当会导致双臂系统不稳定。因此对主臂仅采用位置控制难以完成双臂协调操作任务，双臂协调操作需要双臂末端执行器都进行作用力控制，力控制可以用来解决在运动过程中从臂可能滞后主臂的问题。

2.2 位置/力控制

混合位置/力控制改善了主从控制方法的不足，同时考虑位置和力控制的双重特性。位置/力控制方法是基于末端执行器的坐标空间（任务空间），按其是否被环境约束而分为位置控制子空间和力控制子空间，两个子空间独立控制，双臂均采用位置/力控制，在自由空间采用位置控制，在约束空间采用力控制。并根据不同的任务要求，通过实时切换控制律使机械臂在两个子空间内进行切换，使得运动时实现位置控制，在接触物体时实现力控制。由于机械臂末端执行器与操作对象之间的作用力属于整个操作系统的内力，只要末端执行器的位置不变，内力的大小并不能改变被操作物体的位置。位置/力控制方法通过控制末端执行器在位置子空间的位置和在力子空间的力来实现顺应控制，这种方法的优点是可以分别设计双臂协调操作系统的位置控制环和力控制环，较好地控制末端执行器的位置和物体间的相互作用力，使得机器人能胜任零件装配等复杂作业。

经典的位置/力协调控制策略框图如图5所示，其中引入“选择矩阵”将任务空间正交解耦为位置自由子空间和力约束子空间，设S 为位置自由子空间选择矩阵，I-S 为力约束子空间选择矩阵，系统的输入为被操作对象的期望位置和期望力。

图5 位置/力协调控制框图

王美玲[34]将双臂协调操作分为双臂独立、双臂部分约束和双臂全约束这三种情况，分别给出了双臂之间、双臂与被操作物体之间的相对位姿约束关系和动力学约束关系。这种主从控制方式，将物体设为Master，双臂设为Slaver，在双臂末端安装六维力矩传感器，针对双臂协调系统组成的动力学耦合问题，根据任务使用最小范数和加权伪逆对双臂内力进行分配，在动力学层面上可以提高双臂协调的效果。力分配后，采用阻抗控制进行力控制，这种控制方法属于主动控制方法，控制效果依赖于精确的检测。如果采用关节扭矩传感器，会极大增加成本，而仅采用末端六维力矩传感器，会存在模型不精确和非线性等问题难以解决，寻找一种低成高检测精度的机械臂力控制方法尤为重要。

段晋军等[35]将任务空间正交解耦为外环的位置自由子空间和内环的力约束子空间，对位置子空间中的外部干扰采用阻抗模型进行轨迹跟踪，对于力约束空间中的内力约束采用变阻抗模型进行力跟踪，有效地解决了双臂协调搬运过程中同时存在外部干扰和内力约束的问题。

该控制方式在协调任务中需要不断地在不同的控制空间中进行切换，在自由空间向约束空间过渡过程中不能保证系统的柔顺性，难以在高效的场合中使用。而且，控制过程中所选矩阵的切换会导致系统稳定性问题，且对外部干扰的抑制能力较差。另外该控制方式适用于力矩接口控制的机器人，而大部分工业机器人并没有提供力矩接口，因此并不适用于现有的控制系统。

2.3 阻抗控制

结合环境约束对双臂机器人协调操作带来的影响，阻抗控制方法可以被应用到双臂机器人协调控制中[36-37]，通过双臂末端点位置和力的变换关系实现期望的运动控制。阻抗控制将机械臂等效为一个阻抗控制约束模型，即通过调节末端执行器的位置和接触力以及力矩之间的动态关系[38]来描述当前的控制模型，深层次实现双臂的顺应控制。这种方法实现了轨迹跟踪控制和力控制中的动态统一关系，适用于在线规划，对系统扰动和环境不确定性有很好的鲁棒性，能实现系统由无约束到有约束运动的稳定转换，因此被认为更适合装配工作。

机器人末端接触力偏差与位置偏差之间的关系称为期望阻抗模型，设e,e˙,e¨ ∈Rm表示末端执行器的实际轨迹与期望轨迹之间的位置、速度和加速度的跟踪误差，Md表示笛卡尔空间中机械臂阻抗系统的目标惯性矩，Bd表示阻抗系统的阻尼矩阵，Kd表示阻抗系统的刚度系数矩阵，F是环境对末端执行器施加的力/末端的期望接触力和实际接触力之差，一般采用式（7）的线性二阶微分方程，可以得到阻抗关系。

由此可得位置偏差与力偏差之间的对应关系为：

阻抗控制根据任务空间的不同分为关节空间阻抗控制以及笛卡尔空间阻抗控制。按照控制系统内环回路的不同可以分为基于力矩的阻抗控制（TBIC）和基于位置的阻抗控制（PBIC）[39]，又可分别简称为阻抗控制和导纳控制。基于力的阻抗控制是通过控制关节驱动力矩来实现对末端接触力与位移之间动态关系的调整，其本质是基于位置反馈的力控制器；而基于位置的阻抗控制是根据机器人与环境的接触力偏差调整机器人末端的位置/速度偏差来实现，其本质是基于力反馈的位置控制器。

2.3.1 基于力的阻抗控制方法

基于力的阻抗控制由力控制内环和阻抗控制外环组成，其基本框架如图6 所示，力指末端与环境的接触力，力矩指关节中可控的力矩输入。这种方法实时检测机器人末端位置和接触力，控制系统外环为阻抗计算环节，根据机器人实际位置x和期望位置xr之间偏差e通过期望阻抗特性Gd(s)计算出期望力，末端与环境之间的接触力通过力控制内环使得实际作用力跟踪期望力，从而实现期望阻抗动力学特性。其中使用机器人动力学模型作为前馈输入，实现的是前向阻抗方程，这种控制策略基于精确的机器人动力学模型，以实现期望的阻抗模型和接触力精确控制。

图6 基于力矩的阻抗控制框图

2.3.2 基于位置的阻抗控制方法

基于位置的阻抗控制由位置控制内环和阻抗控制外环组成，其基本框架如图7 所示，通过机械臂末端力传感器检测机器人末端与环境的实际交互力F，并对比期望力Fr得到力偏差，阻抗控制外环通过期望阻抗特性计算出位置偏差的修正量Δx，将期望位置xr、实际位置x和位置修正量Δx同时输入到位置控制内环，使得末端的实际位置跟踪期望位置，从而实现期望的轨迹跟踪柔顺控制。

图7 基于位置的阻抗控制框图

这种方法不依赖于动力学模型。由于位置控制器的大增益会带来关节的高刚度，这种方法的缺点是当机器人的实际位置和模型理想位置矢量不同时将带来大的阻抗误差，从而将这种方法限制在简单任务中。

阻抗控制方法是通过调解阻抗参数以维持机器人末端的位置与环境接触力之间的动态关系来实现双臂协调控制。这种方法需要精确的机械臂动力学模型和复杂的动力学计算，末端接触力的大小取决于末端执行器的参考轨迹、环境的位置和刚度等参数，而这些参数在实际中难以准确获得且随着环境变化需要实时修正，从而无法准确实现位置和力的控制。所以阻抗控制方法实现的困难在于需要精确的了解环境信息，如果在机械臂末端安装力传感器，控制器能检测出末端执行器和被操作物体的接触状态，可以使得机器人在不确定的环境下实行与环境相应的控制，这称为柔顺（compliance）控制。

2.3.3 基于改进阻抗控制方法

传统的阻抗控制与其他智能方法[38-42]结合，如阻抗控制与自适应控制、神经网络、学习控制等方法结合。

阻抗控制调节机器人与环境之间的相互作用力，为了减少阻抗控制参数对未知环境阻抗模型和机器人动力学模型的依赖，提出了自适应阻抗控制方法。Li等[40]考虑了人机协作过程中的接触力，基于强化学习提出自适应阻抗控制策略，通过线性二次调节（LQR），最小化运动跟踪误差并获得最佳的人体阻抗模型，最优阻抗参数在不同的人机交互任务中根据不同的交互作用力变化，从而以最佳性能和接触力辅助操作员执行人机协作任务。Duan 等[41]采用面向对象的双臂合作机器人运动规划方法，通过闭环约束计算系统中单臂的运动。将物体上的力分解为外力和内力，通过负载分配策略将力转换到末端执行器，为了跟踪所期望的位置和力，提出基于跟踪误差在线调整导纳参数来补偿未知轨迹偏差的双臂协调对称自适应导纳控制。基于阻抗控制的自适应控制方法优势在于能够在控制对象参数或自身工作状态变化时自动修改系统参数来适应这种变化，在一定程度上实现了机器人与环境的高效交互，但这种自适应能力并不是交互控制最优的解决方案，在高复杂度、强耦合、非线性时变系统中计算复杂，比较难以满足实时性要求。

神经网络无需建立精确模型，其强鲁棒性能够有效地逼近未知量和非线性函数，可用于解决机器人与环境交互过程中的不确定因素。He等[42]提出了自适应模糊神经网络学习算法来识别不确定参数，引入了阻抗学习实现机器人与环境的期望交互目标。

与阻抗控制相结合的学习控制方法有迭代学习和强化学习等。人机物理交互中的阻抗控制，阻抗参数需要根据人类的动态行为调整，Li等[43]采用迭代学习控制（ILC）进行阻抗参数的学习，并采用一种新的迭代长度一致的方法来处理迭代长度的变化。李超等[44]提出强化学习算法用于变阻抗控制最优调节策略，使用高斯过程模型作为系统的动力学模型，允许概率化的推理与规划，减少了交互次数与时间。

2.3.4 双臂协调阻抗控制方法

在双臂阻抗控制中，双臂间由于约束关系会产生双臂间的相对误差，e*,e˙*,e¨*∈Rm表示两个末端执行器之间位置、速度和加速度的相对误差，空间并联弹簧和一端执行器阻尼的模型如图8所示[45]，Bd*、Kd*表示左臂（右臂）的相对阻尼-刚度系数，双臂间的阻抗关系式为：

图8 空间并联弹簧和阻尼模型

齐春丽等[46]引入变加权矩阵求得最优抓取矩阵，设计基于双臂广义动量的扰动观测器观测外部扰动力矩，以合理分配载荷，减小协调操作时操作物的跟踪误差。Zhang等[45]将双臂非对称协调控制分为主要任务和次要任务，主要任务在笛卡尔空间末端执行器位置/力控制（末端执行器的跟踪误差、两个物体之间的相对误差和两个末端执行器的接触力之间的阻抗关系），次要任务在零空间冗余关节运动的控制（建立零跟踪误差与零接触力之间的阻抗关系），双臂间协调阻抗关系图如图9所示。在笛卡尔位置误差和笛卡尔力之间建立质量-阻尼-弹簧关系，然后通过阻抗关系[47]和机器人动力学模型，将笛卡尔力转化为所需的关节扭矩，从而得到机器人关节电机的目标转矩。在两臂与物体之间建立虚拟空间弹簧与阻尼模型[48]，通过阻抗模型将力偏差转化为运动偏差，在双臂协调阻抗中引入多优先级控制，实现基于位置的相对力/阻抗控制。类似方法也有在双臂外骨骼方面的研究，Li等[49]提出在交互过程中反映的肌肉力量被用来检测人体操作者动作的意图，提出阻抗参数近似的方法，通过瞬时测量力和双臂末端执行器的位置来估计可变刚度，考虑位置和速度约束，实现了一种双臂阻抗参数自适应在线估计控制方法。

图9 双臂协调阻抗关系图

Huang等[50]提出人体阻抗转移控制与自适应控制结合来控制双臂康复外骨骼机器人的鲁棒协调控制方案，主臂提取阻抗刚度和位置轮廓，优势对抗性肌肉对的肌肉活动被用来解决手臂端点僵硬行为的有效计算模型。Shiratot 等[51]通过检测操作员手部运动的时间序列变化来估计操作员的任务类型，基于阻抗控制执行相应的辅助控制。Yan等[52]为双臂机器人开发了一种协调控制方法，利用阻抗控制实现所需轨迹和内力的精确跟踪。该控制器不仅考虑了末端执行器与目标的阻抗关系，还考虑了目标与环境的阻抗关系，实现了两种顺应控制方法：主从力控制策略与共享力控制策略。Yang等[53]充分考虑了人的阻抗特性，监测人体的上肢肌肉活动，实时提取可变刚度，并将估计的人体手臂端点刚度映射到机器人阻抗控制器中，使技能更像人，既考虑了机器人的位置轨迹，又考虑了机器人的刚度轨迹，实现了更完整的技能转移过程。Han 等[54]基于动量观测器的无力/力矩传感器，通过每个手臂和物体的阻抗控制来实现双臂机器人碰撞检测与协调顺从控制方法，充分考虑了双臂机器人与人、环境和被操纵对象之间的相互作用。

2.4 自适应控制

由于机械臂系统的动力学模型是一个高复杂度、强耦合、非线性的时变系统。因此，机械臂在建模过程中总会存在一些误差，包括外界的扰动以及某些未知参数带来的不确定性。自适应控制方法指根据当前系统的运行状态，通过一定的在线估计方法和策略对系统中未知的参数进行估计，然后按照期望的闭环控制系统的性能指标，根据所得到的估计值即时修正系统。自适应控制方法的优势在于能够在控制对象参数或自身工作状态变化时自动修改系统参数来适应这种变化，以提高控制器的性能。

Kyrarini 等[55]提出一种实时的自适应算法，能够识别在新环境中需要执行的动作序列，以适应人为因素导致的环境变化，如演示对象的位置和方向与实际操作不同。Yi 等[56]基于自适应混合力/位控制器，结合了被抓物体质心的自收敛参数估计和接触力估计。通过将具有适当的零空间投影和旋转变换的位置跟踪公式并入位置跟踪公式，可以同时实现内力和接触力跟踪目标。Benali 等[57]提出了将混合力/位置控制和自适应主/从控制方法相结合，根据目标期望轨迹进行协调操作，用于抓取仓库中不同尺寸的箱子。

Chen等[58]融合力/位置误差和迭代学习控制用于机械手基于力/位置的附加补偿，进行双臂目标操作（抓取和移动）的混合控制策略。王勇等[59]基于三流联合深度卷积神经网络模型的多模态融合方法，其中每个流分别处理其对应的输入模态，利用改进的单极回归算法进行抓取位置预测。

2.5 控制方式对比

GB/T 38559-2020 工业机器人力控制技术规范对被动柔顺机构、主动柔顺控制、力控制策略、自适应力控制、基于末端力/力矩传感器的力控制技术等术语定义进行了明确的界定，并按照力控制策略、传感方式对机器人力控制进行分类，详细介绍了动态力控制技术、恒力控制技术、零力控制技术、碰撞保护技术4 种力控制应用技术及其应用条件。面对机器人应用场景多样化、复杂性的挑战，以视觉、力反馈为依托的机器人控制方法具有更多的应用空间，目前应用于机械臂的控制方式主要有主从控制方式和阻抗控制方式，表1是目前控制方式在控制过程中的优缺点以及应用场合对比。

表1 控制方式对比

3 感知传感器

针对双臂协调操作的环境感知问题，研究人员将感知传感器引入到机器人系统的应用中，机器人系统可以利用外部环境感知的结果，以适应动作规划和操作任务要求。Clark等[60]使用触觉设备在力反馈中提高平均交互作用力，用于提高双臂机器人遥操作盒子放置任务的成功率。视觉传感器应用于农业中采摘水果[61]、双臂自主执行装配任务[62]等。利用外部传感器对目标物体进行测量，实现机器人半自主控制的方法。

视觉传感器被广泛应用于机器人感知环境信息，运用视觉控制双臂协调工作。Shirato 等[51]利用机器人的传感器对目标物体进行测量，实现从机器人半自主控制的方法，只考虑到达动作，不考虑其他操作。视觉信息不参与的机器人闭环控制中，对机械臂末端位姿进行一次观察，此时机械臂是“盲”运动，不做任何的修正。视觉信息不反馈给机器人闭环控制器，只观察一次机械臂末端位姿，此时机械臂是“无反馈”运动，不做任何的修正。视觉信息反馈到机器人的闭环控制器中，可以在未知环境下自动地校正位置，称为机器人视觉伺服，其控制目标是使目标误差最小化，其数学表达式：

e(t)=s(m(t))-s*（10）其中，m(t)表示图像数据，s称作视觉特征量，是一系列可被量化的视觉特征值，而s*则是这些视觉特征量的目标值。

双臂机器人的视觉伺服通常是单臂机器人视觉伺服控制方法的扩展，通常分为三类：基于图像（如图10）、基于位置（如图11）和混合方法。

图10 基于图像的视觉伺服控制结构框图

图11 基于位置的视觉伺服控制结构框图

基于图像的视觉伺服（2D 视觉伺服，IBVS）利用了在二维图像平面上选择特征位置，其观测值和期望值之间的差异。在不进行姿态估计的情况下，运行速度快。利用图像的雅克比矩阵来控制双手操作，Cruciani 等[63]基于分析物体形状信息获得正确的手推操作顺序，改变抓取配置而不释放物体。Qu等[64]建立两个对象的位置和方向之间的视觉约束，利用多任务IBVS 方法对两个对象进行了排序子任务以实现姿态对齐。Wang等[65]通过将笛卡尔空间中的控制任务转换为图像空间来选择基于图像的视觉伺服（IBVS），然后基于分散控制策略设计了双目视觉轨迹跟踪控制器。Chang等[66]将立体视觉相机固定机械臂末端附近构成双目EIH 视觉系统测量目标点的3D坐标信息，并采用IBVS控制机械臂完成装配任务。Lippiello等[67]提出基于图像的视觉阻抗控制律，可以根据视觉信息用于调节手眼摄像机相对于操作任务的臂运动，另一只装有力/力矩传感器的机械臂与环境进行物理交互和钉入孔操作的协调。

基于位置的视觉伺服（PBVS）利用跟踪对象在三维空间相对于摄像机的观测姿态和期望姿态之间的差异。基于所提取的特征重建物体的三维模型，利用预先捕获的模型信息（用于单目视觉系统）或考虑深度信息（用于提供深度的视觉传感器）计算物体在笛卡尔空间中的位姿。Gan等[68]提出一种用于高精度抓取和协同任务的PBVS 方法，将视觉系统的传感器数据流、力/力矩传感器和联合编码器融合在一起，可以得到机械手的关节速度值和在线运动轨迹，从而对固定目标的抓取和在线跟踪有较好的效果。Peng等[69]提出了一种双臂空间机器人系统的虚拟立体视觉建模和位姿测量方法，每只手臂只携带一个单目摄像机来观察不同物体，被映射到一个立体测量范围，分别识别的几何特征被转换成一个等效的“虚拟共同特征”，进一步确定非协作目标的位姿。

为了测量操作物的位姿信息，通常采用两种类型的视觉传感器：（1）RGB-D相机，Medjram等[70]采用RGB-D相机获取视觉信息进行处理以估计物体的位置；Kinect带有深度传感器以及红外传感器可以直接获得目标的深度信息，在人机运动直接示教研究中，王朝阳等[71]利用Kinect获取人臂特征点在笛卡尔空间的运动信息，即各关节在相机坐标系中的空间位置坐标；Abadianzadeh等[72]采用Kinect 传感器对目标点的3D 坐标进行测量，通过模糊混合控制器控制机械臂趋近期望目标。（2）基于视差原理的双目视觉定位：双目立体摄像机，通过两台平行放置的单目相机，利用视差原理来测量目标位置信息，Ling等[61]结合了双目立体视觉传感器和双臂用于番茄采摘系统，集成了番茄检测、目标定位、运动计划和用于双臂运动的实时控制，应用于机器人水果采摘的双臂协作；Fan 等[73]基于双目视觉的多自由度机械臂自主操作方法，提取目标特征点并结合双目定位原理获得目标对象的空间位置，在关节空间采用遗传算法规划机械臂的运动轨迹。

根据机械臂伺服任务的目的，从视觉定位和视觉跟踪两方面分析双臂的操作任务。双臂视觉跟踪任务中，目标在图像空间的期望状态是运动的，即图像空间的期望路径是一条随时间变化的轨迹，如双臂搬运类的协调任务，采用基于图像的视觉伺服方法。这种方法不需要姿态估计，减少了机器人控制信号的计算。双臂视觉定位任务中，目标在图像空间的期望状态是静止的或是相对静止的，需要控制机械臂末端位姿使得目标图像特征到达期望特征，如双臂装配类的协调任务，采用基于位置的视觉伺服方法。

场景与手眼摄像机组合视觉系统，属于双目相机，但无法使用视差原理，只能通过对位姿特征进行解耦，在各自的图像空间实现各方向测量。手眼摄像机被刚性固定在机器人末端执行器附近，场景摄像机固定于机器人工作空间附近用来观测机器人操作，多摄像机的组合配置可以允许机器人接受互补传感器信息源来完成任务。Lippiello等[74]通过场景和手眼摄像机的组合视觉系统实时观测和估计操作物位姿信息，并采用3D 视觉伺服和卡尔曼滤波方法实现双臂机器人操作。Shauri等[75]通过位置伺服控制和安装在末端执行器上的摄像机实现螺栓与螺母拧紧的双臂装配任务。Kruse等[76]通过两台手眼摄像机实时观测操作物的2D 特征，两个机械臂被同时控制来抓取一个体积较大的物体。PR2 的两个机械臂采用场景和手眼的混合视觉系统，Fleurmond 等[77]采用2D 视觉伺服控制来实现笔和笔帽的位姿对齐任务。Wang等[65]提出了一种基于视觉感知的双臂机器人装配环境状态感知方法，将三维点云处理、模型数据库、知识表示与物体识别、姿态估计相结合。首先生成装配场景的原始数据库，将装配工作空间中的对象与数据库中的对应模型进行匹配，工作完成后，利用获得的所有信息生成环境状态图，用于双手手动装配行为自动生成。Nicolis等[78]一个采用遥操作控制方式，另一个自主配备了手眼摄像头传感器，通过自主调整摄像头以执行无遮挡任务。

4 模仿学习

为了实现双臂机器人在非结构化环境中自主操作的目标，有必要让机器人具备适应周围环境的能力。在这种环境中仅依靠外部传感器控制，手动规划机器人运动的所有方面是无法适应动态环境的。为了使双臂机器人具备适应环境的能力，模仿学习（Imitation Learning，IL），基于对人类演示的真实运动作为参考，通过离线对人类运动过程进行观测并分析，通过学习模型分析并获得运动特征或操作特征，以便在规划阶段后期应用，减少运动规划的复杂性以及实现机器人的拟人化操作。

刘乃军等[79]将机器人操作技能学习方法按照对训练数据的使用方式分为强化学习、模仿学习和小数据学习。有许多研究人员对模仿学习进行不同的分类，李帅龙等[80]按照学习策略的不同分为行为克隆（Behavioral Cloning，BC）和逆强化学习（Inverse Reinforcement Learning，IRL）。Fang 等[81]按照操作示教方式的不同分为间接示教和直接示教。殷聪聪等[82]按照传感器的类型不同分为：动觉模仿、视觉模仿、遥操作模仿，或者按照其学习信息的逻辑层次可以分为基于运动的模仿学习和基于任务的模仿学习。

在多数文献中，将机械臂通过分析人类操作数据所学到的知识称为技能获取。这些方法大多是针对单一机械手的，在某些情况下，可以将这些方法简单地扩展到两个手臂，只需对每个手臂重复该过程，但双臂操作的一些特性需要进行修改。相关的问题包括运动的认知、姿态估计、姿态跟踪、身体的一致性、从外部空间到自身空间的坐标转换。

从技能学习的角度，通过视觉传感器等获得人臂运动数据，如动作模拟任务，可以称为运动技能的学习；机械臂末端与环境之间或者被操作物体与环境之间存在物理交互作用，需要采用力传感器获得机械臂与环境之间的接触信息，可以称为操作技能的学习。技能学习通常分为三个部分：数据获取、技能学习和任务再现，如图12所示，其中双臂协调操作模型包括位置/力协调参数。常见的基本建模方法包括动态运动原语（Dynamical Movement Primitives，DMP）、高斯混合模型（Gaussian Mixture Model，GMM）和隐马尔可夫模型（Hidden Markov Model，HMM）等。

图12 机械臂协作技能学习策略

Batinica等[83]演示了顺应性运动原语（CMP）如何结合期望的关节运动轨迹和相应的关节转矩信号，从需要顺应性的人类演示双臂运动中学习，应用于重复完全相同的任务。Nemec等[84]通过演示学习，底层的协同任务使用速度缩放的动态运动原语表示，提出了一种在路径操作空间中实现刚度自适应的方法，考虑了多次执行的运动方差和当前速度。Yang等[53]扩展了DMPs模型，实现了运动（位置）轨迹和刚度分布的同步编码，实现了更完整的技能转移过程。Silverio 等[85]将任务参数化高斯混合模型（Task Parameterized Gaussian Mixture Model，TP-GMM）扩展到雅可比矩阵和零空间结构，从不同坐标系角度对末端执行器运动进行概率编码，同时学习操作空间和配置空间的约束，解决双臂操作潜在冲突任务之间的优先级问题。

Suarez 等[86]计算拟人双臂机器人构形空间的协同效应，将协同作用的概念扩展到速度空间（即构型轨迹的一阶导数空间），分析自由度速度之间的相关性，通过姿势捕捉进行双臂机器人的训练学习。Garcia等[87]利用人类演示在解决不同任务时获得的协同效应来定义两个任务之间的相似性指数，根据人类操作者手臂解决任务的动作来评估两个任务之间的相似性，允许将任务分类或集群到子集中，从而进一步改进规划过程，并且提出了一种基于采样的规划器[88]，考虑不同类型的抓取，描述人类抓取动作中存在的协同效应，识别抓取运动中的不同阶段，获得一个通用的预抓取协同集和一个针对每种抓取类型的抓取协同集。

Shin等[89]在双臂操作中使用模仿学习的方法，利用主成分分析方法（Principal Component Analysis，PCA）采集人体运动数据来生成与人类相似的运动达到臂形控制的效果，这种方法在每次执行新任务时需要重新学习。Qu等[90]通过学习人类手臂操作过程中双手的相对位置和方向之间的关系，即手臂间的协调特性，可以得到两臂间的可变协调约束，使得机器人双臂操作更加顺畅。利用人体手臂教学数据中特征点的笛卡尔坐标求出人体手臂运动的关节数据，求出关节角度。利用PCA方法从教学数据集中去除不相关的维度，将数据映射到潜在空间。关节数据的平均相关值表示人体手臂各关节之间的臂内协调特征，推导出类人协调运动方程，采用高斯混合回归模型（GMR）方法对编码轨迹进行泛化。

Zhu等[91]总结了模仿学习在机器人装配操作中的应用。Kyrarini等[55]通过多次人类演示学习装配任务的动作顺序（高级学习），根据对象操作的需要学习每条路径（低级学习），基于高斯混合模型的修改算法能够适应学习的路径，能够完成工业装配任务中的人机协作。Duque 等[92]使用TP-GMM 和Petri 网进行零件装配操作，任务演示由Kinect 运动传感器识别场景中的对象，Petri网根据工作空间上的可用对象自动生成工作计划。Suomalainen 等[93]将阻抗控制和模仿学习结合，从人类演示中学习顺应性的接触运动，通过同时测量运动方向和作用在末端执行器上的力可以为运动方向构造一组约束，来自多次演示的约束被投影到二维角坐标系中，其中的交点即可行的期望运动方向。Suomalainen 等[94]之后提出在存在方向误差的情况下如何从人类演示中学习遵从性参数（阻抗控制器的运动参数和柔度参数）用于装配任务。观察柔顺的滑动运动中，总是有一定的方向扇区，机器人可以从其中施加力来执行观察到的运动。通过一个或多个演示，在三维运动中获取这些扇区的交点，从而学习动态线性柔顺运动的参数。

由于回报函数设计困难和示教质量不佳两种情况，单纯的强化和模仿学习都难以应用，因此提出新的机制。（1）借助示教的强化学习（RLfD）。（2）借助专家偏好的模仿学习。Yang 等[95]提出超越模仿学习的不同方面和应用，Caccavale等[96]提出将模仿学习和注意监督结合来学习一组运动原语和相关的任务结构，用于双臂结构化任务。Ficuciello等[97]将模仿学习与强化学习相结合，用拟人化手臂机器人系统抓取物体。

5 人机交互

人机协作任务，主要解决四类问题：（1）需要根据不同的任务参数，例如操作物相对于抓取，障碍物在工作空间中的位置等，对人类示教数据进行编码。（2）在协作行为重建阶段中的机器人期望状态提取。（3）随着时间变化的不同柔顺级别估计。（4）与人类安全的交互。曾超等[98]根据不同的交互接口，将人机技能传递方式归纳为四种形式：基于视觉（vision-based）、基于遥操作（teleoperation-based）、人机物理接触交互（physical Human-Robot Interaction，pHRI）、多模态。

（1）基于视觉的人机交互

此过程与模仿学习类似，这种交互方式只能获取运动信息，而无法获取示教者的动作信息。Rozo等[99]从动觉演示数据中提取任务的位置、速度和力约束，建立任务参数的函数，并提出模型结合最优控制器，来利用演示中所观察的变化，进而不断适应一个反馈控制律。机器人系统在非结构化环境中面对更复杂的任务，Sepulveda 等[100]提出智能感知系统，由高分辨率RGB 相机和飞行时间相机组成。Cruciani等[63]通过深度相机提高物体形状和姿态的部分信息来实现双手操作规划，利用双臂机器人的冗余性来执行对物体的非缠绕推力，并调整其在夹具内的姿态，适用于需要交互感知的操作任务。

（2）基于遥操作的人机交互

示教过程与基于视觉的人机交互类似，但不再直接记录示教者肢体的运动信息，而是记录主端操作杆或从端机器人的运动状态。由于操作杆与机器人的机理结构不同，在示教过程中需要对工作空间进行匹配。Rozo等[72]提出了基于高斯混合模型和高斯混合回归的概率框架，分别对机器人协作行为进行编码和重建。在人机协作的抬举任务中人类通过遥操作设备控制机械臂来实现演示。Peternel 等[101]提出一种在线学习策略，人类通过遥操作机器人进行循环运动。

（3）基于物理接触的人机交互

Cohen等[33]将基于搜索的启发式算法应用于人机交互的运动规划，使机器人能够针对人类行为及周围环境做出安全交互。Roveda等[102]使用神经网络优化机器人协作优化控制参数的基础上，采用内笛卡尔阻抗控制器实现机器人的顺从行为，限制人机交互中力/速度以加强安全性。Duan等[103]同时在笛卡尔空间和关节空间中同时学习技能的模仿学习中避免障碍的问题，设计适当的势场以绕过障碍物，在避开障碍物的过程中调整轨迹时，要遵守关节极限，以及确定适当的机器人控制命令，以潜在的人机交互安全问题。

双臂示教是一种较为特别的物理交互示教方法，即利用双臂机器人的特点，以其中一机械臂为主端，以另一机械臂为从端。示教者操作主端引导从端机械臂完成作业任务，这种示教方式可以使得示教者直接操作机械臂，有物理交互的特点。Ureche等[104]从人类演示中提取非对称任务的参数化，应用于三种执行案例：双手保持身体接触同时自主协调；一只手臂执行辅助功能，另一只手臂进行主动操作；人类协作执行辅助或主动角色的单个机械臂协作执行。Yang等[105]为了提高示教的质量，可以在双臂示教系统中的主从两端引入基于虚拟阻抗的触觉反馈机制，同时在触觉和视觉反馈的帮助下，以提高人机交互的临场感。Mario等[106]将触觉引导与共享控制算法相结合，用于自主方向控制和避碰，进一步提高了抓取任务的性能。

（4）多模态人机交互

随着智能机器人可装配的传感器种类越来越多，融合不同类型传感器数据的多模态交互方法可以进一步提高机器人的感知与交互能力。Behrens等[107]针对一类集成任务和运动规划（ITAMP）问题，提出了基于自然语言和演示的多模态输入法，使用所有相关约束描述要调度的任务并演示其相对位置。Pavlichenko 等[108]提出自动完成双臂拾取任务的集成方法，包括目标识别和语义分割、目标姿态估计、可变形模型配准、抓取规划和手臂轨迹规划和优化。Kitagawa 等[109]将双臂抓取作为另一种可能的策略，并提出一种利用卷积神经网络（CNN）进行抓取点预测和语义分割的多阶段选择性双臂抓取学习方法。Amor等[110]提出基于DMP的概率编码方法，基于部分观测的人类意图预测，来适应和机器人交互。根据人类动作，使用动态时间规整来构造预测动作。Matsuzaka等[111]提出了基于预测操作者在特定任务中的运动的半自主控制（联合操作控制和自主控制），通过眼动跟踪和预测人类行为的手眼协调的辅助系统，人机协作中，将分析的模式应用于实际的操作辅助和操作预测的研究中。

6 总结与展望

随着机器人应用场景多样化和操作任务复杂化，双臂机器人会得到越来越多的应用及研究，由于其冗余特性，运动学逆解求解方法趋向与智能启发式算法结合来寻找最优构型，传统的主从控制和位置/力控制不能满足双臂机器人柔顺控制的要求，阻抗控制和自适应控制更适应动态环境中的协调控制。视觉伺服控制通过位置或图像等信息传递给双臂系统，实现机器人半自主控制。随着拟人机械臂的发展，模仿学习通过分析人类操作数据使双臂机器人也具有拟人协调特性。在人类环境中工作的双臂机器人，人机协作将大幅增加，其更关注安全问题以及与环境之间的交互协作。

机器人操作技能学习得到了越来越多地重视[112]，人工智能技术的发展为机器人操作技能的学习提供了新的方法，开拓了新的思路[79，98]。

（1）拟人双臂逆解考虑其生理特性，通过引入臂角变量，避免奇异性；或者结合启发式算法求解最优构型。另一种获得双臂逆解的方法是通过学习人类手臂运动的关节数据，再生成与人类相似的运动，这种臂形控制的方法适合双臂协调性较高的操作，通过臂角变量如何使双臂协调操作更稳定是值得研究的问题。

（2）传统工业机器人由于缺少力反馈等信息容易造成任务失败，机械臂末端与物体之间接触产生作用力，由于机器人刚度很大，需要对机器人进行柔顺控制，系统是采用被动柔顺方法进行控制，还是通过力传感器实时反馈的接触力的信息进行控制，或是采用自适应力控制策略，对于在力控制中出现的动态力、恒力、零力以及碰撞等情况，双臂协调控制方法需要不同的控制策略。

（3）基于视觉、触觉或其他传感器的信息分析人类行为的方法，以及推理系统，确定任务的哪些方面是相关的，并传达给机器人系统，需要有效的控制系统来实现这些目标。将人类的操作任务映射到不同的机械手，需要不同的控制策略确定任务的目标。

（4）模仿学习方法虽然解决了机器人学习控制的效率问题，但其控制方式不总是最优策略，一方面示教者与机器人的运动学和动力学在机理模型上不完全相同，从外部空间到自身空间需要进行数据信息的分析变换以适应任务的需求。对机器人演示运动进行分析以动态预测机器人姿态，或从机器人姿态运动轨迹来推测机器人的姿态，可以构造基本运动集或抓取集，用于先验模型应用于运动规划和姿态估计中。这种控制方式在动态环境中需要联合学习，从感知传感器学习应用到操作中，动作会反馈给感知传感器，以适应非结构化环境。

（5）人机交互方式过于单一、感知信息不足，人机融合程度不高，示教者缺乏临场感，从而影响示教性能。针对这一问题，未来会集中在寻找更加直观、自然、友好的示教方式。首先，多种交互方式相结合是发展趋势，将先进的交互技术引入到机器人技能示教学习领域是确实可行的办法。多模态信息融合也将是改善人机交互性能的发展方向。通过将物理的或者生理的多种形式的信号（如空间位置、交互力、触觉、视觉、肌电信号等）在更高层次上融合，纳入到人机技能传递过程中，可以更直观地表达出人的技能特征。

在高级协作控制任务中，所有这些问题都需要解决，然后机器人才能在非结构化环境中具有高协调性和智能化。