人与机器人之间物品移交综述

张雷

（珞石（北京）科技有限公司，北京， 110108）

0 引言

近年人们见证了机器人产业的蓬勃发展，机器人正在从工业应用向着人机协作的方向发展，这对机器人能力提出更高的要求，需要机器人对它们的周围环境和其他智能体(如人或机器人)进行感知并与之互动。大量应用场景（家里，医院，养老）需要自主与协作机器人[1]，机器人的有效部署可以提高人类工人的工作质量和经验。

传统工业环境的结构化对机器人的使用十分有利，然而在非结构化环境中，机器人应用有很远的路要走。在非结构化环境中，机器人需要更好地理解要执行的任务，需要一个鲁棒的感知系统来检测和跟踪周围动态环境的变化，进行智能的、自适应的动作和运动规划，并综合考虑环境的变化[2]。在这种情况下，机器人必须能够在操作任务中成功地进行合作和协作。更确切地说，物品移交被定义为一个给予者将一个物品传递给接收者的联合运动。尽管交接是人类之间频繁的合作行为，但它是双方主体在预测、感知、行动、学习和调整方面的共同努力才能达成的，要实现像人与人之间一样高效和流畅地完成人与机器人物品移交任务，对机器人领域是一个全新的挑战。

一个成功的联合运动依赖于参与者之间分享表示、动作预测和整合自身和他人行为的预测效果。联合运动比单独动作要复杂得多. 联合运动的最小体系结构应该包括表示、监视和预测等流程[3]。预测自己动作的结果和其他智能体的动作有助于智能体之间的更好协作。

在联合运动中，人类会考虑搭档的需要，并且会根据对搭档行为预测来规划自己的行动。虽然两个智能体的共同目标是完成物体的移交，但在交互过程中，他们分别有各自的目标。给予者的目标是:用恰当的方式将物品交给对方，如何保持物体稳定，直至可以释放手中物品完成交接。接收者的目标是:保证给予者安全和体验等前提下接过物体，并且在交接之后执行相关的任务。

在大多数情况下，传递物品是为了让接收者执行特定的任务，给予者应考虑接收者将对所移交的物品执行的后续任务。移交过程可分为移交前阶段和移交阶段，移交前阶段包括智能体之间的显式和隐式通信，以及给予者对物体的抓取和传送。移交阶段是从接收者第一次接触物体开始。当给予者将手从物体上移开，而物体完全在接收者的手中时，这个阶段就结束了。

1 通信

通信在任何联合运动中都是至关重要的。通信表示出移交任务即将开始的意图，并且在开始后协调动作。人类非常善于传达自己的意图(即要干什么和要传递的物体是什么)，并给出何时何地进行交接的线索[4]。这表明，机器人也需要这种沟通技巧和适应能力，以便在与人类伙伴互动时达到人类的表现。

语言可以用来表达人类移交物体的意图，也可以用来协调交互过程中的动作。语言可以被用来发起动作，而语言的使用可以被认为是联合运动的一种形式。因此，很多信息可以通过语言传达给对方。例如，一个机器人和人可以通过对话来决定他们在互动中的角色，然后协调动作[5]。

除了说话，人类还会使用其他一些方式，如身体姿势和位置、手臂姿势、手势(用手臂、手)和目光凝视来传达其移交物体的意图，以及何时何地将进行交接等。例如伸出手臂并递出目标物体，使物体向接收者方向倾斜，都是表达要传递物体的意图[6-7]。对机器人而言，对运动特征的分析可以自动检测出要移交物体的意图，例如使用机器学习分类器[8]。在文献[9]中提出的另一种基于学习的方法，认为人的朝向和联合注意力(在物体或将发生交接的位置上)是人机互动的重要线索。

人类目光凝视也是传达行动意图和协调行动的有效方法，人能够通过观察他人的凝视来解读他人的行动意图[10]。因此，在交接过程中，机器人的注视作用会积极地影响交互，从而使人类接收者能够更快地接收物体，更自然地感知交互[11-12]。同样地，凝视也能在更快的人类反应时间方面对协作产生影响[13]。

2 抓取位置规划

在移交过程中，给予者会考虑如何根据接收者的任务来规划动作。例如给予者考虑如何抓住物体，以便以尽可能好的方式将目标物体提供给接收者，也就是说，在使用物体用于其预期用途之前，尽可能减少接收者对物体的操纵[14]。这是对物体操作的二阶规划的一个例子，即对一个物体操作行为，不仅基于当前的任务需求，还基于下一个要执行的任务[15]。因此，在移交任务中，给予者的抓取方式也要考虑接收者所要执行的任务。实际上，给予者的抓取方式影响了接收者的抓取，因为后者只能在物体的无遮挡部分上抓取该物体。给予者的抓取方式可以影响接收者是否可以直接使用该物体来完成任务，或者必须重新对物体操作后才能在后续任务中使用它。

当对抓取方式进行规划时，诸如物体形状、物体功能和安全性等因素都是需要考虑的重要因素[16]。物体约束和接收者的任务是抓取姿态选取的关键因素[17]。示教学习是一种可以用来探索对抓取物体进行语义分割的可行办法[18]。机器人通过观察人类行为来学习抓取位置已被证明是一种可行的解决方案[19]。

文献[20]提出利用功能可见性轴的概念学习抓取构型。给予者的抓取适应与一些理论相一致，这些理论认为抓取是人类固有的以任务为导向或有目的的行为，涉及感觉和运动控制系统[21]。

Gibson[22]创造了“功能可见性”这个术语来定义物体及其环境所提供的行动可能性。Norman[23]为功能可见性的概念添加了一个感知维度，不仅将其与个体的能力联系起来，还将其与他们要执行的任务联系起来。目前的研究仍然需要在感知和运动协调方面继续努力[24]。

机器人为接收者，设计者必须仔细考虑物体的哪个区域可以进行抓取，并据此调整机器人的抓取策略。当要执行的任务对接收者有较少的约束时，例如只是简单地把物体放下，那么机器人就会有更多适合的抓取位置。然而，当要用该物体执行复杂的任务时，机器人的抓取姿态就会受到严格的限制[17]。

3 感知

在人向机器人物品移交过程中，感知系统是极其重要的。首先，要检测到机器人需要抓取的物体位置，同时，为了保证人的安全，准确地识别出并分割手的位置也是十分重要的[7]。有一些研究工作，试图采用跟踪方法来跟踪物体和手的位置进而规划机器人的动作[25]，或者利用大型数据集来训练手和物体之间的位姿关系[26]。

在抓取时，机器人由于视觉传感器的视角狭小等原因，手和物体可能会被严重遮挡。不同的是，这个问题可以作为一个抓取分类问题来解决[6]，通过对人抓取物体的姿态进行分类，可以将这个信息用来引导机器人规划出合理的抓取姿态。

为了提高安全性，机器人除对物体和人手进行识别外，对人体进行跟踪也是有必要的[27]。对人的感知实时反馈十分关键，有研究工作是对人类动作进行预测，如使用DMP[28]成功地预测人的运动。实时估计人体运动也可以利用最小抖动轨迹的概念[29]，最小Jerk 模型可以结合回归变量来预测人在什么时候、什么方向会转移物品[30]。

4 运动规划与控制

在人与人的交接过程中，动作通常是平滑的，而不是被分成单独的、分阶段的[31]。因此，机器人与人的物品移交的联合动作需要足够的安全性、鲁棒性、可预测性，并能够使机器人从观察的动作中推测出目标。人类希望，在与机器人交互过程中，机器人的构型能够更加地像人或自然一些，这样便于人读懂机器人的意图[32]，这个问题需要用到机器人的逆运动学来解决。

另外，在向人方向接近时，机器人保证人的安全也是一个需要考虑的问题。安全可以通过软件或硬件方法来实现[33-34]。

运动规划和控制应该被限制在整个交互过程中风险最小的情况下进行，例如采用无碰撞规划路径[35]。

此外，机器人的动作应该足够灵活，以适应多变的环境和不同搭档的行为。为了实现这个功能，在设计人机交互系统时鲁棒性和反应性应该被考虑在内[36]。因此，某些预规划的方法因缺乏适应性难以应用在人机交接任务上。

文献[37]提出一种混合使用全局与局部规划器的机制来克服上述缺点。

一项人类研究表明，对于人类接收者的主观体验来说，互动的速度可能比机器人的空间准确性更重要。当机器人作为一个接收者时，自适应到达比完全预先规划的到达运动更好[38]。人类可以根据搭档的动作自适应，机器人也应该这样[39]。

阻抗控制和导纳控制在人机交互领域是比较常见的方法[40]，动态运动基元和其他变体有良好的自适应性，也是一种不错的选择[41-43]。与动态运动基元类似的算法还有SEDS[44]，其通过添加稳定约束条件对高斯混合模型进行参数优化，最终获得适应性的轨迹生成器。

5 总结

本文综述机器人物品传递研究的结果和相关文献中相应的技术与应用，总结了人与机器人物品移交任务中必须注意的问题：既要考虑人的交互体验，又要保证安全，并且机器人在做运动规划时要考虑机器人自身下一阶段的任务。

物品移交任务的工作场景不像工业场景那样结构化，而是复杂多变的，让机器人具有适应能力来解决这个问题一直是重要的研究方向。此外，如何做到物体的通用抓取是一个具有挑战的任务。