人机协作中人体运动预测方法研究综述

王宪伦，王天宇

(青岛科技大学机电工程学院,山东青岛 266061)

0 前言

在工业4.0的大环境驱动下，我国机器人行业发展迅速，协作机器人和人机协作技术应用日益广泛。自工业机器人商用化以来，机器人与人类的关系可划分为竞争、共存、协作和共事4个阶段，随着协作机器人相关技术的发展应用，人与机器人已经进入协作的新阶段。

人机协作(Human-Robot Collaboration，HRC)指的是人和机器人共享工作空间或时间并共同进行作业的工作场景。这种模式下人类和机器人在共享空间任务过程中的协作越来越多，机器人和工人的个体任务绩效可以分别优化，实现高生产力的生产过程。

在机器人方面，协作机器人相比传统工业机器人更注重协作性技术的运用，凸显机器人的主动性和智能化。机器人摆脱以往分离囚笼式的工作环境，在保证操作人员安全的前提下，协作完成分配的各项工作，实现人与机器人的优势互补，机器人与工作环境的相互统一。

在人机共融的开放环境中，存在各类动态的未知风险，尤其是人体运动的时变性和不确定性更对人机协作系统的安全性提出考验。为保证人机协作过程的人员安全和作业的流畅性，实现协作效率的最大化，众多学者就人机协作下的人体运动预测方法开展大量研究，以使机器人具备早期预测人体运动的能力，避碰的同时能够快速响应操作人员的协作需求。基于以上认识，本文作者介绍了近年来人机协作中人体运动预测方法的研究进展，并对其发展趋势作探讨展望。

1 人机协作安全策略描述

人机协作的安全策略目前主要针对碰撞前和碰撞后两种情形。碰撞后策略是通过机械设计和控制等措施来降低风险，减少碰撞造成的影响。设计阶段的风险管理流程如图1所示。文献[8-13]介绍了各学者探索使用柔性材料、设计变刚性关节或采取减小碰撞冲击策略等方法以保障人机协作安全的研究。

图1 机械设计阶段的风险管理流程

碰撞前策略是通过如机器人与人之间的距离和相对速度等来预测人体运动轨迹等相关参数，提高机器人避碰的能力及与人协作效率。

由于针对碰撞后情形的安全策略具有滞后性，碰撞不可避免，因此近年来围绕碰撞前进行预测方法的研究更为广泛。

国际标准化组织制定了工业制造中人机协作的安全要求。其中ISO/TS 15066标准对协作机器人的安全设计与使用作出了明确规定。为了保证操作人员的安全，各类外部传感器(相机、激光、结构光等)被引入并用于机器人应用中，以防止机器人与人发生碰撞，其中视觉传感器在人类感知方面应用最为普遍。

图2为基于视觉传感器的人体运动预测与机器人运动规划流程。相机实时采集人体运动时的位置信息，通过人体运动的预测框架来预测工人运动，机器人根据工人的运动进行运动规划。

图2 人体运动预测与机器人运动规划流程

2 人机协作运动预测方法

2.1 基于运动模型的预测方法

基于运动模型对人体运动进行预测是较为传统的预测方法。该方法一般通过采集人体运动数据实现对人体运动跟踪，结合目标状态预测算法的方式，达到对人体运动预测的目的。目前国内外常用的目标预测算法主要有：最小二乘拟合预测算法、粒子滤波算法和卡尔曼滤波算法等。众多学者在此基础上，通过改进或提出新算法进行人体预测的有关研究。DINH等基于一种被实验证实的人手臂点对点运动数学模型，对人手臂运动轨迹进行早期预测，并将其融入对机器人的顺应性控制中，以改善机器人的局部避障情况。

胡路遥提出一种速度自适应调整参数的预测方法。对视觉传感器采集的人体运动数据进行预处理，并基于人体关节约束及人体运动速度，采用插值的方式对预测算法的相关参数进行自适应调整，以解决人体运动突变引起的数据抖动和因人体各关节运动速度不同导致的预测结果不稳定问题。结果表明：提出的运动预测算法在预测速度及位置误差方面比现有几种算法效果更好。

MAEDA等通过估计人的运动过程来实现快速流畅的人机交互。该方法在人体位置被遮挡或信息采集缺失的情况下，也可以估计运动的进展。利用交互概率运动原语的框架，基于计算不同相位候选的概率来找到与当前观测最匹配的交互概率运动原语的相位。相位估计可以对人的动作进行分类，并在人完成动作之前生成相应的机器人轨迹。该方法适用于充当助手的半自主机器人。

2.2 基于机器学习的预测方法

2.2.1 监督学习方式

随着机器学习方法的普及应用，对人体运动预测采用机器学习方法的研究愈来愈多。监督学习作为目前最成功的机器学习方式，在预测方面也得到广泛应用。其策略一般是将人体动作序列进行数据库建模，基于识别的工人动作来预测人体的运动。隐马尔可夫作为众所周知的概率建模方法，在动作识别方面最为常用。

目前，人机协作的应用场景在装配作业中最为常见。与人工装配相比，人机协同系统要求更强的定制性和灵活性。LIU、WANG就此提出一种新的人机协同系统，将产品装配任务建模为一系列人体运动，用现有的人体运动识别技术识别人体运动，在运动序列中采用隐马尔可夫模型生成运动转移概率矩阵；基于此结果预测人体运动，并将其应用于人机协同装配中，其研究证明了人体运动预测在人机协作中应用于实际任务的潜在可能性。CHENG等集成一个典型的包含动作识别和轨迹预测模块的人机协作框架，如图3所示。他提出一种基于深度学习和贝叶斯推理的预测算法，利用前馈神经网络和递推最小二乘参数自适应算法对人体过渡模型进行逼近及输出层自适应。装配实验结果表明：在其算法加持下，人机最小距离在安全阈值内的同时，平均任务完成时间为(64.6±10.6)s，任务用时减少29.1%。该方法显著提高了人机协作的效率，特别是其目标行为识别校正方法，较好解决了因人体行为多样性及轨迹时变特性导致的预测精度降低的问题。

图3 HRC集成框架体系结构

CALLENS等在提出的运动识别和预测框架中构建了一个运动模型数据库，该数据库包含了多个使用概率主成分分析方法学习的运动模型，能实现对短期内的人体运动进行预测。但是此算法只对运动的终点进行预测，而不能预测运动过程中的完整轨迹。此外，此算法目前未对适用的“短期预测”范围给出明确时间界限。

LI等针对人体手臂的运动轨迹，构建了一个预测框架。提出一种包含有代表性的轨迹计算、时间序列分类和人体运动回归的方法。在离线阶段，训练了具有优化超参数的人体运动概率模型，并计算了每个任务的代表轨迹。在学习模型和新测量值的基础上，采用时间序列分类和稀疏探地雷达在线多步超前预测。此方法能够提取和理解人体意图，具有较好的人体运动预测性能。但是该算法在预测初期误差较大。由于其代表性轨迹是多个运动的统计均值，在人体关节的位置或速度受到噪声影响或肢体运动方向突然变化时，模型参数的改变会导致方差增大，代表性轨迹易产生较大的误差。因此该方法适合长期的人体运动预测。与LI等研究对象类似，刘格根据人体上肢的运动学结构特性以及人体上肢在触点运动过程中的运动特性，提出了基于误差反向传播人工神经网络的人上肢运动轨迹预测方法。将上肢触点运动轨迹分段作为样本，待神经网络学习完成后，根据部分手臂运动轨迹预测手臂之后的运动轨迹。该方法能对人体上肢运动意图进行识别预测，准确率达90%，但是该方法下机器人学习效率较低。

ZHANG等基于循环神经网络(Recurrent Neural Network,RNN)对人体运动轨迹进行预测，该方法的一个新特点是在RNN结构中引入两类功能单元来解析人体各部分的运动模式以及它们之间的协调以提高预测精度。此外，他们还研究了基于蒙特卡罗法的概率推理，以减少不确定性因素导致机器人误触发问题。改进后的RNN结构与标准RNN相比，预测误差降低了40%，提高了预测人体运动的可靠性。

为了在智能制造中实现安全有效的人机协作，将传感、认知和预测无缝集成到机器人控制器中对于异构环境(机器人、人类和设备)中的实时感知、响应和通信至关重要。NICORA等集成了一个为机器人提供主动自适应协作智能系统和切换逻辑及其控制体系结构，使机器人能够在给定先验知识和预定义的任务执行计划的情况下，以最优姿态动态地规划运动，并能检测模拟的人类动作，同时降低对生产率的影响。ZHOU、WACHS提出一种适合人体机器人协作场景的早期轮转预测算法，具体是一种能够理解人类多模态通信信号并进行轮询预测的机器人作业系统。结果表明：当给出少量的部分输入，机器人作业轨迹比人更好；随着动作的进行，此算法下机器人可以达到与人类相当的水平。以上二位学者聚焦于环境感知和对人类行为的预测模拟，探究了人机协作中机器人智能化的发展方向，所提算法得到很好的验证。但是由于人体运动具有不确定性，系统的适应性和稳定性仍可进一步加强，以防数据集外的未知障碍引起机器人失控影响人员安全。

利用视觉传感器捕捉采集工人运动的信息，WANG等建立了准确可靠的上下文意识算法来预测人体运动，以深度学习作为一种数据驱动技术，通过从AlexNet改编的深度卷积神经网络结构实现对人体运动和未来任务的识别预测，识别准确率在96%以上。LIU等基于上下文感知的时间处理方法，在动作完成之前对动作进行评估，以节省时间识别人的意图，具体通过一种卷积神经网络和长短期记忆网络相结合的基于视觉信号的深度学习系统实现。该方法可在获取片段数据情况下达到较高的预测准确率，为流畅的人机协作提供了可靠的依据。这种基于上下文意识算法得来的高准确率的识别信息可作为输入，使机器人更好地了解人体的运动意图，但是其缺乏对运动过程中的轨迹的预测。

对于服务机器人而言，在室内场景中，人们的运动通常与他们之前接触过的物体有关。BRUCKSCHEN等提出一种预测室内环境中移动的人的方法，将关于人类活动区域之间过渡的先验知识与机器人对人类当前姿态和最后一个目标交互的信息结合起来，将近距离的对象分组为活动区域实现泛化，通过贝叶斯推理来预测运动目标，结果表明：其框架可靠地预测了人移动的目标。该方法利用活动区域之间的转换，而不是单个对象的转换，可以有效提高预测的精度。此外其预测算法不依赖于先前学习的固定目标之间的轨迹，相比基于轨迹的预测方法表现更好。

2.2.2 无监督学习方式

监督学习方法在以往的人体运动识别预测工作中被广泛应用，但是监督学习依赖于数据集中的数据，无法对数据集外的人员或动作等识别预测，而且大型数据集的标注需要耗费大量的人力物力。无监督学习是近年提出的一种机器学习方式，相较于监督学习，对数据集的依赖性更小，可以根据类别未知的训练样本解决模式识别中的各种问题，因此吸引不少学者采用这种方式对人体运动进行预测。

LUO等提出了一种双层混合高斯模型框架和一种无监督在线学习算法框架(如图4所示)，用新的观测轨迹更新这些模型。结果表明：该框架可以实时生成模型，能适应新的人和新的动作风格，并在机器人避开人类运动的实时应用中得到验证，具有较高的可靠性。

图4 数据流的无监督在线学习算法

VINANZI等提出了一种可扩展的人工认知架构，该架构集成了无监督学习和概率模型，赋予机器人对人类意图识别和信任的能力。其意图识别模型能对目标进行正确的目标预测，信任模块则提高了较好实现任务的可能性。SINGH等结合人的视线和人工智能规划的方式对人的意图进行识别，基于一种无监督学习方法，重点研究了在预测对象表现出欺骗性的表象的情况下，如何有效提高人的意图识别的准确性。

康杰等人以人手部和肘部运动为研究对象，基于无监督学习方法构建了分层轨迹预测框架，解决了多关节的实时预测问题。针对多目标环境和特殊异常行为，采用了基于minimum-jerk的轨迹预测方法。实验结果表明：在人体运动执行至40%和50%时，识别准确率分别达到90%和92%以上，其算法在协同作业方面也具有较高的鲁棒性和有效性。以上学者基于无监督学习的方式对人体运动预测方法进行了研究，此方式虽不依赖大型监督型数据集，不需要正规训练或手工标注即可建立人体运动模型并可进行更新拓展，应用性更强，但相比于监督学习下训练模型有对应标签的优势，无监督学习模型的表现要差一些，其准确性和效率都有待进一步提高。

3 总结与展望

机器人技术领域关于人机协作方向的研究逐年增多，众多学者围绕人机协作、安全、意图识别及运动预测方面进行相关研究，特别是近年来提出的人体运动预测算法。无论是依赖于机器学习的方式，还是通过运动建模预测的方法，在实验场景中，算法的性能都得到较好的验证，显示了机器人与人类主动、安全协作的潜力和可行性。

但当前关于人体运动预测方法仍存在一些不足，总结有以下几处：

(1)目前人体运动预测方法还是以通过标记动作类型的监督学习的方式为主，但人机共融的发展趋势下要求更多种类和规模的数据被处理和学习，并要求更高的预测准确率，监督学习下的数据集大小成为制约应用场景的一大因素。无监督学习方式对数据集依赖小，但效率和准确率有待提高。

(2)目前对人体运动数据的感知大多基于视觉等单一传感器采集的人体模态信息，但在人机交互过程中，往往伴随手势、语音、表观信息等多模态信息的产生，单一模态信息不完整或丢失情况下必然影响对人体运动预测的准确性。目前随着技术进步和新式感知设备的应用，有学者基于脑电信号、肌电信号、视觉触觉结合等方式进行人体意图的研究，但相关研究目前还不足以在实际复杂的工业场景中应用。

针对以上问题，未来可进行更全面的人的状态定义的工作，给出更丰富的时空特征构建方法，以获取更多的信息，可采用半监督学习的方式。特别是，可进一步研究提高无监督学习方法的预测精度，减小数据集的束缚，实现对不同环境下不同人员运动进行预测，在更复杂、更全面的人机协作场景中得以应用。

未来除采用视觉传感器感知人的动作信息，还可进一步对人类表观信息如视线、表情等进行研究。另外可采用骨骼传感器、基于可穿戴设备等多传感器来获取人体运动的位置信息，并探索多模态信息的融合方法，提高预测算法的鲁棒性和准确性，既保证人机安全又提高协同作业效率。

人机协作是一个新兴的、快速扩展的机器人研究领域，还有很多问题值得进一步探索和研究。随着人体意图识别和行为预测理论和方法研究的不断深入，可以预见，智能化机器人与人完美协同进行工作的场景终将会实现。