人臂可达运动手部轨迹规划与臂构型学习人臂可达运动手部轨迹规划与臂构型学习

夏晶　邱学晶　邝林娟　周世宁

摘要：應用最小冲击优化理论与多层感知器建立虚拟数字人可达运动模型，研究了人臂可达运动中臂构型与末端手部轨迹的规划、复现问题，并与最小二乘法的轨迹进行了对比研究。搭建三维红外运动数据采集系统，采集约束下的人臂可达运动日常行为数据并分析人臂运动机理，基于最小冲击优化理论对人臂可达运动末端手部轨迹进行规划;建立人臂运动学模型，采用多层感知器的学习方法学习人臂可达运动中的拟人臂构型;最后建立人臂末端轨迹和臂构型数学模型，并搭建和显示虚拟数字人体三维模型，将人臂可达运动中末端轨迹与臂构型相结合，驱动虚拟数字人臂可达运动生成。发现使用多层感知器学习的人臂可达运动中人臂构型误差平均误差MAE为0.053 2，均方根误差RMSE为0.003 1;末端手部在约束可达运动中路径近似为直线，且速度大致呈单峰钟形曲线。结果表明：最小冲击优化理论的末端手部轨迹规划与多层感知器学习的人臂构型相结合可以很好地反映人臂可达运动机理，是一种研究约束下人臂可达运动复现的有效方法。

关键词：可达运动;虚拟数字人;人臂运动模型;臂构型预测;人臂运动复现

中图分类号：TH 242文献标识码：A文章编号：1672-7312（2021）03-0288-07

Hand Motion Planning and Arm Configuration

Learning for Human Arm Reachable MotionXIA Jing，QIU Xuejing，KUANG Linjuan，ZHOU Shining

（School of Mechanical Engineering，Xi’an University of Science and Technology，Xi’an 710054，China）

Abstract：Applying the theory of minimum impact optimization and multilayer perceptions to establish a virtual digital human reachable movement model，this paper conducted a study on the arm configuration and the end hand trajectory planning and reproduction problems in the reachable movement of the human arm，and compared the trajectory of the least square method.Setting up a threedimensional infrared motion data acquisition system，the paper collected daily behavior data of human arm reachable motion under constraints，analyzed the mechanism of human arm motion，and planed the hand trajectory at the end of human arm reachable motion based on the optimization theory of minimum impact;then，established human arm motion Learning model by using the learning method of multilayer perceptron to learn the anthropomorphic arm configuration in the reachable motion of the human arm;and finally established the human arm end trajectory and the mathematical model of the arm configuration，and built the virtual digital human threedimensional model.In the reachable motion，the terminal trajectory is combined with the arm configuration to drive the virtual digital human arm to generate the reachable motion.It is found that the human arm configuration error MAE in the reachable motion of the human arm using the multilayer perceptron is 0.0532，and the RMSE is 0.0031;the path of the end hand in the restrained reachable motion is approximately a straight line，and the speed is roughly a singlepeak bell curve.The results indicate that the combination of the end hand trajectory planning of the minimum impact optimization theory and the human arm configuration learned by the multilayer perceptron can well reflect the human arm reachable motion mechanism，which is an effective method to study the reproduction of human arm’s reachable motion under restraint.

Key words：reachable movement;virtual digital human;human arm motion model;arm configuration prediction;human arm movement reproduction

0引言

人臂可达运动通常定义为人臂在执行任务时自然的运动过程，包括接近阶段、调整阶段。例如无约束点到点的运动或开门、喝咖啡等带有任务约束的运动。在千百万年的进化中人臂可达运动已经形成了特定的规律，这种规律体现在人们在执行各种任务时手臂运动轨迹基本趋于一致＼[1-3＼]。研究人臂数学运动模型来描述这种规律，对于动画、冗余机械臂运动规划甚至是家居和环境规划都有着重大意义。

人体是一个复杂的系统，有着非线性、强耦合、时变的特性，因此，促使人臂运动的驱动力不是单一生理量控制的结果。KAWATO指出，人臂可达运动的研究大致分为2部分，分别是末端轨迹的规划问题与对应臂构型的选择问题＼[4＼]。在末端轨迹规划方法中，有着著名的“质量-弹簧假说”，该假说指出运动是由肢体平衡位置的改变引起的，并且在运动开始前大脑就计算好最终关节的运动角度＼[5-6＼]。然后每个关节独立地移动到它的位置使得运动的生成，其本质上就是逆运动学的过程。FLASH和HOGAN提出了一个基于冲击的动态优化模型，该模型再现了在平面上观察到的人臂多关节可达运动的特征，即握紧手柄的手臂平面运动产生近似直线的运动，并伴有对称的钟形速度剖面＼[7＼]。Desmurget表示在任务约束下通常观察得到近似直线的末端轨迹，而无约束的可达运动较易产生弯曲轨迹＼[8＼]。另外，在无重力影响下，即手臂被限制在水平面的可达运动末端轨迹也是近似直线＼[9-10＼]。

上述末端轨迹规划方法都没有考虑人臂可达运动中臂构型的选择问题。KANG使用关节力矩所做总功最小化的指标，解决4自由度手臂模型的逆运动学冗余问题＼[11＼]。另外，处理冗余解的方法还有能量最小指标＼[12＼]、肌肉力最小指标、势能最小指标＼[7＼]、操作椭球指标＼[13＼]、快速上肢评价指标、关节力矩最小和关节平滑度最大凸结合的指标＼[14＼]等这些基于指标的方法。另外，LI使用fPCA方法从人臂日常活动中提取主要的运动模式，用于理解人臂可达运动中的构型问题＼[15＼]。以上基于指标的方法通常计算相对复杂，近年来，许多学者采用基于学习的方法研究臂构型的規律。PARK使用了一种进化算法学习示例手和手臂运动，然后在有限的交互区域内进化出一些可能的运动＼[16＼]。ZANCHETTIN采用多元线性回归的方法学习人臂末端位姿与特定关节角度的关系，得到人臂可达运动中的自然构型＼[17＼]。AVERTA采用最小二乘法拟合手掌中心位姿与臂角的非线性关系来研究人臂可达运动规律＼[18＼]。夏晶采用高斯过程回归的方法学习手掌位姿及上下臂长度与臂角的关系，构建适用于不同手臂长度的可达运动臂构型预测模型＼[19＼]。

文中结合末端轨迹与其对应臂构型研究人臂可达运动生成规律，规划人臂可达运动中末端手部轨迹，建立人臂运动学模型，采用多层感知器（multilayer perceptron，MLP）的学习方法学习人臂可达运动中的拟人臂构型，得到人臂末端轨迹和臂构型数学模型，搭建和显示虚拟数字人体三维模型，并基于虚拟数字人进行运动复现。

1人臂运动模型

1.1建立模型

首先建立人臂运动学模型，由图1所示。将右臂描述为一个7自由度运动链，包括肩关节、肘关节、腕关节，其中肩关节由关节1，2，3轴线相互正交表示;肘关节由关节4表示;腕关节由关节5，6，7轴线相互正交表示。肩关节、肘关节、腕关节由2个连杆进行连接，其中dse表示上臂长度即肩关节与肘关节连接的连杆长度;dew表示下臂长度即肘关节与腕关节连接的连杆长度;a为人臂末端手部长度。qi表示第i个关节的角度，i=1，2，…，7。相应的D-H参数见表1。

1.2人臂构型的描述

人臂末端位姿需要6个自由度就可以完全确定，这意味着一个末端位姿将对应无限个臂构型，手臂可以在零空间N内进行自运动，具体来说，它仍然可以绕着穿过手腕和肩部的直线旋转，如图2所示，从S-E0-W旋转至S-E-W。

表1D-H参数表关节θi/（°）aidiαi/（°）关节限位/（°）1000-90-160～452-900090-120～0300-dse-90-120～0400090-140～0500-dew-900～180690009015～16570 a00-40～30为了确定唯一的手臂构型，需要定义一个新的臂角参数φ。令肩关节S、肘关节E、腕关节W这3点确定的平面为手臂面，特殊情况当关节3为0°时的手臂面为参考平面，臂角φ定义为参考平面和手臂面之间的夹角，E0表示参考平面的肘关节。

臂角的计算公式如下

φ=sgn（φ）arccos（se×ew）（se0×e0w）‖se×ew‖‖se0×e0w‖

sgn（φ）=-sgn（se0×e0w·se）（1）

其中，se为手臂面中从肩关节到肘关节的向量;ew为手臂面中从肘关节到腕关节的向量;se0为参考平面中从肩关节到肘关节的向量;e0w为参考平面中从肘关节到腕关节的向量。

这样，当给定人臂末端位姿与臂角φ时，可由逆运动学解得唯一关节位置qi。

2人臂可达运动数据获取

为了分析人臂运动，首先需要准确地观察它，运动捕捉技术以实现捕获运动的各种运动学元素为目标。因此，如图3所示，采用主要由6个Vero红外摄像头组成的Vicon三维红外运动捕捉系统获取人臂运动数据，这是目前最常用的人臂运动数据获取与分析系统。

如图4（a）所示，在实验人员的肩关节S、肘关节E、腕关节W与手掌中心H分别设置光反射标记点;经过标定后，带有红外频闪灯的摄像头可以跟踪附着在人臂上的光反射标记点在全局坐标系中的位姿。其中由S与E的位姿信息，可以得到实验人员上臂长度dse;由E与W的位姿信息可以得到实验人员下臂长度dew;由S与H的位姿信息可以得到人臂末端手部相对于肩部的位姿信息。上下臂长度及手部相对于肩部的位姿信息是寻找其与相对应臂构型规律的重要条件。

如图4（a）所示，以试管抓取实验来模拟任务约束下的人臂可达运动日常行为。试管盒与试管架在桌子上的位置由实验人员随机调整，10名实验人员分别以最舒适的方式将试管从试管盒中取出并放置在高度动态变化的试管架中，运动捕捉系统捕捉下此过程中实验人员S、E、W、H位姿与时间信息;调整试管盒、试管架的位置与试管架高度，重复此实验20次，共采集200组数据。观察得到，在任务约束下的可达运动通常是近似直线的轨迹。

如图4（b）所示，模拟点到点无约束下的人臂可达运动日常行为。实验人员A初始手掌位姿随机，由实验人员B调整目标物在空间中的位置，调整好之后打开运动捕捉系统采集A的手掌从初始位姿移动至目标物过程中S，E，W，H的位姿与时间信息，重复20次，共采集200组数据。观察得到，无约束下可达运动通常是曲线的轨迹。

3人臂可达运动的双层规划

3.1手部轨迹规划

在文中，只考虑任务约束下人臂可达运动的末端轨迹规划问题。前文提到，在任务约束下的可达运动通常是近似直线的轨迹，这是末端轨迹目标函数的第一个约束条件。

人臂运动时往往表现得流畅、优雅，即将手从一个平衡位置移动至另一个平衡位置以实现平稳的运动。令最大平滑度等同于最大均方冲击（Jerk），将得到手臂末端运动的定性与定量特征。冲击在数学上定义为加速度的变化率，以沖击作为优化指标，也即末端轨迹目标函数的第二约束条件。

因此，在给定的时间tf中，从初始位置移动到最终位置时，末端轨迹目标函数C则是冲击幅度平方的时间积分式（2）。

C=12∫ tf0d3xdt32+d3ydt32+d3zdt32dt（2）

其中，x，y，z为手随时间t变化的位置坐标。目的则是求出x（t）、y（t）与z（t）的数学表达式，使式（2）中的目标函数最小。

目标函数决定了运动轨迹的形式，而更具体的轨迹点则由运动开始和结束时的边界条件所决定。有了这些边界条件和运动的持续时间，就可以完整地指定出人臂末端手的运动轨迹。不妨假设运动开始与结束时的速度、加速度均为零。则手部轨迹表达式为

x（t）=x0+（x0-xf）（15τ4-6τ5-10τ3）

y（t）=y0+（y0-yf）（15τ4-6τ5-10τ3）

z（t）=z0+（z0-zf）（15τ4-6τ5-10τ3）（3）

其中，τ=t/tf;x0，y0，z0为手部在t为零时刻的初始位置坐标;xf，yf，zf为手部在t为tf时刻的终止位置坐标。

人臂末端手部预期轨迹如图5所示。图5（a）表示点到点可达运动预期的末端手部路径只与起始点和终止点位置有关;图5（b）表示末端手部预期会产生钟形单峰的速度剖面。

在得到人臂末端手部的运动轨迹后，使用前文建立的人臂运动学模型求得人臂各关节运动信息。

3.2人臂构型学习

在人臂可达运动中，臂角参数φ的数学模型可以概括为

f∶m→φ（4）

其中，m=＼[x，y，z，α，β，λ，d1，d2＼]T为人臂可达运动中手掌中心位姿及上下臂长度组成的列向量;φ为对应的臂角;f为可达运动中手掌中心位姿及上下臂长度到对应臂角的映射关系。该映射关系是一种典型的高维、非线性关系。

采用MLP的学习方法学习人臂可达运动中的拟人臂构型。MLP是一种前向结构的人工神经网络ANN，可以映射一组输入向量到一组输出向量。MLP可以被看作是一个有向图，由多个节点层组成，每一层全连接到下一层。除了输入节点，每个节点都是一个带有非线性激活函数的神经元。使用BP反向传播算法的监督学习方法来训练MLP。MLP是感知器的推广，克服了感知器不能对线性不可分数据进行识别的弱点。

如图6所示，一种典型的MLP结构，由最左边的输入层、中间两层隐藏层与最右边输出层组成。选择合适的激活函数g，对每一层输入进行线性运算，层层叠加，最终得到输出值y，见式（5）。

a21=g（θ111x1+θ112x2+…+θ11nxn）

a2n=g（θ1n1x1+θ1n2x2+…+θ1nnxn）

a3n=g（θ2n1a21+θ2n2a22+…+θ2nna2n）

y=g（θ31a31+θ32a32+θ33a33）（5）

训练时，除了需要选择每一层的激活函数，还需要调节中间隐藏层数、每层的元素数、训练迭代的次数以及优化器的类型，另外需要确定损失函数，以确定迭代优化的目标。

针对人臂可达运动中手部位姿及上下臂长度与臂角的映射关系学习问题，采用均方误差（mean squared error，MSE）作为损失函数，MSE公式如下

MSE=1m∑mi=1（yi-i）2（6）

其中，m为输出的个数。MSE表示预期的输出与实际输出的误差，因此，损失函数MSE越小，预测效果越好。

4实验验证

为验证文中所述方法的有效性与优越性，进行2个实验。第一个实验是使用Python 3.8训练得到人臂构型预测模型，并将预测臂角与实际臂角进行对比，验证人臂构型学习的有效性与优越性;第二个实验是搭建可视化仿真环境，建立虚拟数字人三维模型复现点到点可达运动，并使用MATLAB 2017b分析其末端轨迹与关节速度，验证文中提出方法的有效性。

4.1人臂构型学习的有效性验证

实验平台计算机配置为Intel core i5 10400F，6核心12线程，主频2.9 GHz，16 GB内存。采集的200组数据中随机选出165组作为训练集，剩余35组作为测试集。在训练中，文中采用3层网络，包括一层输入层，一层中间隐藏层，一层输出层;输入m=＼[x，y，z，α，β，λ，d1，d2＼]T的8个元素，输出φ一个元素，中间层40个元素;第二层激活函数为Linear，第三层激活函数为Relu;优化器选择adam;损失函数选择MSE;迭代次数为3 000次。从而建立拟人臂构型预测模型。

将测试集代入预测模型，得到预测值与真实值的对比结果，如图7所示。可以看出，使用MLP预测的臂角与真实臂角值比较接近。因此，文中提出的方法有效。

使用绝对平均误差（MAE）、均方根误差（RMSE）作为评价标准对模型进行评估。将测试集输入基于最小二乘法的人臂可达运动臂构型预测模型，与MLP的臂构型预测模型进行对比，结果见表2。

表2臂角误差对比方法MAERMSEMLP0.053 20.003 1最小二乘法0.139 80.024 2从表2中可以看出，MLP拟人臂构型预测模型的MAE和RMSE值远小于最小二乘法的预测模型。因此，文中提出的方法有一定的优越性。

4.2基于虚拟数字人的可达运动复现

在Solidworks 2018中绘制虚拟数字人的三维模型，然后将其导入Pro/E并建立坐标系。使用Windows 10、Visual Studio 2017、OpenGL搭建仿真环境，并将虚拟数字人的三维模型导入仿真环境，如图8所示。文中中建立的虚拟数字人模型身高1.8 m，上下臂长度分别为0.33 m、0.22 m。

已知人臂末端第0 s时的初始位姿、第1 s时的结束位姿与总运动时间1 s，规划虚拟数字人完成点到点可达运动。规划分为末端轨迹规划与实时臂构型预测选择2部分，运动生成过程如图8所示，可以看到末端轨迹与相应臂构型都较拟人。

虚拟数字人可达运动复现中末端路径、末端速度与运动捕捉系统采集的数据对比结果如图9所示，可以看到路径近似直线，速度曲线大致呈单峰钟形，实际与规划结果相近，可达运动末端手部轨迹规划拟人。

虚拟数字人可达运动复现中各关节速度如图10所示，可见，各关节初始速度与结束速度均为0，且其过程平滑，冲击较小。

1）采集任务约束下的人臂可达运动日常行为数据并分析人臂运动机理，提出了一种基于最小冲击优化理论对人臂可达运动末端手部轨迹进行规划，实验表明预期手部运动与实际相吻合。

2）建立人臂运动学模型，使用MLP神经网络的方法学习人臂可达运动中的拟人臂构型，并建立臂构型预测模型，实验表明模型预测结果有效且优于现有方法。

3）搭建和显示虚拟数字人体三维模型，结合人臂可达运动手部轨迹规划与对应拟人臂构型预测，基于虚拟数字人完成点到点可达运动复现，得到了较好的效果。

4）针对避障或弯曲路径等复杂情况下的可达运动生成是下一步需要研究的方向。

参考文献：

＼[1＼]SPIERS A，KHAN S G，HERRMANN G.Biologically inspired control of humanoid robot arms＼[M＼].Switzerland：Springer，2016.

＼[2＼]李石磊，梁加红，吴冰，等.虚拟人运动生成与控制技术综述＼[J＼].系统仿真学报，2011，23（09）： 1758-1771.

＼[3＼]于秀丽，魏世民，廖启征.仿人机器人发展及其技术探索＼[J＼].机械工程学报，2009，45（03）： 71-75.

＼[4＼]KAWATO M.Internal models for motor control and trajectory planning＼[J＼].Curr Opin Neurobiol，1999，9（06）：718-727.

＼[5＼]XIE B，ZHAO J.A new criterion for redundancy resolution of human arm in reaching tasks＼[C＼]//2013IEEE/ASME International Conference on Advanced Intelligent Mechatronics：Mechatronics for Human Wellbeing，AIM 2013，July 9-12，2013，Wollongong，NSW，Australia.New York：IEEE Computer Society，2013：1066-1071.

＼[6＼]趙京，龚世秋，张自强.7自由度拟人臂仿人运动的逆运动学解析解＼[J＼].机械工程学报，2018，54（21）：25-32.

＼[7＼]FLASH T，HOGAN N.The coordination of arm movements： An experimentally confirmed mathematical model＼[J＼].J Neurosci，1985，5（07）：1688-1703.

＼[8＼]DESMURGET M，JORDAN M，PRABLANC C，et al.Constrained and unconstrained movements involve different control strategies＼[J＼].J Neurophysiol，1997，77（03）：1644-1650.

＼[9＼]XILOYANNIS M，CHIARADIA D，FRISOLI A，et al.Physiological and kinematic effects of a soft exosuit on arm movements＼[J＼].Journal of Neuro Engineering and Rehabilitation，2019，16（01）：872-881.

＼[10＼]JARC A M，ILANA N.Robotassisted surgery： an emerging platform for human neuroscience research＼[J＼].Frontiers in Human Neuroscience，2015（09）：315.

＼[11＼]KANG T，HE J，TILLERY S I H.Determining natural arm configuration along a reaching trajectory＼[J＼].Experimental Brain Research，2005，167（03）： 352-361.

＼[12＼]TAX M，TRAN M T，SOURES P，et al.Generating humanlike reaching movements with a humanoid robot：A computational approach＼[J＼].Journal of Computational Science，2013，4（04）： 269-284.

＼[13＼]赵京，郭兴伟，谢碧云.达点臂姿预测指标与机械臂仿人运动＼[J＼].机械工程学报，2015，51（23）： 21-27.

＼[14＼]KIM H，ROSEN J.Predicting redundancy of a 7 dof upper limb exoskeleton toward improved transparency between human and robot＼[J＼].Journal of Intelligent & Robotic Systems，2015，80（01）： 99-119.

＼[15＼]LI M，GUO W，LIN R，et al.An efficient motion generation method for redundant humanoid robot arm based on the intrinsic principles of human arm motion＼[J＼].International Journal of Humanoid Robotics，2018，15（06）： 1850026.

＼[16＼]PARK G，RA S，KIM C，et al.Imitation learning of robot movement using evolutionary algorithm＼[J＼].IFC Proceedings Volumes，2008，41（02）：730-735.

＼[17＼]ZANCHETTIN A M，BASCETTA L，ROCCO P.Achieving humanlike motion：Resolving redundancy for anthropomorphic industrial manipulators＼[J＼].IEEE Robotics & Automation Magazine，2013，20（04）： 131-138.

＼[18＼]AVERTA G，DELLA SANTINA C，VALENZA G，et al.Exploiting upperlimb functional principal components for humanlike motion generation of anthropomorphic robots＼[J＼].Journal of NeuroEngineering and Rehabilitation，2020，17： 1-15.

＼[19＼]夏晶，朱蓉軍，张昊，等.基于高斯过程的人臂可达运动臂位形预测＼[J＼].华中科技大学学报，2021，49（01）： 17-23.（责任编辑：张江）