曾涵湄,黄之峰,林中秀,寇小东,章 云
(广东工业大学 自动化学院,广东 广州 510006)
如何正确感知人体信息,实现机器人与人之间的安全高效的协作,是制约目前人机协作的主要瓶颈. 以往的研究中,通过感知人体信息,对机器人关节进行适当的力控及运动规划,已经可以在慢速的动作中实现较好的协作效果. 相应的方法已经能够应用于人机协作搬运重物[1]、人机协作书写文字[2],以及外骨骼的康复训练[3-4]等任务中. 然而针对存在快速冲击扰动的任务,尚没有有效的方法来实现人机之间安全高效的协作,而这一瓶颈限制了机器人在与人共存环境中的应用.
机器人与人之间的交互协作可以类比于双人之间的协作任务. 通常观察到,当两个配合默契的人一起进行协作时,二者的动作会表现得非常协调,这主要得益于双方进行任务时肌肉的活动能够相互协调. 尤其是在应对冲击时,双方肌肉同时提前激活的机制可能会对保持姿势稳定起到积极作用. 探索协作双方在应对冲击时肌肉的活动信号,对实现更加快速和协调的人机交互具有重要的指导意义.
在最初的研究中,预期姿势调节[5]被认为是无意识的肌肉活动[6],而在后续的研究[7-8]中发现,在突发的干扰下,人类也会通过有意识的动作机制来维持自身原有的稳定状态. 一部分是前馈控制,根据获取外部的信息如视觉信息[9]、听觉信息[10]或隐含的速度信息[11],在动作未发生前预先激活自身相关肌肉活动去应对干扰,即预期姿势调节;一部分是反馈控制,是在突发的干扰已经对人体原有的稳定性造成破坏后,需要激活姿势肌肉平衡干扰,从而降低影响回归到原有的稳定状态,即补偿姿势调节(compensatory postural adjustments,CPAs). 目前,国内外的研究都是随动模式下的反馈调节机制,虽能够进行适当的调节,降低因干扰造成的影响. 但在扰动较为迅速或强烈的情况下,仅依靠反馈调节是无法保证稳定性和安全性的,需要有预期姿势调节的合理配合才能够消除和最大限度地减弱扰动的影响.
预期姿势调节是身体通过外部信息的获取,对扰动进行预判并提前激活肌肉维持姿态稳定[12],从而减少平衡恢复过程中对补偿姿势调节的依赖[13]. 除了针对预期姿势调节对单臂冲击作用的研究[14],还有不少学者针对双人耦合做了研究,例如对于单人双手和双人单手之间协调模式差异研究[15]. 此外,还有不少学者进行针对患有神经疾病的人群的运动判定研究[16-21],了解患者在运动之中存在明显的前馈控制障碍,若存在一种机制应用在协作和康复机械上,能够更好地帮助患者康复治疗和日常生活. 综上所述,尽管先前研究中对预期姿势调节的机制展开了大量研究,但主要针对在单臂单人的任务,对预期姿势调节在双人双臂协作任务中的作用机理尚无明确的结果.
因此,笔者目的在于分析预期姿势调节在协作任务中的作用. 通过视听觉信息屏蔽的方式控制预期姿势调节的发生,对比双人协作在存在与不存在预期姿势调节条件下的不同表现,辨明预期姿势调节在双人协作中所扮演的角色. 再次,通过对肱二头肌表面肌电信号SEMG的分析,进一步明确预期姿势调节对肌肉提前激活的作用. 进而从肌肉活动的层面分析肌肉预激活对双人协作的作用,为今后利用肌肉活动信号进行预判并控制机器人,从而保证完成协作任务和协作过程中姿势的稳定,为实现更好的人机协作交互提供方法和依据.
针对实验目的,本研究选取双人接取自由下落且具有一定质量杆状的重物作为具体观察任务. 针对任务,设计了一套完整的实验平台,包括重物释放支架、姿态惯性传感器以及肌电信号采集系统.
共10人参与了本试验研究,在本实验中10人均为有效实验对象. 实验者均为男性,身体均健康,惯用手均为右手,视力良好或矫正良好,听力良好,无神经或肌肉系统疾病. 本实验在征得所有实验者的同意,按照赫尔辛基宣言的标准进行,并获得当地的道德伦理批准.
笔者目的在于分析预期姿势调节在协作任务中的作用,假设H0为预期姿势调节对双人双臂应对冲击扰动下的平衡稳定没有作用,即是否提前引发预期姿势调节对控制扰动发生后姿势的偏移及减少肢体活动无影响.
在本实验中选取双人协作接取杆状重物作为具体任务,选取手臂作为观察对象. 实验的观测量包括杆状重物在接取后的姿态变化量以及肱二头肌的表面肌电信号. 其中,杆状重物的姿态通过安装在其中心的惯性姿态传感器(Inertial measurement unit,IMU)进行测量(见图1). 本实验中选取IMU对应x轴的偏转角度作为姿态观测量,主要原因在于x轴向的偏转能够明显体现双人双臂协作时,肘关节运动的协调性. 选取肱二头肌的肌电信号,其主要原因是在手臂在运动过程中,3个关节运动中腕关节的运动幅度较小,肩关节涉及到过多的背部胸部肌肉,肘关节运动幅度适中,涉及到的主要肌肉均位于手臂上. 主要使用的浅层肌肉是肱桡肌、肱二头肌和肱三头肌.其中屈臂动作中,主要的原动肌是肱二头肌,拮抗肌是肱三头肌,同时肱二头肌作为动作肌肉所提取到的特性理论上也是最为明显的.
针对本实验中的协作任务,设计了一套完整的实验平台装置,示意图如图1所示,长为100 cm,质量为2.9 kg的杆状重物通过安全绳悬挂在一个长为120 cm,宽为50 cm,高为120 cm的实验架上,在离地面100 cm的位置固定2根长为30 cm的黑色横杆,横杆的末端装有2个吸力为20 kg的电磁铁(KB-P34/25). 实验架底部使用2根长150 cm的底座以保持稳定. 其中重物正中心位置安置了一个采样频率为200 Hz的IMU传感器(JY901),如图1所示,传感器随着杆状重物的运动而运动,可以通过传感器的姿态信息测量出杆状重物的姿态. 实验示意图如图2所示,实验时重物通过无弹性的钢丝绳与受试者手臂相连,连接绳长约35 cm. 实验开始时通过控制电磁铁启停,实现随机释放重物. 继电器响应时间约1 ms,能够及时地达到释放重物实现扰动的目的,同时输出重物下落时间td. 在实验中,肌电信号采集系统选用的是Biometrics公司出品的Datalog肌电信号采集装置(MWX8),肌电信号采集装置每个通道采集速率最高可达到20 kHz,在本实验中,选用1 000 Hz频率记录肱二头肌肌电数据. 肌电采集系统的主体佩戴在实验者腰部,4个通道连接的电极分别安置于2条实验手臂的肱二头肌肌腹位置,零电极安置在零点提供者的手腕位置,通过左手的铜导线相连,以实现共零极点的效果.
图 1 装置示意图Fig.1 Schematic diagram of experimental set-up
图 2 实验过程示意图Fig.2 Schematic diagram of experiment process
在实验过程中,采用对视听觉信息的屏蔽与否来控制预期姿势调节的发生时间,因为在之前研究中[9-10],只有同时屏蔽视觉和听觉信息才能够对预期姿势调节的产生进行抑制或消除. 于是实验中决定选用的实验自变量为视听觉信息屏蔽与否,主要因变量为动作肌肉右侧肱二头肌的预期姿势激活时间及重物运动情况.
实验分为双人实验和单人实验进行,其中双人实验在4种条件下进行:(1) 实验者A与B均存在视听觉信息;(2) 实验者A屏蔽视听觉信息,实验者B存在视听觉信息;(3) 实验者B屏蔽视听觉信息,实验者A存在视听觉信息;(4) 实验者A与B均屏蔽视听觉信息. 单人实验分别由实验者A和B在2种条件下进行:(1) 实验者存在视听觉信息;(2) 实验者屏蔽视听觉信息. 在本实验中,为了观察被实验对象信号特征是否具有一定的重复性,同一实验条件的重复测试8次. 其中,在存在视听觉信息的情况下,实验者可以清楚地看到重物下落且能够从耳机内听见“嘟、嘟、嘟”,声调渐次增强,声音结束后,重物开始释放. 在不存在视听觉信息的情况下,无法看到重物下落过程且实验者的耳机不会发出任何声音,实验者无法得知重物开始下落的时间.
协作任务的环境处于照明条件下,确保实验者能清晰地看清楚周围的环境. 被实验对象2人一组,共5组进行实验,每一组实验者在开始时自发以坐立姿态坐在凳子上,实验者A的座位位于实验者B的左边,要求在实验开始后保持坐姿以消除身体的姿势肌肉对实验的影响.
开始实验时,实验对象要求向前平伸前臂,上臂在躯干侧剖面内,与地面水平面夹角约为45°,且上臂没有外展,内侧紧贴身体. 手腕位置贴近安置电磁铁的位置,保持身体重心稳定(见图2).
在实验中根据手臂抓取实验的相关研究[14,22],将被实验对象在无重物条件下,前臂自然前伸定义为自然伸展状态,以此区别于接取重物前由于预期姿势调节以及接取重物后为保持姿势所产生的肌肉活动. 自然伸展状态下的肱二头肌的肌电信号变化平缓且没有大幅度的震荡. 图3为预备实验中,被实验对象从自然伸展状态到接取重物时的肌电信号(EMG,electromyogram)图及积分肌电(IEMG,integrated electromyogram)图,图中竖线的横坐标为重物接取时刻.
图 3 肌电信号原始图及IEMG图Fig.3 Electromyogram and integrated electromyogram
在实验前,要求被实验对象在无接取重物的条件下,维持前臂自然水平前伸30 s,由实验员根据肌电信号的变化幅度判断实验对象是否按照指导语所言处于定义的自然状态. 在实验开始后,在有视觉的情况下,实验者手臂自发的放置在固定位置,在无视觉情况下通过引导者引导至指定位置后,操作者通过程序置零全部设备的信息,当观察到实验者手臂处于定义的自然伸展状态时,通过程序操控继电器控制电磁铁释放重物. 重物从上升状态(见图2(a))到下落状态(见图2(d))的高度等于受试者手臂相连的连接绳长度,高为35 cm.
在实验前的所有实验者获得指导语均是:要求在实验开始后且重物未下落前,保持前臂处于自然水平伸展,并要求在通过外部信息或自身预测知道重物下落后,尽可能使得自身在扰动作用下依旧可以保持身体及手臂的稳定.
由于预期姿势调节机制会随着后天的学习获得和熟练,在实验中需要将实验顺序打乱防止后天的学习经验影响实验. 在整个实验过程中每次的实验均按照随机顺序执行,正式实验中,每两次实验之间间隔至少20 s,以防止实验中对于释放时间的猜测,在实验全过程中没有实验对象表示疲劳. 双人实验在单人实验之前进行,双人实验与单人实验的切换中途有至少10 min的时间来给实验者调整状态.
在本实验中,主要观察协作双方上肢在冲击下的姿势稳定控制. 参考先前研究[14,23],实验选择表现最为明显的肱二头肌. 在每次实验中,通过在捕捉臂(肱二头肌)上放置的表面电极捕捉肌肉活动,EMG系统以1 000 Hz的频率记录肱二头肌和肱三头肌数据. 使用200 Hz频率的IMU传感器(JY901,维特智能公司,中国)记录重物运动信息,其原点位于重物正中心. 重物下落时间td通过继电器的通断时间记录.
参考先前研究[22],本研究将被实验对象在无接取重物且前臂水平自然前伸时的肌电信号作为基准值判断肌肉是否激活. 基准值为该状态下3 000 ms内的IEMG值. 肌肉的开启阈值IEMGthreshold设置为大于基准值3个标准差,计算详见式(1). 判断肌肉激活的具体条件为存在连续时间段(15 ms以上)的肌电信号的绝对值大于阈值,且这之中不存在低谷持续时间大于10 ms. 若存在有效肌肉激活位于接取时刻t0(见式(2))之前且其激活频段覆盖接取时间段,则可认为预期姿势调节发挥作用,肌肉被提前激活.
其中,IEMGthreshold为本实验设定的激活值幅度,emgr(i)为前臂处于自然伸展状态期间i时刻肌电信号的数值.t0为重物被接取的时刻,td为重物释放的时刻,L0为连接绳的长度.
实验中,根据文献[22],APAs阶段定义为,t0前200 ms到t0后50 ms. 对于协作好坏程度,通过对IMU数据进行处理观测,IMU被固定在重物中心,三轴方向如图4所示,当实验者在实验时通过连接绳重物相连,当重物下落时,所受力的冲击方向向下.
图 4 IMU安装位置Fig.4 IMU installation location
实验要求尽可能保持自身状态稳定,稳定意味着动作偏移量较小. 对于本实验而言,主要的偏移量在于由于向下的作用力导致肘关节的上下运动,肘关节转动对应于负载的x轴方向和y轴方向的转动,其中,对应y轴方向的转动较为微小,主要在于x轴转向的偏移量. 因此,实验提取计算出(t0,t0+500 ms)之内对应x轴方向偏移的最大转角来对比.
所有数据的统计均在软件SPSS上进行,通过统计分析验证H0假设是否成立. 采用方差分析(ANOVA)中的Duncan检验对不同视听觉信息下重物的偏转情况进行显著性检验,选择的显著性水平α=0.05.
图5为不同视听信号条件下,接取重物时x轴向的最大偏转角度(包括双人以及单人),其中,图中A、B分别代表实验者A、B存在视觉和听觉信息;A_、B_分别代表实验者A、B不存在视觉和听觉信息.Duncan方差分析结果显示在双人实验中实验者A、B均存在视听觉信息时,负载的偏转程度相较于实验者A或B其中一人存在视听觉信息而另一人不存在视听觉信息时更小,且存在显著性差异(p<0.001). 表明实验者在视听觉信息存在的条件下,能够更好地协作去应对冲击干扰,使其更快地稳定.
本文对比了单人实验和双人实验在不同的视听觉信息条件下预期姿势调节激活时间. 在实验中,主要动作肌肉为肱二头肌,其启动时间的统计数据见表1和表2. 表1和表2中的数据为每组数据中的8个数据的平均值.
对表1和表2数据采用方差分析中的Duncan检验发现视听觉信息对肱二头肌的预期姿势调节启动时间主效应显著(p<0.001),其主要表现为存在视听觉信息下实验者的肱二头肌的启动时间明显早于屏蔽视听觉信息下的实验者的肱二头肌的启动时间.
图6为第1组实验对象在8种不同实验条件(AB、A_B、AB_、A_B_、AA、A_A_、BB、B_B_)的情况下肱二头肌的IEMG图,信号窗口为200 ms,竖线代表接取重物的时刻. 从实验结果可知,视听信号能够有效激发APAs信号. 存在视听信息时,IEMG有效上升沿存在于负载扰动发生之前,反之,不存在视听信息时,IEMG有效上升沿存在于负载扰动之后.
图 5 杆状重物最大偏转角度Fig.5 Maximum deflection angle of the weight
表 1 肌肉激活时刻表(双人实验)Tab.1 Muscle activation time (double)
重物偏转的统计数据显示,协作双方都存在视听信息的情况下接取重物的偏转角度,要比其中一方被屏蔽的情况小,且存在显著性差异(p<0.001). 这表明协作双方均有视听信息的条件下,在应对冲击时,姿势保持稳定的效果更好.
肌肉激活时间的数据结果显示,有视听提示的条件下,肌肉激活时间提前,即使考虑了标准差,依然处于t0时刻之前;而无视听提示条件下,肌肉激活时间处于t0时刻之后. 上述结果显示,视听信号可以有效激发APAs,使肌肉提前激活. 从结果上看,部分数据的标准差较大,有可能是被试者自身存在一定的心理预期判断对肌肉激活时间产生了影响,这需要在今后的实验中进行更细致的分析.
上述数据分析结果表明,H0假设不成立,预期姿势调节在双人协作任务中起作用,当协作双方的预期姿势调节同时被提前激发时,其在冲击扰动下能够更好地保持姿势平衡.
这一结果对人机交互和外骨骼机器人的控制具有指导意义,即获取交互对象的肌肉激活的信号并加以利用,有利于机器人与人进行更好地交互,尤其是在存在冲击的高速协作任务中保持姿势平衡.
从图3可以看出,被实验对象的APAs被提前激活时,表征其肌肉活动的IEMG信号具有明显特征,其在接取重物前即产生了明显的有效上升沿. 这一特征,为实现高速运动下的人机协作提供了可能,即机器人可以通过提前获取该信号实现机器人与人之间的力学性能匹配,例如阻抗匹配. 但是,从实验数据亦可以看出,尽管存在一定特征,但个体差异较大,同一个体的特征也存在变化,这需要在今后的研究中进一步探索特征提取方法以及合适的标准化手段.
表 2 肌肉激活时刻表(单人实验)Tab.2 Muscle activation time (single)
在本实验中主要是通过对姿势肌肉的控制,且将动作限制在肘关节的转向上,限制了控制的复杂度,只需要考虑动作肌肉的影响. 本实验通过固定速度信息和位置信息,固定冲击的速度和位置,用相同的干扰方向和强度以及相同的指导语来完成实验,通过钢丝绳与手臂的相连接保证了捕获率和避免了其他信息的干扰. 实验发现,干扰后的姿势变动与预期姿势调节激活时间有较大关系,主要表现在负载的偏转程度上. 研究发现,第2组实验者中2位实验者均不存在视听觉信息时,负载偏转程度相较于实验者B不存在视听觉信息时,偏转程度更大. 这一点可能是因为2名实验者的补偿姿势调节的适配性较差导致. 由于未能用其他的相关数据来说明,故需要通过在日后研究论证. 同时,存在少许肌肉激活幅度过大的情况,对此,可能由于实验者紧张导致.
图 6 IEMG肌电图Fig.6 Integrated electromyogram
针对预期姿势调节在双人协作中的作用,目前尚未有学者研究. 本研究在固定的冲击外部干扰的条件下,利用屏蔽视听信息的方式控制APAs信号的激发,分析了预期姿势调节对于双人协作应对冲击时保持姿势稳定的作用. 实验结果显示,对于冲击性干扰,APAs激发时间取决于视听觉信息,且APAs存在与否影响着双人协作过程的稳定性. 结果表明存在预期姿势调节对冲击扰动下的姿势平衡稳定有积极作用. 同时这一机制可以通过易携带的装置获得数据,再通过分析获得信息的内在规律,为将来融合机制信息以实现人机协作,为工业领域和医疗领域的人机交互协作任务提供方法和依据.
本研究采用相同冲击干扰实验比较不同视觉听觉信息的条件下对于双人协作应对干扰稳定性的作用. 获得以下结论:视听信息可以有效引发肌肉的预期姿势调节. 当协作双方均存在由视听信息引发肌肉的预期姿势调节时,其协作接取重物时姿势更加稳当. 预期姿势调节对冲击扰动下姿势的平衡稳定有积极作用,可以更好地控制扰动发生后姿势的偏移,减少肢体活动. 这一结果说明,应对外部冲击干扰,需要协作双方的预期姿势调节协同才能更安全稳定地完成. 这一结果将对人机协作的控制方法具有指导意义.