基于力跟踪的上肢康复机器人系统中视觉与触觉反馈融合技术研究

王昱，吴向东，施长城，张佳楫，李娜，马冶浩，陶亮，唐敏，左国坤

1.西南交通大学机械工程学院，四川成都市 610031；2.中国科学院宁波材料与工程研究所，慈溪生物医学工程研究所，浙江宁波市 315300；3.中国科学院宁波材料与工程研究所，医用植介入材料浙江省工程研究中心，浙江宁波市 315300；4.宁波市康复医院神经康复科，浙江宁波市 315040

截至2019 年底，全国60 周岁及以上老年人口2.54亿，占总人口的18.1%[1]。未来一段时间，我国老龄化程度将持续加深，并将是一个长期趋势。伴随着人口老龄化的加剧以及生活与饮食习惯的改变，脑卒中患者数量在逐年递增[2]。脑卒中往往导致不同程度的肢体功能障碍，其中上肢功能障碍约占80%，严重影响患者的日常生活[3]。传统的康复模式是康复医师通过一对一的方式协助患者进行大量重复性的康复运动，逐步刺激脑部神经，以达到康复目的[4]。这种康复方式成本高，效率低，难以满足当前的康复需求。随着康复机器人的诞生，脑卒中患者的康复成本和康复效率得到大幅度改善，但仍然存在一些不足[5-6]。

将虚拟现实技术与上肢康复相结合可以为患者提供身临其境的康复环境，降低患者的抵触情绪，激发患者的康复动力，进而提高康复效果[7-8]。理想的虚拟环境应该能为患者提供一个多源的信息反馈，包括视觉、触觉和听觉，但目前的康复设备大多只能提供视觉和听觉，不能完全的使患者沉浸其中[9]。同时，临床研究也表明[10]，对患者实施任务导向性的运动和多感觉融合性训练，有助于提升其独立完成日常活动的能力。

Marchal-Crespo 等[11]设计了一种基于位置误差的力反馈策略，该策略在提供重力和摩擦力补偿的前提下为患者提供三种不同的力反馈模式，分别为无指导、错误缩小和错误放大。在错误缩小和错误放大模式中，控制器根据患者任务的完成精度为其提供一个与期望方向相同或相反的力，力的大小与完成精度相关。Wright 等[12]通过评估患者完成点到点和画圆运动的表现为其定制化地设计一种力场，以降低其在康复运动中肢体活动的频率。Majeed 等[13]根据临床研究结果设计了一种与运动速度相关的黏性力场。Lokesh等[14]通过实验证明，在康复过程中，约束较少的力反馈更有助于患者运动学习。以上力场较为固定且无法与现实生活相关联，不具备游戏的乐趣，患者只能被动感受到虚拟环境对其的力反馈，无法对虚拟环境产生力的作用，不能实现真正的交互。

与简单的康复任务相比，与现实场景相似的康复任务要求更加复杂的大脑活动[15]，可以为大脑提供更多的信息，有助于脑部神经的重塑。Basalp 等[16-18]设计了一种用于上肢训练的虚拟划船系统，该系统可以为用户提供视觉、触觉和听觉反馈，同时为了满足不同用户的任务需求，该系统还允许用户调节虚拟水的密度，改变水与浆的交互力。该系统的临场较强，可以满足用户更加丰富的训练要求，但其触觉反馈系统需要对整个系统的动力学参数进行精确的辨识，具有一定的复杂性。Keller 等[19]为青少年设计了一套用于上肢康复的六自由度外骨骼机器人，该系统将电脑游戏与康复相结合，可以提高参与者的兴趣，但其反馈力仍不够真实。

本研究基于末端牵引式上肢康复机器人提出一种针对脑卒中患者上肢运动康复的多感觉反馈融合训练系统。该系统通过采集关节电机的运行状态，将用户手臂的运动信息发送给虚拟环境，再由虚拟环境对该事件进行响应，计算出用户应该接受的期望力反馈，最终由控制器根据当前用户与系统的交互力和期望力反馈之间的偏差调节关节电机输出扭矩，让用户感受到虚拟环境中的力反馈。此外该方法还允许康复医师针对不同患者的康复需求，通过切换虚拟环境或者调节虚拟环境参数，定制个性化的康复任务。

1 系统设计

1.1 硬件系统

本研究的实验平台采用团队自主研发的末端牵引式上肢康复机器人[20-21]。该平台由开发机和下位机两部分组成。开发机为装有电机控制软件和Unity3D 软件的台式机和显示器，可以为训练者提供视觉反馈。下位机由伺服控制器和执行机构组成，与训练者进行触觉交互。执行机构共有三个电机，可以分别控制摇杆沿X 轴和Y 轴方向转动，以及Z 方向移动。在摇杆的末端装有把手，用于训练者与系统进行交互。此外在把手下方装有多维力传感器，可以实时采集训练者与摇杆的交互力。

该系统的原理见图1。首先，训练者操作摇杆，将手臂末端的位置和速度信息传递给虚拟环境。然后，虚拟环境对接收到的信息进行响应，计算代理点与环境之间的期望交互力Fd，并将其传递给控制器，同时通过显示器将虚拟环境中的视觉信息反馈给训练者。接着，控制器根据采集到的机械臂关节角度θ、训练者与机械臂的接触力Fm和期望交互力Fd，调节机械臂输出力矩τd，使训练者与机械臂的交互力Fm跟踪期望交互力Fd，最终使训练者感受来自虚拟环境的触觉反馈。

图1 系统原理图

1.2 控制器设计

为了模拟机械臂末端与训练者之间的接触力，将机器人末端假设为一个由质量、弹簧和阻尼器组成的二阶系统[22-23]，其动力学模式可表示为

其中，M、C、K分别为二阶系统的理想质量、阻尼和刚度参数。Fm为训练者与机械臂末端的实际接触力。x、分别为机械臂末端的位置矢量、速度矢量和加速度矢量。

经典的定阻抗控制其参数恒定，交互力只与机械臂末端的位置和速度有关，无法实现训练者在同一运动状态感受到不同交互力的要求[24-25]。为了实现训练者能在同一运动状态感受到不同的交互力，系统的阻抗参数需要能根据交互力的偏差和运动状态进行自适应调节。康复训练是一个低速且速度变化缓慢的运动，将系统假设为二阶系统后，训练者于机械臂的交互力主要由虚拟弹簧产生。因此可以在不改变质量M和阻尼系数C的情况下，调节弹簧刚度K实现交互力的跟踪。

其中，k0为系统的初始刚度，Ef为期望交互力Fd与实际交互力Fm之间的偏差。kp、ki、kd分别为交互偏差的比例、积分和微分增益参数。

将式(2)带入式(1)可得

该控制器的特点是在阻抗控制器中引入PID 控制器，使虚拟刚度K可以根据期望交互力Fd与实际交互力Fm之间的偏差Ef实现自适应。然而，期望交互力Fd由虚拟系统设定可以发生突变，而实际交互力Fm不会突变。直接采用他们之间的误差Ef来消除这个误差，就意味着让不会突变的值跟踪可能会发生突变的值，跟踪效果势必无法满足任务需求[26-27]。

对此，本文引入跟踪微分器[26](tracking differentiator,TD)，对交互力偏差Ef进行过渡处理，使其无法突变，同时获得过渡过程的微分信号。跟踪微分器包含一个输入信号x(t)和两个输出信号x1(t)、x2(t)。信号x1(t)将在速度因子r的限制下“最快地”跟踪输入信号x(t)，x2(t)是x1(t)的微分，可以近似为x(t)的微分。则式(3)可变为

由式(4)-(5)可获得摇杆末端运动期望轨迹x，经机器人逆运动学变换获得机械臂各关节运动轨迹θd。为了提高位置跟踪精度，首先对机器人的关节进行重力和摩擦力补偿[28]，再通过机器人实时采集的关节位置信息θ与期望位置θd进行比较，调节各电机扭矩τ，实现康复机器人的力跟踪。为了防止系统可能对训练者带来的二次伤害，本文对由虚拟环境传来的期望交互力进行限位，使其在±10 N 之间。本文的控制框图见图2。

1.3 虚拟环境设计

图2 系统控制框图

本文设计的虚拟环境采用Unity3D 软件编写，通过TCP/IP协议通讯与控制器连接，接收控制器发来的机械臂末端运动信息x和，同时向其发送期望交互力Fd。如图3 示，在该场景中训练者可以水平面自由移动，控制代理小球(黄色)将其他小球打入平台前面和两侧的洞内。所有小球带有静电荷，红色表示带正电，蓝色表示带负电。为了区分代理小球和其他小球，无论其带什么属性的电荷均用黄色表示，但会在右上角的UI 界面显示其电荷属性。在该场景中训练者受到来自虚拟环境中的两种力，分别是由其他小球对其的库伦力Fq和与地面摩擦力Ff。

所有小球之间的库仑力Fq可以通过库仑定律获得

其中，K为库伦常数，Q为小球自身所带电荷量，Qi为其他小球所带电荷量，ri为与其他小球之间的距离。N为除自身以外带电小球的个数。

目前已有多种摩擦力模型[30-32]。本文采用丛爽等[32]提出的摩擦力数学模型。

其中，Tc为最大静摩擦，Ts为动摩擦，v为速度，c为阻尼系数。

如图4 所示，当速度v在零点附近时，上述摩擦力会出现突变，使系统产生抖动，引起用户的不适，为此我们对上述摩擦力模型进行一定改进。在|v|≤v0的范围内引入过渡函数，可以使摩擦力的变化更加平稳。

图3 虚拟环境

过渡函数

其中，参数a为过渡系数，用于调节过渡函数的变化陡峭度，v0表示过渡函数的范围。

图4 修改前后摩擦力模型

摩擦力模型可以表示为

则训练者在该场景中受到的力Fd可以表示

在虚拟环境的右上角有UI 界面，可以定制代理小球所带电荷属性，切换地面材质。同时还实时地显示代理小球受到的库仑力Fq、摩擦力Ff和合力F的大小。

2 方法

2.1 试验方法

为了验证本文所提的方法能将虚拟环境中的交互力准确、快速地反馈给用户，且提高其训练的参与度，共招募8 例健康受试者进行验证，其中男性7 例，女性1 例，平均年龄(25.5±3.2)岁，均为右利手。试验于中国科学院宁波材料技术与工程研究所康复机器人实验室进行，由中国科学院宁波材料技术与工程研究所慈溪生物医学工程研究所伦理委员会批准通过。在开始试验之前，每位受试者均已充分了解试验流程，并签署知情同意书。

本试验共有两种模式，分别为有反馈融合模式和无反馈融合模式，每种模式各做3 次，交替进行。在两种模式中，受试者均被要求控制如图3所示的小球，从A 点移向B 点，并通过排斥力将B 点的红色小球推到前壁中的洞内。当红色小球进入洞内后，受试者控制小球从B 点回到A 点完成一个循环，此时B 会再次生成一个红色小球，直到任务完成。每当红色小球进入目标洞内，虚拟环境会发出一声清脆的铃声。每种模式均包含20次任务，受试者需要尽可能保持每次任务中用时相同。

2.2 数据的采用与处理

本文对试验过程中的机械臂关节角度θ、传感器读数Fm、期望交互力Fd，以及受试者上肢肱二头肌、肱三头肌、三角肌前束、三角肌后束的肌电信号进行采集。机械臂关节角度θ、实际交互力Fm、期望交互力Fd、电机输出力矩τ利用电机控制软件进行采集，采样频率为1000 Hz；肌电数据采用Delsys 公司Trigo Wireless System 设备进行采集，采样频率为1927 Hz。本文使用数据处理软件对肌电数据进行分析。

2.2.1 表面肌电信号预处理

首先使用软件对肌电信号进行50～400 Hz 的带通滤波以及滤除50 Hz 的工频信号，然后对信号进行去均值、整流、取包络线等处理[33-35]，最后以包络线作为肌电信号的特征值。

2.2.2 数据分割

我们要求受试者尽可能保持每次任务用时相同，但不可避免的存在一定的差异。首先计算20次任务过程中机械臂关节角度θ的极小值，然后根据计算得到的极小值下标对传感器读数Fm、期望交互力Fd，以及肌电信号进行分割，获得单个任务中其对应的信号。

2.2.3 计算单个任务过程中肌电积分值(integrated EMG,iEMG)和单位时间内肌电幅值(EMG amplitude per unit time,EMG/T)

分别计算两种不同模式下单次任务的iEMG，用于反映每次任务中肌肉消耗的能量。再根据公式(13)计算EMG/T，用于反映单次任务中肌肉的平均功率。

其中N为单次训练任务的肌电数据样本数，Ei为肌电包络线，Δt为采样间隙。

2.2.4 计算均方根误差(root mean square error,RMSE)

计算实际交互力Fm与期望交互力Fd间的RMSE，作为评价跟踪效果的指标。

2.3 统计学分析

采用SPSS 22.0 对两种训练模式下iEMG 和EMG/T 进行成对样本t检验。分别计算所有受试者在有反馈融合模式下与无反馈融合模式下iEMG 的比值P1，以及EMG/T的比值P2。显著性水平α=0.05。

3 结果

图5 中上半部分为受试者从A 点出发到B 点，下半部分为用户从B 点回到A 点。在从A 点到B 点的过程中受试者受到小球间的排斥力和摩擦力共同作用，而回去的过程中只受到摩擦力，因此正方向的交互力明显大于反方向。在向前推动的一瞬间实际交互力Fm会大于期望交互力Fd，这是系统和算法本身延时引起。反馈任务过程中的实际与期望力反馈的均方根误差为(0.757±0.171) N，表明本文提出的技术可以精确实现交互力的跟踪。

有反馈融合模式下四块肌肉iEMG 均显著大于无反馈融合模式(P＜0.001)。训练模式下的P1均值均大于1(图6)。肱二头肌和三角肌前束P1的标准差明显大于其余两块肌肉。见表1、图6。

有反馈融合模式下肱二头肌、肱三头肌、三角肌前束的EMG/T 均显著大于无反馈融合模式下(P＜0.001)，而两种模式下三角肌后束EMG/T 无显著性差异(P＞0.05)。两种训练模式的P2均值均大于1。肱二头肌和三角肌前束P2的标准差相对于其他两块肌肉较大。见表2、图7。

4 讨论

本研究显示，有反馈融合模式下四块肌肉iEMG均显著大于无反馈融合模式，表明融合反馈训练需要被试付出更多能量。肱二头肌和三角肌前束P1的标准差大于其余两块肌肉，这可能与不同受试者之间的发力方式有关。在被试向前推动小球时，反馈给其的力由两部分组成，电荷小球间的排斥力和摩擦力。当速度超过一定阈值，速度对摩擦力的影响较小。而排斥力则不同，不同的速度会引起小球之间距离发生变化，使排斥力发生较大改变。在向前移动的过程中，手臂的运动主要由肱二头肌和三角肌前束发力，因此排斥力的变化会导致肱二头肌和三角肌前束的P1的标准差较大。

本研究还显示，两种模式三角肌后束EMG/T 无差异。这可能是由于受试者从B 点返回A 点的过程中直接借助小球间的排斥力回来，而没有花费太多力气，进而与无反馈融合模式交互力相近。四块肌肉P2均值均大于1，表明融合反馈训练需要被试付出更多力量。同样因为不同受试者的发力方式不同，肱二头肌和三角肌前束P2的标准差相对于其他两块肌肉较大。

图5 代表性受试者在有反馈融合模式下的期望与实际交互力

表1 两种模式下四块肌肉iEMG比较(n=8,×10-5 V•s)

表2 两种模式下四块肌肉EMG/T比较(n=8,×10-6 V)

图6 上肢肌肉P1

图7 上肢肌肉P2

针对现有上肢康复训练系统提供视觉和触觉反馈无法关联的问题，本文在末端牵引式上肢康复机器人系统中设计一种基于力跟踪的视觉与触觉力反馈融合康复训练模式。该模式采用力跟踪算法将在虚拟环境中所看见的力学事件通过摇杆传递给训练者。通过对比试验发现有无反馈融合条件下受试者上肢用力情况存在差异。本文提出的技术可以精确地根据虚拟环境中视觉反馈构建的力反馈传递给用户，通过多感觉融合反馈增加对训练者外周神经功能的刺激，进而加强中枢神经功能重建，并促使用户付出更多的努力。其次，该技术所提供的力反馈模式更加自由，所需的力反馈完全在上位机虚拟环境中计算完成，可实现虚拟环境中统一位置上两种以上力学模型的叠加。再次，该力反馈算法避免的对系统进行动力学建模，降低了对系统参数识别精度的要求，具有较好的可移植性。

本文提出的反馈融合技术也存在一定局限性，例如力反馈的响应时间相对较长(0.5 s 左右)，难以实现虚拟场景中刚性物体碰撞产生的力反馈。下一步将针对不同的虚拟场景中的视觉反馈研究多样化的机器人力反馈融合策略。

利益冲突声明：所有作者声明不存在利益冲突。