孙 勇,朱留宪,冷真龙
(四川省高温合金切削工艺技术工程实验室,四川 德阳 618000)
老年人、下肢残障人士的出行、自理与康复一直是人们比较关注的社会问题。人工护理与物理治疗给家庭和国家医疗保健系统带来了巨大的经济负担,此还面临着专业保健人员的短缺以及对更高质量的护理需求的困难。坐立(STS)是老年人及残障人士康复训练的主要活动,在康复机器人辅助下实现站立与自由活动将会极大提高他们的生活独立性与康复质量。为此,研发出一款经济实用,能为更多的用户提供更长时间的助行和辅助站立的机器人,是研发人员和用户的共同愿望。
由于坐立运动对老年人与下肢残障人士的重要性,相关研究人员针对机器人辅助用户实现坐立运动做了大量研究工作。文献[1]提出了一种基于非线性弹性元件的钢丝驱动髋关节辅助坐立机器人,根据非线性弹簧的特性,确定出驱动导线的电机位置轮廓,能为用户坐立运动提供18%的辅助,但该机构不适合长时间使用。文献[2]提出了一种用于在站立阶段辅助肌肉动作的实验系统Helper-KH,膝关节和髋关节支撑力矩由用户的姿态来控制,但该机器人的控制算法复杂,造价成本高,舒适性也欠佳。文献[3]提出了一种4-4的拉索系统,该系统基于拉索的机械臂具有非常好的运动学和动力学特性,它们还表现出了良好的可运输性和低成本的结构特性,这使得它们也适合于医疗应用和康复,但该系统体积庞大,只适合在室内使用。文献[4]提出了一种行走和坐立支撑系统-智能移动步行(SMW)机器人,它具有包括驱动和转向功能的移动平台。其中,6个线性执行器的坐立支撑机构,用于支撑元件的轨迹生成,6轴力∕扭矩传感器系统,用于行走和坐立支撑过程中的力反馈,缺点仍然是对用户上肢力量有一定的要求。
上述机器人普遍存在用户执行坐立运动需要使用一定的上肢力量,长时间使用会给用户带来疲劳感,体积过大搬运困难等问题。针对这些问题,又考虑到STS运动的舒适性,希望用户在执行坐立运动过程能通过自然的轨迹被抬起。因此提出了一种康复辅助轮椅的定制设计方法,设计了一种康复辅助轮椅,通过直线电机驱动的CSC机构被用于跟踪STS运动期间髋关节的自然轨迹。CSC机构是通过将多杆串联机构关节的旋转通过齿轮或带传动耦合而形成的,可用于跟踪人体髋关节的自然轨迹,从而减少所需的关节∕肌力量,使用户感到舒适。
第二节将介绍该康复辅助轮椅定制设计的整体流程。为定制设计出适合不同用户的康复辅助轮椅,获取用户髋关节的坐立过程运动轨迹显得尤为重要,第三节将针对如何获取用户坐立运动的髋关节运动轨迹展开描述。为了优化第三节采集到的用户坐立过程髋关节运动轨迹,第四节利用UKF数据融合算法对轨迹进行优化。第五节将根据得到的优化轨迹详细描述CSC机构的设计过程。最后制造了物理样机,做了轨迹相容性实验,实验表明该方法设计的物理样机运动轨迹能较好的与用户髋关节运动轨迹重合,表明了我们的设计方法的有效性。
下肢康复设备的个性化定制设计是一个多步骤的过程,每个流程之间相互关联。在下达订单之后,用户将收到标志点、惯性动作捕捉系统和智能手机程序。通过智能手机程序内内置的教程,获得符合标准的数据。手机获得的视频序列作为跟踪算法的输入,将在工厂终端输出可视化的轨迹数据。这些轨迹数据和加速度传感器获得的加速度数据将一起作为UKF 的轨迹融合算法的输入,输出优化后的髋关节运动轨迹又将作为轨迹综合算法的输入,最终在工厂终端输出生产所需的杆长和齿轮数据,工厂利用获得的机构参数进行生产和装配。系统流程图,如图1所示。
图1 系统流程图Fig.1 System Flowchart
为了定制设计出适合不同用户的下肢康复设备,用户坐立运动髋关节运动轨迹的准确获得就显得尤为重要,因此利用计算机视觉跟踪技术与运动捕捉技术相结合的办法。视觉跟踪方面首先需要选择一个可靠的算法,并且针对具体问题选择特殊的解决方案,同时结合算法在不同的坐标系之间进行转化。运动捕捉方面,需要对传感器进行标定。利用运动捕捉系统自带软件进行标定,消除了由于传感器自身固有因素导致的误差。
首先从理论上来说,meanshift滤波是不需要标志点就能够追踪的,但是无标志点的前提是追踪目标与背景比较明显或者有检测算法进行辅助。在该研究的系统中,需要追踪的是用户髋关节的运动轨迹。在用户使用过程中,即使预先人为或者利用检测算法在视频第一帧进行标定,依旧很难精确追踪目标关节的轨迹。因此额外引入一个标志点,用于提高追踪的稳定性和准确性。标志点需要人为粘贴到髋关节处,人为粘贴相对于利用检测算法得出的关节点而言有更高的精度。标志点示意图,如图2 所示。
图2 标志点Fig.2 Marker
利用手机拍摄用户从坐到站的过程,通过算法提取出视频中用户髋关节运动轨迹数据,该轨迹数据是像素坐标系下的二维轨迹数据,为了得到在世界坐标系下的真实二维轨迹数据,需要将得到的像素坐标系下的轨迹数据转换到世界坐标系下。本研究主要依据文献[5]提出的单视测量理论,基于交比不变性,利用视频拍摄可控的特点,在视频序列中加入参照物来实现像素坐标系与世界坐标系的空间转换。交比是射影变换过程中的不变量,通过寻找消失点,便能获得交比,进一步就能获得两个平行平面物体之间的长度的比例[6]。具体交比推导示意图,如图3所示。图中:C—相机成像点;v—消失点;l—消失线,上方为像平面,下方为地平面;H0F—参照物高度;HF—未知高度;h0,h,f—H0,H,F在像平面的投影。根据交比定义,设D为两点间距离,可得:
图3 交比推导示意图Fig.3 Schematic Diagram of Cross-Ratio Derivation
随着微电子和传感器相关技术的发展,高度集成的小型IMU 惯性传感器广泛应用于基于惯性传感器的人体运动跟踪。相较于光学式的运动跟踪系统,惯性式的系统具有轻便小巧、成本低廉、实时性强等优点,在众多领域都得到运用。在医疗领域,惯性式运动跟踪技术对于医疗机械设备的设计制作、临床康复治疗、辅助监测病患状态等都具有重要作用[7-9]。
通常传感器都存在误差,为了能使测量数据更准确,前期的传感器标定必不可少。因所使用的惯性运动捕捉系统有生产厂商规范的标定方法,于是利用其系统自带软件进行标定。标定方法是各个轴向360°旋转传感器,软件校准进度会持续增加,继续旋转传感器,直到进度为100%。
图4 传感器标定流程Fig.4 Sensor Calibration Process
算法的最终目标是输出一条世界坐标系下的2D 轨迹数据点,因此在跟踪算法完成之后,需要提取每一帧中跟踪框的质心,将所有质心放到同一个坐标下,便得到了在像素坐标下的运动轨迹。根据未标定视频的测量原理,像素坐标系下的长度和世界坐标系下的长度换算关系是:
因为本系统采用了结合硬件和控制拍摄条件的手法对交比算法进行简化,无需计算消失点,所以坐标系下的长度换算关系简化为:
获得转化关系后,在视频中寻找到标志物,便能通过转换关系得到世界坐标系下的运动轨迹。首先,采用canny边缘检测获得视频序列中的图像轮廓,因为使用标志物为圆形的标志点,因此只需要对视频中的闭合轮廓进行筛选,限制闭合轮廓的面积,即可筛选出标志物。用矩形框来外切圆形轮廓,可得到在像素坐标系中标志点的直径,带入世界坐标系下的标志点的直径,即得到单位长度下的像素数量,完成了像素坐标系与实际坐标系的转换。实验中用户髋关节的运动轨迹,如图5所示。
图5 轨迹可视化Fig.5 Trajectory Visualization
基于惯性传感器的运动捕捉系统通常具有数据采集、通信、处理和运动还原[10]四个功能。主要用到数据采集和通信功能。传感器部分用于实现髋关节运动数据的实时采集,并通过无线蓝牙将数据实时传输给处理器进行处理。为方便数据处理算法的构建,此处的处理器为个人电脑。根据要求,传感器采集的数据主要用到的是X方向和Y方向的加速度。
图6 传感器坐标系Fig.6 Sensor Coordinate System
由于用视觉跟踪技术采集到的轨迹数据包含一些误差,引起误差的原因如患者在视频拍摄过程中身上的柔性织物或者其他人遮挡。但为了精确定制出适合不同用户的下肢康复设备,用户坐立运动的髋关节轨迹的准确获得尤为重要。
当前主流数据融合处理算法是卡尔曼滤波,在动态定位[11]控制系统[12]卫星导航[13]状态预测[14]中具有广泛的应用。由于KF只适用于线性系统,后来又出现了扩展卡尔曼滤波(EKF)和无迹卡尔曼滤波(UKF)。其中,UKF不仅能够处理非线性系统,且无需计算雅可比矩阵。它能有效地克服EKF估计精度低、稳定性差的问题,对于非线性系统具有更高的计算精度[15]。由于UKF具有以上优点,因此使用UKF作为加速度数据与视觉轨迹数据的融合算法。
因此,在获得用视觉跟踪技术采集到的轨迹数据后,利用IMU加速度传感器模块采集的加速度数据与视觉轨迹数据进行数据融合来优化这些轨迹数据,进而定制设计出适合用户的优质康复设备。
数据融合前首先需要建立检测点的运动模型,之后再利用UKF技术将检测点的加速度数据与轨迹数据融合在一起。
IMU模块可以输出测量点的绝对加速度,因此,可以得到观测点传感器的运动差分方程为:
利用观测点的运动差分方程,再考虑系统过程噪声wn-1和系统观测噪声εn-1和观测函数h,测量点的差分方程可以表示为:
利用UKF算法,系统的初始化状态与协方差为:
利用UT变换预测下一状态以及误差:
其中,λ=α2(n+κ)-n。Sigma点集通过算子f的传播结果为:
时域更新以及协方差矩阵预测:
其中,
Sigma 点集通过观测函数h的传播结果为:
更新观测值:
滤波增益为:
状态与协方差更新为:
式中:—视觉算法观测到的数据;xk—第k步的融合后的值。
根据基于UKF的轨迹数据融合获得的轨迹,计算出耦合串联机构参数及运动轨迹,通过GUI将机构运动动态展示出来,工厂根据得到的耦合串联杆长参数进行实物生产。
实验步骤如下:(1)用户将惯性传感器穿戴于髋关节处,并将圆形标记贴在惯性传感器上;(2)通过软件MotionVenus完成用户骨骼长度确定及传感器标定;(3)利用手机拍摄用户在凳子上从坐到站的过程。滤波后的轨迹,如图7所示。获取用户髋关节轨迹实验,如图8所示。
图7 滤波后的轨迹Fig.7 The Trajectory after Filtering
图8 获取用户髋关节轨迹实验Fig.8 Get the User Hip Joint Trajectory Experiment
当前耦合串联机构设计最新的方法通过离散傅里叶变换的方式[16-17],下面对机构综合运用到的傅里叶变换的方法进行简要阐述。首先提取出基于UKF的轨迹数据融合获得轨迹数据点坐标,这些数据点坐标用(xk,yk)表示,k为轨迹数据点中第k个点。为了利用离散傅里叶变换得到这些轨迹点对应的傅里叶系数,把笛卡尔直角坐标系下的轨迹数据点坐标对应到复平面上,于是利用复数傅里叶变换的共轭对称性,得到复平面轨迹数据点坐标为:zk=xk+jyk,其中,j为复数单位。通过离散傅里叶变换得到的这些轨迹数据点对应的傅里叶系数表示如下:
于是可以通过这些傅里叶系数和对应的傅里叶基函数来表示这些轨迹点,表示形式如下:
实际上,允许在一定误差的条件下仅由几项傅里叶基函数来拟合髋关节运动轨迹,这些轨迹点又可以有如下表示形式:
式中:Di—用来近似髋关节运动轨迹的基函数对应的傅里叶系数,其中,i—傅里叶系数的项。
在这里主要采用了文献[19]的轨迹综合算法,并对算法做了一些修改以更好适合终端程序。假设i分别为0,1,2,于是可以通过0项,1项和2项傅里叶函数来拟合髋关节运动轨迹。由于耦合串联机构其末端杆端点轨迹的傅里叶表示与机构本身的固定铰链点位置、各杆杆长及转速有严格的对应关系,所以只要求解出髋关节运动轨迹拟合结果对应的傅里叶系数D0,D1,D2,我们就能知道耦合串联机构在复平面中的位置信息,求解出耦合串联机构各杆杆长。其中,D0在复平面中的位置就是耦合串联机构的固定铰链点的位置,D1的幅值和相位角对应了耦合串联机构中转速为1*ω0和初始角度为Arg(D1()与实轴正方向夹角)的一根杆,D2的幅值和相位角对应了耦合串联机构中转速为2*ω0和初始角度为Arg(D2)的另一根杆。杆长参数,如表1所示。机构轨迹与髋关节轨迹对比,如图9所示。设计结果的GUI呈现,如图10所示。
图10 设计结果的GUI呈现Fig.10 GUI Presence of Design Results
表1 机构参数Tab.1 Mechanism Parameters
图9 机构轨迹与髋关节轨迹Fig.9 Trajectory of Mechanism and Hip Joint
工厂利用得到的耦合串联杆长参数,生成的虚拟样机,如图11所示。基于虚拟样机制造了物理样机,如图12所示。为了验证物理样机机构的运动轨迹与用户站立髋关节运动轨迹重合的精确性,我们做了轨迹相容性实验,如图13所示。实验表明该方法设计的物理样机运动轨迹能较好的与用户髋关节运动轨迹重合,表明了设计方法的有效性。
图11 下肢康复机构的三维模型Fig.11 Three-Dimensional Model of Lower Limb Rehabilitation Mechanism
图12 下肢康复轮椅实物样机Fig.12 Physical Prototype of Lower Limb Rehabilitation Wheelchair
图13 轨迹相容性实验Fig.13 Trajectory Compatibility Experiment
针对不同下肢功能患者的自主康复训练与辅助站立过程中,对下肢康复机器人的差异化需求,研究了一种基于视觉技术和运动捕捉技术的少自由度下肢通用型康复设备定制设计方法。
首先通过计算机视觉方法追踪手动标定的关节点位,以智能手机作为终端,获取了髋关节的运动轨迹,并且利用UKF数据融合算法对轨迹进行了优化。其次工厂终端利用这些优化后的轨迹信息实现了下肢康复设备的设计,且已制造出物理样机,该样机满足康复机器人的要求,结构简单生产成本较低,且操作方便易于普及。最后通过受试者的坐立运动(STS)轨迹相容性实验,实验表明该方法设计的物理样机运动轨迹能较好的与用户髋关节运动轨迹重合,验证了设计方法的有效性,该方法可用于其它类似康复机器人的结构设计。
后续的研究工作主要为提高视觉跟踪算法的准确性及鲁棒性,并在更多的受试者身上进行测试以验证其康复与辅助站立效果。