肌电和足压信息融合的外骨骼步态识别

汪步云,缪 龙,吴 臣,杨 鸥,张 振,许德章

(1.安徽工程大学 人工智能学院, 安徽 芜湖 241000; 2.安徽工程大学 机械工程学院, 安徽 芜湖 241000;3.芜湖云擎机器人科技有限公司, 安徽 芜湖 241007)

0 引言

随着人口老龄化情况加剧及下肢运动功能障碍患者数量激增[1],下肢外骨骼机器人越来越多地被应用于运动障碍患者的康复治疗及助老助行[2]。目前,国外的HAL、ReWalk,Ekso及国内的AutoLEE-Ⅱ、东南大学的绳驱膝关节外骨骼等有源性外骨骼通过主动对人体髋、膝关节提供适当辅助力矩并有效纠正人体步态,达到外骨骼助行的目的[3-7]。此外,外骨骼机器人在步态康复训练上得到了实际应用,可实现训练过程中的数据检测,并以可控、可重复的方式帮助康复的量化评估。目前,对于外骨骼机器人,能否精准识别出人体下肢运动意图是人机交互和安全助行的前提[8]。

针对步态识别,国内外一些学者开展了相关研究。Chenyao Zhu等[9]利用惯性测量单元和多类支持向量机,提出了一种新型的多自由度踝关节-足部连续运动人机交互识别穿戴系统,其通用模型在14.1±4.5 ms的预测时间内达到了85.3%±7.89%的总体准确度。Gao等[10]将表面肌电信号进行降噪处理,提取了5种特征,以人工蜂群算法优化支持向量机识别步态,将支持向量机的平均识别率提高了3.18%并增加了识别的稳定性。Kyeong等[11]分别采用支持向量机(SVM)和线性判别分析(LDA)模型,仅使用表面肌电信号对行走环境进行分类,准确率分别为79.1%和76.3%。上述取得了有意义的研究成果,但是基于单一传感器信号的步态识别会受到许多条件限制。机械传感器能够有效采集人体运动学信息,提升人体步态识别率,但数据的采集与传输滞后明显[11]。生物信号虽然能较好地用于预测人体步态,但是信号采集易受外界干扰且处理复杂,如表面肌电信号的噪声大且由于肌肉疲劳和皮肤干燥程度的影响,信号可能会发生变化[12-13]。

针对上述问题,本研究中首先构建了基于肌电和足压信号的多传感器信息采集平台,通过降噪、特征值提取等方法对各信号进行预处理;其次,针对单一信号的步态识别的受限问题,利用生理学和运动学信息建立了SVM-FCM融合算法,在决策级上融合足压和肌电信息,以提升步态识别效率;最后,开展了人机协同助行实验研究,验证了步态识别方法的有效性及可行性。

1 多传感器信息平台构建及信号预处理

1.1 人体下肢结构与步态特征分析

人体下肢包含髋膝踝3个关节,其主要的功能是实现关节驱动下肢运动[14],如图1(a)所示,人体下肢基本运动平面包含矢状面、冠状面、水平面,分别对应了矢状轴、冠状轴和水平轴。

步态是人体下肢运动过程的基本行为特征。正常步态表现为规律性与协调性的统一,使人体运动保持稳定。步态分析是表征人体运动过程的重要手段。如图1(b)所示,按单侧腿相位,一个步态周期可以划分为弹起相、摆动相、触地相和支撑相,约占步态周期的10%、40%、10%和40%。

1.2 多传感器信息检测平台构建

构建基于肌电和足底压力信号的多传感器信息检测平台,可实现多模态信息融合,提升人机步态识别的效果。

如图1(a)所示,肌电信号采集装置采用Biometric表面肌电信号无线传感器(LE230)。LE230有2个电极,对同一块肌肉展开测试,2个电极之间的电压差值作为输出的信号值,采集频宽20～480 Hz,放大增益为1 000。LE230传感器与DG2无线接收器、Data LITE系统等配合使用,实现肌电信号的无线采集。

如图1(a)所示,足压信息检测采用课题组研制的鞋垫式足底压力传感器[15]。该装置在对应足部的拇指、第1跖骨、第5跖骨和足跟区域分别放置FSR402电阻式薄膜压力传感器,用以感知足底压力。根据所设计的电压跟随器采集电路,将信息采集电路的前、后端分开,提升足压信息采集的准确性与抗干扰能力。各通道足底压力信号通过嵌入式单片机处理数据并实现无线传输。

图1 人体运动基本平面、步态周期分析及传感器检测平台构建

1.3 肌电信号预处理

肌电信号易受噪声干扰,为便于特征提取,提供有效的实验数据,需对采集的肌电信号进行预处理。肌电信号预处理步骤如下:信号降噪、阈值分解、特征值提取及降维。

根据下肢肌肉的运动功能和特点,以及肌电传感器使用的难易程度,选择腓肠肌作为最初的肌电信号源[16]。肌电信号采样频率为1 000 Hz,采集时长6 s。将含有噪声的肌电信号表达为

Yt=Xt+et,t=1,2,…,n

(1)

式(1)中:Yt为原始肌电信号;Xt为不含噪声的肌电信号;et为噪声信号。运用移动均值滤波算法对原始肌电信号做预处理[17],选取窗口值T=10,信号更平滑,滤波效果更好,为下文更准确地提取肌电信号变化及特征阈值提供数据基础。具体表达为

(2)

式(2)中:Ys为第i个信号值的平均值;T为邻域范围。

从肌电信号采集的角度看,一个完整的步态包含运动段和非运动段。运动段为下肢肢体运动时产生的生理电信号,平均幅值较高,非运动段信号为肢体放松时产生的电信号,平均幅值低。因此,必然存在一个合适阈值,可有效判别这2种状态。定义提取尖峰的阈值Th,其阈值提取公式为[18]

(3)

式(3)中:Xt为滤波后的肌电信号;n为肌电信息序号;α为一般经验常数,范围为1.5～2.5,此处取值1.5。记肌电信号阈值左边第3个采样点起,到阈值右边的3个采样点止,共计7个采样点数据为一个运动状态单元序列,一个运动单元序列Xseq表示为

Xseq=[xi-3,…,xi,…,xi+3]

(4)

依据阈值的大小对肌电信号进行分解处理,将处理后的肌电信号按照运动单元和原有所在位置重新排列组合,形成一组新的包含全部运动单元序列的肌电信号。具体表达为:

X=(Xseq1,Xseq2,…,Xseqn)

(5)

(6)

结合图2及表1,获得图1(c)中单步态周期内的肌电运动单元序列的具体步骤:

1) 如图2(a)所示,结合式(2),原始肌电原始信号进行信号降噪获得滤波后的肌电信号。

2) 如图2(b)所示,结合式(3)及表1,滤波后的肌电信号通过各相位尖峰阈值Th曲线进行阈值分解,获得肌电尖峰电位。

3) 如图2(b)所示,结合式(4)及式(5),肌电尖峰电位经过冲排列,获得了单各步态周期中包含所有运动单元序列的肌电信号。

图2 肌电信号预处理

表1 各相位尖峰阈值Th数值表

肌电信号阈值分解后,采用滑动窗口法分别提取绝对均值(MAV),方差(VAR),均方根(RMS),中值频率(MF) 和平均功率频率(MPF)5种特征值。每滑动一个步长,得到一个新的窗口数据。其中,数据窗tc长度取20 ms,步长lc设定为10 ms,利用上述时域频域特征提取方法构建特征样本矩阵φc,如式(6)所示。w代表时间窗的个数,m=5,代表特征值提取的种类。矩阵φc是一个五维数据矩阵。当矩阵维数较高,会增加运动识别难度和运算解算速度。因此,需要对肌电信号特征矩阵做降维处理[17]。PCA是一种通过简化数据集突出主要变量的多元统计分析方法[19],通过保留数据中的主要成分,忽略数据中的次要成分,达到降维效果,即将肌电信号特征值矩阵φc从m×w降为k×w,(m>w)。

主成分贡献率及累计贡献率决定降维后矩阵维数。贡献率ηi取值越大,则其对应的第i个主成分,表达原始信息的能力更强。若累计贡献率η取值在95%以上时,意味着主要信息得以保留,则往后的主成分可忽略。经PCA降维得到的主成分累计贡献率,如表2所示。从表2中可以看出,选用前3个主成分,肌电信号的主要信息能被表达,其所对应的前3个分离向量为肌电信号数据中的特征信息,提取分离出的主要特征向量Xc=(x1,x2,x3)。其中,x1、x2及x3依次代表绝对均值(MAV),方差(VAR),均方根(RMS)。

表2 肌电信息及累计信息贡献率

1.4 足压信号预处理

针对足压信号的特征提取,在课题组研究基础上,进一步开展相关工作[15]。考虑到FSR402压敏电阻的阈值特性,当足底压电信号大于1.3 V时,可视为对应通道传感器处于激活状态。设压敏电阻通道激活时,信号标志位为1;反之,为非激活状态时,信号标志位为0。如图1(c)所示,可以看出在各个步态相位,足底压力信号与肌电信号的对应情况。

结合图3,获得图1(c)中单步态周期内的足压信号通道激活情况的具体步骤如下:

1) 如图3(c)所示,结合图3(a)、图3(b)、式(7)及式(8),从原始足底压电信号中截取单个步态周期内的信号通过信号分离模型获得各足压通道的压电信号。

2) 如图1(c)所示,结合图3(c)及FSR402压敏电阻的阈值特性,对各通道压电信号进行阈值分解获得各信号通道激活情况。

足底压力实际采样点信号如图3(a)所示。由于足底压力检测传感器采用的是FSR402压敏电阻,其压敏特性是非线性的,且单个传感器与足部间的接触压力受穿戴松紧、摩擦等多种因素影响,采集到的信号含有大量噪声。为了从足底压力信息中提取相应步态特征,需要对足压信息进行数学建模分析,所建立的模型如图3(b)所示。

图3(b)中S(t)为足底压力原始信息,设足底压力传感器采集信号的通道数为n,X(t)为传感器实测数据,设步态特征信号数量为r,N(t)为噪声干扰,Y(t)为待求解的足压分离特征信号。足压信息模型对应的矩阵表达式如下

X(t)=AS(t)+N(t)=W[S(t)+N(t)]

(7)

依据实际测量数据X(t)进行步态特征信息的估计,即有Y(t)≈S(t)。进一步对特征信号分析求解,表达式为

Y(t)≈S(t)=φ(X(t))=φ(x1(t),…,xn(t))

(8)

易知A为n×r的信号混合矩阵,W为分离矩阵,实现特征信号的求解分离。由式(7)的结果可知,W应满足以下关系

(9)

式(9)中:分离矩阵与信号混合矩阵互逆,并且与信号干扰矩阵相乘为零阵,若A与N(t)的信息矩阵均为未知的,则无法利用式(9)求解分析。通常,求解分离矩阵W需要构造代价函数,并利用优化算法求解代价函数的极值。但是,实际采集的足压信号呈非负性,噪声干扰难以完全滤除,以及压力传感器在足底阵列排布的不规则性难以满足代价函数的假设条件。在考虑不引入分离矩阵W的前提下,从原始足压数据中直接分解,提取待求的特征信息。

图3 足压信号及通道激活情况

设足底单传感器采集的压力信息为Xij(i=1,2,…,m;j=1,2,…,n),i为传感器的个数,m=4,j为采样次数,n为总的采样次数。采集到的足压信息构成矩阵为

(10)

矩阵X为非方阵(m

(11)

式(11)中:σi为矩阵X的奇异值,按从大到小的顺序进行排列为σ1≥σ2≥…≥σn;U为X的左奇异矩阵,VT为X的右奇异矩阵,均为正交阵。求解过程为:

(12)

对方阵XXT与XTX的特征分解,其奇异值为相应特征值的平方根。方阵XXT与X的协方差矩阵C存在如下关系

(13)

上述矩阵中的列向量分别对应各个足压传感器的采样数据,以式(13)按列向量交叉融合后,得到协方差矩阵C,对其特征分解得到左奇异矩阵U,其中的向量u1,u2,…,un,必然包含足压信息的特征值和干扰噪声。

由SVD的特点可知,特征向量的值与其对应的奇异值大小成正比[20]。包含信息量较大的视为特征信息,反之则视为干扰项。式(11)的具体的分离形式如式(14)所示,前r(r

(14)

(15)

式(14)、式(15)中:以矩阵的F范数表示信息所占比重的大小,σr为前r项的信息量,σi为总的信息量,二者比值即为信息比重α,需大于阈值αTh。依据上一小节中PCA降维的设定,α≥0.95时,认为对应的特征向量基本包含了有用信息。随机选取一组足底压力数据,按上述方法进行求解并做出主成分分析后得表3。从表3中可以得出结论,前3个奇异值的累计信息比重为98.484%,此时其所对应的前3个分离向量为将要提取的有效特征信息,可得其对应的特征向量Xd= (u1,u2,u3)。其中,u1、u2及u3依次分别表示足压信号通道FSR1、FSR2及FSR4的信号电压。

表3 足压信息和累计信息比例表

2 基于SVM-FCM算法的步态识别

2.1 基于SVM的步态相位识别方法

SVM的步态相位识别的核心思想是将非线性数据映射到高维线性空间,使样本间的间距最大,并用分类线或者是分类超平面,把2类样本分离开,达到分类效果[21]。

给定样本集和分类标签X={X1,…,XN},y={y1,…,yN},其中样本集的每个样本包含多个特征向量Xi={x1,…,xN}分类标签y∈{1,-1}分别表示正类和负类。从而求出一个最优超平面wTX+b=0将2种类别正确分开。针对表面肌电等非线性可分信号,常引入径向基核函数(radial basis function,RBF)进行替换,以解决样本线性可分的问题。径向基核函数为

(16)

最优分类超平面可表示为

(17)

式(17)中:αi是拉格朗日因子。

由于肌电信息与步态相位是动态关联的,所采集的肌电需要根据步态信息完成多分类。支持向量机SVM (support vector machine)一般通过建立多个二分类问题以达到多分类效果,进而完成多相位的步态识别。采用SVM多分类算法识别运动状态,需要给出先验知识条件。为此,在采集肌电信号时,配合使用三维运动捕捉系统,获取人体下肢运动轨迹,建立步态的分类标签。选取数据量中的75%作为训练集,25%作为测试集。

2.2 基于FCM的步态相位识别方法

本节通过模糊C均值算法(fuzzyC-means,FCM),对上面提取出的特征点进行聚类分析。即将n个特征点Pi按其隶属于不同步态(聚类簇)的隶属度uij,分为若干个模糊组,并求每组特征点的聚类中心Ci(xi,yi,zi),(i=1,2,…,c),使得由特征点与聚类中心所构成的目标函数J达到最小。目标函数如式(18)所示,聚类中心及隶属度函数为

(18)

(19)

本文中将人体行走单个步态划分为弹起相、摆动相、触地相和支撑相4个状态,则模糊组m取值为4,其步态相位识别算法的具体流程如图4所示。

为了定量评价一个完整步态相位识别结果,引入一个客观评价指标R,该方法的评价需要有先验的分类标签,采用三维运动捕捉系统采集一组在线实验数据,获取先验的步态分类标签

(20)

式(20)中:vi为识别错误个数;pi为识别点个数。

图4 FCM算法流程

2.3 基于SVM-FCM信号融合的步态相位识别方法

SVM算法对于样本间距离较大数据分类效果较好,但是对于样本间距离较小的数据分类效果较差,FCM算法是均值聚类算法的改进,通过迭代计算的方法,为每个数据进行隶属度判别,对于样本间相似性较大的数据分类效果要好于SVM算法。因此,本研究结合上述2种算法优点建立了一种FCM-SVM算法,融合处理肌电表征的生理学信息和足压表征的运动学信息,进一步增强运动状态的识别能力,融合算法原理如图5所示。

图5 信息融合算法原理框图

若传感器为单一数据输出时,可直接使用FCM-SVM算法融合信息。但传感器输出的是多维数据,而非一维数据,因此需要对数据进一步地处理以适应融合算法。自适应加权对数据的融合有较好的效果,其计算公式为

(22)

式(22)中:n为传感器个数;xi为传感器测量的有效值;wi为各个传感器所对应的权值。设∂i为各个传感器对应的测量方差,数据的融合精度受传感器方差大小影响。当总融合方差最小时,融合结果的精确度最高,最终的融合模型公式为

(23)

将融合后的信息用类似线性函数表示X=w1x1+w2x2+…+wixi,转换成矩阵形式表示为

X=[w1,w2,…,wi][x1,x2,…,xi]T

(24)

数据在融合之前,首先要对样本数据做均衡化处理。本文中所选用的肌电传感器采样频率是足底压力传感器采样频率的10倍,因此选用均值法对肌电信号展开处理,每十个采样点选取一个均值与足底压力数据进行一一对应。由于足底压力信号通道数为4,因此还需要运用式(22)、式(23)自适应加权算法进行融合处理,经计算,对应的加权因子w1、w2、w3、w4的加权系数分别是0.245、0.266、0.251、0.238。

(25)

将各传感器的测量信号有效值看作一个集合,2个传感器集合之间的相似度可以表示为(r1,r2,…,rk,…,ri)。定义f(x)为判定函数,f(x)的大小Tf为判别阈值,表达式为

(26)

当ri

基于肌电和足压信息融合的SVM-FCM算法的人机步态相位识别训练测试步骤具体如下:

输入:样本集F= {(Xi,Yi),i=1,2,…,n},Xi为样本值,Yi样本类别,设定样本集的75%为训练集, 25%为测试集;

输出:测试集的分类结果;

2) 根据式(25),计算各信号间的相似比;

3) 依据判别函数式(26),设定阈值Tf;

4)ri≥Tf时,信息划入集合f(x)+,此时送入SVM算法进行运动状态识别;ri

5) 更新测试集返回步骤2,重复步骤2)—步骤4),直至结束。将步态相位识别结果汇总输出。

3 实验研究

3.1 人机协同助行实验方案设计

结合课题组设计的下肢外骨骼机器人,开展人机协同助行实验,实时采集下肢表面肌电信息和足底压力信息,实验过程如图1所示。不同于静态离线穿戴实验,受场地和实验过程的难易度影响,从25名志愿者中选择10名志愿者作为本次动态在线实验数据采集对象,10名志愿者中男女比例为6∶4,每人进行实验3次。人机协同助行实验方案如图6所示,步骤如下:

1) 试验者穿戴外骨骼并做好实验前准备;

2) 设定各传感器采样时间为6 s,实验者保持匀速直线行走,采集各传感器数据;

3) 处理各数据并通过不同方法进行相位识别;

4) 得到各组识别率并汇总识别结果。

图6 人机协同实验方案流程框图

3.2 实验结果及分析

表4及附录中表1为信息融合后的一个步态周期内的部分特征向量数据表。该步态周期的肌电运动单元序列与足压信号激活情况结合图1(c)所示。受试者连续行走时,步态相变化为“支撑相→弹起相→摆动相→触地相”周期循环,通过比较信号相似比rij与式(28)求得的阈值Tf大小,将特征向量归入不同集合进行步态相位识别,按照时序更新并汇总测试集的识别结果。

运用FCM-SVM融合算法识别该步态周期内的步态相位。识别效果如图7(a)与图7(b)所示。针对单步态人机步态相位, SVM-FCM相位识别算法能够有效区分4个步态相位,验证了SVM-FCM方法的可行性。其中:

1) 对于ri≥Tf的集合f(x)+,SVM-FCM相位识别算法利用表4的肌电信号特征向量Xc结合表1所示的尖峰阈值Th,通过式(16)及式(17)进行四分类识别,能有效区分4个步态相位。

表4 信息融合后的单步态周期内的特征向量数据

图7 人机协同助行实验步态相位识别结果

2) 对于ri

本次实验的整体结果如图7(c)及表5(或附录中表2)所示。从图7和表5总结得出,基于肌电信号的SVM算法,其平均识别率为71.62%,该识别在弹起相、摆动相、支撑相的识别率较好,但触地相识别率较差,仅有37.06%。主要原因是足部从摆动相向触地相转换、触地相向支撑相转换时,外骨骼对关节施加了较大交互力,使得人体肌肉在相位转换过程中活动程度较大。如图1(c),2个相位的尖峰阈值Th较为接近,易导致相位识别错误。与肌电信号相比,足压信号在触地相期间更稳定。通过SVM-FCM识别方法,比较信号相似比rij及判定阈值Tf。利用有效信息多的足压信号去弥补有效信息少的肌电信号,触地相的平均识别率达到88.96%,验证了SVM-FCM方法的有效性。

此外,基于足压信号的FCM算法的平均识别率为74.66%,并未出现识别率较差的极端情况。基于肌电和足压信号融合的SVM-FCM算法,平均识别率为82.49%,高于运用单一信号的平均识别率。而且SVM-FCM人机步态识别的标准差普遍小于FCM人机步态识别的标准差,说明基于肌电和足压信号融合的SVM-FCM算法应用在人机步态相位识别的结果离散程度较小,可信度较高。

表5 人机协同助行实验步态相位识别结果数据

4 结论

1) 针对表征下肢生理学信息的肌电信号,以及表征运动学信息的足压信号,分别开展了包括特征提取、降噪等信号预处理方法并匹配合适算法,可有效识别外骨骼协同助行时的步态相位;

2) 提出了一种基于肌电和足压信息融合的SVM-FCM融合算法,在弹起相、摆动相、触地相、支撑相的识别率分别达到了76.51%、86.54%、88.96%、77.93%,实验数据表明该算法提升了人体穿戴外骨骼的步态相位识别率,为下肢外骨骼机器人运动状态识别奠定基础;

3) 通过实验,基于肌电和足压信号融合的FCM-SVM算法对人机协同助行的步态相位平均识别率达到了82.49%,高于运用基于单一信号步态相位识别的识别率,且标准差跟小,可信度更高,验证了该算法用于人机步态相位识别的有效性。