脑卒中患者的基本康复动作识别研究

辛在海，邢蒙蒙，曹慧，杨锋，魏稣濛

1.山东中医药大学 智能与信息工程学院，山东 济南 250355；2.中国康复研究中心，北京 100071；3.山东中医药大学附属医院 设备处，山东 济南 250000

引言

脑卒中是一种急性脑血管疾病，俗称为“中风”。据统计，80%脑卒中患者在治愈之后仍会伴随不同程度的上肢运动功能障碍，30%～66%的缺血性脑卒中患者在6个月之后上肢运动功能仍不能康复[1-2]。脑卒中患者的术后康复治疗主要是依靠中医的针灸、推拿、康复锻炼来辅助恢复。上肢运动功能相较于其他部位的运动功能在日常生活中承担的功能性活动更加复杂和重要，而脑卒中患者的上肢运动功能康复需要漫长的康复锻炼过程，这个过程无疑给脑卒中患者及家庭造成了巨大的心理和经济压力。目前，中医药已进入“互联网+”的新时代，中医药领域的各个方面开始与人工智能（Artificial Intelligence，AI）技术接轨，蔡菲菲等[3]综述了AI在中医药领域中的应用，包括智能信息采集、辅助决策、大数据健康管理等方面。随着科学技术的发展和人体健康的需求，脑卒中患者的肢体运动功能康复现成了医疗健康领域的研究热点。各种虚拟现实锻炼[4]、智能训练[5]方式层出不穷，对脑卒中患者进行作业治疗结合虚拟现实锻炼能够有效帮助患者恢复上肢运动功能，有助于实现无监督的家庭治疗方案[6]。

1 基本康复动作信号采集

人体动作数据的采集主要是采用惯性传感器采集运动数据信息，例如，Mumtaz等[7]通过使用低成本的无线惯性测量单元开发了行人导航应用程序，并将其与三星Galaxy S5手机中的传感器进行了比较，实验发现可以准确跟踪目标的角度和加速度的信息。惯性传感器拥有较高灵敏度，也可以用于测量人体关节运动的角度变化。胡成全等[8]基于六轴陀螺仪设计了一种上肢动作识别系统，并采集了6种哑铃动作数据进行分类实验，平均识别准确率为94.17%。陈少发等[9]利用九轴陀螺仪采集人体的上肢运动动作，并对Fugl-Meyer运动功能评分法上肢部位同一动作的三种不同难度等级进行分类，分类的准确率为98.68%。Sajeev等[10]通过惯性传感器采集人体动作数据，以反馈的姿态信息作为监督锻炼信息，并利用机器学习进行分类识别，对健身动作进行分类并计数。Robert-Lachaine等[11]通过实验验证惯性传感器在关节分析中的有效性，并评估了任务复杂性和持久性对惯性测量单元的影响，结果证明惯性传感器可以广泛用于捕获运动轨迹的过程。

以上研究者的实验都能实现上肢动作识别，但是所采用的实验数据差异性较大，应锐等[12]在动作识别研究中提出了动作原语这个概念，意为基本动作单元或子动作，人体所完成的所有的动作包括复杂动作、交互动作，这都是由不同的动作原语组合而成的。侯秀丽[13]采集了六种手部动作的肌电信号进行识别，包括握拳、伸掌、内旋、外旋、屈腕和伸腕，最后利用支持向量机（Support Vector Machine，SVM）进行分类，达到了97.5%的识别率。千承辉等[14]提出识别左肩关节外展、左肘关节屈曲两种人体上肢部动作进行识别。程绍珲等[15]设计了一套健身动作规范判定的系统，使用SVM识别手部弯曲臂力器动作，准确率为95%。吴荣悦[16]提出识别肩关节外展内收、肩关节前屈后伸和肘关节屈伸的识别系统。胡少康等[17]提出识别动作手臂旋前、手臂旋后动作的方法。本文通过了解人体关节活动的特征，人体上肢部是通过肌肉带动骨骼绕关节旋转完成目标动作，以及总结上文研究学者采用的识别动作类别（肩关节屈伸、肘关节屈伸、手部内外旋）将人体上肢基本的康复运动划分为6种基本动作单元，包括肩关节前屈、肩关节外展、旋转前臂、肩关节旋转、肩关节后伸和前臂前伸，通过惯性传感器捕捉基本动作单元的数据，总结上肢活动过程中的加速度、角速度、角度数据的特征，以期实现上肢基本运动单元的识别，达到监督康复训练的目的。

1.1 惯性传感器的选型

惯性传感器的选型要求低功耗、高灵敏度，确保能够长时间精准地捕捉人体运动轨迹，同时又不能影响人体正常活动的进行，基于以上要求，本研究最终选择使用维特智能公司生产的JY901传感器来捕捉人体上肢基本康复运动单元的数据。JY901传感器是9轴姿态角度传感器，该模块集成了高精度的陀螺仪、加速度计和地磁传感器，能够采集人体运动过程中的角度、角速度、加速度和磁力数据。该模块加速度的量程在±16 g，稳定性在0.01 g；角速度的量程在±2000°/s，稳定性在0.05°/s，角度的量程在±180°，稳定性在0.01°，符合我们对高灵敏度的要求。研究中使用USB-HID连接到电脑USB接口上实现模块和电脑的蓝牙连接，将采集数据传输到上位机中。硬件采集系统的组成框图如图1所示。

图1 硬件系统组成图

1.2 上肢康复动作数据采集

人体的动作主要是通过骨骼段铰接在关节上绕关节点旋转实现的，人体的动作可以分为静态动作、简单动作和复杂动作，依次为层级递进关系。静态动作是指持续时间很短的静态活动，如摆出一个姿势。简单活动是指基本的活动，如阅读或散步。复杂活动是指与其他对象进行交互的活动，主要指聚会或会议等，复杂动作可由简单动作组合而来[18]。

在人体上肢部位中，腕关节相较于肘关节和肩关节的活动范围较大，将传感器佩戴于右上肢手腕处，能够更好地捕捉人体上肢部位的运动数据。Guerra等[19]在进行人体动作识别时通过将复杂的运动动作分为运动原语的方式来进行动作识别。本文参考脑卒中康复训练动作将人体上肢康复运动分为肩关节前屈、肩关节外展、旋转前臂、肩关节旋转、肩关节后伸和前臂前伸6种基本康复运动单元。

数据采集过程：测试员将九轴陀螺仪固定于右手手腕处，保持自然站立姿势。测试者依次完成上述6种动作，每完成一个动作手臂回到初始位置，利用同一种方式对上肢运动过程中的6种康复动作基本运动单元进行数据采集，每种不同姿态的动作重复50次。每重复10次，测试者进行适当休息。在实验过程中测试员需按规定完成动作，不得有其他的大幅度身体动作影响数据采集。

2 数据处理与动作识别

2.1 实验细节

实验的具体流程图如图2所示，主要包括三个部分：动作捕捉、特征提取和动作识别。动作捕捉部分利用惯性传感器捕捉上肢基本康复运动单元数据。特征提取时，先使用平滑滤波器消除原始数据噪声，进行数据降噪处理之后，使用固定大小的滑动窗口取样动作数据进行统计分析以获得特征数据。最后，使用机器学习算法构建分类器进行动作识别。

图2 实验流程图

2.2 数据预处理与特征提取

加速度传感器和陀螺仪传感器在X、Y和Z轴三个方向上同步记录数据，我们最终获得的是9维的时间序列数据。惯性传感器在伴随人体上肢运动过程中不可避免地会发生抖动，产生噪声，我们使用平滑滤波器来减少原始数据的噪声，经过试验，0.1 s被认为是平滑滤波器的最佳窗口宽度。对于以惯性传感器（如加速度计和陀螺仪）为特征的动作，研究人员主要采用基于滑动窗口的统计工具来表示运动数据，如均值、方差、最大值、最小值和均方根。

在利用惯性传感器进行人体动作识别进行相关研究的基础上，使用大小为2 s、滑动步长为0.8 s的滑动窗口对信号数据进行采样，然后对采样的数据利用不同的统计分析方法处理滑动窗口内数据和整个动作序列数据。其中，窗口内数据的平均值如式(1)所示，固定长度滑动窗口内的标准偏差如式(2)所示，固定长度滑动窗口中的最大值、最小值分别如式(3)和式(4)所示，整个动作序列中的峰度值、偏度值和信息熵分别如式(5)～(7)所示。

在脑卒中康复基本动作识别中我们还使用了包括峰-峰值、波形因数、波峰因数和脉冲因数等特征数据。

3 动作识别结果

在图形图像和动作序列的模式识别中，SVM、极限学习机（Extreme Learning Machine，ELM）、k近邻（k Nearest Neighbors，kNN）、随机森林（Random Forest，RF）是经典的分类器。例如，张俊杰等[20]为了评价脑卒中康复训练结果，提出利用加速度传感器采集7种动作的信号数据，并利用BP神经网络、SVM等进行识别，实验结果表明利用SVM的识别准确率最高，总体识别率可达到90%。本实验使用以上四种经典分类器对采集的人体基本动作数据进行分类识别。

本实验共对基于惯性传感器采集的6种基本康复动作进行分类。经过特征提取后的数据被随机分为测试集（70%）和训练集（30%）。利用训练集对不同的机器学习算法进行训练，建立ELM、SVM、RF和kNN分类器模型，并在测试集上进行验证。以下是四种分类器的简要介绍。

（1）ELM作为一种前向传播神经网络，由输入层、隐藏层和输出层组成。与传统的神经网络相比，ELM的运算速度更快。在ELM中，改变隐神经元数目为800个时，得到了最优的分类结果。

（2）SVM是传统机器学习中最经典的分类器算法，利用核函数将数据从低维空间映射到高维空间中，并寻找一个超平面进行分类。在SVM中，以半径为2.0的高斯径向基函数为核函数，采用网格搜索法进行五次交叉验证，得到最优的惩罚因子c=0.5743和核参数g=0.1436。

（3）RF是将多个决策树集成的一种算法，在本实验中，RF参数选择30层。

（4）kNN主要通过判断k个样本中哪个类别的样本数最多。该样本便属于此类，本实验选择的最优k值为4。

从四次实验中取100次实验结果的平均值，得到平均识别率。其中，分类器ELM的准确率为99.11%±1.07%，SVM的准确率为99.49%±0.89%，RF的准确率为99.17%±0.61%，kNN的准确率为98.13%±1.6%，实验结果已达到较高的分类精度。根据最优的分类结果即SVM的分类结果绘制混淆矩阵分析，混淆矩阵结果如图3所示，class1～class6分别代表肩关节前屈、肩关节外展、旋转前臂、肩关节旋转、肩关节后伸和前臂前伸6种基本康复运动单元。结果显示，SVM在分类过程中，仅有2例肩关节旋转动作被SVM误分类为肩关节后伸动作。由于在数据采集过程中，测试员为了模拟不同人体的状态和习惯，在演练相同的动作时刻意改变了自身原有的习惯，进而导致不同的动作类别可能会具有一定的相似度。分类器在分类时便会难以区分两例相似度较高的肩关节旋转和肩关节后伸动作。

图3 SVM分类混淆矩阵

4 讨论

脑卒中患者的上肢运动功能康复有助于其回归正常的生活状态，实现上肢康复运动基本动作单元识别对于预测脑卒中患者的康复情况具有重要意义。前人在上肢动作识别研究中用于分类人体上肢部运动的较少[14,16-17]，相较于其他研究学者采用肌电信号进行动作识别[13,15,17]，本研究采用惯性传感器进行手部动作数据采集，所采用的JY901模块可以通过蓝牙进行数据传输，有效避免了信号线对人体活动的限制，基于运动原语的概念，采集了6种基本康复运动单元用于实验。针对文章利用惯性传感器采集的人体上肢部分的肩关节前屈、肩关节外展、旋转前臂、肩关节旋转、肩关节后伸和前臂前伸6种基本康复运动单元的数据，为了去除数据噪声，本研究使用平滑滤波器对数据进行平滑处理，然后利用固定长度的滑动窗口对动作序列进行采样，提取平均值、标准偏差、最大值、最小值、峰度值、偏度值、信息熵、峰-峰值、波形因数、波峰因数和脉冲因数等统计学特征构成统计学特征向量，将获得的特征数据随机分为测试集（70%）和训练集（30%），构建了适用于小样本识别的SVM、ELM、RF、kNN分类器，对以上6种基本康复运动单元进行了分类识别，平均识别率达到了99%，验证了通过惯性传感器采集人体上肢动作数据并可用于识别的有效性。

本研究主要采用基于惯性传感器的运动数据进行脑卒中患者上肢康复运动基本动作单元分类，取得了较好的分类精度，但仍存在一定的局限性，实验采集及识别的动作数据属于基本动作单元，动作类型较为简单，仅适用于脑卒中患者的早期康复锻炼，在后期我们将研究适应环境的交互动作的采集及识别以及具有自适应性的脑卒中患者康复动作识别，尽量帮助脑卒中患者尽快回归正常生活状态，为惯性传感器应用于远程监督锻炼、智慧医疗提供可能性研究参考。