基于Kinect传感器的康复训练系统*

杨文璐，占婵

（上海海事大学信息工程学院，上海201306）

基于Kinect传感器的康复训练系统*

杨文璐，占婵

（上海海事大学信息工程学院，上海201306）

针对脑卒中患者后期的康复训练需求，设计并实现了一个基于Kinect传感器的实时康复训练指导系统。该系统利用Kinect传感器实时采集人体动作信息，同时通过与标准动作库中的关键姿势序列进行比对，得出相应的匹配结果，指引患者进行正确的康复训练。实验表明该系统能够准确地判断动作的完成度，对康复训练具有指引作用。

Kinect传感器；康复训练；运动指导；关键姿势匹配

0 引言

在脑卒中患者的后期治疗中，康复训练是一种强大的干预，能够有效地促进患者的康复[1]。康复训练是一个长期的过程，相同的康复动作往往需要成千上万次的重复练习。因此，可以进行自主康复锻炼的患者常需要在无人监视的情况下进行自主康复训练。然而，康复训练的内容需要专业医生为患者量身定制，不遵循规范的康复训练不仅达不到预期的康复效果，而且可能造成对患者身体的伤害。当前的康复指引通常仅限于康复医生的当面指导和书面或视频的指示，这使得患者在训练过程中无法得到及时的反馈信息，无法判断自己的康复方式是否正确，临床医生也无法获取患者的康复训练信息，难以对下一步的康复治疗做出及时的调整。

基于以上康复训练的需求，本文设计并实现了一个基于Kinect传感器的康复训练指导系统，利用Kinect传感器获取人体关节点坐标[2]，采用关键姿势匹配的方式跟踪康复动作的进度，计算动作偏差，从而引导患者进行正确的康复训练。该系统使得患者在家庭环境下也能进行安全、高效的康复锻炼，此外系统中记录的康复数据有利于康复医生及时调整康复计划，提高患者的康复效率。

1 总体设计

参照真实的康复训练过程，设计了基于Kinect体感交互技术的康复训练指导系统。系统总体结构如图1所示。该系统通过Kinect传感器实时采集人体运动信息，获取人体运动过程中关节点的三维坐标，并将三维坐标时间序列转换为角度时间序列。模板训练时采用模糊C均值聚类算法（FCM）搜寻到各动作序列中的关键姿势作为模板，并将角度时间序列表示的姿势与数据库（存放专业康复医生为患者量身定制的康复动作的模板）里模板库中的关键姿势进行匹配，并在系统界面上将匹配结果反馈给患者，引导患者做出正确的康复动作。

图1 系统总体结构

2 系统实现

2.1 骨骼数据的获取

骨骼追踪技术是Kinect的核心技术之一[3]。启动Kinect传感器后，Kinect传感器通过发射和接收红外数据可以获取人体20个关节点的三维坐标位置。坐标数据对不同体型的人十分敏感，为减小体型差异造成的误差，本系统利用两点法[4]将三维坐标数据转化为16个角度数据。每个动作都可以用一个二维矩阵PN×M来表示，其中N为该动作总的帧数，M的值为16，代表16个角度。

2.2 关键姿势的提取

在2.1节中，用角度时间序列表示了动作的具体信息。系统中采用模糊C均值聚类（FCM）算法提取动作中的关键姿势，关键姿势也是由一组角度向量来表示的。模糊C均值聚类是用隶属度确定每个数据点属于某个聚类程度的一种聚类算法，是早期硬C均值聚类（HCM）的一种改进[5]。

动作的二维矩阵PN×M可以看作是N个姿势序列，FCM算法在标准动作的N个姿势序列中提取关键姿势。其具体方法如下：

把n个向量xi（i=1，2，3…，n）（即PN×M的行向量）分为c个模糊组，并求出每个模糊组的聚类中心C=（c1，c2，…，cc），使得非相似性指标的价值函数达到最小。

其中，uij表示数据点xi属于聚类中心cj的概率。

FCM聚类算法的目标函数为：

其中m是一个加权指数，m∈［1，∞）。

聚类中心的计算公式如下：

FCM算法的具体步骤如下：

（1）随机初始化uij。

（2）利用uij来计算聚类中心，如式（3）。

（3）利用上一步得到的聚类中心来重设uij的值，uij=

（4）重新计算每一类的聚类中心，直到聚类中心不再改变，算法终止。

通过对标准动作角度序列的FCM聚类，将动作聚为3类，得到3个聚类中心，将其作为关键姿势；另外，由于起始姿势和动作完成时的姿势是判断动作开始和结束的关键，因此同样将这两个姿势作为关键姿势。故共有5个关键姿势，表示为：

pose1=[θ1，1，θ1，2，…，θ1，16]；

pose2=[θ2，1，θ2，2，…，θ2，16]；

pose3=[θ3，1，θ3，2，…，θ3，16]；

pose4=[θ4，1，θ4，2，…，θ4，16]；

pose5=[θ5，1，θ5，2，…，θ5，16]。

2.3 关键姿势的匹配

为实现系统的动作指导功能，首先须判断当前的动作是否与标准动作一致。本系统采用关键姿势匹配的方式来实现这一功能，其主要方法是计算姿势之间的相似性。在数据库中存放了用关键姿势来表示的标准的动作模板。

系统运行时，Kinect以30帧/s的速度采集动作数据。将实时采集到的数据用2.1节所述的方法转化为角度数据，并与模板中的关键姿势进行欧式距离匹配[6]，欧式距离计算公式如下：

设置匹配距离阈值λ，当Dis＜λ时，关键姿势匹配成功，此时系统认为完成了该关键姿势相对应的分动作。对于每个动作都将相应的关键姿势模板与实时动作进行顺序匹配，前一个关键姿势匹配成功后将自动跳转到下一个关键姿势进行匹配。若5个分动作均顺序匹配成功，则认为该动作完成。

图2是正确动作下左手侧提180°的5个关键姿势欧式距离匹配结果。图中横线以下的点表示匹配成功的点。易看出该动作与标准动作的5个关键姿势均匹配成功。

图2 欧式距离匹配结果

匹配流程如图3所示。当相应的关键姿势与当前的动作有6帧匹配成功时，则系统认为相应的分动作完成，并开始下一个关键姿势的匹配，直到动作完成为止。动作完成后系统给出总的得分。得分结果是由各分动作的完成情况综合决定的。

2.4 结果反馈

图3 关键姿势匹配流程

本系统是在Unity3D中开发实现的，其交互界面如图4所示，界面右上角为患者播放标准动作的录制视频，患者只需模仿视频中的动作即可。界面右下方是周围环境的彩色图像。界面中间虚拟人物的动作与患者的动作数据进行了绑定，虚拟人物的动作与当前患者的动作一致。动作完成后界面将显示每个分动作的得分和总的得分。若匹配失败，界面将在相应的位置显示“动作错误”。每个分动作的匹配结果均会实时地展示在界面上，以达到对患者动作进行指引的目的。

图4 系统交互界面

3 实验结果与分析

为验证系统的可靠性，选取20名健康的志愿者，其中8名女性，12名男性，年龄均在22～28岁之间，在系统提示下完成康复动作，每个动作类型均重复5次。表1列出了系统的关键姿势匹配结果，其中错误动作1是只完成了整个动作中的前4个分动作，错误动作2是只完成了整个动作中的前3个分动作，错误动作3是只完成了整个动作中的前2个分动作，错误动作4是只完成了整个动作中的前1个分动作。

表1 关键姿势匹配结果

实验结果表明，用关键姿势匹配的方法判断动作是否完成是可行的，该系统能够准确地反馈动作信息，实时告知患者动作的完成度。当用户的动作在某一过程中出现错误时，相应的关键姿势将匹配失败，此时系统能够及时地将错误的信息反馈给用户，提示患者该过程中的动作不到位。该系统在监视用户动作的同时具有动作指引功能，并且能够记录患者的康复训练信息，便于康复医生及时调整康复计划，有利于患者进行科学、高效的康复训练。

4 结束语

本系统将Unity3D中的虚拟人物与Kinect传感器获取的骨骼位置信息进行绑定，从而控制虚拟人物的运动，虚拟现实的渲染为康复训练增添了乐趣；将整个动作分解为几个关键姿势再进行匹配的方式，实现了对动作完成度的评估，并让患者及时纠正动作过程中的错误，克服了只进行整体评判时对动作过程中出现的错误敏感度不高的问题。此系统对硬件设备要求不高，实时性好，可为家庭式康复系统的开发提供参考。

[1]LEE J D，HSIEH C H，LIN T Y.A Kinect-based tai chi exercises evaluation system for physical rehabilitation[C]. IEEE International Conference on Consumer Electronics（ICCE），2014：177-178.

[2]BISWAS K K，KUMAR B S.Gesture recognition using Microsoft Kinect[C].Proceedings of the 5th International Conference on Automation，Robotics and Application：IEEE，2011：100-103.

[3]余涛，叶金永，邵菲杰，等.Kinect核心技术之骨架追踪技术[J].数字技术与研究，2012（10）：115.

[4]战荫伟，于芝枝，蔡俊.基于Kinect角度测量的姿势识别算法[J].传感器与微系统，2014，33（7）：129-131.

[5]Lv Fengjun，NEVATIA R．Single view human action recognition using key pose matching and viterbi path searching [C].Proc of IEEE Conference on Computer Vision and Pattern Recognition，2007：1-8．

[6]宣国荣.模式识别中欧式距离特征选择新方法[J].中国电子学术杂志，1984（6）：5-12.

Rehabilitation system based on Kinect sensor

Yang Wenlu，Zhan Chan
（College of Information Engineering，Shanghai Maritime University，Shanghai 201306，China）

Targeted the later requirements of stroke patients，a real time guidance of rehabilitative training system based on Kinect sensor is designed and implemented.This system uses Kinect sensor collecting real-time human motion information.At the same time，it feedback the matching results to the user through comparison with critical posture sequence standard action in the library，and guides the user carry on the correct recovery training.Experiments results show that the system can accurately determine the completion degree of the action，and can be a guidelines for rehabilitation.

Kinect sensor；recovery training；movement instruction；key pose matching

TP391

A

1674-7720（2015）11-0086-03

2015-02-05）

杨文璐（1967-），男，工学博士，副教授，硕士生导师，主要研究方向：生物信号处理。

上海市科学技术委员会科研计划项目（12441903500）

占婵（1990-），女，在读硕士，主要研究方向：智能信号处理。