基于Kinect动作交互模式的脑瘫康复训练系统设计①

卢振利 沈玄霖 刘 军③ 张国栋 葛晨斌 波罗瓦茨·布朗尼斯拉夫 李 斌

(*常熟理工学院电气与自动化工程学院 常熟 215500)(**中国科学院沈阳自动化研究所机器人学国家重点实验室 沈阳 110014)***常熟市第二人民医院康复医学科 常熟 215500)(****浙江大学生物医学工程与仪器科学学院 杭州 310027)(*****大连国通电气有限公司 大连 116650)(******诺维萨德大学技术科学学院 诺维萨德 21000， 塞尔维亚)

基于Kinect动作交互模式的脑瘫康复训练系统设计①

卢振利②***沈玄霖***刘 军③****张国栋*****葛晨斌*波罗瓦茨·布朗尼斯拉夫******李 斌**

(*常熟理工学院电气与自动化工程学院 常熟 215500)(**中国科学院沈阳自动化研究所机器人学国家重点实验室 沈阳 110014)***常熟市第二人民医院康复医学科 常熟 215500)(****浙江大学生物医学工程与仪器科学学院 杭州 310027)(*****大连国通电气有限公司 大连 116650)(******诺维萨德大学技术科学学院 诺维萨德 21000， 塞尔维亚)

设计了以Kinect为交互设备的脑瘫康复训练系统。该系统针对上、下肢康复运动设计了运动捕捉功能及运动数据记录、分析和评价功能，通过对脑瘫患者的实际考察和数据研究，对程序进行整改。系统还设计了动作数据记录和评价功能，可结合不同案例进行多疗程数据记录和分析评价，以便更好地了解患者的目前情况和训练后的康复情况，为医生和康复治疗师提供治疗佐证数据。

Kinect, 动作交互, 脑瘫康复训练系统, 骨骼跟踪

0 引 言

目前对脑瘫的预防和康复治疗是世界性的大难题，众所周知，脑瘫患儿的病因复杂、临床表现差异大、发病机制多样复杂，可能伴有8种并发症且易受环境、社会等因素的影响，从世界范围看脑瘫发病率仍然量上升趋势。目前尚无可治愈脑瘫的药物[1，2]。诊断也没有统一的标准[3]。对待小儿脑瘫的治疗，多采用综合治疗的方式，包括外科手术法、中西药物治疗、物理治疗、矫形器辅助法、中医治疗、运动治疗、作业治疗、感觉统合治疗、音乐文体疗法等[4]。经验证明，康复训练能够有助于上述治疗。

由于脑瘫所引起的脑细胞损害是一个不可逆的过程，使脑瘫患者的肢体运动产生功能障碍，比如脚趾尖着地、双腿交叉、马蹄足、剪刀步、膝关节屈曲、手指屈曲等。而目前我国小儿脑瘫康复治疗的总体水平还不高，缺少足够数量的熟练专业技术人才，康复治疗的理论和技术还不成熟，针对这种情况，本研究基于新型体感设备Kinect动作交互模式，为偏大年龄段的少儿痉挛型脑瘫患者设计了一个康复训练系统，以开辟一种辅助康复治疗师对脑瘫患者进行长时间治疗的最有效的途径[5]。

该系统对四肢痉挛型脑瘫患者，可通过感知传感器进行数据采集记录，以辅助医生和康复治疗师对脑瘫患者进行症状分析并给出评价，为患者进行康复治疗提供帮助。改变现今脑瘫康复动作训练单一枯燥乏味的格局，系统还能将脑瘫的诊断检查及康复动作训练推向多元化。通过对脑瘫患者的肢体动作情况的数据采集和分析，辅助医生和康复治疗师来判断对患者该进行何种治疗，为实现诊断和康复训练的智能化提供技术储备。

1 脑瘫康复动作训练相关研究

从1861年威廉·约翰·利特尔发表第一篇描述脑瘫的论文后，全世界该领域的专家都纷纷进行了相关研究[6]。近年来高新科技的快速发展，加速推动了脑瘫患儿康复治疗研究的发展[7-12]。

国内外研究的部分康复动作如图1所示。

图1 典型脑瘫康复训练动作图

现有研究表明，在康复治疗领域通过游戏辅助患者进行康复治疗，可以对具有运动功能障碍的患者的康复提供很大程度上的帮助。这样不仅提高了病患的主观能动性，而且能够从训练过程中提取多种反馈信息，从而根据所得数据和患者状态提供合理的康复建议。

小儿脑瘫康复治疗要遵循康复医学的规律并符合儿童生长发育特点和需求，采用综合康复治疗方法。目前临床上常用的治疗技术为运动再学习(motor relearning program，MRP)技术。该技术的理论基础是以神经生理学、运动学、生物力学、行为科学为理论基础，以中枢神经可塑性和功能重组为理论依据，通过具有针对性的练习活动，实现功能重组，采用多种反馈(视、听、皮肤、体位等)强化训练效果。该方法强调促进功能重建的因素，主要是以下几个方面：(1)具体的而非抽象的训练项目或目标；(2)反复强调；(3)兴趣性；(4)挑战性；(5)社会交流性；(6)避免或减少损伤后的适应性改变。操作方法中强调：(1)任务导向性训练或活动聚焦性治疗；(2)遵循运动技能学习过程的特点进行训练；(3)个体化治疗；(4)以难易恰当的主动性运动为主；(5)反复强化训练；(6)指导家长参与。

运用计算机辅助技术，恰好能够充分发挥运动再学习理论及技术，大量减少康复治疗师的简单重复工作，提高脑瘫儿童的治疗效果。

为此，通过对脑瘫患儿康复治疗的了解，用Kinect中的骨骼扫描动作识别来对脑瘫患儿进行肢体动作方面的数据记录，并通过Kinect研发的游戏来促进脑瘫患儿动作，以游戏的形式对脑瘫患儿进行康复治疗。通过对康复治疗的研究，辅助康复治疗师从生理和心理上帮助脑瘫患儿实现生活自理的能力。

以触摸气球的游戏形式来处理脑瘫患儿上肢的运动康复治疗，并通过实验记录数据、进行分析、整改程序，进一步准确地评定患儿的康复情况。

2 系统设计

本文针对年龄偏大一些的痉挛型脑瘫患儿，设计了脑瘫康复动作训练系统。该系统可针对训练患者动作进行实时捕捉、记录和评价。

2.1 系统组成

该康复训练系统由主体(训练者)、感知传感器、PC机及显示屏组成。如图2所示，主体站在感知传感器前，感知传感器通过对主体的影像识别，将数据采集到PC机中，PC机再通过感知传感器对数据进行处理，并将所得数据和结果在显示屏上反馈出来。

图2 系统组成图

本文选择Kinect作为感知传感器配合PC机来进行设计。原因之一是Kinect无需借助任何控制器，只要通过自带摄像头即可捕捉玩家在三维空间中的动作情况，使得系统变得更加简易操作。其次，Kinect还能让系统接受命令、辨认声音和辨识人脸，特别适合用于对脑瘫康复动作训练进行动作捕捉和数据记录。因此，我们选取Kinect，通过同PC机相连，使用它的红外投影机、彩色摄像头[13-15]和红外深度摄像头对使用者进行数据采集，并将所得到的数据绘制成人体骨骼图，实现骨骼跟踪[16]。

同时，Kinect用三轴加速度感应器(Tri-Axis Accelerometer)来处理倾斜补偿，以确保Kinect在处理深度数据时能保持拥有良好的准确性。在骨骼识别时，可以准确地判断2个骨骼之间是否水平，以确保通过传感器所测得的图像数据真实有效，不会对我们进行骨骼跟踪分析时带来影响，将误差降到最低[17]。

2.2 软件系统

软件系统选择建立在配置了OpenCV2.4.9的Visual Studio C++ 2010上，通过C++汇编语言对Kinect进行编程，来实现骨骼跟踪，随后对人体动作进行数据记录和分析，以便识别。再根据所设计的几个动作，综合脑瘫患者实情，实现康复训练动作捕捉记录系统的设计。

骨骼跟踪是本论文设计的基础。骨骼跟踪是通过Kinect中的Light Coding进行深度测量，然后通过红外摄像头和红外投影机获取近红外光谱，再处理深度影像，将深度图像转换成骨骼图像来实现[18]，如图3所示。它可以检测出人体20个骨骼关节点，来获取到人体骨骼数据，然后形成骨骼拓扑结构[19]。

图3 将深度图像转换成骨骼图像

开启Kinect骨骼数据流后，当有人出现在Kinect有效视野范围内时，Kinect将迅速检测出人体并实时跟踪人体骨骼。其步骤如下：

(1)Kinect获取人体20个关节点相对于Kinect骨骼坐标系的三维坐标数据；

(2)根据坐标变换将骨骼三维坐标系变换到屏幕二维坐标系；

(3)根据人体骨骼拓扑结构构建人体骨架，并使其可视化。

图4 动作捕捉系统

本系统的骨骼信息包括每个关节在骨骼空间中的三维坐标(x，y，z)(单位为m)，为右手坐标系，如图3～图7所示。也就是说，从正面朝对Kinect看过去的人来说，以本人为中心，X轴向右为正，向左为负。Y轴向上为正，向下为负。Z轴则是越靠近Kinect传感器越小，越远离Kinect传感器越大。本系统中人体动作显示过程如图4所示。系统人体显示效果图如图5所示。

图5 动作显示

3 动作评定设计

据调查研究发现，痉挛性脑瘫患者具有如下症状：(1)肢体的灵活性下降，关节僵硬;(2)肌力不能充分发挥;(3)肌腱反射亢进;(4)肌肉被牵拉伸展时出现强烈的阻力;(5)常出现过强的屈肌反射。而脑瘫患儿上肢的痉挛与挛缩会使上肢功能受到很大影响, 主要表现为伸手、抓握和释放等基本功能受损, 不同程度地影响日常生活能力[20,21]。对此，通过对脑瘫患者功能受损状况的了解，制定康复计划,辅助其进行康复治疗，并进行实施监控和数据记录，判断疗效,实现动作交互[22]。

3.1 动作识别原理分析

3.1.1 角度识别法

由于每当Kinect所识别的人做动作时，人体每个骨骼的坐标位置、两骨骼坐标间的相对位置和各骨骼间的夹角都会发生变化，所以为了对动作进行识别，我们用角度识别法，通过对两骨骼间夹角变化的研究，来对人体动作进行识别。

3.1.2 三维距离识别法

先确定2个关节的三维坐标。右肩膀(SHOULDER_RIGHT)，右手手掌(HAND_RIGHT)，S表示pq间的距离。设定右肩膀p的三维坐标为右手手掌q的三维坐标，那么pq在x轴、y轴、z轴上的距离S1、S2、S3的值就是pq各维度坐标的差值。

3.2 动作设计

通过实验采集数据、制定动作方案，来对脑瘫康复训练动作捕捉记录系统进行动作设计。其动作包括举手、屈伸手臂和抬腿3个部分，通过识别这三个康复动作，可以辅助治疗师对患者进行该项目的康复治疗，并记录当前治疗情况，帮助患者达到肩关节、肘关节、膝关节等关节的活动康复训练，来提高患者动作的协调运动能力和灵活性，改善各关节的动作功能。

3.2.1 肘关节屈曲动作

肘关节屈曲动作如图6所示。

图6 肘关节屈曲动作

通过对脑瘫患者肘部关节的运动进行康复治疗，调节肌肉收缩，改善由于肱桡肌、肱二头肌、肱肌痉挛引起的肘关节屈曲，提高手臂的协调能力和灵活性。

由于肘关节屈曲动作时很难找到两个固定的参照点使该动作在不同的情况下都处于固定的相对值，所以经过比较分析，下面通过使用方法一(通过关节角度判断动作完成情况)来对人体肘关节屈曲动作时手臂和小臂间的夹角进行数据采集并分析，从而达到对肘关节屈曲动作进行康复治疗的目的[23]。如图7所示，通过C++程序cout<

为了方便观察和记录，我们设定当使用者手臂处于伸直状态时，即大于160°时开始，每当肘关节屈曲达到标准一次(从伸直到屈曲)，即小于80°时，达标次数增加一次。当使用者手臂处于伸直状态时，即大于160°时开始，每当肘关节屈曲一次(从伸直到屈曲，无论达标或未达标)，即小于160°时，弯曲(包括达标的和不达标的)次数增加一次。

图7 肘关节屈曲实验数据图

3.2.2 肘关节屈曲动作

手臂上举动作如图8所示。

图8 手臂上举动作

通过对脑瘫患者肩部关节的锻炼，改善其由于旋前圆肌和旋前方肌痉挛引起的前臂旋前等症状。

由于双手上举动作单一，且伸手到顶后手掌到肩膀的距离接近于一个定值，所以经过比较分析，我使用方法二(通过关键点距离判断动作完成情况)来对患者手臂上举时手掌到肩膀的距离进行数据采集并分析，从而正确地判断患者的举手情况，如图9和图10所示。图中数据记录了举手时手掌到肩膀的x轴方向的距离和y轴方向的距离。经实验数据分析，当举手时，手掌到肩膀沿x轴方向的坐标差为0.1m，手掌到肩膀沿y轴方向的坐标差为-0.4m。当放手时，手掌到肩膀沿x轴方向的坐标差为0.1m，手掌到肩膀沿y轴方向的坐标差为0.4m。

图9 放手时实验数据图

图10 举手时实验数据图

3.2.3 抬腿动作设计

通过对脑瘫患者膝关节、髋关节和臀关节的运动进行康复治疗，调节肌肉收缩，以改善由于腘绳肌痉挛引起的屈膝，由于髂腰肌、股直肌痉挛造成的屈髋以及由于内收肌痉挛引起的的双下肢内收，提高走路的协调能力和灵活性。

抬腿动作选用方法一来记录和评价髋关节和膝关节的训练效果[24]。完成抬腿动作时要检测两个关键数据，即第一阶段抬起时需要大腿和小腿之间夹角接近97°；之后伸直时大腿和小腿之间夹角接近173°，实验结果如图11、12所示。

图11 抬腿时实验数据图

图12 腿伸直时实验数据图

4 情景设计及评价

为了让所设计的脑瘫康复治疗系统更具人性化和趣味性，在该系统中插入了一个“气球”，该“气球”是通过填充了颜色的圆来充当的，每当使用者达标一次相应的动作时，这个“气球”就会放大一定的倍数，直至填充整个屏幕。

另外，考虑到患者在做康复训练时可能会因为长时间做相同动作而乏味，或是因为没达标而失落，在该脑瘫康复系统中加入了3段文字，来鼓励脑瘫患者检查做康复训练。方案如下：

(1)当评分小于60时，显示“Come on”，表示加油，来让患者加油，不要放弃，尽量去做。

(2)当评分在60到80之间时，显示“You can do it”，表示你能行，来鼓舞患者再接再厉，争取取得更好的成绩。

(3)当评分大于80时，显示“Perfect”，以对患者表示恭喜，完美达标了。

此外，动作10次为一个周期，当做了10次后重新开始。

实际情景图如图13所示。人机交互自测步骤如下：

步骤1：先拍手，然后双上肢举起。两肩关节屈曲180°，肘关节、腕关节伸直，手张开。

步骤2：再拍手，然后双手放到背后。两肩关节后伸，双手尽量在躯干后触碰到一起。

步骤3：再拍手，然后双上肢交叉抱起，然后以手拍肩。肩关节内收、肘关节屈曲，手张开，出现屈、伸动作。

步骤4：再拍手，然后手心向上伸出，再手背向上。肩关节屈曲90°，肘关节伸直，前臂旋前、旋后。

目的：通过双上肢及手的动作，达到肩关节、肘关节、腕关节的关节活动康复训练，来提高患者动作的协调运动能力和灵活性，改善各关节的动作功能。

图13 人机交互自测情景图

5 实验与分析

以一个星期为一个周期，利用该康复训练系统，通过对常熟第二人民医院的某脑瘫患者进行为期4个周期的康复运动训练，记录相关数据，针对各个情况的患者准确地判断其该进行何种治疗。

先对每个周期内每天的情况进行数据分析和趋势分析，并计算出该周期的平均值，再对4个周期进行统筹性地数据分析观察其趋势。

前4周各周的举手、弯曲手臂和抬腿动作分数统计表、折线统计图以及以这4个周期举动作的平均值为数据制成的折线统计图和统计表，各动作数据如图14～图19所示。

图14 举手分数统计表、折线统计图

图15 各周期折线统计图和统计表

图16 屈伸手臂分数统计表、折线统计图

图17 各周期屈伸手臂动作折线统计图和统计表

图18 抬腿动作分数折线统计图和统计表

图19 各周期抬腿动作折线统计图和统计表

6 结 论

根据脑瘫康复治疗的国内外现状，主要针对痉挛型脑瘫患者，提出了以Kinect为感知传感器设计的脑瘫康复训练系统。该系统通过游戏的方式辅助康复治疗师对脑瘫患者的肩关节、肘关节、腕关节、臀关节、膝关节和腰部，设计了举手动作、弯手动作和抬腿动作的规则，进行康复治疗；同时对患者的康复运动进行实时数据采集和分析，并给出评价，为脑瘫康复治疗的智能化提供了技术储备。

[ 1] Mutch L W, Alberman E, Hagberg B, et al. Cerebral palsy epistemology: where are we now and where are we going.DevelopmentMedicineandChildNeurology, 1992, 34: 547-555

[ 2] 何竞,黄长琼,张永玲等. 针灸治疗小儿脑性瘫痪的研究现状及展望. 针灸临床杂志, 2002, 18(7): 54-58

[ 3] 李燕春. 小儿脑性瘫痪的早期诊断与早期治疗. 中国康复理论与实践, 2003, 9(9): 461-462

[ 4] 王辉. 国内脑瘫儿童康复研究的现状及趋势. 中国特殊教育，2004, 44(2): 85-90

[ 5] Saposnik A G, Mamdani M, Bayley M, et al. Effectiveness of virtual reality exercises in stroke rehabilitation (EVREST): rationale, design, and protocol of a pilot randomized clinical trial assessing the will gaming system.InternationalJournalofStroke, 2010, 5(1): 47-51

[ 6] 杨李,吴德,唐久来. 小儿脑瘫病因学的研究进展. 中国实用儿科杂志, 2008, 9: 710-712

[ 7] Milivcj V. Treatment of cerebral palsy in the past, nowadays and in the future.JournalofAppliedClinicalPediatrics, 2003, 18(3): 158-159

[ 8] 李晓捷. 正确把握小儿脑性瘫痪康复治疗的方向. 中国康复医学杂志，2006, 21(12)：1059-1060

[ 9] 李晓捷,陈秀洁，姜志梅. 实用小儿脑性瘫痪康复治疗技术. 北京：人民卫生出版社，2009. 514

[10] 胡莹媛. 小儿脑性瘫痪的康复. 中国康复理论与实践, 2003,9(4):195

[11] 陈立典. 传统康复方法学. 北京：人民卫生出版社，2006. 3-5

[12] 胡莹媛.小儿脑瘫的早期诊断和康复治疗问题. 2005, 11(9): 777

[13] Zhou F, Torre F D, Hodgins J K. Hierarchical aligned cluster analysis for temporal clustering of human motion.IEEEtransactiononPAMI, 2013, 35(3): 582-596

[14] Ramanathan M, Yau W Y, Teoh E K. Human action recognition with video data: research and evaluation challenges.IEEEtransactionsonhuman-machinesystems, 2014, 44(5):650-663

[15] Everts I, Gemert J C, Gevers T. Evaluation of color spatio-temporal interest points for human action recognition.IEEEtransactionsonimageprocessing, 2014, 23(4):1569-1580

[16] 吴秦, 陈智, 周宇旋等. 基于Kinect骨骼跟踪技术的人机交互. 常州大学学报(自然科学版), 2014, 9(3): 6-12

[17] 余涛. Kinect应用开发实战：用最自然的方式与机器对话. 北京.机械工业出版社，2012. 11

[18] 王森. Kinect体感程序设计入门：使用C#和C++. 北京: 科学出版社，2014. 11

[19] 朱国刚,曹林. 基于Kinect传感器骨骼信息的人体动作识别. 计算机仿真, 2014, 31(12): 329-333+345

[20] 代艾波,瞿畅,朱小龙等. 体感交互技术在运动康复领域的应用. 中国康复理论与实践, 2014, 20(1): 41-45

[21] 史惟. 脑瘫儿童上肢功能障碍的评价与治疗. 中国康复理论与实践, 2007, 13(12): 1121-1123

[22] Stuart K C, Moran T P, Allen N. The key-stroke-level model for user performance time with interactive systems.CommunicationoftheACM, 1980, 23(7): 296-410

[23] 丁伟利,郑亚卓,苏玉萍等. 基于Kinect交互的上肢虚拟康复系统设计与研究. 生物医学工程学杂志, 2015, 3(3): 563-568

[24] 宋爱国,倪得晶,李会军等. 基于Kinect视觉步态分析的情景交互康复训练方法. 中国专利, CN103598889A. 2014-2-16

Design of a cerebral palsy rehabilitation training system based on Kinect motion interactive mode

Lu Zhenli***， Shen Xuanlin***， Liu Jun****， Zhang Guodong*****， Ge Chenbin*， Borovac Branislav******, Li Bin**

(*School of Electrical Engineering and Automation, Changshu Institute of Technology, Changshu 215500)(**State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110014)(***Department of Rehabilitation Medicine, Changshu No.2 People’s Hospital, Changshu 225500)(****Faculty of Biomedical Engineering & Instrumentation Science, Zhejiang University, Hangzhou 310027)(*****Dalian Guo Tong Electric Co.LTD, Dalian 116650)(******Faculty of Technical Sciences, University of Novi Sad, Trg Dositeja Obradovica 6, 21000-Novi Sad, Serbia)

A cerebral palsy rehabilitation training system was designed by using the Kinect motion interactive mode. The motion capture function and the data recording, analysis and evaluation function were designed in the system for the rehabilitation of upper limbs and lower limbs. The system can modify the program through the actual investigation on cerebral palsy patients and data analysis. It also has the action data recording and evaluation function for recording and evaluating the data from multi-course treatment by combining different cases to better understand patients’ current training and rehabilitation to provide the treatment data for doctors and therapists.

Kinect， motion interaction, cerebral palsy, cerebral palsy rehabilitation training system, skeletal tracking

10.3772/j.issn.1002-0470.2016.12.011

①中国-塞尔维亚政府间科技合作委员会第3届例会项目(国科外字[2015]266号3-1), 机器人学国家重点实验室开放基金(2014-O08)，校新引进教师科研启动项目(XZ1306)资助。

2016-07-26)

②男，1974年生，博士，教授；研究方向：机器人智能控制，蛇形机器人，机器人人机交互；E-mail: zhenlilu@cslg.n

③通讯作者，E-mail: zhenlilu@cslg.cn