面向个性化患者的上肢康复训练系统

李志成，李晋芳，莫建清，何汉武

（广东工业大学机电工程学院，广州 510006）

面向个性化患者的上肢康复训练系统

李志成，李晋芳，莫建清，何汉武

（广东工业大学机电工程学院，广州 510006）

传统的上肢康复治疗以被动式训练为主，需要在康复师或辅助器械的帮助下进行康复训练，存在效率低、人力和物力成本高的缺点。因此，提出一种主动式上肢康复训练系统的方案，开发上肢康复训练系统。在此基础上，该系统通过Kinect采集人体的肢体运动参数，驱动虚拟场景发生相应的变化。为了满足不同人群的上肢康复需求，提出一种以XML存储康复训练方案的方法，通过对XML文件进行解析，建立个性化的虚拟场景，从而实现训练场景的动态配置。

0 引言

现阶段上肢康复训练的主要方式还是在有经验的医师和相关医疗器械的辅助下进行，属于被动式康复训练[1]。随着康复医疗的不断发展，上肢患者对康复质量的要求也不断提高。同时，上肢患者对康复训练的需求也不断增大，在有限医疗资源的情况下，传统的康复训练方式不能满足患者的康复需求。另外，在被动康复训练的过程中重复机械动作，患者会降低积极性，影响治疗效果。因此，康复训练方式的改进很有必要[2]。

主动康复训练是指以患者的意愿为出发点，让患者有目的性地参与康复训练。相比于传统的被动康复治疗，该治疗方式更加新颖和灵活。2010年，微软公司发布了传感器Kinect，该设备可检测用户并获取人体的骨架信息和场景中物体的深度图像信息，还具备语音识别功能[3]。Chang等[4]开发的基于Kinect的Kinempt系统，通过干预患者的手部和腕部动作，把患者训练动作的正确率提高了50%。Belinda等[5]以Kinect传感器为基础，开发了适用于脊柱损伤患者的康复游戏，并实现实时跟踪。但是，目前的康复系统在虚拟场景的设计上比较单一，缺乏个性化治疗的方案，不能满足不同情况上肢患者的康复需求。鉴于此，本文提出研究上肢康复训练中场景的动态配置，建立上肢康复训练系统。该系统以上肢患者的康复需求为依据，把个性化患者的康复训练方案存储在XML文件中，通过对XML文件的解析，动态配置虚拟训练场景。患者在满足自身康复需求的场景中进行训练，会大大提高其康复积极性，不容易感到枯燥无味，有利于提高其康复主动性，康复效果也会更加明显[6]。

1 系统功能需求分析

对于实际情况不同的患者，其训练场景的需求不同。患者的具体情况包括了年龄、性别、病情、爱好、职业等。针对情况不同的患者，在场景的设计中应该考虑患者的实际需要，建立针对个性化患者的虚拟场景，实现场景的动态配置。

患者在训练过程中，需要与虚拟场景进行交互操作。因此，系统需要采集患者的肢体运动参数，并传输到计算机，为实现交互操作提供数据。

上肢康复训练的内容主要包括肩关节、肘关节和腕关节的训练。在训练过程中，患者需要达到高效康复训练的目的，系统必须符合标准。因此，在交互过程中，设计的交互动作需要满足有效性、安全性和可靠性。

根据功能需求分析，将上肢康复虚拟系统划分模块，包括数据采集模块，用于采集患者上肢的关节运动参数；场景动态配置模块，该模块需要实现根据不同情况的患者，结合具体康复方案生成虚拟训练场景的功能；交互模块，根据上肢患者的交互需求，设计交互动作，实现患者与虚拟场景之间的交互，为训练中的患者提供真实感和沉浸感。

2 康复系统的方案设计

通过对上肢康复系统进行功能需求分析，得出系统总体方案设计的整体架构如图1所示。

数据采集模块。人体的肢体运动参数采集方式有多种，包括人体表面肌电信号的采集、传感器采集、数据手套采集等。但是上述数据采集方式需要患者肢体穿戴相对应的数据测量仪器，不利于患者训练的主动性。微软公司体感设备Kinect[7]通过获取人体的深度图像数据，识别出人体的骨架关节点信息。在数据的采集过程中，患者不需要穿戴仪器。因此，系统数据采集模块选择Kinect设备完成，该方法有利于患者的主动康复。

场景个性化配置模块。该模块需要根据患者的康复方案来建立场景，场景的相关信息包括场景中的相关场景元素及其基本属性，这些信息可以通过XML文件记录下来，通过解析XML文件，从场景元素库中读取和加载模型，完成场景的动态配置。

交互模块。为了实现患者与虚拟场景的交互，提高康复效率，选择Unity引擎实现。Unity是专业的游戏开发引擎，内置精度较高的物理引擎。当场景中的物体具有了物理属性，包括质量、重力、摩擦力等，患者与虚拟场景的交互会更加贴近现实情况，提高患者的真实感和沉浸感。

3 系统的功能实现

患者在康复训练中，需要通过上肢动作驱动虚拟场景。因此，患者需要被采集的上肢关节运动信息包括腕关节、肘关节和肩关节。

本系统采用体感设备Kinect第二代进行患者运动信息的采集。相比第一代，其具有更高的精度和分辨率，可以捕获人体25个关节点数据[8-9]。

Kinect采集人体骨骼数据是基于深度图像，经过去噪处理，实现对人体骨骼点的实时跟踪。因此，在康复训练中，患者的上肢关节位置数据可以被实时检测，为患者与场景的交互提供了数据的输入。

（1）配置方法

针对上肢患者康复需求的不同，在虚拟场景的设计中，以个性化患者的实际需求为依据，把场景中物体的基本信息，包括位置、形状等，存储到XML文件中，在Unity中，通过C#语言解析XML格式文件的数据信息。在Unity中，通过Assetbunde形式，使用www请求方法，从建立好的场景元素库中读取相应元素并加载到Unity的场景中，实现康复场景的个性化配置。由此，以患者实际情况为前提，配置虚拟场景，可以达到提高训练效率的目的。其流程图如图2所示。

图2 场景动态配置方法

（2）场景资源管理

资源的分类。场景元素库中包含的基本元素较多，为了管理基本元素，进一步实现重用和重组，配置新的场景，需要对场景资源进行分类。总体上按照下列层次分：系统层、应用层和原子层。

场景元素的添加和删除。为了满足个性化患者的需求，需要考虑场景的扩展性，系统提供接口添加基本场景元素，以满足患者对场景的需求。

（3）个性化场景示例

设定一个上肢患者病例的基本情况为：年龄段为儿童，性别为男性，职业是学生，受伤部位为肩部。根据以上信息，经过调研总结，把患者的训练场景设计为在教室的课堂上。患者对该虚拟场景比较熟悉，场景的设计也符合患者的基本情况，易于被患者接受，有利于康复训练，提高康复效率。

在虚拟场景中的物体包括教室围墙、黑板、字典和若干的桌椅，需要把这些物体的名称和位置记录在XML文件，其伪代码如下所示。

根据上述方法，在Unity中解析以上XML文件中保存的数据信息。根据相应元素的路径，从场景元素库中加载模型，并根据设置好的相关属性，包括位置、缩放等属性，在场景中动态加载，配置虚拟场景，场景示例如图3所示。

图3 虚拟场景

针对上肢患者的康复需求，患者与场景之间需要实现交互，包括抓取、移动、释放和击打动作，从而达到上肢康复的目的。

Kinect采集的关节数据与Unity 3D场景实现通信，需要通过外部插件完成，该插件是卡内基梅隆大学封装的开发包。通过开发包中的脚本，绑定人体关节点和虚拟骨骼关节点的数据信息，实现患者控制Unity 3D中的虚拟人物。

为了实现在患者与虚拟场景的交互，需要在虚拟人模型中，为虚拟手添加碰撞体，用于检测虚拟手与虚拟场景中物体的碰撞行为，触发相应的事件，实现交互。本文对虚拟手添加包围盒，如图4所示。

图4 手部添加包围盒

抓取操作。Unity的碰撞器中具有触发器的属性。在场景中，对需要被抓取的物体添加刚体属性和碰撞体属性，对IsTrigger设定为true。Kinect可以识别人手的握拳动作，当虚拟手的包围盒与被抓物体的包围盒发生碰撞，患者做出握拳动作时，把手掌的空间坐标点赋予给被抓物体的位置坐标，实现抓取交互。其流程图如图5所示。

图5 抓取流程图

移动操作。患者在抓取操作时，通过Update方法，被抓物体位置会一直更新，并保持与手掌的坐标保持一致。

释放操作。手掌的坐标赋予给被抓物体，实现移动操作后，到达目标位置，Kinect识别患者的手张开，会释放被抓物体，并放置到目标位置。

击打操作。在击打操作的场景中，被击打的物体需要添加刚体属性。当手部与物体发生碰撞，物体会在Unity物理引擎作用下的运动，会更加贴近真实情况，让训练场景沉浸感更好。

4 系统运行实例

通过对系统功能进行分析，开发面向个性化患者的康复训练系统。其运行实例如图6所示。在该实例中，主要训练患者的肩部关节。通过Kinect对关节数据的采集，在针对患者情况配置的虚拟场景中，患者通过抓取、移动和释放书籍的交互方式，训练自己的肩部关节，当书籍释放到指定位置，场景会自动更新并重新生成书籍模型，患者可以重复训练。

5 结语

在本课题研究的康复系统中，提出一种虚拟场景动态配置方法。该方法可以满足不同上肢患者的康复需求，以XML存储康复训练方案，灵活配置虚拟场景。通过Kinect采集上肢的关节数据并传输到Unity中，实现患者与虚拟场景的交互，达到了上肢患者康复训练的目的。在系统中，虚拟场景的动态配置可以满足不同患者的需求，提高其康复积极性，患者与场景的多种交互方式，有利于提高康复效率。

图6 运行实例

[1]李建军.中国康复医学发展的回顾与展望[J]．中国康复理论与实践,2011,17(1):1-4.

[2]Fucang Jia.An IGSTI-Based Surgical Navigation System Connected with Medical Robot[C].Information Computing and Telecommunications(YC-ICT),2010:49-52

[3]V Ganapathi,CPlagemann,D Koller.Real Time Motion Capture Using a Single Time-of-Flight Camera[C].IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2010:755-762

[4]Y JChang,SFChen,A FChuang.A Gesture Recognition System to Transition Autonomously Through Vocational Tasks for Individualswith Cognitive Impairments[C].Research in Developmental Disabilities A Multidisciplinary Journal,2011,32(6):2064-2068

[5]Belinda L,Chien-Yen C,Evan S,et al.Development and Evaluation of Low Cost Game-Based Balance Rehabilitation Tool Using the Microsoft Kinect Sensor[J].Conf Proc IEEEEng Med Biol Soc,2011(4):1831-1834.

[6]肖阳,徐秀林,瞿艺,安美君 基于虚拟现实技术的手功能康复评估训练系统的设计[J].中国康复理论与实践，2016(03).

[7]T.Hachaj,M.R.Ogiela and K.Koptyra.Effectiveness Comparison of Kinect and Kinect 2 for Rexognition of Oyama Karate Techniques[C].Network-Based Information Systems(NBiS),2015 18th International Conference on IEEE,2015:332-337

[8]Giles J.Inside the Race to Hack the Kinect[J].The New Scientist,2010,208(2789)：22-23.

[9]余涛.Kinect应用开发实战：用最自然的方式与机器对话[M].北京：机械工业出版社，2012.

Upper Limb Rehabilitation Training System for Individual Patients

LIZhi-Cheng,LIJin-fang,MO Jian-qing,HE Han-wu
（School ofMechanical Engineer,Guangdong University of Technology，Guangzhou 510006）

The traditional upper limb rehabilitation treatment is given priority to passive training,it needs to get rehabilitation training with the help of the rehabilitation therapistor auxiliary equipment,and ithas the disadvantages of low efficiency and high costofmanpower and materi鄄al resources.Therefore,presents a plan of active upper limb rehabilitation training system,and develops the upper limb rehabilitation training system.On the basis of this plan,the system acquires the parameters of human bodymotion through the Kinect,and drives the virtual scene to have change accordingly.In order to meet the demand of different groups of upper limb rehabilitation,puts forward a method thatusing the XML file to storage the scheme of rehabilitation training,and establishes the personalized virtual scene though pars鄄ing the XML file,so as to realize dynamic configuration of the training scene.

国家自然科学基金（No.61300106）、广东省科技计划项目(No.2016A040403108、2014B040401012)

李志成（1991-），男，广东江门人，本科，研究方向为虚拟现实与可视化

李晋芳（1975-），女，山西人、博士研究生、副教授、研究方向为虚拟现实及可视化

莫建清（1979-），男，广西人，在读博士、讲师，研究方向为虚拟现实及可视化

何汉武（1966-），男，湖北人，博士研究生，教授，研究方向为虚拟现实及可视化

2017-03-07

2017-04-25

1007-1423（2017）13-0046-05

10.3969/j.issn.1007-1423.2017.14.011

上肢康复；主动康复；虚拟场景；交互

Upper Limb Rehabilitation;Active Rehabilitation;Virtual Scene;Interact