构建基于Unity3D的脑卒中康复训练系统

中国医科大学 王 爽 于建发 谭玉恩 王 涛



构建基于Unity3D的脑卒中康复训练系统

中国医科大学 王 爽 于建发 谭玉恩 王 涛

【摘要】目的：将体感交互技术与脑卒中认知训练结合起来，设计一套康复训练系统。方法：以体感技术和Moca量表为依据，以已有的Kinect姿态、手势识别为基础，通过单个部位运动分析和多个部位姿态快照的状态机匹配，实现骨骼追踪。并利用体感操作中间件准确捕捉患者姿态与手势的数据。结果：构建出基于虚拟现实的脑卒中患者上肢康复训练系统。结论：基于3Dmax与unity3D构建的虚拟训练环境可以在康复训练中实现人机交互，达到数据准确采集、训练有效的目的，且该系统具有实用性、可操作性强等特点，对虚拟现实技术在脑卒中康复治疗领域中的应用有积极的推动作用。

【关键词】虚拟现实；康复训练；手势识别

前言

随着老年人群的增长，脑卒中因其具有高发病率、高致残率和高死亡率的特点而逐渐受到重视。研究表明，除手术和药物治疗外，科学的康复训练对脑卒中偏瘫患者的肢体功能康复起着重要的作用[1]。通过虚拟环境来鼓励患者，使患者积极地主动地参与康复训练，了解康复的规律，制定训练的目标，不仅可以达到训练目的，还有助于提高康复训练的效果。为了实现这一目标，首先要寻求捕捉目标动态姿势的轻巧传感器。作为一种全新的交互传感方式，Kinect正逐渐渗透到人们生活的各个领域[2]。基于Kinect传感器研制的康复系统以虚拟现实技术为基础借助Kinect传感器和电脑，在一定范围的空间内实施具有趣味性的康复训练[2]。此康复系统实现了Kinect与计算机技术的结合与运用于在康复领域的应用。

当前，国内针对脑卒中患者的康复训练还主要是以人工指导为主。只有部分设备生产商制造了矫形器、肢体运动康复机等辅助训练器械来协助康复训练。在康复训练系统研究方面，主要集中在少数工科性综合大学[3]。

1 康复训练系统的构成及功能

图1　Moca评分与训练难度一览表

整个系统采用Visual Studio 2010的开发环境以及Kinect for Windows SDK v1.7的传感器进行操作。患者训练客户端采用Windows窗体应用程序与3Dmax与unity3D应用程序进行搭建。进行康复训练前首先要由受过专业培训的医师在安静的环境下对患者采用蒙特利尔认知评估量表(Montreal Cognitive Assessment，MoCA)中文版进行检测与评定，所有检测需一次完成。MoCA表可以快速检测轻度认知损伤（mild cognitive impairment，MCI，检测内容总分30分，大于或等于26分为认知正常，但是如果受教育年限小于或等于12年，则为校正教育偏差，将测定分加1分，每份MoCA表限制在10min内完成[4，5]。接下来实施训练时，根据MOCA量表结果判断患者认知功能受损程度，针对不同程度的障碍进行相应的康复训练计划（如图1所示）。虚拟认知康复训练系统主要针对定向能力、注意力、空间知觉能力、思维操作能力和动作运用进行训练，构建的虚拟场景主要由5个难度等级不同的迷宫游戏构成，迷宫等级分类主要依据弯道数目，等级一为1个弯道，等级二为3个弯道，等级三为5个弯道，等级四为7个弯道，等级五为9个弯道，虚拟人物的运动形式有跑步和行走，两种形式的切换可在患者的通过操作下完成，弯道的顺利通过需要患者手势控制使其转向。

本系统主要为以躯体正中矢状线为轴，对患者进行上肢的进行康复训练，针对功能障碍的特点，场景与人物的构建使用UNITY 3D的建模实现，人物动作用C++虚拟现实技术实现，通过Kinect传感器及手势识别向WPF程序进行传递指令，在unity虚拟场景嵌入WPF程序的情况下完成操作。

2 系统各模块功能分析

2.1 传感器模块

Kinect是微软公司推出的一款高性能的体感器，由红外投影机、RGB彩色摄像头、红外深度投影头所构成的3D结构光深度感应器，可以识别并提供人体的20个骨骼关节点的三维坐标，通过Kinect获得人的20个骨骼节点后对姿势的识别就可以定义为如何辨识20个骨骼节点的相对位置，图2为得到人体的骨架图[6]。Kinect传感器将数据采集和处理结合一体，它可以同时获取3D深度影像、彩色影像、以及声音讯号，进行数据处理、数据存储、数据输出，提供深度数据、彩色视频和原始音频三大类原始数据信息[2]。数据采集并简单初步处理后，系统根据各个动作所对应的算法对每帧数据进行计算，以实现实时评分。基本的原理是使用The-Chin的近似算法来提取手部轮廓，该算法是通过计算某一轮廓的支配点来对轮廓进行近似，计算出相应关节连线的夹角，再根据关节点的具体位置进行相关动作得分的评判。

图2　人体的骨架图

2.2 虚拟现实模块

先在3Dmax中完成迷宫的设计，用直线画出直角弯道迷宫，步骤为首先在俯视图下利用样条线工具中的线按住shift绘制直线，一级弯道则为两组、每组两条互相垂直的直线构成，制作中注意通道的宽度一致；再进行轮廓，使其具有一定的厚度，在修改工具下对line中的样条线进行操作，点击轮廓后在俯视图中拖动，根据设计的墙体厚度确定数值；最后进行挤出，使其向z轴方向伸长，具有立体性，是利用修改器下的挤出工具对line进行操作。为使其更加逼真，再进行贴图，利用材质编辑器进行墙体外观的改善。以此操作设计出5个弯道数目不同的迷宫。再在Unity中进行操作，利用Unity的角色控制器实现角色在场景中受控制的移动。

2.3 网络交流模块

患者测试数据上传、医师数据下载[2]。

2.4 评估

根据患者上肢运动情况及对应的虚拟环境所得结果对患者运动及认知状态进行评估，如图2所示。

3 设计与实现方法

以脑卒中患者上肢患病特点为出发点，以C#语言为工具，以3DMax和unity 3D建模为支持完成康复训练系统，其框架规划及关键语句如下：

3.1 框架规划

以游戏场景为训练系统核心，利用软件建模实现场景的构架，通过Kinect手势识别将患者将指令传于场景中进行训练，如图2所示。

图3　康复训练系统框架规划

3.2 关键C#实现语句如下

3.2.1 Unity3D移动控制脚本部分

利用ASDW四个按键控制3D人物移动，例如按A，其关键代码为：

if (Input.GetKey (KeyCode.A))

{ animator.SetBool ("idle",true);

animator.SetBool ("walk",false);

transform.Rotate (0,-1,0);

}

3.2.2 手势识别部分

（1）前进部分：

if (hand.Position.X <= elbow.Position.X - WAVE_ THRESHOLD)

{

tracker.UpdatePosition(WavePosition.Left, timestamp);

}

（2）左转部分：

if (hand.TrackingState != JointTrackingState. NotTracked && elbow.TrackingState != JointTrackingState. NotTracked)

{

if (tracker.State == WaveGestureState.InProgress && tracker.Timestamp + WAVE_MOVEMENT_TIMEOUT < timestamp)

{

tracker.UpdateState(WaveGestureState.Failure, timestamp);

System.Diagnostics.Debug.WriteLine("Fail!");

}

}

（3）右转部分：与左转部分类似

4 总结

脑卒中患者有明显的认知与运动障碍。认知是指人对外界事物的全面感知，包括感觉、知觉、思维、注意、记忆、智能、判断、推理、学习、想象、概括和语言等心理过程，任一过程损害均可导致认知功能的障碍[8]。运动障碍主要表现为:运动难、少、慢[9]。将虚拟现实技术应用到康复训练系统中，开发虚拟康复训练平台有助于改善脑卒中患者康复训练枯燥单调的状况，使其产生一种身临其境的感觉[10]。在虚拟环境中通过视觉交互，物体运动反映了患肢的运动状态及其与虚拟环境中物体的交互情况[11]。提高依从性和训练效率的同时减少治疗师人力资源成本，降低医疗费用[12]。不同难度等级的训练较好的适合了不同患者的个人状况，具有趣味性的同时也具备了挑战性，在无形中减少患者康复训练的厌烦心理[3]。相信随着后续的工作和科技的进步，基于虚拟现实和运动捕捉的上肢康复训练系统会更进一步完善，并且在脑卒中患者的康复治疗过程中实现它的价值[13]。

参考文献

[1]易金花,张颖,官龙,顾余辉,喻洪流.脑卒中患者上肢康复训练系统研究进展[J].中国康复医学杂志,2013,28(4): 249-251.

[2]杨艺,许源,张俊杰,刘燕.基于Kinect与虚拟现实的社区家庭康复系统的研制[J].微型电脑应用,2014,30(3):32-34.

[3]姜华强,项洁.Kinect康复训练辅助系统研究[J].人工智能与机器人研究,2013,2:79-82.

[4]刘军莉,许慧宁,代青湘,左小芹.MoCA量表对脑梗死患者认知功能障碍评估的临床研究[J].现代预防医学,2012, 39(20):5502-5503.

[5]王卫红,何国平,肖旭平,李建民,陈华英,邓晓雯.阻塞性睡眠呼吸暂停低通气综合征患者认知功能与焦虑情绪相关研究[J].中国全科医学,2012,15(5A):1513-1515.

[6]战荫伟,于芝枝,蔡俊.基于Kinect角度测量的姿势识别算法[J].传感器与微系统,2014,33(7):129-132.

[7]蒙特利尔认知评估量表(MoCA)word.

[8]王文春,王倩,庞日朝,江玥,王彧,罗绯,田恬,刘鹏远,杨孝光,张安仁.基于虚拟现实技术的认知功能康复训练系统的设计与构建[J].中国康复理论与实践,2012,18(10):988-990.

[9]龚文青,诸强.虚拟现实技术应用于运动障碍康复的研究[J].生物医学工程学进展,2009,30(4):8877-8881.

[10]马乐,宋嵘,刘燕,许莲.基于虚拟现实技术的康复训练系统设计与实验验证[J].计算机应用于软件,2013,30(7):95-97.

[11]李会军,宋爱国.上肢康复训练机器人虚拟环境建模技术[J].中国组织工程研究与临床康复,2007,11(44):8877-8881.

[12]肖喜玲,杨朝辉,黄剑,黄厚瑞,王双,夏晓萱,王刚,陈振兵.基于虚拟现实技术手功能康复训练系统的设计及临床应用[J].中国康复医学杂志,2001,29(6):537-541.

[13]龚文青,诸强.虚拟现实技术应用于运动障碍康复的研究[J].中国医疗设备,2014,29(03):1-4.

王爽（1993—），辽宁阜新人，大学本科，现就读于中国医科大学临床医学七年制。

张志常（1976—），通讯作者，男，辽宁沈阳人，硕士研究生，讲师，中国医科大学计算机教研室副主任，主要从事计算机及医学统计工作。

作者简介：

基金项目：体感交互技术在康复医学认知评估中的作用（编号：L2013283）。