基于虚拟现实技术的脑卒中患者康复训练系统

杨源，马乐，陈仲本，陈璟，陈涛，宋嵘

1.中山大学工学院，广东 广州 510006；2.中山大学中山医学院, 广东 广州 510080

专栏——临床诊断与康复设备研究进展

基于虚拟现实技术的脑卒中患者康复训练系统

杨源1，马乐1，陈仲本2，陈璟1，陈涛1，宋嵘1

1.中山大学工学院，广东 广州 510006；2.中山大学中山医学院, 广东 广州 510080

编者按：近年来，临床医学、智能控制技术、计算机技术、信息技术及其他新兴技术的迅速发展，为医疗工程技术逐步向临床医学领域应用提供了契机。同时，围绕预防、诊断、治疗、手术、急救、康复等医疗、家庭和个人保健市场的医疗仪器装备产业也被国务院确定为战略性新兴产业。本期专栏主要介绍本课题组在面向临床诊断与康复的相关技术研究进展，主要包括为偏瘫患者研发的康复训练与助行设备以及基于生物电阻抗的人体器官检测技术。

栏目主编：宋嵘

宋嵘博士于1999年在清华大学电机工程系获得工学学士学位，2002年于汕头大学电子信息工程系获得工学硕士学位，2006年于香港理工大学康复科技及资讯学系生物医学工程专业获博士学位，2007年至2009年，在飞利浦公司亚洲研究院担任研究员，2009年加入中山大学生物医学工程专业。自2002年以来，宋嵘博士主要在康复工程技术、医疗电子仪器、生物医学信号处理等领域开展研究工作，具体内容包括针对偏瘫患者研发康复机器人和便携式家庭康复游戏系统，利用肌电信号定量评估偏瘫患者运动功能，人体神经肌肉骨骼建模等方面。目前主持和参与了包括国家自然科学基金，广东省自然科学基金等资助的科研项目。

随着虚拟现实技术的发展和成熟，这项技术渗透到了越来越多的领域，特别是在康复医学领域发挥了巨大的作用。本文主要介绍了一个基于OptiTrack运动捕捉系统搭建的虚拟训练平台。它捕捉并记录分别贴在肩部、肘部和腕部的三个反光标记点的坐标值，从而建立一个虚拟的手臂模型，并通过现实的手臂动作实时驱动。整个程序是由VC++和OpenGL共同实现的。该系统以正常人和脑卒中患者为实验对象进行测试，完成了喝水这一动作。实验结果验证了该平台的有效性，它未来在上肢康复领域具有潜在的应用前景。

虚拟现实技术；运动捕捉；脑卒中；康复训练；康复医学

作为严重危害人类健康和生命安全的常见的难治性疾病，脑卒中给人类健康和生命造成极大威胁，降低高致残率是当务之急[1]。目前的脑卒中康复治疗手段存在单一、重复、枯燥的缺陷，使患者很容易产生厌倦感，积极性和配合度不高[2]，同时训练动作的选择不贴近生活，患者回归正常社会生活还有一定的难度。虚拟现实技术的出现可以说是开辟了康复医学的一个新领域，它让康复医学走出了禁锢，打破了原有康复手段的局限性。虚拟现实(Virtual Reality)，简称VR。是利用计算机技术生成的一个模拟现实环境，人对其有真实的三维视觉、立体听觉、质感触觉和嗅觉。人处于这一环境可以用其自然技能对这个虚拟的现实进行交互式体验，体验的结果(即虚拟现实的反应)与在相应的真实环境中相似或相同。它的沉浸感和交互性[3]让康复训练不再单调枯燥，大大激发了患者的配合性，同时将功能测评、心理治疗和运动治疗有机的结合起来。

针对这一现状，本文介绍一种采用基于虚拟现实技术和运动捕捉系统搭建的康复训练系统，完成日常动作的康复训练。患者可以在虚拟环境里安全地完成喝水这一动作的训练，如同游戏一般，激发患者的主动性，增强患者自我心理暗示，达到心理治疗的辅助作用。

1 系统平台搭建

为了实现喝水动作虚拟现实的实时同步，我们需要搭建这样一个可以实时采集运动学数据、处理分析运动学数据、驱动虚拟模型的平台。实验对象在指引下完成喝水这个实验动作，虚拟世界里的手臂模型也同时完成相应的动作。对比分析采集到的上肢肩、肘、腕三个关节处的运动学数据，我们期望可以得到脑卒中患者和正常人在完成喝水这一动作时的运动差异，来建立更好的康复训练项目。

1.1 系统平台的架构

系统平台的架构如图1所示。通过OptiTrack捕捉系统自带的红外摄像头作为传感器来获取人上臂的运动信息，从而驱动虚拟世界里的3D模型实时同步的运动，完成喝水动作。同时保存实验对象的运动学数据，获得脑卒中患者和正常人喝水的运动轨迹，分析比较后确定标准的喝水动作，作为未来康复训练的标准引导动作，对实验对象进行引导。

1.2 红外运动捕捉系统

本试验平台采用OptiTrack运动捕捉系统采集运动学信息。实验对象运动的肢体关节上贴有标记点，OptiTrack系统的红外摄像头发射的红外光被标记点反射后再由摄像头再次接收。全身动作捕捉最少需要配置6个摄像头，当3个以上的摄像头接收到反射光线后就会产生相应标记点的三维空间坐标（x，y，z）[4]。运动捕捉系统采集到的坐标信息仍需要进一步分析处理，才能对其合理地应用。

1.3 三维模型的建立

人体手臂的结构可分为上臂和前臂、手三部分，由肩关节、肘关节和腕关节及相关肌肉控制手臂的运动。为了完成喝水的动作，需要对前臂和上臂分别进行控制，故分别绘制了上臂和前臂（包含手部）。为了使虚拟环境更加逼真，让实验对象更有身临其境的感受，还按照实验环境制作了相应的虚拟训练环境，如图2所示。本课题采用了3Ds Max制作上肢模型[5]，它是一款集建模、渲染为一体的三维制作软件，被广泛用于建模仿真中，制作方法简单、模型逼真。它所绘制的模型均以3DS格式文件保存，3DS文件经过格式转换[6]就可以被OpenGL程序调用。

图2 虚拟环境与手臂模型

1.4 模型驱动程序的设计

整个程序是基于一个MFC环境下的单文档应用程序[7]，包括OpenGL应用程序、数据处理程序、数据接口程序三大部分。其中数据接口程序通实时地将OptiTrack系统捕捉到的标记点初始位置和当前位置坐标数据以数组的形式保存下来,并会根据特定的算法判断出不同标记点对应的坐标值进而对数组进行排序。数据处理程序将排好序的坐标值按一定的算法转换为旋转角度和相对位移，作为控制3D模型运动的参数。OpenGL应用程序初始化了三维环境，它特有的函数glCallList()可以完成外界3D模型的调用[8]，组合使用glRotatef()和glTranslatef()函数[9]可以通过参数的改变而灵活地驱动3D模型运动。以下是相应的算法介绍：

（1）标记点区分的算法：为了区分各个标记点，本实验采用的是最小距离算法，按照z轴坐标的大小判断一帧里手臂上不同位置的标记点，再按最近原则计算出与前一帧最近的一帧即为当前标记点的位置。

（2）空间数据转换算法：根据空间向量的夹角的计算公式，可以很容易得到空间里任意两个向量的夹角。将手臂各标记点初始位置与当前位置均用捕捉到并经过算法区分后的坐标值(空间向量)表示，如一个标记点初始坐标为，当前位置坐标为，通过余弦公式就可以得到标记点当前位置相对于初始位置旋转的角度值θ，同时已知当前位置的空间坐标与初始位置空间坐标易求得空间的位移向量就是标记点相对于初始位置的位移值。

（3）模型驱动算法：OpenGL中控制模型移动的函数为glTranslatef（x，y，z）,参数值即为相对于当前位置的移动向量（x，y，z），它可以控制模型在OpenGL设置的空间中沿x，y，z轴方向移动。控制模型旋转的函数为glRotatef（θ，x，y，z）,参数控制旋转角度θ，x，y，z选择旋转所绕的轴线。但实际移动的是原点的位置而并非坐标值，所以每次移动模型后为了不影响其他模型的正常移动，需使用glLoadIdentity()函数将当前原点重置于屏幕中心。将OptiTrack系统捕捉到的数据经过标记点区分算法和空间转换算法处理后，得到相对位移γ =(x,y,z)和相对旋转角度θ,作为函数glRotatef()和glTranslatef()的控制变量，并结合函数glCallList()和glLoadIdentity()的组合使用，再加上一定的运动轨迹运算，就能够实现对模型的实时控制。

2 实验设计

我们使用搭建好的系统平台进行喝水动作的试验，以获得正常人、脑卒中患者的运动学数据，同时验证系统虚拟现实的实时性。整个实验平台的示意图如图3所示。

图3 实验平台示意图:采用6个红外摄像头，黑色圆点代表标记点位置。

2.1 实验对象以及标记点的设计

实验对象为2名：1名正常人和1名脑卒中患者。志愿者来自中山大学附属第二医院康复科。

本实验采用三个标记点，分别贴在肩关节、肘关节和腕关节。之所以要用到三个标记点，是因为每两个标记点可以确定一个空间向量，故可以得到前臂和上臂模型的坐标点的位移和旋转的数据。当然标记点越多，对模型的控制量越多，模型的运动控制就更为精细，但考虑到动作的简化和轨迹运算的可行性，所以目前只采用了三个标记点，分别贴在实验对象肩关节、肘关节和腕关节处，如图3所示。

2.2 实验动作的设定

为了指引实验对象完成实验，将喝水动作分解为以下三个阶段：初始位→获取水杯→送水近口边。如图4所示。

图4 喝水动作分解

3 结果分析

3.1 系统实时驱动测试结果

图5展示了实验对象完成喝水动作时，虚拟世界里手臂模型的实时同步。可以看到，在程序的驱动下，虚拟世界里的三维手臂与现实环境中的手臂一起运动。经验证，系统平台的实时性良好，虚拟与现实环境的运动基本完全同步。

图5 实时性验证

3.2 正常人与脑卒中患者运动的空间轨迹

系统将两个实验对象的运动数据进行分析，分别绘制三个关节点的空间轨迹。如图6所示。

图6 正常人与患者的喝水运动轨迹

4 结束语

本系统是基于虚拟现实技术和OptiTrack运动捕捉系统建立的一个针对脑卒中患者上肢康复训练平台，它采用日常活动喝水作为训练项目，实时跟踪受训者的动作进行三维建模，从而达到帮助受训者在虚拟世界中完成任务训练的目的。并且绘制了脑卒中患者与正常人在这一过程中的运动轨迹，为未来确定标准引导动作提供了依据。如果在运动学分析的基础上再加以一些更深入的研究，完全有可能判断出是哪些肌肉在完成喝水动作时出现了偏差。也就是说，未来该平台除了完成康复训练，也可以对康复情况进行评估和为诊疗提供有力依据[10]。

与现有的基于虚拟现实和运动捕捉的康复平台相比，本系统在训练动作选择和设计上有了独特的创新，喝水这一动作是我们日常生活中常用动作，采用它作为训练动作，使患者能更快地融入社会生活，实现生活的自理。同时，选择正常人和脑卒中患者作为实验对象，均验证了系统的有效性和实时性。并且相较于现有的康复训练平台仅能实现的粗大简单的运动，本系统实现了较为精细和复杂的运动，动作更逼真现实。相信随着后续的工作和努力，基于虚拟现实和运动捕捉的上肢康复训练系统会更进一步完善，并且在脑卒中患者的康复治疗过程中实现它的价值。

[1] 朱新汉,殷爱竹．脑卒中的社会康复现状与康复措施[J]．中国民康医学,2010,22(1):60-61．

[2] 余学飞,陈光杰．虚拟现实技术及其在康复医学上的应用[J]．医疗卫生装备,2001,(4):31

[3] 姜学智,李忠华．国内外虚拟现实技术的研究现状[J]．辽宁工程技术大学学报,2004,23(2):238-240．

[4] 百度百科．OptiTrack全身动作捕捉系统评估．[EB/OL]．http://wenku.baidu.com/view/8772bd2b7375a417866f8f4f.html

[5] 萧成风．3ds max人体建模-手[EB/OL]．http://tech.ddvip.com,2006(12).

[6] 杨帆,杨克俭,王玉,等．3DS文件格式与自定义文件格式的转换[J]．交通与计算机,2004(1),22(3):101-118．

[7] 盛亮,晏群．基于VC和OpenGL的人体模型运动控制与姿态仿真的研究与实现[J]．人类工效学,2010,16(2):57-60．

[8] 胡伟,王弘．如何在VC++中用MFC进行OpenGL编程[J]．计算机应用,2001(8),21(8):87-89．

[9] 施耐瑞尔(著),李军(译)．OpenGL编程指南[M]．7版．北京:机械工业出版社,2010:77-112．

[10] Chris Freeman,Ann-Marie Hughes,Jane Burridge,et al．An Experimental Facility using Functional Electrical Stimulation for Stroke Rehabilitation of the Upper Limb[J]．Rehabilitation Robotics, 2007,(5):393-400．

A Rehabilitation Training System for Patients after Stroke Based on Virtual Reality Technique

YANG Yuan1, MA Le1, CHEN Zhong-Ben2, CHEN Jing1, CHEN Tao1, SONG Rong1
1. School of Engineering , Sun Yat-sen University, Guangzhou Guangdong 510006, China ;2. Zhongshan School of Medicine, Sun Yatsen University, Guangzhou Guangdong 510080, China

With the development of the virtual reality technology, it has been applied into more and more fields, especially in rehabilitation training. This paper introduces a virtual training platform which is based on the virtual reality technology. Three retro-reflective markers were attached to shoulder, elbow and wrist, respectively, and the coordinates of the markers are recorded by the motion capture system. A three-dimensional model of arm was built, and the virtual model was driven by the actual movement of the arm in real time. The programs were realized by the Microsoft Visual C++ and OpenGL. The platform was tested on a healthy person and a patient after stroke, and the movement of drinking was designed. The results illustrated the efficiency of the platform, and the platform is promising in the rehabilitation of upper limb in the future.

virtual reality; motion capture; stroke; rehabilitation training; rehabilitation medicine

R496

A

10.3969/j.issn.1674-1633.2014.03.001

1674-1633(2014)03-0001-04

2013-12-14

广东省自然科学基金项目(S2012010010350)；中山大学2011年国家大学生创新训练项目(111055808)；中山大学广东省大学生创业训练项目(1055813240)。