虚拟场景的下肢康复训练系统的设计与实现

王子梅，徐秀林，安美君

(上海理工大学 医疗器械与食品学院，上海 200093)

脑卒中是导致人类残疾的主要原因，也是世界上导致死亡的第2大原因[1]。根据卫生技术评估，大约有90%脑卒中患者的幸存者为残疾，其中很大一部分患者在下肢运动方面有障碍,给其生活带来了巨大的困扰[2]。患者传统的治疗方式是采用人工的按摩、拔火罐、针灸等结合一些下肢训练机器进行康复训练，训练过程重复性高、单调无趣，使得患者训练积极性不高，训练效果差[3]。

虚拟场景需要虚拟现实技术的支持，虚拟现实(virtual reality,VR)技术也称灵境技术，出现于20世纪60年代[4]。该技术具有多感知性、存在性、交互性和自主性4个特点，将其应用于下肢康复训练弥补了传统康复治疗的缺陷，是目前康复领域研究的热点[5]。结合虚拟场景的康复过程中，在生理上给患者提供一种真实自然的康复训练环境，可以使得患者投入到虚拟的环境中，有种身临其境的感觉；在心理上增加患者训练的趣味性，提高康复训练的积极性[6-7]。

2016年Shen等[8]结合虚拟场景，开发了一种康复评价系统，提高患者的训练兴趣。2014年Zhang等[9]研制了一种基于步态的下肢康复机器人，该机器人结合了虚拟现实技术，设计了自由步态行走的虚拟场景，让患者有种身临其境的感觉。2013年Taherifar等[10]针对于脊髓损伤和中风患者，研制了一种新型的步态康复训练设备，通过传感器的数据控制虚拟场景中人物的行走速度，让虚拟环境与现实环境有了很好的结合，患者训练更有代入感。虽然设计了两个不同的虚拟场景，但没有训练时间的设置，不利于患者制定训练计划。目前，市面上已经有许多种类的下肢康复机，这些下肢康复机器有些虽然结合了虚拟现实技术，但虚拟场景设置较为单一，没有挑战性，患者的参与度较低；缺乏鼓励机制，导致患者训练的主动性不高；没有训练时间设置，不利于患者训练计划的制定。

本文针对有一定下肢运动能力的患者，开发了一种基于虚拟场景的坐姿下肢康复训练系统，可将常规的训练转化为虚拟现实的趣味游戏训练，以提高患者下肢的康复效果。该系统通过获取患者进行主动下肢康复的足底压力数据，控制虚拟环境中的虚拟元素，当达到一定位置和压力达到一定阈值时，训练得分就会增加并得到语音鼓励，不仅训练了患者的注意力，而且增加患者的参与度、挑战性和自信心。同时，医生可以根据患者的实际情况，对患者的康复训练时间进行设置，方便了医生对病人康复计划的制定。训练结束后，对训练过程中患者左右脚的平均压力和最大压力进行显示，该参数是医生对患者下肢康复评估的一个重要指标。

1 系统的构成

本系统主要由数据采集模块和虚拟现实软件两部分组成。数据采集模块利用传感器采集压力数据，处理后传至上位机，对虚拟场景中的虚拟元素进行控制；虚拟现实软件实现对虚拟环境的搭建，完成与患者的交互。系统原理示意图如图1所示。

图1 系统原理示意Fig.1 System principle diagram

2 系统的硬件

2.1 传感器

本系统的力传感装置选用的是安徽博通电子科技公司生产的TH4805-Ⅱ踏板力传感器，如图2所示。将4个传感器分别安装在双侧下肢功能训练脚踏板的脚掌和脚跟位置，能够精确实时的检测足底脚掌和脚跟的压力数据。

图2 TH4805-Ⅱ 踏板力传感器Fig.2 TH4805-Ⅱ pedal force sensor

2.2 数据采集卡

本系统的数据采集使用的是研华PCI-1710/U数据采集卡，是一款PCI总线多功能数据采集卡，如图3所示。PCI-1710/U包含12-bit A/D转换、D/A转换、16路数字量输入、16路数字量输出和计数器/定时器5种最重要的测量和控制功能。本系统采用差分式模拟信号连接，两个增益可编程的输入通道分别与两根信号线连接，降低了系统误差。为了进一步消除共模干扰电压影响，系统测量的是两个输入端的电压差。

图3 研华PCI-1710/U数据采集卡Fig.3 Yanhua PCI-1710/U data acquisition card

3 系统的软件

3.1 数据采集系统

图4 数据采集系统流程Fig.4 The flow chart of data acquisition system

3.2 虚拟场景的搭建

本系统的虚拟场景模块是在Visual Studio 2010的MFC和DirectX SDK 9.29开发环境下，基于DirectX 11应用程序接口和VC++编程语言[13]完成。虚拟场景的构建主要基于DirectX 11中Direct3D图形程序接口进行图片的显示和3D模型的建立，并且可以实现人机交互，对虚拟元素进行控制。虚拟场景的搭建流程如图5所示。

为了提高3D篮球模型的表面质量,采用二十面体来实现,首先确定二十面体12个顶点的位置坐标，创建顶点数组position[12] (a=0.525 731f,b=0.850 651f)，如图6所示。

二十面体由20个全等的等边三角形构成，每个三角形有3个顶点，二十面体共需要60个顶点。为了节约系统资源并提高效率,采用顶点缓存和索引缓存结合的方法绘制图形，因此,只需要12个顶点缓存。根据索引数组中的索引值提取对应顶点的位置坐标,每3个数字构成一个三角形。取二十面体的每个面三条边的中点，将每个三角形平分为4个等边三角形，取细分后的顶点映射到球体，该过程重复5次，后进行归一化处理生成单位球体。

图5 虚拟场景的搭建流程Fig.5 The flow chart of virtual scene construction

图6 顶点数组Fig.6 Vertex array

虚拟场景是用长方体内部的6个面构成的室内篮球馆背景。场景中绘制的篮球、背景、篮筐和得分板，公用一个顶点和索引缓存区。使用对应的虚拟元素在顶点缓存区的起始位置、索引缓存区的起始位置和索引总数，确定该物体的位置。最后，用处理好的纹理图片一一映射到对应的位置，实现虚拟场景的搭建。

设定以第一人称的视角进行投篮，所以虚拟场景中的摄像机是模拟患者的眼睛。其中，摄像机的视点位置对应于人眼的位置，摄像机的观察点对应于人眼视觉目标点。以左手坐标系建立坐标，若是人眼处于(0,0,0)的位置，在人眼前方某一点的位置作为篮球的所在位置，投篮时求得位置变换都是相对于人眼的,如图7所示。

图7 虚拟场景Fig.7 Virtual scene

虚拟场景中的篮球投射出后时，其运动轨迹为一条抛物线，如图8所示。图中，A、B两点分别是投篮前篮球的位置和篮筐的位置，则篮球在z轴方向上的速度vz的计算公式为

由上式可得

式中:vy为y方向的速度;Z为篮球与篮筐z轴方向的距离;h为篮筐离地板的距离;H为最高点离地板的距离;a为篮球竖直向下时的加速度;t1为篮球投射出后运动至距离地板最高点位置所用的时间;t2为篮球从距离地板最高点位置运动至篮筐所用的时间;t为篮球投射出后运动至篮筐所用的时间.所以，篮球沿着z轴方向的运动位移为

篮球沿着y轴方向的运动位移为

图8 篮球的运动轨迹Fig.8 Trajectory of the basketball

3.3 人机交互

虚拟场景中设置了难度和时间两个功能，程序运行界面如图9所示，医生可以根据患者的自身情况，安排训练难度和时间。开始游戏时，使用SetTime()定时器获取设置的时间变量m_GameTime的值,进入倒计时；程序获取难度变量m_GameLevel的值，难度值越大，篮球与篮筐的距离就越远，篮球投入篮筐的难度就越大。通过数据采集系统得到数组m_lfFinalData[4]中4个足底压力值，控制虚拟环境中篮球的移动方向、移动速度和投篮动作，压力值的大小与篮球移动的速度成正比，同时投篮的视角亦随之变化。篮球与篮筐的碰撞采用AABB碰撞检测技术[14]，投篮成功后得分板分数增加更新，并使用PlaySound()函数播放鼓励语音，增加患者训练的动力，激励患者继续进行训练。训练结束后，分别计算出训练过程中4个足底压力值的最大压力值和平均压力值，程序运行界面如图10所示。

图9 训练难度和时间设置模块Fig.9 Training difficulty and time setting module

足底压力变化的计算公式为：

最大压力Fmax=Max(Fi)

式中，Fi为压力值，i=0,1,2,…,n-1(i为整数，n为采样次数)。

图10 评估模块Fig.10 Evaluation module

4 系统测试试验

取一个10 kg和两个20 kg的砝码，分别对左右脚踏板进行测试。由于本文是基于坐姿的下肢康复训练仪器的，足底压力低于40 kg,所以，分别以10、20、30、40 kg为基准进行测试，把相应质量的砝码分别放置在左、右脚踏板脚掌和脚跟的位置，采集时间设置为1 min，将采集到的压力与实际压力值进行比较。经过1周后，在同样的测试条件下重复进行实验，与1周前的实验数据导入SPSS数据分析软件，计算两组足底压力测试的组内相关系数(ICC值)，判断系统的可靠性，见表1、2。

由实验数据可知，系统采集的压力值和实际压力值基本一致，表明该系统可以准确的采集足底脚掌和脚跟的压力值。测试结果显示，由表1、2可见，数据组内相关系数(ICC值)均大于0.9，说明该系统有很好的可靠性。

5 结 论

1)该系统主要针对患者进行下肢康复运动，实现了下肢康复训练与虚拟场景的交互，系统测试试验说明该系统有很好的可靠性。

表1 砝码为10、20 kg时压力值对应表Table 1 The weights corresponding to the values of pressure at 10 kg and 20 kg

表2 砝码为30、40 kg时压力值对应表Table 2 The weights corresponding to the values of pressure at 30 kg and 40 kg

2)该系统硬件使用的传感器精度高、运行稳定，可以准确的采集数据，患者可以通过下肢的运动控制虚拟场景中的虚拟元素。软件系统在虚拟场景中增加了背景音乐和音效，使患者更好的融入到虚拟场景中并且对完成任务的患者进行鼓励。医生可以根据评估模块中患者训练的数据，设置虚拟场景中的训练难度和时间，更加有利于患者的下肢康复。

3)但是，该系统仅仅适用于单个病人在一个虚拟环境中进行下肢的康复训练，只能单独的进行训练，不能在虚拟的环境中和其他患者进行交流，缺乏互动性。在该系统的基础上，可以尝试采用分布式虚拟现实系统[15]，实现异地的多名患者参与到同一虚拟环境中，共同完成同一任务训练，这样可以使医生获得在同一训练治疗方式下，不同患者获得的疗效情况，这将有待于进一步开发研究。

References)

[1]刘敏, 方向华. 脑卒中后残疾的研究进展[J]. 中华流行病学杂志, 2013, 34(11):1146-1150. DOI:10.3760/cma.j.issn.0254-6450.2013.011.023.

LIU Min, FANG Xianghua. Progress in the study of disability after stroke[J]. Chinese Journal of Epidemiology, 2013, 34 (11): 1146-1150. DOI: 10.3760/cma.j.issn.0254-6450.2013.011.023.

[2]LANGHORNE P, BERNHARDT J, KWAKKEL G. Stroke rehabilitation[J]. The Lancet, 2011, 377(9778):1693-1702. DOI:10.1016/S0140-6736(11)60325-5.

[3]汤一格, 韦宇炜, 胡兆勇,等. 虚拟现实在下肢康复治疗中的应用及设备研究[J]. 中国设备工程, 2016(16):107-109. DOI:10.3969/j.issn.1671-0711.2016.16.054.

TANG Yige, WEI Yuwei, HU Zhaoyong, et al. Virtual reality application and equipment study in rehabilitation of lower limbs[J]. China Plant Engineering, 2016(16):107-109. DOI:10.3969/j.issn.1671-0711.2016.16.054.

[4]吴礼萍. 虚拟现实世界真精彩[J].厦门科技,2015(4):31-32. DOI:10.3969/j.issn.1007-1563.2015.04.010.

WU Liping. The virtual reality world is wonderful[J]. Xiamen Science and Technology, 2015 (4): 31-32. DOI:10.3969/j.issn.1007-1563.2015.04.010.

[5]胡风华,郭丹峰,刘冰.虚拟现实探究[J].电脑知识与技术, 2009, 5(24): 6815-6817. DOI:10.3969/j.issn.1009-3044.2009.24.093.

HU Fenghua, GUO Danfeng, LIU Bing. Virtual reality inquiry[J]. Computer Knowledge and Technology, 2009, 5(24): 6815-6817. DOI:10.3969/j.issn.1009-3044.2009.24.093.

[6]胡传龙, 韩建海, 王基威,等. 下肢康复训练机器人虚拟环境设计[J]. 机电产品开发与创新, 2012, 25(2):19-21. DOI:10.3969/j.issn.1002-6673.2012.02.007.

HU Chuanlong, HAN Jianhai, WANG Jiwei, et al. The Design of the Lower Limb Rehabilitation Training Robot’s Virtual Scene[J]. Development & Innovation of Machinery & Electrical Products, 2012, 25(2):19-21. DOI:10.3969/j.issn.1002-6673.2012.02.007.

[7]张磊杰, 刘永久, 王慧,等. 基于虚拟现实的步态训练康复机器人系统软件设计[J]. 计算机系统应用, 2012, 21(12):8-11. DOI:10.13214/j.cnki.cjotadm.2014.14.026.

ZHANG Leijie, LIU Yongjiu, WANG Hui, et al. Design of the software of a rehabilitative gait training robotic system based on the virtual reality technology[J]. Application of Computer System, 2012, 21 (12):8-11. DOI:10.13214/j.cnki.cjotadm.2014.14.026.

[8]SHEN Shihui, GAO Chang, ZHAO Yong, et al. Development of lower limb rehabilitation evaluation system based on virtual reality technology[C]// IEEE International Conference on Real-Time Computing and Robotics. Angkor Wat, Cambodia: IEEE, 2016:517-522. DOI:10.1109/RCAR.2016.7784083.

[9]ZHANG Jianhua, LI Manhong, SONG Rui, et al. Development of a lower limb rehabilitation robot based on free gait and virtual reality[C]// IEEE International Conference on Robotics and Biomimetics. Bali, Indonesia: IEEE, 2014:808-813. DOI:10.1109/ROBIO.2014.7090431.

[10]TAHERIFAR A, HADIAN M R, MOUSAVI M, et al. LOKOIRAN-A novel robot for rehabilitation of spinal cord injury and stroke patients[C]// Rsi/ism International Conference on Robotics & Mechatronics. Tehran, Iran: IEEE, 2013:218-223. DOI:10.1109/ICRoM.2013.6510108.

[11]WELCH G, BISHOP G. An Introduction To The Kalman Filter[EB/OL]. [2001-08-12].http://www.iro.umontreal.ca/～mignotte/IFT6150/ComplementCours/FiltrageKalman.pdf. DOI:10.1016/0262-8856(92)90068-E.

[12]CHOUKROUN D, BAR-ITZHACK I Y, OSHMAN Y. A novel quaternion Kalman filter[J]. IEEE Transactions on Aerospace & Electronic Systems Aes, 2006, 42(1):174-190. DOI:10.1109/TAES.2006.1603413.

[13]董士海. 人机交互的进展及面临的挑战[J]. 计算机辅助设计与图形学学报, 2004, 16(1):1-13. DOI:10.3321/j.issn:1003-9775.2004.01.001.

DONG Shihai. Progress and challenges of human computer interaction [J]. Journal of Computer Aided Design and Computer Graphics, 2004, 16 (1): 1-13. DOI:10.3321/j.issn:1003-9775.2004.01.001.

[14]WANG Zhiliang, SHI Lin, LI Zhigang. Prototype of a virtual environment develop platform based on DirectX[C]// Proceedings of the 3rd IEEE Conference on Industrial Electronics and Applications.Singapore, Singapore: IEEE Xplore, 2008:279-283. DOI:10.1109/ICIEA.2008.4582524.

[15]KHARITONOV V Y. A software architecture for high-level development of component-based distributed virtual reality systems[C]// Proceedings of the 37th Computer Software and Applications Conference (COMPSAC). Kyoto, Japan: IEEE, 2013: 696-705. DOI: 10.1109/COMPSAC.2013.11.