基于作业疗法的上肢协调功能虚拟训练系统研发

张瑞青 邹任玲

摘要：为解决传统作业疗法训练过程枯燥、患者参与度低、康复效果不理想等缺点，将作业疗法协调训练与虚拟现实技术相结合，利用虚拟现实技术的趣味性、沉浸感、目的导向性，提高作业训练的康复效果。基于作业疗法的上肢协调功能虚拟训练系统使用高精度5DT数据手套和电磁位置跟踪系统，分别采集手指弯曲度数据和手臂运动数据，通过Socket进行通信，控制游戏虚拟手的弯曲和移动，实现“手张开一抓握”、“二指尖捏”的作业训练。将虚拟现实技术应用于作业疗法中，极大提高了作业训练的安全性，提高了患者参与训练的积极性，康复训练效果显著。

关键词：作业疗法;虚拟现实技术;5DT数据手套;电磁位置跟踪器

DOI：10.11907/rjdk.192119 开放科学（资源服务）标识码（OSID）：

中图分类号：TP319文献标识码：A 文章编号：1672-7800（2020）006-0121-04

0 引言

作业疗法（Occupational Therapy，OT）是上肢功能障碍患者常用的康复治疗方法，患者可通过有目的、经过选择的作业活动锻炼上肢运动功能。传统针对上肢功能康复的作业疗法是结合康复医师给出的特定手功能训练动作，采用小游戏如跳棋、捏橡皮泥、栓状插件游戏等，或配合辅助器如轻触式按钮、手握力器、手灵活度训练盒等，或结合日常活动如折叠衣服、系鞋带、筷子夹捏小物件等，对手部进行康复训练。但手损伤患者往往不能很好地控制手指力度，需要康复医师指导或家庭人员的陪护，费时费力，易对手指造成二次伤害。在训练过程中，作业疗法重复动作多，枯燥乏味，无法调动患者主动训练的积极性。

上肢协调训练是提高上肢日常活动能力的重要康复训练内容，用虚拟现实技术开发的虚拟游戏越来越多地应用于协调康复训练。2011年，Ksenia I Ustinova等针对脑损伤患者手臂姿势协调障碍，开发了一款3D沉浸式视频游戏——八爪鱼，患者通过左右手的姿态运动控制虚拟环境中的左右手对气泡进行拦截，对上肢的姿势协调具有一定的训练效果。但该游戏需要用户大幅度摆臂，上肢障碍患者往往不能完成游戏任务。2017年Ji-Hye Do等，对虚拟现实系统Nintendo Wii进行研究，选定4个Nintendo Wii虚拟现实游戏：独木舟、高尔夫、剑术和自行车运动，进行对称上肢协调运动和不对称上肢协调运动。虽然具有一定的训练效果，但该游戏训练系统无医学理论依据，对上肢障碍患者潜在影响未知。

本文将作业疗法与虚拟现实技术相结合，根据手部作业活动设计针对性的虚拟康复训练游戏，开发了一种基于作业疗法的上肢协调功能虚拟训练系统。采用虚拟现实技术结合上肢康复训练改善上肢功能障碍，提高患者的参与度和训练积极性，缩短病人的康复时间。

1 系统总体设计

上肢协调障碍患者往往不能进行如更衣、饮食、洗漱等一系列最基本的上肢活动，严重影响患者的生活质量。手、腕部、肘部、前臂、肩部是构成上肢运动功能的基本元素，抓取物体放置另一位置是日常生活中常见的活动，这一作业能很好地锻炼手、腕部、肘部、前臂、肩部等部位的协调合作，对上肢正常运动功能康复具有重要作用。上肢正常运动功能也是患者日常生活活动的基础。系统根据Jebsen手功能测估方法中的“拾起小物品件进容器”作业，设计康复训练动作，根据协调康复训练动作设置虚拟作业训练游戏。

系统采用上下位机结构，下位机数据采集系统由5DT数据手套和电磁式位置跟踪器两部分组成，分别实现。其中5D了数据手套实现5个手部协调运动程度的获取，测量5个手指的平均弯曲度;电磁式位置跟踪器测量手腕部运动位置，由USB口将运动数据传输至计算机。采集的数据与上位机虚拟康复游戏通过socket进行通信，用于控制游戏对象。对虚拟游戏训练设置训练难度和训练时间参数，并对训练结果进行打分，以便医师进行评估。系统总体设计流程如图1所示。

2 硬件实现

2.1 5DT数据手套

本系统使用的数据手套为5DTData Glove 5Ultra，有5个光纤传感器，分别分布于5个手指，通过对传感器的弯曲曲率（曲线上某点的切线方向上角对弧长的转动率）进行归一化处理，对手指弯曲程度（取指掌关节、近指关节、远指关节弯曲度最大的输出值）进行计算，并通过串口实现与计算机的通信。

5DT数据手套利用光纤传感器计算弯曲曲率，获得佩戴手套手指的弯曲程度。式（1）中K为模拟手指的屈曲程度。

其中，k表示曲率，△s表示弧长，Ae表示弧两端的夹角。数据手套的驱动能够将传感器原始数值线性地转换为0～4095之间的整数（伸直时为最小值0，弯曲180°为最大值4095）。因为手指只能在一定范围内弯曲，所以手指完全伸直或弯曲时达到的极限位置为传感器的最小值fLow和最大值rUp。数据手套SDK中设计了式（2）所示的标定方法，将当前的原始数值rVal线性映射为[0，1]区间内的数值scaled，从而实现归一化。当手动标定出现错误时，scaled的计算如式（3）所示。

2.2 电磁式位置跟踪器

本系统使用Polhemus公司的Library电磁跟踪系统，能精确获取腕部的旋转方向与位置，提供稳定且连续的位置数据流和方向数据流，是一个基于交流的跟踪系统，由系统电子处理单元、发射源和传感器（即接收器）组成，系统框图如图2所示。其中发射源用来发射磁场信号，系统以发射源所在位置建立坐标系，并以此基准建立传感器坐标系;系统电子处理单元利用发射源的发射信号和传感器的感应信号间的耦合关系，实现对传感器位置和姿態角度确定。

电磁跟踪系统中发射源和接收器的位置关系如图3所示。发射源为基本坐标系O-XYZ，接收器坐标系为O-XYZ。ξ、ψ和ω分别表示接收器的姿态角度，其中ξ表示横滚角，ψ表示俯仰转角，ω表示水平转角。根据电磁系统中的磁场感应原理以及方位坐标的矩阵转换关系，可以求出接收器相对于发射源的位置坐标（x，y，z）和转角坐标（（ω，ξ，ψ）。

3 康复虚拟系统设计

3.1 基于作业活动的虚拟场景搭建

本系统的虚拟游戏场景建立在unity3d开发环境下，采用实体建模方法在3Dmax中创建虚拟手臂，该模型包括手指和手腕两部分，其中手指关节及手腕都可通过函数控制其运动。将由3DMax制作的虚拟手臂生成后缀为。fbx的文件，加载到Unity3D的Assets中。在3DMax中制作麦穗、小车等模型，模型尺寸大小根据人手可抓取的尺寸进行设计。

根据将物体捡起放置容器这项作业活动，设计两个虚拟作业训练场景，分别针对手功能康复中的“手张开一抓握”和“二指尖握”两个动作，二指尖握训练场景如图4所示。添加plane，并对其贴图。将三维模型设置为预制体，拖人游戏场景，在Inspector窗口对Transform进行调整，依次排列。修改虚拟手的Rotation属性，倾角调整为45度，模拟现实中人进行二指尖握的状态。通过控制虚拟手拇指和食指运动，抓取稻穗放人小车内，完成将物体捡起放置容器这项作业活动。另外，该训练也可进行拇指与中指、无名指或者小拇指之间的对指活动。手抓握训练场景如图5所示，与二指尖握场景类似，地面放置大小尺寸不同的三维模型，模拟现实生活中人抓握大小不同物体的场景。通过控制虚拟手弯曲程度，抓取不同大小的物体放人小车，训练不同程度的手抓握训练。

3.2 基于作业活动的游戏设计

进入系统开始界面，患者可以根据康复需求选择合适的模式。两种模式的作业活动均要求患者在规定的时间内，通过手部康复动作，尽可能多地抓取物体放人相应位置。开始游戏后，倒计时由初始值5分钟开始逐秒递减。用If语句判断倒计时是否小于零，若小于零跳转至分数和结果评估界面。为游戏对象添加刚体和碰撞器，当物体与小车接触会触发OnTriggerEnter（）函数，进行得分计算并销毁该物体。游戏流程如图6所示。

设计游戏过程中，虚拟手的抓握和移动由键盘和鼠标控制。定义鼠标左右方向移动为虚拟手在游戏场景中沿X轴方向移动，鼠标上下移动为虚拟手在游戏场景中沿Y轴方向移动，滑动鼠标滚轮表示虚拟手在游戏场景中上下位置的变化，运动代码如下：

两个游戏都需要手指弯曲实现抓取物体。点击鼠标左键，调用StartBendFingers（）函数，虚拟手的手指弯曲，松开鼠标左键，虚拟手手指伸展。二指尖握训练手指的弯曲由键盘字母控制，与鼠标控制类似，弯曲代码如下：

3.3 人机交互训练

作业协调训练开始前，系统需要患者配戴5DT数据手套，同时将电磁式位置跟踪器置于腕部。游戏开始后，患者通过移动腕部，使电磁式位置跟踪器位置发生变化。虚拟手的位置为采集到的电磁位置跟踪器的位置坐标与初始坐标的差值，将该差值与虚拟环境中的坐标方向做出相应转换，进而控制虚拟手的上下左右移动。核心代码如下

根据选择模式不同进行不同的手部动作，通过5DT数据手套控制虚拟手完成该动作。5DT数据手套采集5个手指弯曲数据代码如下

患者抓取物体放人小车，可以得到对应的分数，游戏结束后显示病人训练成绩，医生可根据患者成绩对患者上肢运动状况进行评估。图7为二指尖握训练，图8为手抓握训练。

4 结语

基于作业疗法的上肢康复游戏训练系统，将传统的作业训练与虚拟现实技术相结合，具有针对性、趣味性、主动性特点。根据手功能障碍患者日常生活活动需要，选取二指尖握和手抓握两个经典的康复训练动作，具有针对性。当患者进行手抓握训练时，可以根据手指抓握程度选取抓握不同大小的物块，不但降低了难度，还利于患者完成预定目标。在训练过程中设置不同的难易程度，对患者作业情况进行打分并给予语音鼓励，极大激发了手功能障礙患者训练的积极性，提高了训练效果。但是系统在进行抓握时无力反馈，游戏类型较单一，使游戏沉浸感大大降低。可以尝试添加力反馈装置，增加训练沉浸感，从而使病人训练更多的时间，提高训练效果;也可针对不同的病人提供不同的训练形式，增强康复效果。