基于脑机接口与虚拟现实技术的手部软康复系统研究*

高诺，陈鹏程

(山东建筑大学信息与电气工程学院，济南 250101)

引言

脑卒中后上肢损伤极其常见，此类损伤对脑卒中幸存者的日常生活有严重的影响。手部功能障碍作为脑卒中较为常见的后遗症之一，其特殊的生理结构使得较下肢功能康复更为困难；日常生活中因健肢代偿，患肢的康复更得不到足够重视，最终影响康复疗效[1]。2013年，Balamurugan等[2]的研究表明，脑卒中患者手功能可以恢复一半者只有15%左右，可以恢复到七成以上者仅占3%。在患脑卒中后6个月，存在手部功能障碍的脑卒中患者高达65%，严重影响患者的日常生活和社会回归[3]。

传统的康复治疗方法种类繁多[4-6]，包括神经生理疗法：Bobath法、Rood法等，以及特殊康复辅助器具对患者患手进行康复治疗。目前针对脑卒中后手功能障碍的康复效果并不理想[7]。极为单调枯燥的康复治疗形式，很难提起患者的训练兴趣和信心，较高的医疗成本[8]和难以实现高强度重复性训练的局限，使得康复效率无法满足患者的康复需求。现在主流的康复方式依旧依靠专业理疗师或者家属辅助，并依靠辅助器具进行康复。其缺点是需要耗费大量人力以及物力，且康复训练效率无明显提高。同时该方式是完全被动的康复训练，对患者未形成大脑、神经及肌肉的闭环系统，对患者大脑神经皮质的恢复效果不大，因此，康复效果并不理想。

当前，康复医学、计算机科学、生物医学工程、人工智能等学科不断发展，相互交融、促进。脑机接口(brain computer interface, BCI)[9-12]，作为一种前沿、热门、无创的脑刺激中枢神经干预新方法，不断被研究并应用于临床治疗中。运动想象(motor imagery，MI)是指运动活动在内心反复模拟排练，而不伴有明显身体活动。运动想象作为一种极具潜力的神经中枢干预技术，能充分调动脑卒中患者的主观能动性，实施方便，为脑卒中患者康复奠定了中枢重塑基础[13-15]。基于运动想象的BCI技术将中枢重塑与神经控制闭环相结合，为康复医学提供了一种更为优越的康复新模式。

在医疗健康领域，虚拟现实(virtual reality，VR)技术最初被应用于恐惧症、创伤后精神障碍和体像障碍等方面的治疗。早在1993年，便有学者提出，以VR技术为代表的计算机强化性训练应用于康复治疗可获得良好的康复效果。1999年，VR技术被应用于脑卒中患者的康复训练中，该研究通过VR技术模拟出虚拟教师进行授课，授课中的动作对2例脑卒中患者进行了上肢功能训练。训练结束后，受试者抓取所要求物品的准确率提高了50%。美国心脏协会(AHA)和美国卒中协会(ASA)于2016年共同发布《成人脑卒中康复指南》，针对VR康复技术在脑卒中患者上肢功能康复方面建议应用为Ⅱa级推荐，证据效力为B级[16]。VR技术作为一种全新的康复训练策略，为改善脑卒中患者患后运动功能障碍提供了一种愉悦的替代方案。

近年来，康复器械和虚拟技术飞速发展，机械手辅助训练技术逐渐应用于临床[17]，由于目前传感器技术在大多数康复机械手上并未集成应用，所以此类康复机械手无法实时反馈、收集康复训练时的各种运动数据信息[18-21]。同时，大部分康复器械均采用刚性结构，执行器为刚性连杆或者关节驱动，且无反馈系统。此设计存在极大的安全隐患，易对受试者造成二次伤害。而且刚性结构针对不同受试者大小不同的手部尺寸无法做到贴合穿戴，实用性与适用性均有欠缺[22-23]。

基于BCI和VR技术在康复医学中的巨大应用潜力，以及目前手部康复系统中存在的若干问题，本研究提出一种基于脑机接口与虚拟现实技术的手部软康复系统。与传统康复外骨骼相比，该软康复系统适配不同脑卒中患者手部，允许手和手指在非驱动方向上运动，重量轻，便于携带，透气性强，安全性高。在BCI和VR环境帮助下，系统协助患者主动完成康复训练任务，并通过特定游戏任务，为患者提供运动感觉和本体感觉反馈，在康复过程中提高患者大脑可塑性，改善运动神经功能重塑。本研究通过分析一系列对比实验，验证了所提出系统的可行性与有效性。

1 系统设计

本研究提出的基于BCI与VR技术的手部软康复系统的结构，见图1。该系统包含控制中心、VR模块、脑电信号处理和手部软康复外骨骼四个模块。

通过EEG采集模块检测到受试者的带有运动意图的脑电信号并经过脑电信号分析算法进行信号分析，一旦获得分析结果就立即向手部软康复外骨骼模块和VR模块发送信号。手部软康复外骨骼模块通过激活手套上的软手指致动器做出响应，从而帮助受试者获得执行任务所需的手部姿势。与此同时，VR模块向受试者呈现检测到运动意图的视觉确认，并显示成功执行任务的动画。本质上，通过该系统，视觉和动觉反馈都是从运动想象输入中获得，以达到目标功能以及预期康复治疗的效果。典型的系统运作框图见图1。

图1 基于脑机接口与虚拟现实技术的手部软康复系统框图

1.1 控制中心

控制中心作为系统的数据信息处理传输和逻辑判断中心，负责将接收到的运动意图等信息转换成相应的控制指令，发送至VR模块和手部软康复外骨骼模块，能够对接收到的信号指令进行逻辑判断，并向其他集成模块发出相应的控制指令；同时人机交互界面可以进行功能参数设置，康复训练过程中各项参数指标(如端口设置、控制指令发送窗口、连续指令发送按钮、虚拟现实环境选择按钮、康复训练档位、检测功能、训练时长等)都可以通过该界面进行设置。人机交互界面见图2。

图2 控制中心人机交互界面

系统为保护患者数据隐私并保证后续康复训练顺利进行，支持针对不同患者创建个人的数据账号并设置个人密码。系统登录界面见图3。

图3 系统登录界面

1.2 VR模块

该模块的主要作用及功能是提供深度沉浸式的虚拟环境，提高患者的康复积极性，以及提高患者的脑电信号质量以获得更高的脑电信号分类准确率。通过提示受试者在执行特定任务时的运动意图，激发患者的康复潜力。

本系统VR模块是基于Unity3D引擎建立的。虚拟环境采用第一人称显示患者手部状态，使患者能感受到较强的沉浸感与交互感。VR模块与脑电信号处理模块采用TCP/IP协议通信，编程语言为C#，通过脚本实现虚拟环境中人物的控制。VR模块与传感器数据传输流程图，见图4。

VR模块非常适合与康复设备结合使用[24-26]。康复设备除了辅助患手进行伸展、抓紧等动作外，还可以提供一定程度的视觉反馈。VR的使用是为了促进任务导向和重复运动训练的新运动技能，同时使用各种刺激环境。

图4 传感器与VR模块数据传输流程图

VR模块开发有四个康复任务策略，分别是：书房虚拟环境、台球游戏、砍树游戏和探索游戏。这四个不同的康复任务策略难度等级逐渐提高，不同的难度等级可以逐步辅助提高患者患肢的运动能力康复。

书房虚拟环境：高还原度、高沉浸感的书房虚拟环境将患者带入现实，进行初步被动康复，VR给予患者沉浸式视觉反馈，书房VR见图5。

图5 康复任务策略1-书房环境

台球游戏：VR环境下通过碰撞体检测使虚拟手臂抓取到台球杆，MPU6050传感器获取位置信息，通过调整方向以达到想击打的台球，通过握拳进行蓄力从而完成不同力度的击打。其目的在于让患者自主想象自己手部运动，刺激受损神经通路恢复。台球游戏VR环境见图6。

砍树游戏：虚拟环境患者通过虚拟手臂抓取斧头进行砍竹子游戏，患者通过握拳动作进行砍伐竹子的蓄力力度，力度不够则需要多次蓄力，每次砍伐成功五根柱子，虚拟环境则会出现鼓励性视觉反馈。任务性虚拟游戏引导患者达成康复训练目标。砍树游戏VR环境见图7。

图6 康复任务策略2-台球游戏

图7 康复任务策略3-砍树游戏

探索游戏：患者在虚拟环境中进行探索，0—9共10个手势依次控制虚拟人物结束游戏、左旋转、右旋转、跳跃、下蹲、前进、后退、加速跑、慢跑和返回初始状态。代表0—9的十个手势见图8(a)，探索游戏VR环境见图8(b)。

图8 康复任务策略4-探索游戏

1.3 脑电(electroencephalograph，EEG)信号处理模块

该模块包括脑电信号采集、放大及处理功能，并将分析出的运动意图通过TCP/IP通讯协议传输至控制中心。

本系统采用基于运动想象的脑机接口技术对手部软康复外骨骼模块和VR模块进行控制。脑电信号处理模块由脑电信号采集装置、信号处理分析算法两部分组成。信号采集装置负责采集受试者运动想象脑电信号，脑电信号分析算法负责对采集到的脑电信号进行特征提取与分类，并将分类后的运动意图发送至控制中心，由控制中心发送到相应执行模块。

1.3.1信号检测采集装置 本系统使用博睿康科技有限公司(Neuracle)的32导脑电信号采集设备对脑电信号进行采集。该系统按照10/20国际标准系统，将32个电极均匀分布在受试者头皮的运动皮层周围，接地电极REF为参考电极，采样频率设定为250 Hz，采集的信号通过生物信号放大器进行放大并保存。信号采集过程中保持电极阻抗在5 kΩ以下。脑电采集系统佩戴示意图及电极位置分布图，见图9。

1.3.2信号分析处理算法 本研究采用的信号分析处理算法为本研究团队提出的基于功率谱密度矩阵(power spectral density，PSD)的黎曼几何分析算法，该算法的结构框图见图10。其工作流程为：首先对大量已知类别的脑电信号进行PSD矩阵的计算，并构造相应类别脑电信号的PSD矩阵集。PSD矩阵的建立，完成了脑电信号从欧氏空间到黎曼空间的转换。对于一组未知类别的脑电信号，首先计算其PSD矩阵，然后计算该PSD矩阵与所有已知类别的PSD矩阵集中所有PSD矩阵之间的黎曼距离。根据相似性/非相似性定义，同类脑电信号PSD矩阵之间的黎曼距离较近，异类脑电信号PSD矩阵之间距离较远。最后，采用KNN算法判定该未知类别脑电信号的分类。

本研究团队提出的基于PSD矩阵的黎曼几何分析算法将脑电信号分析问题从传统的欧式空间转换到黎曼空间，充分利用脑电信号PSD矩阵的几何分布进行特征提取与分类，有效提高了脑电信号分析与分类效率。同时，该算法通过引入纤维束理论完成PSD矩阵之间的黎曼距离的计算，避免了传统黎曼距离计算过程中的收敛性分析问题及计算量大的问题。有关该算法的详细介绍请参考文献[27]，在此不再赘述。

(a)EEG信号采集装置 (b)EEG信号采集电极分布

图10 基于黎曼空间的脑电信号特征提取与分类算法

1.4 手部软康复外骨骼模块

该模块是康复系统的执行机构，负责辅助受试者进行伸手、全手指抓握、单指伸展、对指伸展等动作的完成。该模块接收控制中心的控制指令完成相关动作。同时该模块配有的传感器可将手部相关数据指标传输至VR模块。

手部软康复外骨骼模块结合伺服驱动器(舵机)控制精确度高的特点，可以精准地控制驱动行程，以此适应不同患者的需求，且舵机具有功率低、输出力矩大、控制简单易操作等优点。5个舵机分别为5根手指提供动力辅助完成康复训练动作，通过Arduino微控制器对每个舵机分别进行控制，以此来辅助单指、全指、对指等动作的完成。与传统刚性材料相比，本研究提出的手部软康复外骨骼模块克服了手指康复训练指间动作耦合的难点。同时为了提高系统适用性，本系统还加入多种通信接口，包括：TCP/IP、蓝牙等。手部软康复外骨骼模块中还设有一个大容量电池模块给控制器和舵机供电，保证系统可以独立工作，也可通过220 V交流电进行充电。手部软康复外骨骼模块集成嵌入式系统，可进行通信方式的选择、训练模式的选择、控制指令的修改。手部软康复外骨骼模块结构示意图，见图11。

图11 手部软康复外骨骼模块由外骨骼手部佩戴部分(红色标记)、外骨骼控制箱两部分组成

为实现检测功能，在外骨骼手部佩戴部分加入弯曲度传感器，以此来获取患者手部各项数据指标，包括手指活动的最大范围、加速度等。弯曲度传感器是一种拥有可变电阻的电子元件，传感器阻值R与传感器的弯曲程度成正相关。5个弯曲度传感器采集5根手指的数据值进行解析，设定患者张手时传感器阻值R为最小值，在紧握手部时传感器阻值R为最大值。以STM32F40LCBUb作为主控芯片的电路板集成了电压电阻转换电路、数据格式选择开关、Micor-USB充电接口、蓝牙模块、MPU6050传感器和五个传感器采集接口。弯曲度传感器及主控电路板见图12。

2 实验验证与结果分析

为了验证本研究系统的可行性与有效性，本研究团队进行了一系列的相关实验。所有实验均在山东建筑大学进行，共选取7名受试者，均为22～35岁的在校学生(4男3女)。实验在舒适、放松的环境下进行。实验分为三个部分：(1)验证系统的稳定性；(2)验证EEG信号在分析算法的可行性；(3)验证在进行运动想象实验时，虚拟现实对相对应脑区活跃度的提高。

(a)弯曲度传感器

(b)组装完成的5个弯曲度传感器和主控电路板

2.1 手部软康复系统稳定性实验

手部软康复外骨骼模块可作为独立模块单独运行，验证系统稳定性即验证手部软康复外骨骼模块对VR模块指令的执行情况以及有无耦合动作情况的发生。VR模块通过人机交互界面的控制指令发送窗口编辑指令内容，并设置指令发送间隔。手部软康复外骨骼模块嵌入式系统预设控制指令分别为1～10，1～5控制指令代表从大拇指到小拇指单指张握一次动作完成；6代表全指抓握；7代表全指张开；8代表全指进行张握一次动作完成；9代表大拇指食指对指一次动作完成；10代表大拇指小拇指对指一次动作完成。

通过设置三组实验，检验是否有耦合动作，指令发送间隔设置为5 s，控制指令设置为“1-2-3-4-5”、“6-7-8-9-10”、“8-9-10-5-1”在接收到控制指令前手部软康复外骨骼模块处于待机状态。当其接收到控制指令并完成控制指令代表的动作时，记录此次实验结果为“1”，反之记录为“0”。实验结果见表1。

由表1可知，每组实验系统都依次正确完成了控制指令的内容，未发生耦合动作情况。因为手部软康复外骨骼模块嵌入式系统的引入对控制指令逻辑的判断提供了保证，未出现一个动作未完成便进行下一个动作的情况。

表1 手部软康复外骨骼模块执行控制指令耦合动作

2.2 在线实验

本次实验进行了单手两种状态的运动想象实验：张手、抓握。7位受试者被要求按照电脑显示屏出现的手部状态提示进行相对应的运动想象，实验范式见图13。每位受试者被要求进行3组运动想象实验，每组实验张手、抓握运动想象共40次，每组实验结束允许受试者休息3～5 min。

图13 实验范式图

实验结果的准确率由计算机运算得出，即信号分析处理算法得出的运动意图与电脑显示屏出现的手部状态，提示相同则视为正确，反之则视为错误。7名受试者的实验结果准确率见表2。表2中的准确率说明，本研究所采用的基于PSD矩阵的黎曼几何分析算法可以在较高准确率下区分患者同方向手的不同动作：抓握与张开，验证了该脑电信号分析算法应用于本研究所提出的手部软康复系统中的可行性与有效性。

表2 7名受试者的分类准确率

2.3 离线实验

本实验选取一名受试者，收集了其在静息状态下、脑机接口控制康复系统右手运动状态下和在虚拟环境下，通过脑机接口控制康复系统右手运动状态下的离线脑电信号数据。根据实验结果数据绘制其不同临床试验状态下的脑电图空间模式，见图14。

图14(a)显示的是患者在进行手部软康复外骨骼模块被动康复时的脑电地形图。图14(b)脑电图显示是在通过MI-BCI控制手部软康复外骨骼模块时主动康复状态的脑电活动地形图，运动皮层区域周围的右半球有一个同侧阴性区域。图14(c)显示的是患者在MI-BCI控制手部软康复外骨骼模块的基础上，引入虚拟现实(康复策略1：书房环境)完成闭环反馈时的脑电地形图。通过对比显示，在虚拟现实环境下进行脑机接口康复实验时，相对应脑区活动较单纯进行脑机接口康复试验更为活跃。由于脑电地形图对于不同的患者来说，静息状态和运动想象状态的脑电图空间模式并非一致，因为该状态模式不受人们的主观控制。

(a)手部软康复外骨骼被动康复

(b)手部软康复外骨骼+MI-BCI主动康复

(c)手部软康复外骨骼+MI-BCI+VR主动康复

VR模块的高度沉浸感激活了大脑运动皮质的活动状态，相对于MI-BCI控制手部软康复外骨骼模块时，脑区激活程度上呈现出一定的优势，能实现脑区较好的激活，为脑功能重建与脑神经重塑奠定基础。

3 结论

本研究阐述并验证了脑机接口与虚拟现实技术在软康复外骨骼中的结合是一种有效的康复方案。同时，本研究系统在手部软康复外骨骼模块集成嵌入式系统提高了实用性，弯曲度传感器以及MPU6050传感器可以有效保护患者的手部安全，防止超过活动范围的康复对患者造成二次伤害。相关实验结果表明，手部软康复外骨骼模块稳定性较高，可作为执行机构代替人工对患者手部进行康复训练。本研究所采用的信号分析处理算法满足系统对执行机构控制准确率的要求。患者在不同康复状态下的脑电空间模式图，验证了虚拟现实与脑机接口相结合在提高患者对应脑区活跃度方面的有效性，为脑功能的重建与脑神经的重塑奠定了理论基础。

虽然本研究系统解决了部分传统康复方式存在的问题，将脑机接口、虚拟现实技术和手部软康复外骨骼相结合，为手部功能障碍患者提供了一种安全、有效的主动康复新方案，但是该系统距离真正的临床应用尚有很多工作需要进一步完善：(1)具有迁移学习能力的脑电信号分析算法可以明显缩短脑机接口系统校对时间，有效提高脑机接口系统的应用性；(2)脑卒中后手部肌无力与肌肉僵硬患者需要穿戴更加方便的手部软康复外骨骼；(3)集检测、控制、评估为一体的康复系统可以有效提高康复效率、确定康复水平。随着脑科学、人工智能、机器人技术的深入研究与发展，本研究将会具有更加良好的应用前景。