基于视动追踪技术构建偏侧空间忽略康复系统

刘一璇，肖 伟，许 可，陈 芸，臧予安琪，余善成3，*

（1.南京医科大学康复医学院，江苏南京 211166；2.南京医科大学药学院，江苏南京 211166；3.南京医科大学附属江宁医院医工融合实验室，江苏南京 211100；4.南京医科大学生物医学工程与信息学院，江苏南京 211166）

偏侧空间忽略（Hemispatial Neglect，HN）是脑卒中常见的并发症，由局灶性脑损伤引起，患者可准确地对同侧刺激做出反应，但无法检测对侧空间的刺激，常见于右侧后顶叶损伤患者［1］，是一种特殊类型的注意障碍［2］。临床常用的观察量表和纸笔评估存在缺乏精确度、生态效度、敏感性降低和假阴性结果高等许多问题［3］。

由于机器人技术与计算机视觉技术的兴起，越来越多的研究工作聚焦于利用新兴技术帮助脑卒中患者进行康复，在预防损伤和监控数据方面也取得了良好的效果［4-5］。虚拟现实技术被用来研究卒中后HN患者对目标检测的能力和行走时的导航能力［6］，如Ogourtsova等［7］使用了沉浸式杂货铺3D场景，通过使患者处于坐位和用操纵杆控制方向，消除了与患者步态能力相关的潜在混杂因素的影响；Spreij 等［8］则是使HN患者进行模拟驾驶，通过道路位置和摇摆幅度进行视觉空间忽视的评估。但这些研究并没有记录实验中的眼球运动，无法提供关于注视转移、空间注视和重新注视等信息［7］。Delazer 等［9］的研究记录了眼球追踪运动，直观评估了HN 患者佩戴眼动仪后的注视不对称指数。Kaiser 等［10］回顾了结合虚拟现实与眼部追踪的方法对单侧空间忽视的评估和治疗的相关研究，发现暂时没有结合二者作为治疗方法的研究。

基于上述研究结果，本文设计了一种基于视动追踪算法和手-眼-脑协同传感康复系统，用于偏侧空间忽略评估和协同康复。希望通过视动追踪技术提出一种具有广阔前景的康复疗效反馈方法，实时监督患者的治疗过程，对患者的康复治疗过程起到纠正和指导作用；在患者训练之后，对本次训练形成系统评价。

1 实验方法

本文结合视动追踪技术与康复治疗理念设计了手-眼-脑协同偏侧空间忽略康复系统，将偏侧忽略这一抽象的概念量化为具体数据，并结合饶有趣味的游戏，吸引患者更好地进行治疗；面对病情严重程度不同的患者，该系统拥有较强的自适应能力，病人可自行调节患手拉力；在评估与治疗过程中，该系统可全程采样记录，并形成连续性数据，完整反映患者的治疗情况。设计详情描述如下。

1.1 手-眼-脑协同传感康复系统设计原理

HN患者可通过识别前庭刺激、本体感觉刺激、视觉刺激等多种刺激，调节空间参考系统进而判断躯体位置［11］。李嘉杰等［12］曾将振动触觉反馈用于脑卒中患者的上肢康复系统。基于感觉刺激技术，设计了一个手-眼-脑协同传感康复系统，如图1 所示，通过输入不同的手指运动感觉［13］，诱导大脑对空间位置重新定位。

图1 手-眼-脑协同传感康复系统示意图

手部康复机器人由5 个弯曲传感器（flex sensor 2.2）、Arduino Uno 开发板、5 个舵机（SG G90）和一个电源模块组成，如图2 所示。健侧手套使用弹力指套并将弯曲传感器与5 根手指刚性固定。弯曲传感器阻值与其弯曲程度成正相关，当弯曲幅度变大时，电阻值变大。当弯曲传感器的电阻增加时，其两端电压增大。因此，健侧手指的屈曲程度可改变弯曲传感器的阻值和分压，通过系统处理后作为输出信号驱动舵机转动，使患侧手获得运动感觉输入并进行镜像活动。弯曲传感器分压与舵机转动角度的对应公式如下：

图2 手部康复机器人模块示意图

式中：θ为舵机转动角度；Ω为弯曲传感器的阻值；Ωmin和Ωmax分别为弯曲传感器阻值的最小和最大值；x为舵机可达到的最大角度；y 为舵机补偿角度。通过弯曲时传感器的分压变化，采集手部屈曲活动程度，并经过Arduino Uno内置程序转化为舵机摇杆偏移的幅度，进而驱动患侧手进行屈曲运动。使用魔术贴对患侧手指远端关节进行个性化尺寸定制，使舵机与手指紧密贴合。为获得最大力矩，拇指舵机通过泡沫板固定于腕侧，其余4 指的舵机固定于掌心。通过舵机运动实现触觉输入，提醒患者对于右侧空间位置的感知，使患者可以主动进行两手镜像协同运动，预防肌肉挛缩，刺激大脑镜像神经元，从而激发患者的运动想象与模仿能力。

采用瞳孔-角膜反射（Pupil Center Corneal Reflection，PCCR）技术（如图3 所示）［14］实现患者眼睛对动态目标的实时跟踪。首先，眼动仪发射近红外光照射眼睛，并视同眼动仪的摄像机采集从角膜和视网膜上反射的红外光线。由于眼球的生理结构特性，角膜反射形成的光斑可被摄像机精准捕获，根据瞳孔与角膜反射光线之间的夹角可计算出眼动的方向。通过二维视线映射函数模型［15］估计视线的方向，角膜反射形成的眼睛图像光斑的二维特征可作为映射函数的输入，映射函数的输出即为眼动视线方向。二维视线映射函数模型表示如下：

图3 基于PCCR技术实现视动追踪

式中：（Px，Py）和（Vx，Vy）分别为视线落点和瞳孔反射光斑向量。通过建立视线映射模型，让患者依次注视6 个圆点，直至原点爆破，对瞳孔中心与反射光斑中心的相对偏移向量的水平分量和垂直分量（Vx，Vy）进行矫正。同时，由于不同受试者角膜球面半径具有个体差异，且人眼视轴和光轴夹角不同，因此即使不同的受试者在同一位置注视同一目标，提取的瞳孔-角膜反射向量（Vx，Vy）仍有所不同，进行Alpha参数和矢量校正后，视线落点（Px，Py）受到个体差异干扰性减小［16］。对于受试者头部运动引起的误差，通过粒子群优化的BP（Back Propagation）神经网络进行校正［17］。

1.2 游戏设计原理

杨宇轩等［18］的研究认为眼动追踪的动态任务评估结果与BIT-C和CBS评估结果具有较高的一致性，且更具时效性。Cox 等［19］的研究认为眼球追踪可以补充纸笔测试，同时也受执行任务的相关因素调节。为实现手部康复机器人与眼动追踪的联合康复效果，基于Unity软件，设计了一款飞行小鸟游戏，如图4 所示。该游戏将小鸟的飞行坐标限制在水平方向，仅允许小鸟进行左右平移飞行，该设计方案用于视动刺激的训练。

图4 小鸟飞行游戏

在手部康复机器人的控制程序中，为了实现弯曲传感器对小鸟位置的控制，受试者手指活动度影响弯曲传感器的弯曲程度，从而影响输出的分压数值。设定小鸟坐标在最左端及最右端时，分别对应受试者弯曲传感器输出分压的最大值与最小值，即可完成受试者手脑协同的游戏操作。当弯曲传感器的弯曲角度为0°时，阻值最小，输出分压最小，此时小鸟位于游戏画面的最右端。随着弯曲传感器的角度增大，小鸟将向游戏画面的左端移动。本文根据弯曲传感器的电阻范围映射至小鸟在游戏画面中的运动范围，电阻值变化区间为［Umax，Umin］Ω，以画面左上角为原点，小鸟的中心点的水平运动范围为［450.829 8，1 460.785 5］pt（游戏界面的像素位点point）。在治疗过程中，同时开启眼动仪，对患者的注意力进行实时追踪，完成治疗与反馈的一体化。此外，多感官任务并不会影响患者的学习能力。由注意力调控的视觉-运动信号遵循规范化和可分离性，即在活动较少时，视觉和运动均保持独立性；而在高度持续注意状态下，视觉和运动信息将加强这种分离处理［20-21］。Deveau 等［22］的研究表明多感官模式可以获得更多的互补信息，能够更好地促进学习，与单一的视觉训练相比，多感官训练达到渐进值所需的训练次数减少了60%，提高了训练效能。

1.3 受试者

选取健康受试者12 名，其在6 个月内没有疾病史，年龄在18 ～70 岁之间。

选取患者3 名。患者纳入标准：①符合脑卒中的诊断标准，经CT或MRI证实，处于右侧脑卒中的亚急性期（发病后1 ～6 个月）；②年龄18 ～70 岁；③简易智力状态检查量表（Mini-Mental State Examination，MMSE）得分≥10，或能够配合治疗师完成试验；④线段二等分试验、划消实验、星星删除试验阳性；⑤视力正常或矫正后正常；⑥病情稳定，能在坐位下完成试验；⑦右侧肢体为活动度更好。患者排除标准：①有精神史且难以遵循治疗师的指导；②出现严重的意识障碍；③有严重的肢体、内脏功能其他疾病；④患者或家属未签署知情同意书。

1.4 数据采集与分析

采用DESKTOP-3GT993Dbi 笔记本、Tobii Eye Tracker 4C和手部康复人搭建手-眼-脑协同传感康复系统，如图5 所示。使用的软件有Arduino IDE、Unity、Visual Studio 2017 和EV 录屏。在经过Visual Studio 2017 对Tobii Eye Tracker 4C 的配置后，通过Tobii Eye Tracker 4C和Adobe Illustrator 2021 进行受试者注视轨迹及注视点坐标数据采集。采用SPSS 25.0 对所得数据进行统计学分析，连续变量符合正态分布均采用均数±标准差（x ± s）表示，偏态分布采用中位数（四分位数）表示。通过独立样本t检验比较健康受试者和患者在对小鸟坐标的操控上是否有差异，以及健康受试者和患者在单纯眼动模式下注视点的分布。使用成组两样本t检验分析健康受试者和患者在单纯眼动模式下注视点与小鸟坐标的欧氏距离差异。在手-眼-脑协同模式下，采用被试内方差分析与简单效应检验比较了患者在3 次训练中的欧氏距离。在使用视动追踪的手-眼-脑协同传感康复系统治疗偏侧忽略患者的实验中，采用单因素方差分析（Analysis of Variance，ANOVA）检验分析治疗天数对于欧式距离的影响。

图5 手-眼-脑协同传感康复系统实物图

2 实验结果

2.1 健手传感器弯曲角弯曲传感器分压

在相同电压（11.1 V）下，设定同一受试者掌指关节的关节活动范围为0° ～90°，记录弯曲传感器输出的分压范围，总电压在程序中表示为1 023，弯曲传感器分压数值范围为0 ～1 023。在确定弯曲传感器0°～90°的输出分压范围后，将每位受试者范围值分别映射至游戏中小鸟的坐标。在游戏参数设置完成后，打开单纯眼动模式，嘱咐受试者再次从0° ～90°活动掌指关节，每活动15°记录一次小鸟水平坐标及舵机旋转角度。患者活动度受限时，用“／”表示。由于健康人数据无显著差异（p ＞0.05），仅用1 例代表，1 名健康受试者和3 名患者健侧的掌指关节活动度与弯曲传感器分压及游戏目标水平坐标关系如表1 所示，相应的统计学结果如表2 所示。结果表明，健康志愿者和患者在使用弯曲传感器对游戏中小鸟进行控制时，坐标的范围没有显著性差异（t ＝1.448，p ＞0.05）。3 名患者虽然从0°逐渐增加手指弯曲角度时，出现关节活动度受限，弯曲传感器分压的变化范围也较普通人减小，但与健康受试者都可控制游戏小鸟接近最左侧水平坐标。

表1 掌指关节活动度、弯曲传感器分压及游戏目标水平坐标关系

表2 健康志愿者和患者控制小鸟坐标差异独立性样本t检验

2.2 视动追踪技术对HN的评估

受试者端坐位，先进行眼动仪校准，在单纯眼动模式下，由实验人员操控小鸟的移动，进行1 min的视觉追踪，并通过EV录屏软件进行屏幕录制，每2 s 抽取一帧。在实验开始前，每位受试者有30 s的时间熟悉操作流程。

屏幕分辨率为1 920 像素×1 080 像素。采样12名健康志愿者和3 名HN 患者的视动点坐标，以纵坐标到画面中心线（y ＝540 pt）的垂直距离Δy（如图6所示）表示健康志愿者与患者注视点的分布离散程度，结果如图7 所示。健康受试者注视点纵坐标到小鸟运动区间（y ＝540 pt）的距离为（41.15 ±15.70）pt，患者注视点纵坐标到小鸟运动区间的距离为（141.91±36.25）pt，健康受试者的注视点与患者注视点在纵向分布上的离散程度有显著性差异（t ＝-7.70，p ＜0.001）。结果表明，健康受试者的注视力能够很好地跟随游戏中小鸟的运动轨迹，而患者的注视点坐标分布更为分散，说明患者在视觉跟随的过程中无法将注意力集中于小鸟。

图6 单纯眼动模式下垂直距离及欧氏距离示意图

图7 注视点到y ＝540 pt的垂直距离（***表示p ＜0.001）

2.3 视动追踪技术对HN的治疗

受试者端坐位，健侧手（右手）佩戴弯曲传感器，患侧手（左手）佩戴舵机，再次校准视动仪。做好以上准备工作后，在单纯眼动模式下，嘱咐受试者通过弯曲手指自行控制游戏小鸟的水平移动，并时刻保持视觉跟随，训练3 组，每组2 min。通过EV 录屏软件和Tobii眼动仪记录视动点，计算视动点与小鸟坐标之间的欧氏距离d1，如图6 所示。受试者视动点为（x1，y1），小鸟坐标为（x2，y2）。欧氏距离计算公式如下：

单纯眼动模式下，受试者欧氏距离记为d1，结果如图8 所示。结果表明，单纯眼动模式下，健康人群与患者的欧氏距离总体均数在3 次实验中均有显著性差异（p ＜0.001），表明在该实验过程中，健康人群对目标的追视能力更好，而患者不能及时跟随。

图8 单纯眼动模式下受试者的欧氏距离（***表示p ＜0.001）

2.4 视动追踪技术对手眼脑协同训练的反馈

受试者进行准备工作之后，在手-眼-脑协同模式下治疗。该模式增添了障碍物，受试者需要判断绿色杆状障碍物位置，并操控小鸟躲避。嘱咐受试者在手-眼-脑协同模式下进行3 次游戏。开始前可在单纯眼动模式下熟悉弯曲传感器操作10 s，每次训练2 min，如若中途因小鸟撞到障碍物导致游戏暂停，即刻重新开始游戏，直至训练满2 min。同时记录每次手-眼-脑协同模式下小鸟和注视点之间的欧氏距离d2（如图9 所示），结果如图10 所示。手-眼-脑协同模式下，3 次实验中，健康人群欧氏距离总体均数仍显著小于患者（p ＜0.001），对于健康志愿者和患者的欧氏距离进行训练次数的重复测量方差分析，结果发现，训练次数效应显著（p ＜0.05），健康受试者和患者的欧式距离都随实验次数的增加而显著上升（p ＜0.05）。

图9 手-眼-脑协同模式下欧氏距离示意图

图10 手-眼-脑协同模式下，受试者的欧氏距离（*表示p ＜0.05，***表示p ＜0.001）

2.5 基于视动追踪的手-眼-脑协同传感康复系统对于偏侧忽略患者的治疗作用

受试者做好准备工作后，端坐位进行康复训练，如图11 所示。首先对3 名患者进行7 天的单纯眼动模式下的训练，每天2 min，并记录训练过程中的欧式距离d3，统计学结果如图12 所示。其中一名患者在单纯眼动模式下，第5、6、7 天的欧式距离显著性减小（p＜0.05），而其他2 名患者7 天的欧式距离没有显著性差异（p ＞0.05）。嘱咐在单纯眼动模式下治疗情况改善的患者继续7 天的手-眼-脑协调模式治疗，每天2 min，7 天的欧式距离d4如图13 所示。该患者在手眼脑模式下7 天的欧式距离没有显著性减小（p ＞0.05）。

图11 实验流程示意

图12 单纯眼动模式下治疗结果

图13 手-眼-脑协同模式下治疗结果

3 讨论

大于80%脑卒中患者中在发病6 个月后出现手部运动功能［23］下降，导致其手部活动度减小，手指僵硬［24］。在治疗过程中，患侧手舵机保持变化角度实时牵拉状态，当健手活动度越大时，舵机摇杆旋转幅度越大，输入运动觉刺激越强，达成从健手到患手的闭环。健手传感器弯曲角度与弯曲传感器的分压的结果说明即使患者右侧手活动度相较健康志愿者受限，弯曲传感器的分压值变化较小，仍可以等比映射到小鸟的坐标范围，同时，该系统具有较好的自适应能力，对于不同病情严重程度的患者通过内置程序可进行设备调节，使手功能较差的脑卒中患者在早期及时得到偏侧忽略的干预治疗。

偏侧忽略研究中常用的评定方法为观察量表评估，包括行为忽略试验（Behavioural Inattention Test，BIT）［25］和凯瑟林-波哥量表（Catherine Bergego Scale，CBS）［26］。BIT包括6 项最常用的纸笔试验和9项行为作业；CBS主要观察与日常生活活动密切相关的10 个项目，如洗脸、穿鞋、吃饭等。观察量表评估中，CBS具有一定的主观性。同时，BIT和CBS都无法判断是感觉忽略还是运动忽略，因此单纯用观察量表不能完整地评估偏侧忽略。而传统的纸笔测试也不足以检测慢性阶段的偏侧忽略症状［27］，且以上方法仅限于静态的空间测试。通过视动追踪技术使健康受试者和患者在动态任务中的注意力转换成注视点的坐标值，这样的整体评估过程更为直观。在单纯眼动模式中，患者注视点的分布较为离散，而患者在左、右两侧的注视点坐标的纵向分布没有显著性差异（p ＞0.05），这说明游戏设计的视动追踪训练可以诱导患者的注意力有效向左侧空间转移。杨宇轩等［18］的研究说明注视的空间分布不能准确诊断症状较轻的患者，本研究也认为注视点只能表示患者的注视行为和忽略趋势，起到辅助静态评估作用。

在单纯眼动模式下，通过本系统比较了健康受试者和患者在自行控制小鸟时，注视点与小鸟之间的欧氏距离。欧式距离越小，表明受试者的眼动跟随能力越好。当患者的欧式距离与健康受试者无显著性差异时，说明患者偏侧空间忽略障碍得到了有效的康复训练。患者进行第三组试验时，如欧式距离已有下降，但无显著性统计学差异（p ＞0.05），需要增加治疗的天数再进行研究。

手-眼-脑协同模式下，由受试者本人进行游戏小鸟的控制，并使小鸟安全地飞越障碍物。健康受试者由于习得性，逐渐在重复实验中找到游戏的诀窍，视野广度更大，关注目标也由小鸟逐渐转移至周围障碍物，产生对游戏操作的预判，因此欧氏距离显著上升；而患者由于无法熟练进行游戏控制，导致小鸟经常撞到障碍物，随着实验的次数增多，患者的疲劳感加重，注意力更加分散，欧氏距离显著增大。

连续7 天使用了单纯眼动模式后，患者的欧式距离显著减小，说明其视觉跟随能力增强，在游戏任务中的注意力随着训练天数的增加而更加集中。在手-眼-脑协调模式下的欧式距离虽有上下波动，但是没有显著差异，表明手-眼-脑协调模式对于偏侧忽略患者有一定难度，除了要求患者注意力较为集中，还需患者具有敏捷的反应能力。在刚开始训练时应该以单纯眼动模式为主，当患者能够在无障碍时熟练操控游戏，并能准确定位小鸟坐标时，再进行手-眼-脑模式下的训练，避免患者对治疗丧失兴趣，产生厌烦感。

4 结束语

视觉追踪技术通过对患者的注视点坐标分析，获得轨迹图片，辅助传统评估方法进行动态评估HN 患者的空间忽略。同时，游戏提供的视觉信息调控了注意力，驱动受试者选择注视对象，视动追踪任务可以使右脑卒中后偏侧忽略患者产生向左的空间认知。在单纯眼动模式和手-眼-脑协同模式下，健康志愿者的欧氏距离都显著小于患者，欧式距离可以作为患者在治疗过程中评价的指标。在手-眼-脑协同模式下，随着实验次数的增加，患者可能由于疲劳感而导致治疗效果下降，所以应用时需注意治疗的时间。同时，患者的治疗过程应先易后难，循序渐进，当患者熟悉单纯眼动模式后再进行手-眼-脑协同操作。该研究为脑卒中后偏侧忽略患者提供了一种颇具趣味性的基于视动追踪的手-眼-脑协同传感康复系统手段，自适应能力强，对偏侧忽略的评估实现数据可视化，且在治疗过程中可做到对患者注意力的实时监督，较好地提高了患者的依从性。