运动干预计算机辅助认知训练系统设计

徐言东 邹任玲 陈燕燕 马少轩 卢旭华

摘  要：在中国步入中等老龄化社会以及新冠肺炎对认知障碍患者的感染性更强的背景下，针对认知障碍患者的康复训练，提出通过运动锻炼来干预认知训练的认知康复软件训练系统。该系统由Kinect数据采集模块和康复训练软件模块构成，结合数据库，实现运动锻炼干预认知训练。通过镜像的模型映射促进认知功能锻炼，通过循环多次检测保证姿势识别率，通过运动干预提高认知训练的康复效果。通过该系统可以将运动锻炼和认知训练相结合，虚拟训练可以提高患者的训练兴趣和注意力，为认知障碍的非药物治疗手段提供新的思路和方法。

关键词：认知训练;运动锻炼;虚拟游戏

中图分类号：TP31     文献标识码：A

文章编号：2096-1472（2021）-09-58-05

Abstract： China has now entered a medium aging society and Covid-19 is more infectious in patients with cognitive impairment. Aiming at the rehabilitation training of patients with cognitive impairment， this paper proposes to design a cognitive rehabilitation software training system that intervenes cognitive training through exercise. The system is composed of Kinect data acquisition module and rehabilitation training software module， combined with the database， to realize the cognitive training of sports exercise intervention. Mirrored model mapping is used to promote cognitive function exercise， posture recognition rate is ensured through repeated testing， and the rehabilitation effect of cognitive training is improved through exercise intervention. The system combines exercise and cognitive training， and virtual training can increase the training interest and attention of patients. The proposed system provides new ideas and methods for non-drug treatment of cognitive impairment.

Keywords： cognitive training; exercise training; virtual games

1   引言（Introduction）

ZHOU等人试验验证了老年认知障碍患者作为易感人群更容易引起心理应激反应，加重精神行为症状风险[1-3]。过去几十年，人们针对阿尔兹海默症等认知障碍类疾病的治疗提出了各种方案，但药物治疗方面一直没有实质性突破，更多的研究转向了效果明显的非药物治疗。在非药物干预方法中，认知功能训练已被证明对改善患者的认知功能是有效的[4]。在计算机认知训练软件方面，HOFMANN等人在1996年首次实现了计算机认知训练软件，并应用于阿尔兹海默症患者。结果表明，患者训练结束后日常活动错误率降低[5]。BONNECH?RE等人针对老年人进行商业认知游戏训练的荟萃分析，进一步证明了计算机认知训练游戏的有效性[6]。NILSSON等人研究运动锻炼对认知训练的效果影响，证明了运动锻炼可以提高血浆中脑营养因子水平，进而对认知训练起到促进作用[7]。

本文针对目前尚无将运动锻炼和认知训练结合进行认知康复训练的软件，设计了一种运动锻炼干预认知训练虚拟游戏系统。计算机技术和设备的发展促进了虚拟现实技术（VR）的产生。VR技术沉浸式的交互体验又可以在游戏中进一步调动患者的训练兴趣。本文系统创新之处在于：将运动锻炼和认知训练结合，以VR游戏的方式作为认知康复的治疗手段，采用Kinect体感设备进行人机交互，患者身体没有负重，不需要佩戴任何设备。

2   总体设计思路（Overall system design）

运动干预计算机辅助认知训练系统由Kinect体感设备和运行认知训练软件的PC机两部分构成，包括软件训练系统和数据采集系统。软件训练系统包括姿势数据采集、姿势数据识别、认知训练、运动训练、训练数据存储。整个系统设计结构如图1所示。患者站立于Kinect体感设备前面采集人体姿势数据。计算机上部署认知训练系统，用于实现认知训练和运动锻炼。整个软件系统使用Unity3D进行开发，使用Kinect作为人体姿势数据采集设备实现人机交互。Kinect作为微软发布的一款针对VR游戏的设备，通過相关的处理算法可以实时采集用户动作信息，作为输入设备摆脱了键盘、鼠标。第二代Kinect在0.8—3.5 m范围内有较高的识别准确率，水平视角为70°。它可以满足游戏设计的运动锻炼范围，并在最佳识别距离内检测到人体主要骨骼点（满足游戏设计要求检测到16个骨骼点），如图2所示。

3   系统软件设计（System software design）

运动干预作为认知训练的手段，参与认知障碍患者的康复治疗中的有效性目前已得到了临床上的认证。3 个月和6 个月的有氧运动干预训练的荟萃分析认为，有氧运动可以提高认知障碍患者的记忆力、执行能力、协调能力等认知能力[8-9]。综合相关研究，运动干预认知训练可以作为尚有运动能力的认知障碍患者康复治疗的极大补充。

使用Unity设计运动锻炼干预认知训练的认知游戏，包括数据采集模块、游戏模型映射模块、认知训练模块。数据采集模块采集Kinect体感设备前的患者姿势数据，并进行识别，并将采集的数据映射在游戏模型中。认知训练模块开始计算力、记忆力、图形识别、方向感认知训练。

数据采集分为Kinect数据采集、姿势识别两个步骤。Kinect采集的数据包括彩色图像、深度图像、音频等原始数据和经图形处理后的骨骼数据。数据采集模块使用IBodyFrame获得患者骨骼数据和空间位置信息。采集数据后进行姿势识别，姿势识别通过事先使用Kinect Studio和Visual Gesture Builder建立gbd姿势文件的方式进行检测。实现姿势检测首先需要读入人体姿势数据，然后采用非连续的姿势识别方法检测患者运动姿势是否与规定的姿势一致，以及连续多次采样检测姿势是否符合要求。非连续姿势采用置信值衡量用户姿势的完成度，是Kinect进行离散姿势识别时的返回值，其范围为0—1。置信值越大，表示用户动作完成度越高。考虑到运动锻炼干预认知训练游戏针对的是认知障碍患者，为提高患者训练信心，经过多次临床测试设定置信值为0.2，可以增强患者的信心和参与感，提高训练兴趣。

3.1   游戏模型映射

3.1.1   游戏模型制作

训练游戏使用3D Max来设计两个主要的模型：人物模型和墙体模型。人物模型包括头部、上肢、躯干、下肢4 个部分。人体结构由骨骼撑起，由肌肉的变化和走向决定人体外部表现。人体建模需要考虑的主要是躯干主体和四肢支撑骨骼。左侧上臂和右侧上臂共6 块骨骼，左下肢和右下肢共6 块骨骼，躯干和脖颈共8 块骨骼。人体上肢具体是由上臂肱骨，前臂的尺骨、桡骨和手部构成;下肢由大腿股骨，小腿腓骨、胫骨和脚部构成。軀干由上胸和下腹两个主体部分构成。模型制作时下腹模型3 块骨头，上胸3 块骨头，两部分通过一块骨头连接。头部不考虑动作故不添加骨骼。模型制作时首先新建BOX，不断根据实际情况调整成各部分对应的形状。墙体模型用于提示患者摆出何种姿势，通过新建BOX，再通过“拾取”操作，获得带有人体墙洞的墙体。

3.1.2   人体姿势映射

模型动作映射是基于Unity的人物模型动画系统Humanoid进行骨骼映射的。本次人物模型需要映射人物躯干的关节有：踝关节、膝关节、髋关节、脊柱下部、脊柱中心、腕关节、肘关节、肩关节以及两肩关节中间位置。在映射前，需要将人物模型设置为：两腿并立站好，双臂水平抬起姿势（后文简称T形姿势），将模型的两臂伸展，使两臂腕关节、肘关节、肩关节处于同一水平线，两腿呈竖直状态，提示患者开始训练。模型采用镜像的方式实现将实际动作赋予模型，顺应患者习惯。首次需要对关节角度做初始化，以防止出现人物骨骼折断的情形。在每次采集到正确的数据后，将通过HumanBodyBones实现模型人物的实时映射，给出实时反馈，并将患者空间水平面的位置赋予模型，提示患者调整姿势和位置。

3.2   认知训练模块

运动锻炼干预认知训练游戏通过认知训练结合运动锻炼来弥补传统认知训练游戏不能充分调动患者积极性的缺点。认知训练作为其中重要的训练部分，需要患者根据认知训练题目得出正确答案后做出判断：需要摆出哪一个姿势;然后站在正确的墙洞前，摆出符合正确墙洞的姿势，从而达到认知训练的目的。游戏训练时，由于每个墙都有两个人形墙洞，患者根据认知题目做出判断后，需要移动自身位置并变换肢体动作，才能穿过正确的墙洞。认知训练的不同题目可以锻炼患者的多种认知能力。通过题目提示患者根据左右方向选择正确的墙洞穿过，可以训练患者的方向感，如图3（a）所示;通过题目计算简单的四则运算并根据算数结果选择正确的墙洞，可以锻炼患者的计算能力，如图3（b）所示;通过题目提示患者选择正确颜色或标有正确图形的墙洞穿过，可以锻炼患者的图形识别能力，如图3（c）所示;认知训练题目通过要求患者结合上一堵墙的提示信息和现在的提示信息，做出判断来穿过正确的墙洞，可以锻炼患者的工作记忆能力，如图3（d）所示。患者在训练过程中首先根据题目做出判断，然后不断调整自身位置和姿势，需要集中注意力才能做到，这对患者的注意力也可以起到锻炼作用。为达到有氧运动的目的，需要至少训练30 分钟。根据墙由产生到销毁的时间间隔，模块设定患者每次训练需要完成60 次认知训练模块的更新训练。

认知训练模块更新包括墙体更新和题目更新。题目更新是指在患者训练视角界面中随机显示认知训练题目。通过随机从数据库中读取题目和答案，实现随机获取并显示题目。患者再根据这些题目做出判断，达到认知训练的目的。由于工作记忆力训练要求能够根据上一次的题目做出相同或相反的判断，故第一次随机题目不能为工作记忆训练题。通过设置flag标志判断是否是第一次随机题目，来避免游戏设计逻辑错误。墙体更新是指完成上次训练后更新墙体模型，患者需要根据新的墙体，在墙体向前移动到患者前，摆出同墙洞一致的姿势同时站在正确的位置上。在这个过程中通过患者不断移动自身位置并调整姿势，可以达到运动训练的目的。墙体更新采用非随机的循环方式生成。由于认知题目采用随机生成的方式，墙体的循环生成并不会导致可以通过记忆的方式完成训练，因此可以起到包括记忆力训练在内的多种认知能力训练的作用。由于游戏中不同的墙体模型上的姿势不同，因此需要在墙体更新的同时更新待检测姿势，即墙体每次更新时需要为VisualGestureBuilderFrameSource数据源更新目标检测姿势。更新流程如图4所示。

3.3   系统工作流程

首先显示墙体模型和认知训练题目，更新目标检测姿势，然后墙体不断向患者移动。患者需要在墙体到达之前，根据认知训练题目进行判断，站在正确的位置并做出符合墻洞的姿势。如果患者的题目结果正确，而且位置和姿势符合墙洞，成功穿过墙洞;否则患者没有正确穿过墙洞。之后随机更新题目和墙体模型，不断重复训练。其中还包括计时和得分的显示、统计。系统工作流程如图5所示。

4   姿势识别关键技术实现（Key technology）

4.1   连续多次检测

认知训练的虚拟游戏场景中，人物模型采用镜像的方式实现将患者实际姿势映射在场景人物模型上，用来提示患者调整姿势。为防止Kinect体感设备本身的误差，经过多次测试，连续两次检测的误识别率为35%，连续三次检测的误识别率为20%，连续四次检测的误识别率介于20%—15%。由于连续四次和连续三次检测之间的识别率差别不明显，而且会增加识别时间，故患者姿势检测采用连续三次检测采集到的数据帧是否符合目标姿势的方法。如果连续三帧的姿势存在一次不符合待检测姿势，则认为用户动作姿势错误;如果三次检测均符合要求，初步判断正确，再进一步进行姿势识别。

4.2   姿势识别算法

在得到16 个主要骨骼点数据后，可以通过关节距离和关节角度判断骨骼点的相对位置识别姿势[10]。系统实现了两种用户姿势的识别算法：“T形”姿势、“在T形姿势的基础上将两臂下垂45°姿势但下肢姿势不变”姿势。通过利用三个骨骼点之间的欧氏距离可以得出对应的关节角度[11]。欧式距离的计算公式如下：

关节屈曲角度计算公式如下：

在检测“T形姿势”的上肢姿势时，左上肢的肩关节、肘关节、手处于空间同一条直线上，分别计算出三个关节组成的边长，便可通过余弦定理得出肘关节屈曲角度。若角度误差在允许范围内，并且三个关节处于同一竖直高度，则认为上半身姿势正确，右上肢采用同样的检测方法。下肢姿势则检测髋关节、膝关节、踝关节是否处于水平面的同一位置，同时判断左、右膝关节的相对位置是否在允许范围内。若所有肢体均符合姿势要求，判定姿势正确。

在检测“在T形姿势的基础上将两臂下垂45°姿势”时，上肢判断肩中间骨骼点、肩关节、肘关节、手的相对位置。首先根据肩关节、肘关节、手的空间位置计算肘关节的屈曲角度，再根据肩中间骨骼点、肩关节、肘关节计算肩关节的角度。若肘关节和肩关节的角度均在允许范围内，判断上肢姿势正确。下肢采用同“T形姿势”相同的判断方法。

4.3   姿势识别流程

患者在训练过程中，除了需要做出人形墙洞的姿势，还需要在墙体到达前站在对应墙洞的位置。姿势检测的算法方案如图6所示。在连续三次检测到目标姿势后，还需检测墙体和人物模型是否处于z轴的同一位置。

5   结论（Conclusion）

本系统利用运动锻炼后进行认知训练可以促进认知康复效果，将运动锻炼和认知训练相结合，共同作用于认知康复训练。同时采用虚拟场景训练的形式，利用游戏可以提高患者的训练兴趣的特点，使用Unity3D开发认知康复训练游戏，主要面向仍有运动能力的轻度认知障碍患者。通过虚拟游戏的训练形式进行康复训练需要同时使用肢体和大脑来完成康复训练，可以集中患者的注意力，提高训练兴趣。如图7所示，训练者在Kinect前运动，在程序中判断是否符合要求的姿势。相比于单一认知训练，患者的单次训练时长也进一步增加，进一步提高认知训练的效果。

本文系统填补了在计算机领域尚无将运动锻炼和认知训练结合的认知康复软件系统的空白，总体上达到了设计要求，实现了一款运动锻炼干预认知训练软件系统，但是也存在一些缺陷，如人物模型骨骼设计不够精细，复杂姿势识别还有困难等。下一步的工作将进一步精细化游戏模型，识别多种人体姿势，实现一种可以进行复杂姿势识别的运动锻炼干预认知训练虚拟游戏软件系统。

参考文献（References）

[1] 新型冠状病毒肺炎防控期间认知障碍患者及其照护者精神卫生与心理社会支持专家建议[J].中华精神科杂志，2020（02）：89-94.

[2] ZHOU H T， LU S J， CHEN J K， et al. The landscape of cognitive function in recovered COVID-19 patients[J]. Journal of Psychiatric Reseach， 2020， 129：98-102.

[3] MANTOVANI E， ZUCCHELLA C， BOTTIROLI S， et al. Telemedicine and virtual reality for cognitive rehabilitation： A roadmap for the COVID-19 pandemic[J]. Frontiers in Neurology， 2020， 11：926-929.

[4] 健康中国行动（2019—2030）[J].中国组织工程研究，2020，24（36）：5905-5906.

[5] HOFMANN M， HOCK C， KUHLER A， et al. Interactive computer-based cognitive trainning in patients with alzheimer's disease[J]. Journal of Psychiatric Research， 1996， 30（6）：493-501.

[6] BONNECH?RE B， LANGLEY C， SAHAKIAN B J. The use of commercial computerised cognitive games in older adults： A meta-analysis[J]. Scientific Reports， 2020， 10（1）：15276-15289.

[7] NILSSON J， EKBLOM O， EKBLOM M， et al. Acute increases in brain-derived neurotrophic factor in plasma following physical exercise relates to subsequent learning in older adults[J]. Scientific Reports， 2020， 10（1）：4395-4409.

[8] 刘东祺，李荣梅，张美琪，等.有氧运动干预老年轻度认知功能障碍的Meta分析[J].中国组织工程研究，2019，23（35）：5727-5731.

[9] 徐琼，赵津磊，王兴.有氧运动对阿尔茨海默病患者认知功能干预效果的meta分析[J].中国康复医学杂志，2019，34（07）：824-830.

[10] 谢亮，廖宏建，杨玉宝.基于Kinect的姿势识别与应用研究[J].计算机技术与发展，2013，23（05）：258-260.

[11] 徐洋凡.基于Kinect虚拟现实下肢游戏的临床设计及应用[D].广州：暨南大学，2016.

作者简介：

徐言东（1996-），男，硕士生.研究领域：康复虚拟游戏设计.

邹任玲（1971-），女，博士，副教授.研究领域：康复医疗器械研制，生物电信号提取.

陈燕燕（2001-），女，本科生.研究领域：康复虚拟游戏训练.

马少轩（1999-），男，本科生.研究领域：康复虚拟游戏训练.

卢旭华（1971-），男，博士，教授.研究领域：脊髓损伤，脊柱退行性疾病，腰椎退变性侧凸畸形，脊柱微创.