体感交互技术在医疗护理领域中的应用现状

张培宇，朱忆宁，周天钧，肖 倩*

1.首都医科大学护理学院，北京100069；2.清华大学生命科学学院

体感（motion sensing）技术又称动作感应控制技术、体感交互技术，它是一种直接利用躯体动作、声音、眼球转动等方式与周边的装置或环境互动，由机器对用户的动作识别、解析，并做出反馈的人机交互技术[1-2]。与其他交互手段相比，当前的体感交互技术无论是在硬件方面还是软件方面都有了较大提升。交互设备的体积越来越小，越来越便携，使用起来也更加简便，同时在交互过程中不需要发生直接接触，大大降低了对用户的约束，提高了人机交互的沉浸感，使得交互过程更加自然。当前，体感交互技术从众多自然人机交互技术中脱颖而出，成为前沿研究领域之一，逐渐应用于医疗、护理领域[3-4]。因此，本研究拟综述体感交互技术在医疗护理领域中的应用现状，并分析其发展前景，为医护人员充分利用体感交互技术开展医疗、护理工作提供参考。

1 体感交互类型及常用体感设备

体感交互技术按体感方式与原理可分为三大类：惯性感测、光学感测、惯性与光学联合感测[5]。

1.1 惯性感测 主要是以惯性传感器为主，例如用重力传感器、陀螺仪以及磁传感器等来感测使用者肢体动作的物理参数，分别为加速度、角速度以及磁场，再根据这些物理参数求得使用者在空间中的各种动作。苹果智能手机使用了以三轴重力感测以及三轴磁传感器为主的惯性感测，开发了手机体感设备。

1.2 光学感测 主要是通过光学传感器获取人体影像，再将此人体影像的肢体动作与游戏情景中的内容互动，主要是以2D 为主，主要代表设备为EyeToy 和Kinect[5]。索尼公司的EyeToy 主要通过光学传感器获取人体影像，再将此人体影像的肢体动作与游戏内容互动。EyeToy 已成功应用于康复训练中，但其二维图像处理的局限性也制约了此项技术在康复领域的发展。Move 控制器通过侦测手部在空间的移动及转动，做到相当精确的动作感应，提高了EyeToy 在康复领域中的应用范围和精度[6-8]。微软公司的Kinect 可捕捉人体3D 全身影像，无须使用任何操作手柄便可达到体感效果[5]。Kinect 通过渲染数据，计算得到人体主要的20 个骨骼位置，以此来判断人体姿势，进行骨架追踪，进而实现与虚拟环境的人机交互。国外学者发现该技术在医疗护理领域应用有巨大潜力，开始研究基于Kinect传感器的肢体运动康复训练技术，特别适用于肢体锻炼、手指关节运动和平衡训练，同时，也可在教育教学、情绪管理、注意力训练等方面发挥作用[9-14]。当血液在身体中流动时，人体肤色会发生轻微改变，而新一代Kinect 将可以探测到这一变化，从而确定血液流动的速度[15]。

1.3 惯性与光学联合感测 主要代表设备为Wii，即在手柄上安装1 个重力传感器以及1 个红外线传感器，用以侦测手部三轴向的加速度和感应红外线发射器信号，通过侦测手部在垂直及水平方向的位移来操控空间鼠标[5]。2009 年推出了Wii 手柄的加强版——Wii Motion Plus，主要是在原有的Wii 手柄上再插入1 个三轴陀螺仪，可更精确地侦测人体手腕旋转等动作，强化了在体感方面的体验，用于姿态不稳及平衡失调病人的康复训练[16-18]。

2 体感交互技术在医疗护理领域中的应用

2.1 认知功能训练 陈长香等[19]研究结果显示，体感互动游戏可显著改善脑卒中病人的短时记忆和长时记忆能力。周颖等[20]采用Kinect 体感游戏模式对脑卒中病人进行训练，干预4 周后，体感游戏组病人的蒙特利尔认知评估量表(MoCA)和简易精神状态评价量表(MMSE)评分均高于常规康复组病人，有效改善了脑卒中病人的认知功能。骆金维等[21]基于Kinect 体感器开发的一套幼儿认知系统，实现了幼儿与系统之间互动，带幼儿进入近似真实的环境中进行认知训练，在娱乐中提高了幼儿的认知能力。

2.2 运动功能训练 体感游戏可以帮助病人进行伸展运动[22]、力量运动[23]、平衡运动[23-24]、精细运动[22]等多种形式运动。Chang 等[10]开发的基于Kinect 系统的Kinerehab 系统可以对运动障碍病人进行康复指导，并将Kinect 传感器捕获的病人关节点位置与计算机中的数据库进行匹配，计算出动作到位的精准程度，通过动画形式实现实时反馈。Belinda 等[25]开发了适宜平衡康复训练的体感交互游戏，使病人通过接收到的反馈信息进行肩、肘等部位的平衡调整，提高平衡感知能力和运动功能。Brokaw 等[26]结合Kinect 传感器设计了一个注重上肢运动指导和修正的家庭虚拟现实康复训练系统，该系统的训练方式以监控和纠正无治疗师情况下的不恰当姿势代偿为主，并且可提高训练的依从性。

2.3 行为监测 体感交互技术还可以用于人体行为的监测。如Kinect 体感设备通过获取人体骨架关节点的空间位置，编辑摔倒识别特征，采用阈值法进行检测，实现对人体跌倒行为的监测；也可以通过获取彩色和深度图像信息，如Rougier 等从前景图中分割出人体图像，提取重心高度，用人体重心与地面的距离以及人体重心的移动速度进行跌倒识别[27]。美国曾在老人中心安置Kinect 网络传感器，对老人的活动进行监控，实时监测他们的步行时间与速度等信息，当发现有老人的运动指数偏离正常值时，会及时做出相应的反馈，采取有效措施加以干预[28]。

2.4 生活技能训练 随着体感交互技术的发展，运动员训练、驾驶员训练、日常生活能力训练等领域逐渐开始应用该技术。研究显示，体感音乐疗法能有效缓解运动员的心理疲劳和身体疲惫感，使运动员更快进入更好的训练状态。对于团体运动项目，还可以提高运动员的团队意识，对于一些危险性比较高的运动也可以让运动员提前训练熟悉，以减少伤害[29]。任青[30]通过体感游戏对孤独症儿童进行康复治疗，以帮助其提高生活技能和交往能力。罗元等[31]利用Kinect 深度传感器所获取的深度信息图像，协助残疾人对轮椅运动的智能控制，方便下肢运动障碍的病人在康复过程中自理生活。经过体感游戏的干预训练后，智障儿童的日常生活能力有所提高，在刷牙、洗脸、系扣子和使用餐具等日常活动的表现都有较为明显的进步[32]。

2.5 教育培训 将Kinect 作为教学辅助工具主要有2 种，Kinect 与电子白板结合和Kinect 与Powerpoint 结合。教师可以直接面对学生，通过简单的手势去操作屏幕，如开启功能菜单、放大缩小、写字擦除、页面移动等，这样不仅可以提高教学效率，而且可以提高课堂教学的交互性[33]。医学教育中，为了提高学生的参与感，通过四方位的Kinect 布置，使用者可以利用深度传感器和RGB 摄像头分别捕获3D 空间数据和影像数据，实时的3D 捕获与显示实现真正意义上的3D 建模。另外，Kinect 可与虚拟现实技术和增强现实技术相结合，为学习者提供身临其境的体验，有助于提高学生的主观能动性，培养学生的创新思维和能力[2]。在幼儿教育领域，卡内基梅隆大学的研究发现，采用体感技术进行幼儿教育可以有效提高幼儿学习的有效性[12]。

2.6 其他领域 基于体感交互技术的眼动仪可以记录人在处理视觉信息时的眼动轨迹特征，以此分析驾驶员的心理特点，给驾驶员实时反馈，减少交通事故发生率[34]。通过体感交互技术，可以为使用者创造身临其境的感官体验与情境的互动，降低对负性事件的关注，利用环境带来的欢愉感受对抗负面心理状态引起的情绪反应，真正缓解负性情绪的影响。通过结合Kinect、LCD 显示器与透视扫描仪，进行手术影像无接触交互平台的搭建，可以帮助主刀医生完成对数字图像的放大、评议、旋转与锁定等任务[28]，提高外科手术的便捷性与准确性。

3 体感交互技术的优势与不足

3.1 优势

3.1.1 增加兴趣 体感游戏比传统方法更能让使用者有强烈的兴趣和动机进行康复训练、参与学习等。Sun 等[35]对26 名老年人进行了6 周控制试验，结果表明，老年人借助体感交互游戏进行自发的身体康复锻炼时，总锻炼时长是在医护人员监督下进行身体康复锻炼时长的3 倍多。在教育方面，体感游戏可以充分激活学习者的视觉、听觉、触觉、肢体运动，并做出相应反馈，使用户产生身临其境的感觉，有效提升其在游戏中的置入感、沉浸感。多感官的刺激能够从多个通道同时促进学习者的认知过程，极大提高学习者的学习兴趣和动力[2]。

3.1.2 使用方便 随着我国医疗技术的发展，现代化精密仪器、高新技术已广泛应用于临床，但因条件所限，多数学生没有机会了解某些危险性较大、侵入性的操作，无法学习精密仪器的使用。利用基于体感交互技术的虚拟实训教学，可以在实训设备更新周期越来越短、院校招生规模增加的现状下，使得更多护理专业学生得到充足的教学训练，缓解有限的试验空间和紧张的专业教学资源的问题。同时，利用体感交互技术进行人机交互，可以降低因缺乏计算机操作经验额外增加的认知负荷和挫折感，增加学生参与感和控制感[2]。

3.1.3 功能多样 体感交互系统已在多个领域得以应用，如医学监测、技能训练、基础教育、生活娱乐，深入从民生到专业领域的各个方面，发展潜力极大。在医学领域中，Kinect 体感技术目前主要应用于康复训练、影像学、心理学、护理实践、医学教育等。体感游戏的形式多种多样，从简单动作的模仿训练到借助于不同载体的球类游戏、冒险类游戏、益智类游戏、竞赛类游戏等，从教育的辅助工具发展为与虚拟现实结合进行更为抽象的理论教学、技能训练、综合能力培养等。

3.1.4 效果显著 体感交互系统通过模拟器模拟出三维场景，让使用者通过自己身体的动作来控制游戏中人物的动作，“全身”投入到游戏当中，享受到前所未有的体感互动新体验。多个研究已经证明，体感交互技术能够改善认知功能[19-21]，促进肢体运动能力的康复[10,25-26]，监测人体行为[27-28]，提高生活能力[30-32]，提升教育培训效果[2,12]等。

3.2 不足

3.2.1 开发费用较高 体感交互技术需要将现实世界转化为特定的数字信号，其采样、信号转换、信号处理、关键点识别、数据分析等需要大量投入。同时，设备的服务成本也较高，更换零件的价格也较为昂贵，服务技术也需要相关专业人员的协助，因此，其开发和维护的成本决定了其较高的市场价格。

3.2.2 真实性还需增强 体感交互技术虽然在不断进行技术革新，但其对环境所呈现出的真实性还未能达到预期。由于真实性的制约，即使孤独症儿童在虚拟情境中学会了某项技能，并不代表其能够在真实情景中熟练使用相关技能。因此，在未来的研究中，还需要利用合适的力学、动力学反馈等技术手段增强其真实感。

3.2.3 对距离敏感，动作捕捉延迟 目前，存在的动作捕捉技术主要有光学式、机械式、惯性式和电磁式4 种，其中仅惯性式不受工作空间和距离限制，但由于误差积累较快，目前还没有完全成熟的应用。同时，动作捕捉的延迟依然存在。通常来说，延迟达到50 ms 即可在操作中感知到，更高要求的训练甚至不超过30 ms，然而技术较高的电磁式动作捕捉的延迟最低也有33 ms，如果算上运算和网络等其他延迟问题，操作者的感知一定会受到影响[32]。因此，体感交互系统对于一些细致动作的识别速度和精度还需要进一步改进。

3.2.4 可能造成二次伤害 穿戴式体感设备可以接受人体的生物信号，从而统计身体各种生理机能反馈出来的数据，极大地方便人们对身体健康状态的把握。但设备自身存在电波信号，监测数据通过WiFi 信号传递给云存储系统，如何保证人体的健康不受影响、数据的安全是需要考虑的问题。同时，使用者可能会对游戏成瘾，产生依赖，从而影响正常的生活；也可能在没有专业人员的指导下出现不当的运动训练，造成肢体损伤；长久的屏幕亮度和嘈杂的游戏声音也可能造成视觉、听觉的损害[36]。因此，如何控制体感交互系统对使用者的二次伤害，将成为体感游戏发展的挑战。

4 小结

体感交互技术被称为“第三次人机交互革命的原点”，不仅给人们的娱乐带来了全新体验，更为医疗、护理提供了全新模式。其所展现出来的独特的沉浸感、功能的多样化和集成化、更加自然有趣的互动与反馈、在医疗护理应用中的可行性和优越性已得到证实。未来体感交互技术还需在降低成本、增强真实感和敏感性、避免二次伤害方面继续努力，以促进其更加广泛的应用与发展。