基于虚拟现实的肌电-计算机接口技术*

刘万阳,李晓欧

(1.上海理工大学医疗器械与食品学院，上海 200093；2.上海健康医学院医疗器械学院，上海 201318)

1 引 言

人机接口(human-computer interface, HCI)是在人体和计算机之间建立不依赖于常规信息交互操作方式的全新人机信息交流与控制技术。随着计算机、多媒体和互联网技术的迅速发展与普及，HCI越来越多应用于智能化交互、多媒体交互、虚拟现实交互等方面。人体生物电信号含有丰富的感知信息、动作意向、运动功能和生理病理状态等信息，是HCI研发与应用的主要信息交互来源。表面肌电信号(surface EMG, sEMG)是由活跃运动单元激发的动作电位序列沿肌纤维传播，并经由皮肤构成的容积导体滤波后，在皮肤表面上时间和空间综合叠加的结果[1-3]。通过sEMG判断人体动作类型并转换成设备输入指令，成为一种新颖的人机接口，即肌电-计算机接口。sEMG采集技术相对成熟，利用电极可无损伤便捷检测，因而成为肌电-计算机接口的首选，并广泛应用于智能假肢控制、康复治疗等领域[4]。近几年发展到用于手语手势识别、游戏控制和可穿戴设备中。

2 肌电-计算机接口技术应用

sEMG能反映人的运动意图，肌电-计算机接口可用于手语翻译设备[5]、预测手指关节角度[6]、控制二维屏幕的光标移动和点击[7]以及移动设备上字母和字符输入连续输入[8]。另外，sEMG信号可以实时评估老年人跌倒风险[9]、控制外骨骼臂用于屈伸[10]、利用肩部肌肉肌电活动驱动腿部运动[11]。加拿大科技公司Thalmic Labs推出了MYO手势控制臂环，其内置电极和感应器，读取手臂肌群sEMG信号，获取手势动作指令并无线传输至受控设备来浏览网页、改变无人机飞行状态等[12]。

近几年在人工智能和虚拟现实技术蓬勃发展的大环境下,肌电-计算机接口将仍然会是一个热门的研究方向。

3 肌电-计算机接口在虚拟现实中的应用

3.1 虚拟现实技术

虚拟现实(VR)技术起源于20世纪60年代的有声形动态的模拟，到70年代产生虚拟现实萌芽。1986年Lamier正式提出了虚拟现实技术的概念[13]。

VR技术是一种可以体验虚拟世界的计算机技术，由计算机图形图像技术、多媒体技术、传感器技术、人工智能技术等多门技术交织组成[14]。虚拟环境向用户提供视觉、听觉、触觉和运动信息。从通用的鼠标、键盘等设备到具有运动捕捉系统等更复杂的接口，其提供反馈并使用户感觉到它们正在操纵真实物体[13-14]。一个典型的虚拟现实系统主要组成部分包括：计算机、输入/输出设备、应用软件和数据库，其结构见图1。截止到目前，虚拟现实系统大致可以分为非沉浸式、沉浸式、分布式以及增强式四类[15]。

3.2 表面肌电控制接口在虚拟现实中的应用

利用表面肌电信号可以控制虚拟假肢进行虚拟现实训练[16]。Olivares等人开发出一种利用手臂表面肌电信号分类输出为潜在的控制刺激来控制具有十类动作的三维人类手臂虚拟假肢，见图2，主要用于肌无力或有先天性缺陷等需要康复的人增强手臂运动[17]。Blana等人开发了一种假体控制器，其结构见图3，它使用从人的近端肱骨记录的运动学和sEMG信号的组合，围绕肱骨放置六个sEMG电极阵列，在虚拟现实环境中实际模拟假体检测任务[18]。通过对比发现相较于文献[17]中Olivares等人开发的虚拟假体，文献[18]中Blana等人开发的虚拟假体可以进行杯子等物体的抓取，并且在对假体的控制过程中加入了对人体做动作时肱部的移动速度和加速度的判别，使虚拟假体对动作的识别更加精准高效，制作上也更加逼真，更具沉浸感。

图1 虚拟现实系统结构

图2 三维人类手臂虚拟假肢

图3 虚拟假体控制器

虚拟现实康复系统与传统康复相比更加安全，并且可以轻松调整训练任务难度,使患者能够在漫长而乏味的重复性训练中获得乐趣[19]。Bevilacqua等人提出了一种新颖的前臂康复方法，见图4，利用MYO臂环来获取肌电信号，控制虚拟现实中功能性游戏的康复任务[12]。肌电-计算机接口也被用于基于虚拟现实的娱乐智能设备中。Madusha等人开发出能够量化特定肌肉活动期间肌肉力量的系统，可将其作为计算机游戏控制输入[20]。

文献[12]中应用的MYO手势控制臂环内置电极和感应器，相较于传统的电极贴片有线采集减少了许多繁琐的流程，将其用于虚拟现实康复系统或虚拟现实游戏中能减少对使用者的束缚，更加便于动作的完成。

图4 MYO臂环结构及其控制VR游戏

3.3 肌电生物反馈在虚拟现实中的应用

与机械反馈相比，利用肌电反馈可以提高肌肉指令的精度，降低不确定性从而提高假肢的抓取控制效率[21]。新型EMG生物反馈还可用在计算机使用中的姿势矫正的评估[22]。随着VR技术的发展，肌电生物反馈也与其相结合用于康复治疗与游戏娱乐等领域。Rincon等人设计了一个沉浸式康复视频游戏，见图5，它利用Unity引擎和EMG传感器将运动动作捕捉，该设计中利用肌电传感器采集受试者的肌电信号，并作为肌肉状态的度量进行分析[23]。在国内，温馨等人设计了一种基于虚拟现实技术的上肢康复训练系统，具有更好的交互体验和沉浸感。在患者训练过程中，采集其上肢主要运动肌肉的sEMG作为肌肉运动水平的评估依据供医生进行评估。除此之外，通过sEMG信号触发电刺激模块，实现对患者的运动补偿，从视觉和知觉两个方面对运动功能进行强化[24]。

文献[23]、[24]中都是将sEMG信号的反馈用于虚拟现实康复系统中对肌肉状态的恢复情况进行度量，游戏的动作捕捉上均主要采用的是微软的Kinect和不同的空间传感器辅助完成，并未利用sEMG信号作为康复系统中虚拟现实游戏的动作控制。但文献[24]中所述虚拟现实康复系统中通过sEMG信号触发电刺激模块，对患者进行电刺激，不仅有利于患者恢复，并且从感觉上增加了虚拟现实环境的真实性。

图5 沉浸式康复视频游戏系统

综合上述研究现状把具有代表性的应用肌电-计算机接口的虚拟现实设备总结见表1。由表可知，目前肌电信号与虚拟现实系统的结合大多都是控制虚拟假肢或非沉浸式虚拟游戏以及利用肌电反馈来观察和评估患者的肌肉恢复情况。利用肌电-计算机接口来控制沉浸式虚拟现实系统及游戏的应用目前还不多，并且都还处在实验阶段。但从发展趋势上看，未来会向更加具有沉浸感和真实性的虚拟现实应用方向发展。

表1应用肌电-计算机接口的虚拟现实设备

Table1VirtualrealitydevicesbaseonsEMG-computerinterface

年份作者设备VR平台参考文献2005Parijat虚拟假体非沉浸式[16]2009Saponas T S虚拟绘画游戏非沉浸式[20]2012A.Olivares虚拟假肢非沉浸式[17]2015Dimitra Blana虚拟假肢沉浸式[18]2016Rincon A L虚拟现实游戏沉浸式[24]

4 技术难点及展望

首先是肌电-计算机接口的算法上还有待改进，如长时间运动过程中的肌肉疲劳影响，会使肌电信号的幅值、频率等发生改变，导致动作识别失败。因此，需要设计相应的自适应策略，克服非稳态信号造成的影响。

其次，虚拟现实技术发展还存在瓶颈，包括复杂场景中的定位技术，虚拟场景下除视觉和听觉外的触觉和嗅觉感知如何提升以及如何减轻眩晕和人眼疲劳。另外，真实感和沉浸感还有待增强，虽然头戴显示器能够产生视觉的沉浸感，但头显的重量也干扰了用户自由活动，容易使人产生疲劳感。所以，如何解决增加沉浸感和真实感与减少设备对体验者的束缚之间的矛盾也是一个亟待解决的难点。

基于虚拟现实的肌电-计算机接口的研究目前也只是刚刚起步，控制效率和用户体验还在不断提升。并且随着技术的不断进步，头戴显示器的重量和体积会逐渐减小，而且也会逐渐趋于无线化，并且未来会发展到裸眼全息。目前，肌电采集设备已经能做到无线传输并且体积轻巧，如MYO手势控制臂环，sEMG对虚拟现实系统的控制不仅会应用在沉浸式虚拟现实游戏中，而且会更多地应用于医疗康复系统中。比如由于疾病造成运动功能障碍，偏瘫等问题的患者在治疗过程中需要进行康复训练。相比于传统重复性康复训练，sEMG的反馈信息可以让患者通过不断努力和动作完成现实中不可能完成的动作，来激发患者的训练兴趣。另外，还可在虚拟现实系统中加入日常生活场景，如虚拟厨房，使患者在康复中享受到正常的生活乐趣。基于虚拟现实的肌电-计算机接口在将来很长一段时间仍然会是研究的热点。虚拟现实很有可能是继PC和智能手机之后的下一代计算平台,sEMG控制与虚拟现实的结合会有很大的发展空间。

5 结论

本研究首先总结了肌电-计算机接口的发展状况，可以发现，肌电-计算机接口技术还在不断发展进步，稳定性和适应性在不断提高。从sEMG的采集上来看，肌电采集设备逐渐趋于小型化和无线化，并且向智能可穿戴方向发展。

其次，总结了肌电-计算机接口技术在虚拟现实中的应用，目前sEMG信号与虚拟现实系统的结合大多都是基于桌面式虚拟现实系统。真正利用肌电-计算机接口来控制沉浸式虚拟现实系统及游戏的应用目前还不多，并未真正推广，但整体趋势是向更加具有沉浸感和真实性方向发展。

最后，总结了肌电-计算机接口目前使用的算法中肌肉疲劳度影响以及交互动作评判标准上的难点。虚拟现实系统中场景定位技术，眩晕和人眼疲劳的难点。真实感和沉浸感的增强与头戴显示器无线和小型化之间权衡等问题。并且展望虚拟现实技术未来会向裸眼全息发展以及sEMG对虚拟现实系统的控制在生活场景应用，增加患者进行康复训练的兴趣和积极性。

总之，基于虚拟现实的肌电-计算机接口的研究目前也只是刚刚起步，在未来很长一段时间仍然会是研究的热点，一定会开启人工智能的新篇章。