晃动环境下交互设备对操作绩效和上肢肌肉活动的影响研究

杨坤华，张奇良，张钰莹，曲行达， 陶达

(深圳大学 人因工程研究所，深圳 518060)

1 引言

随着信息技术的发展，带有触摸屏的信息显示系统与人机交互设备越来越多地应用在各种交通运输工具上，如汽车、船舶、飞行器等[1-3]。而交通运输工具在移动行驶的过程中往往伴随着晃动现象，这意味着驾驶员或操作员需要在晃动条件下执行人机交互任务。研究表明，晃动环境下人的生理和心理状态与静态下不同[4]。首先，人体长期处于晃动状态，身体可能产生不适或眩晕感，其认知和行动的能力可能大幅度地下降[5]。其次，长期在晃动环境中工作，人的心理和生理的健康水平会降低[6]，且容易产生腰酸背痛问题[7-8]。晃动会使人在进行人机交互操作时分散注意力以保持身体平衡[9]，此时人需要额外的心理和肢体努力才能完成交互任务。例如，Tao等人[10]研究了在晃动环境下对触摸屏手势操作性能的影响。结果表明，晃动环境对用户的心智负荷有显著影响。Lin等人[11]研究了晃动对视觉绩效的影响，研究发现晃动频率和幅度对执行任务的反应时间、正确率和人的视觉疲劳都有显著影响。Goode等人[12]的研究也调查了晃动状态对触屏车载战斗管理系统可用性和工作负荷的影响。结果表明，晃动条件的剧烈程度会显著影响触屏设备信息输入任务的绩效。

交互设备也可能影响晃动环境中交互任务的绩效与用户的操作感受。随着传感器技术的日渐成熟，诸如微软Kinect和Leap Motion等体感交互设备开始兴起[13]。相比传统的鼠标、轨迹球和触摸屏交互设备，新型的体感交互设备能够通过追踪用户的手指或手腕关节，让用户能徒手使用手势操作与计算机中的目标进行非接触式的交互[14]，从而用户得以用更自然直接的方式与人机系统进行交互。先前的研究比较了几种传统交互设备在基本人机交互任务(指向任务和拖放任务)中的使用情况，而一些新型的手势操控等体感交互设备则很少被研究。Chen的研究[15]评估了使用沉浸式虚拟现实(VR)、鼠标和触屏对完成单向点击任务、多向点击任务和拖动任务的操作绩效。结果表明VR比鼠标和触屏产生更高的错误率和更长的任务完成时间。Jones等人[13]评估了在点击任务中使用Leap motion和鼠标的情况，发现与鼠标相比，Leap motion会导致更长的任务完成时间、更高的错误率、更多的疲劳和更低的使用偏好得分。由于与计算机进行交互没有物理上的接触，新型交互设备的使用情况可能与传统交互设备有着非常大的不同，且在晃动环境下执行交互设备有关任务的表现，相关研究仍不清楚。

此外，人机交互过程中的肌肉疲劳现象也是我们亟须关注的重要问题[16]。用户操作这些交互设备，不仅可能导致上肢肌肉疲劳，长期情况下还可能会出现诸如肩颈酸痛、腕管综合征等严重的上肢肌肉骨骼疲劳症状[17]。频繁使用键盘和鼠标的用户，因手腕关节进行长期地密集、反复和超负荷的活动，导致其上臂肌肉或关节出现不适以及疲劳，甚至可能出现麻痹、肿胀、痉挛等症状[18]。因此，研究交互设备对上肢肌肉疲劳的影响，对选择合适的交互设备以及制定人机交互中上肢肌肉疲劳缓解措施有重要意义。

综上所述，目前大部分研究基于静态环境开展，对晃动这一交互场景的研究还比较匮乏；另外，体感交互等新型交互方式在晃动状态下的可用性尚不清楚。因此，本研究拟通过模拟晃动环境下多种交互设备的操作情境，以探究不同交互设备在晃动环境下对任务绩效和肌肉疲劳情况的影响，为晃动环境下交互设备的使用和配置以及晃动环境下人机交互任务中肌肉疲劳的检测和干预措施提供参考依据。

2 对象与方法

2.1 对象

15名具有正常或矫正视力，且具备正常活动能力、无肌肉骨骼相关疾病的在校大学生参与了此研究。所有参与实验的受试者均为右利手。其平均年龄为22.1岁(标准差为1.9)。女性共5名，男性共10名。

2.2 方法

本实验采用两因素(3×4)组内设计方式。组内因子为晃动程度(3种类型：静止，轻度晃动，中度晃动)和交互设备(4种类型：轨迹球，鼠标，Leap Motion，触摸屏)。因变量包括交互操作绩效(任务完成时间和错误率)，右手五块上肢肌肉(指伸肌，桡侧腕屈肌，肱二头肌，三角肌，上斜方肌)的表面肌电信号特征值(积分肌电值iEMG)，主观疲劳度及舒适度。其中，任务完成时间以每个实验任务完成单次多向点击或拖动的平均时间表示。错误率以任务完成过程中操作错误次数的比例表示。肌电方面，通过五个无线传感器分别对右手上肢五块肌肉的表面肌电信号进行采样。主观疲劳问卷采用了基于ISO 9241-9标准的主观疲劳度与舒适度量表[13]来评估相应身体部位(手臂、手腕、肩部、手指和颈部)的疲劳程度和总体舒适度，各项指标以5分量表的形式进行评分。

本研究选用ISO 9241-411推荐的用于评估交互设备的基础人机交互任务作为实验任务[15]。包括多向点击任务(图1)和拖放任务(图2)两个基本任务。具体任务介绍如下：

多向点击任务：任务要求受试者使用食指按顺序依次点击黄色圆形块。在该任务中，16个圆形被均匀排列在直径为20 mm的圆周上。黄色的圆形为受试者需要点击的目标，其他圆形则为灰色。当受试者成功点击相应目标后，该目标会由黄色变成灰色，下一个目标则由灰色变成黄色，等待受试者的下一次点击。每种实验组合条件下，每个多向点击任务需重复点击16次。若受试者在点击中未能点中目标则被记录一次错误。

拖放任务：该任务要求受试者使用食指选择、拖动和放置目标，即将黄色的小方形拖入另一边的蓝色大方形中。当小方形被完全拖入蓝色大方形并放下时，蓝色大方形变灰色，该次操作被视为成功。随后另一侧的灰色大方形变成蓝色，受试者再按同样规则进行下一次拖放操作。每种实验组合条件下，每个拖放任务需重复拖放操作16次。若受试者在一次拖放操作中将小方形放下在目标大方形外则被记录一次错误。

图1 多向点击任务

图2 拖放任务

2.3 实验材料和流程

本实验采用一个六自由度晃动实验平台模拟晃动环境，晃动参数设置见表1。实验任务程序通过Visual Basic 6.0编制，采用23英寸戴尔触摸屏显示器呈现(分辨率1920×1080)，触摸屏垂直放置。四种交互设备分别为：罗技M185无线两键鼠标，Kensington CA94065有线轨迹球，第三代Leap Motion以及上述戴尔触摸屏。表面肌电信号使用Ag/AgCl电极片采集信号，使用ErgoLab人机同步平台系统实时记录信号。

表1 晃动参数

实验前，主试指示受试者坐在晃动平台上进入练习阶段。接着受试者在晃动环境下进行实验操作。受试者被要求系好安全带，并将座椅调整至自我感觉最舒适的位置，保持下背部紧贴座椅靠背。正式实验过程中，受试者总共完成384次子任务(3种晃动程度×4种交互设备×2种交互任务×16次)，且要求尽快尽准确完成每个任务。受试者将在12种组合条件(3种晃动程度×4种交互设备)，分别完成按随机顺序呈现的2种交互任务，同步采集表面肌电信号。每种交互设备任务完成后，受试者将被要求完成主观疲劳度及舒适度问卷，然后休息5 min以缓解可能产生的疲劳。随后，在下一种晃动程度下完成实验任务及问卷直至完成所有实验任务。实验室照明度为220lux，实验时长约1.5 h。

2.4 数据处理和分析

表面肌电是一种微弱的生物电信号，需对采集后的原始信号作预处理。使用频率为5 Hz和500 Hz的高通和低通滤波，带阻滤波的截止频率为50 Hz，使用时间窗口大小为100 ms的滑动均方根整流，肌电传感器采样率为1 024 Hz。重复测量方差分析用来分析晃动环境和交互设备对任务操作绩效和肌肉活动的影响。球形检定用来判断数据是否符合球形假设，若数据违反球形假设，则使用经Greenhouse-Geisser校正的自由度和p值。实验数据使用SPSS 22软件进行分析，显著性水平设为0.05。

3 结果

3.1 晃动状态和交互设备对任务绩效的影响

对于任务完成时间(表2)，晃动程度对多向点击任务(F(2,28)=8.600，P=0.001)、拖放任务(F(2,13)=37.938，P<0.001)的完成时间均有显著影响。交互设备对多向点击任务(F(3,12)=172.539，P<0.001)、拖放任务(F(3,12)=177.950，P<0.001)的完成时间均有显著影响。交互设备和晃动程度对多向点击任务(F(6,9)=18.161，P<0.001)和拖放任务(F(6,9)=13.677，P<0.001)的完成时间均有显著的交互作用(图4、图5)。

图4 晃动程度和交互模式对多向点击任务完成时间的交互作用

图5 晃动程度和交互模式对拖放任务完成时间的交互作用

表2 晃动程度和交互设备对任务完成时间(ms)的影响

对于错误率(如表3)，晃动程度对多向点击任务(F(2,28)=15.737，P<0.001)、拖放任务(F(2,28)=6.865，P=0.004)的错误率均有显著影响。交互设备对多向点击任务(F(3,42)=72.818，P<0.001)、拖放任务(F(3,12)=95.817，P<0.001)的错误率均有显著影响。交互设备和晃动程度的交互作用对多向点击任务(F(6,9)=5.509，P=0.012)，拖放任务(F(6,9)=4.791，P=0.018)的操作错误率均有显著影响(图6、图7)。

图6 晃动程度和交互模式对多向点击任务错误率的交互作用

图7 晃动程度和交互模式对拖放任务错误率的交互作用

表3 晃动程度和交互设备对任务错误率(%)的影响

3.2 主观疲劳度及舒适度

图8为交互设备对主观疲劳度及舒适度的影响。交互设备对总体舒适度(F(3,42)=41.980，P<0.001)、颈部疲劳度(F(3,42)=15.215，P<0.001)、肩部疲劳度(F(3,42)=79.676，P<0.001)、手臂疲劳度(F(3,42)=55.361，P<0.001)、手腕疲劳度(F(3,42)=31.005，P<0.001)和颈部疲劳度(F(3,42)=16.975，P<0.001)均有显著影响。数据表明，使用Leap Motion时，人的主观疲劳度最高、总体舒适度最低，使用鼠标时则相反。使用触摸屏和轨迹球时，除手指外的其他部位主观疲劳度均相近，轨迹球的总体舒适度比触摸屏低。此外，无论使用哪种交互设备，手臂疲劳度均为最高。使用Leap Motion和触摸屏时，各上肢部位的主观疲劳度由高到低依次为手臂、手腕、肩部、手指、颈部；使用鼠标和轨迹球时，各上肢部位的主观疲劳度由高到低依次为手臂、手腕、手指、肩部、颈部。

图8 交互模式对总体舒适度及主观疲劳度的影响

3.3 晃动程度和交互设备对上肢肌肉活动指标的影响

表4为晃动程度和交互设备对五处肌肉积分肌电值(iEMG)的影响。晃动程度对指伸肌(F(2,28)=18.494，P<0.001)、肱二头肌(F(2,28)=6.901，P=0.004)、三角肌(F(2,28)=5.104，P=0.013)和上斜方肌(F(2,28)=10.150，P<0.001)的iEMG存在显著影响。交互设备对指伸肌(F(3,42)=41.828，P<0.001)、桡侧腕屈肌(F(3,42)=19.625，P<0.001)、肱二头肌(F(3,42)=33.835，P<0.001)、三角肌(F(3,42)=36.405，P<0.001)和上斜方肌(F(3,42)=30.001，P<0.001)的iEMG均有显著影响。交互设备和晃动程度对指伸肌(F(6,84)=10.474，P<0.001)、肱二头肌(F(6,84)=5.373，P<0.001)、三角肌(F(6,84)=3.505，P=0.004)和上斜方肌(F(6,84)=4.912，P<0.001)的iEMG均存在显著的交互作用。

表4 晃动程度和交互设备对五处肌肉表面肌电信号的积分肌电值(iEMG)的影响

4 讨论

随着现代交通工具驾驶座舱内人机交互系统的更新发展，愈加多样化的人机交互设备在晃动环境下得到应用。本研究旨在探讨晃动环境下使用交互设备进行基础人机交互操作的行为绩效及主客观测量。实验结果表明，晃动和交互设备对人机交互过程中的操作绩效、主客观疲劳及舒适度和肌电均有不同程度的显著影响。

4.1 晃动环境的影响

实验结果表明，晃动显著降低了用户执行多向点击和拖放任务的绩效。这可能是因为晃动干扰了用户对身体平衡和肢体运动(尤其是实验任务中所要求的上肢定点指向运动)的控制，加重了他们生理和心理上的疲劳，进而降低了他们人机交互操作的绩效。该结果与前人的研究结果一致[9,20-21]。如Lin等人也发现晃动程度对用户的输入设备(如鼠标、轨迹球和触摸屏)操作绩效均有显著影响[11]。该发现表明在该实验设置程度的晃动场景下应采取与静止状态不同的交互设备选用策略。相比多向点击任务，晃动对拖放任务完成时间造成的影响更大，可能的原因是拖放任务使得用户需持续地按住目标块和保持食指稳定移动以完成任务。晃动幅度越大，需要保持稳定的努力程度就越高，从而导致操作时间的增加。相比拖放任务，晃动对多向点击产生的错误率的更高，可能的原因是在点击任务中用户不必稳定选中目标物而只需要间断性地保持点击任务的执行，而晃动产生的负面效果削弱用户在执行多向点击操作时对设备或食指的控制精确度导致错误率增加。

与我们预期的相同，晃动明显提高了用户的上肢肌肉活动水平，该结论与之前的研究相同[21]。Hazel在研究全身振动训练的实验结果表明[22]，这种对全身晃动的扰动会引起反射性肌肉收缩，从而增加肌肉活动并有助于增加力量。这有助于解释我们的结论，在执行人机交互任务时，上肢肌肉不仅要控制和保持任务要求的动作，也要与晃动带来的相对运动作对抗，更高的肌肉活动水平更助于完成人机交互任务。相比静止条件，晃动幅度增大到中度条件对颈部和上臂的肌肉影响更大，如三角肌，上斜方肌相对静止状态下的iEMG值分别上升了33%，31%。可能的原因是控制上臂肌肉稳定有利于使上肢受晃动影响而运动的幅度减小，从而提高对上臂及手指操作的精确度要求。

4.2 交互设备的影响

研究表明，交互设备对任务绩效有显著影响。其中用户在使用Leap Motion执行两种任务中的完成时间和错误率均比其他三种交互方式都高，这与之前的结果一致[13,23]。可能的原因是用户对Leap Motion和轨迹球的使用不太习惯或熟悉。而之前的研究也发现缺乏某项技术经验的用户在使用该技术的时候会遇到更多的困难[24]。尽管用户在正式实验前有充足的时间熟悉使用Leap Motion和轨迹球，他们可能并不会完全掌握且灵活熟练地使用这种新兴交互设备。然而，单纯通过用户以往的交互设备使用频率来解释Leap Motion和轨迹球的绩效是不充分的。Park等人[19]的研究表明，与基于鼠标的交互相比，徒手远程指向交互的产生疲劳度更高，这种疲劳源于伸展和手臂悬空与屏幕进行交互所导致的。交互设备操作方式的不同也是导致Leap Motion和轨迹球绩效表现较差的原因，如使用Leap Motion时，若要很好地点击和控制目标块，必须保持食指僵直且平缓地移动，这给多向点击和拖放任务的完成带来了许多困难。如果不能维持熟练的操作手势，定位目标块便变得困难。此外，当使用轨迹球完成多向点击任务和拖放任务时，用户需要使用中指或食指移动滚球以控制光标，使用拇指来多向点击左键。在执行多向点击动作时，保持滚球的静止是一件比较困难的事情，这导致了更多操作失误。相反地，当用户使用触摸屏和鼠标时，只需用手腕控制光标以及用食指多向点击左键，这会使移动光标和多向点击动作之间的切换更流畅。

相比传统的三种交互模式，Leap Motion更容易引起上肢肌肉的疲劳，该结果也与用户的主观疲劳度一致。Park的实验结果[19]也表明，用户的主观疲劳评分在所有部位(肩膀、上臂、前臂、手腕和手指)的“无支持的远程指向”均高于“有支撑的鼠标指向”，这与我们的实验结论一致。可能的原因与用户使用Leap Motion时的上肢的悬空和运动姿势有关。使用Leap Motion要求用户长时间将手部悬停于控制器上而肘部缺少支撑，上肢的悬停诱发对应肌肉持续发力，特别是对用于提肩的上斜方肌以及用于肩关节旋内的三角肌。相比其他三种交互设备，用户在使用鼠标时的肌肉活动水平最低，主观疲劳程度和总体舒适度也最高。因此从减轻人机交互操作过程中的上肢疲劳情况来看，鼠标是最好的选择。结合晃动因素来看，在使用Leap Motion完成任务的过程中，用户的三角肌、上斜方肌的iEMG值均随晃动程度的升高呈现比其他肌肉较高的活动强度，该结论指导用户若长期使用Leap Motion执行任务，应采取对手臂肌肉的按摩缓解措施以防止潜在的危害。

5 结论

本研究通过评估晃动程度和交互设备对两种基本人机界面任务的交互操作绩效、主观感知疲劳和上肢肌肉活动情况的影响，为晃动环境下交互设备的可用性研究提供了基础理论。结果表明晃动程度的增大都会降低人的交互操作绩效，提高人上肢肌肉的活动水平，而交互设备对任务的操作绩效和主观感知疲劳也有显著影响。未来研究可以通过调整晃动的幅度和频率、采用多样化的样本来深入研讨晃动环境下交互设备可用性的研究及其对引发的肌肉疲劳效应采用更全面评价体系。