多感官信息对虚拟现实中感知控制的影响

孙小方，赵婧羽，饶培伦

(1.清华大学 工业工程系， 北京 100084；2.中国船舶工业综合技术经济研究院 船舶人因工程研究中心，北京 100081)

1 引言

在现实生活中，人们习惯于通过多感官的媒介来感知和处理各类信息。为了在虚拟现实的技术中建构类似现实世界的体验，涉及视觉、听觉、触觉甚至嗅觉和味觉的多感官信息的发展被高度关注[1]，以期尽可能提高人们在虚拟现实中的真实感。真实感的提升将拓展虚拟现实技术的应用空间，使得虚拟现实不仅可应用于游戏娱乐的领域，还可以在制造生产、暴露疗法等领域大放异彩。例如，在具有一定危险性的场景中，可以通过虚拟现实技术模拟真实的生产制造场景，为员工提供沉浸式的培训。还可以通过虚拟现实暴露疗法，针对恐高症和社交恐惧症等焦虑症患者，将患者逐渐暴露在特定的压力场景中，例如高度挑战或公开演讲，以诱发焦虑反应和无法控制的感觉[2]，达到暴露疗法的目的。

增加虚拟现实技术真实感可以通过提供多感官的信息实现。研究发现虚拟现实中的听觉、触觉、味觉和躯体感觉等多感官信息可以提高用户的体验[3]。并且，在虚拟现实环境中增加任何单一感官的信息同样可以提高用户的沉浸感。如与传统视听感官的虚拟现实体验相比，在虚拟现实环境中添加嗅觉和触觉的刺激可以提高相关的感官参与度。不过考虑到技术的可行性和接受度，关注多感官信息对虚拟现实体验感影响的研究大多集中在听觉和触觉模态的影响。

虚拟现实环境中的听觉信息可以增强认知能力并提高用户体验，也会给用户带来更强烈的情绪感染力和体验的临场感。一项研究发现，在立体的虚拟环境中增加同样声源空间化的听觉刺激会改善用户的主观感受[4]。也有研究发现，在视听条件下的用户临场感会比单纯视觉条件下的临场感显著提高[5]。另一项研究也表明，虚拟环境中的听觉刺激线索会引发更强烈的情绪反馈[6]。而虚拟现实中的触觉信息同样可以丰富虚拟现实的功能并提高用户的主观体验。有研究人员借助一个物理实体的表作为在虚拟现实中操作的触觉反馈，发现触觉信息的提供会提高操纵的速度，但也降低空间准确性。另有研究发现，与仅在视觉或视听觉条件下相比，能够体验到虚拟社交环境中虚拟人脚步振动的触觉反馈，会为参与者带来更高的社交临场感[7]。

多种感官信息对虚拟现实体验的增强，源于人类的认知和情感在虚拟环境和现实生活中的多感官整合[8]。多感官信息在虚拟环境中的融合会对用户的认知加工带来了积极影响，同时也会引发更强烈的情绪反馈，带来更好的主观体验，提高享受度和沉浸感。例如，多个感官可作为补充信息提高了视觉处理的准确性[9]，听觉线索可以修正在虚拟环境中出现的距离压缩[10]。 还有研究发现触觉的加入会改善参与者在虚拟悬崖环境中的训练表现，并对其在现实世界中的表现产生积极影响[11]。另一方面，在大多数情况下多感官的线索会引起更高的生理反应。例如，当参与者在虚拟环境中体验到额外的被动触觉时，会出现比在单一视觉条件下更高的心率和皮肤电导率[11]。

然而，目前多感官信息对虚拟环境的影响的研究大多集中在沉浸感和临场感，很少有研究关注多感官信息对虚拟环境中控制感的影响。而感知到的控制感作为虚拟现实体验中重要组成，也对用户在虚拟环境中的真实感有着重要作用。本研究通过设置不同感官参与下的虚拟现实高空行走任务，结合主观体验反馈数据和皮电心电的生理反馈数据，旨在探究单一视觉、视觉听觉以及视觉触觉对虚拟现实中感知控制的影响，以及不同感官场景下应激的诱发差异，为使用虚拟现实环境进行高空作业类的培训以及高空刺激类游戏的体验完善可提供参考。

2 对象与方法

2.1 被试

本研究招募大学生及工作人员共36人，其中女性19人，男性17人。平均年龄为23.44岁，标准差为3.35岁。

被试筛选标准为：(1)针对VR头盔：视力或矫正视力正常(2)无心血管疾病历史(3)是否有相关的游戏体验：蹦极、跳伞、游乐园高空游乐设施(如跳楼机)、VR高空游戏经验、其他VR游戏经验。

通过当天状态的问卷进行进一步的状态控制：(1)无内分泌絮乱，如甲状腺疾病、肾上腺疾病等，最近1个月没有服用任何跟内分泌疾病相关的药物，如激素类药物；(2)无精神和神经系统疾病；(3)无酗酒(每天饮酒超过200 mL)、无吸烟过度(每天吸烟超过5根)；(4)无长期焦虑、抑郁、失眠等症状，无长期昼夜作息电导，无任何慢性心理疾病；(5)今天没有喝过咖啡或其他含咖啡因的饮料。

2.2 实验设计

本研究使用通过头戴式显示器(HMD)呈现出虚拟高空的场景，在虚拟现实场景中，参试者将乘坐观光电梯被传送到一座 300 m高的摩天大楼的高空地面上。然后他们被要求在出电梯后，走上一座悬置在空中的长为1.5 m的独木桥。在到达桥的尽头后，参试者需要停留在那里并向西周及楼下看30 s钟的时间，参试者再转身回到大楼的电梯。

每名参试者需分别体验三种多模态信息的整合水平：单一视觉条件，视觉听觉条件和视觉被动触觉条件。在单一视觉条件下，参试者只是通过 HMD 看到虚拟现实的显示场景。在视听条件下，参试者能够通过无线蓝牙耳机听到VR场景的高空背景环境音，包括高空的风声、鸟鸣的叽叽喳喳声、飞机的螺旋桨噪声和地面的交通背景噪声等。在视觉被动触觉条件下，实验人员在实验室铺设了1.5 m长度的木板模拟独木桥，在木板下放置了水垫以产生晃动的效果，提供触觉的反馈，见图1。

图1 实验场景及实验设置

2.3 实验测量

实验中测量的数据主要包括生理数据和主观反馈数据。

生理数据的采集使用 BIOPAC MP150(Biopac Systems Incorporation,California)来记录和预处理心电ECG和皮电(SC)的数据。心电的采集使用三个一次性电极片贴于胸前以1 000 Hz的采样率连接。皮电的采集通过将两个一次性电极片贴于参试者的左食指和左中指进行记录。

主观反馈的测量包括积极情感和消极情感表、临场感、感知控制感。积极情感和消极情感表(PANAS)用于测量参试者在不同条件下的情感表达[12]。该量表包括10个正向题目和10个负向题目。参试者被要求回答他们在最近的实验条件下对每个项目的感受，采用从非常轻微到非常喜欢的5点量表。临场感，也称为心流，用于测量参试者的沉浸程度，采用四个问题的5点中文量表(完全不同意；比较不同意；说不清楚；比较同意；完全同意)测量[13]，得分越高，临场感越高。感知控制感则由参试者在0-100的量表中标记自己感知到的控制水平，0表示完全不可控，100表示完全可控。

另外，本研究在招募参试者阶段会采用李克特10级量表调查参试者的恐高程度，1表示人在高处没有明显的心理和生理反应，10表示处于高处的人感到极度压力和失控。实验招募会排除恐高评分大于 8 分的人，所有招募参试者的平均分数为 6.25(SD=1.71)。

2.4 实验流程

在参试者招募的过程中，会对符合实验条件的参试者进行筛选。在邀请参试者前来实验室参加实验后，主要实验流程为：(1)参试者会先被告知实验的具体内容与流程，签署实验知情同意书；(2)参试者需填写主观问卷，汇报相关信息；(3)参试者佩戴皮电和心电设备，并进行静息状态的生理测量采集；(4)参试者将分别体验单一视觉、视觉听觉以及视觉触觉三种条件下的高空行走场景，每个场景结束后参试者会反馈PANAS和控制感问卷，并进行休息和恢复，之后再体验下一场景。三种场景的顺序在参试者之间是被平衡的，见图2。

图2 实验流程

2.5 实验设备

实验在具备隔音条件的室内房间进行，无日光暴露下。主要设备包括一台电脑(CPU：Intel i7-6700 K；GPU：技嘉 GTX1080 8GB)、HTC vive 套装(一个 HMD 和两个控制器)和一对降噪耳机。生理数据采集使用的为BIOPAC MP150(Biopac Systems Incorporation,California)硬件配合一次性电极贴片使用。

3 结果

3.1 生理数据结果

通过对心率数据的进行重复测量方差分析，结果表明，不同感官参与条件的主效应显著，F3,105=15.13，P<0.01,η2= 0.3。进一步的分析表明，视听觉条件与视触觉的条件下，参试者的心率显著高于视觉条件与基线条件，而视听觉条件与视触觉条件之间无显著差异，视觉条件与基线条件之间也无显著差异，见图3。

图3 心率数据结果

对心率标准差(stdHR)进行重复测量方差分析，结果发现，不同感官参与条件的主效应显著，F3,105=4.19，P<0.01,η2=0.11。进一步分析发现，视觉条件的心率标准差显著<视触觉条件，其他条件及基线之间均不显著，见图4。

图4 心率标准差结果

在心率变异性(HRV)分析中，我们分析了极低频(very low),低频(low)，高频(high)，极高频(very high)的心率频谱能量数据，其所代表的交感神经(sympathetic)和迷走神经(vagal)及其比值。重复测量方差分析的结果表明，各感官模态间的主效应均不显著。

对皮肤电水平进行重复测量方差分析，结果表明，不同感官参与条件的主效应显著，F3,108=46.89，P<0.01,η2=0.57。进一步分析发现，基线皮肤电水平显著低于VR环境中的各情境，但三种模态之间差异并不显著，见图5。

图5 皮肤电结果

3.2 主观量表结果

对正负向情绪量表PANAS得分进行重复测量方差分析，正负性情绪具有显著差异，F3,106=123.77，P<0.01,η2=0.78，在基线条件及三种模态条件下，正性情绪显著高于负性情绪。

不同感官参与条件的主效应显著，F3,108=33.29，P<0.01,η2=0.48，进一步分析发现，三种模态条件下，情绪激活显著高于基线条件，视触觉条件的情绪激活显著高于视听觉条件，视觉和听觉之间无显著差异。分别对正性情绪与负性情绪进行分析，对于正性情绪，所有模态条件得分均显著高于基线条件，但是模态之间无差异；对于负性情绪，所有模态条件得分均高于基线条件，同时视触觉条件诱发了更大的负性情绪，视觉与听觉条件之间无差异，见图6。

图6 PANAS量表结果

对心流问卷的沉浸感维度进行分析，总体的沉浸感得分为14.48(SD=2.25)，95%的置信区间为(13.73,15.23)。对三种条件进行重复测量方差分析，结果发现条件效应显著，F2,72=3.292，P<0.05,η2=0.084，进一步分析发现，在视触觉条件下，相对于视觉条件，被试有更高的沉浸体验，结果边缘显著，P=0.062，见图7。

图7 心流问卷结果

对控制感得分进行重复测量方差分析，发现不同感官参与条件的主效应显著，F3,108=21.54，P<0.01,η2=0.37。进一步分析发现，视触觉条件下控制感显著低于其他条件。

对心流量表的控制感维度进行重复测量方差分析，条件的主效应显著，F2,72= 6.76，P<0.01,η2=0.16。进一步分析发现，视触觉条件下控制感显著低于视觉条件。

对不同模态的PANAS得分与控制感数轴分数进行相关分析，结果发现控制感与负性情绪显著负相关，表现为负向情绪越高，控制感越低，见表1。

表1 PANAS量表与控制感的相关性分析结果

4 讨论

本研究结果表明，本研究发现虚拟现实高空应激场景诱发了被试的应激状态，表现为在生理上心率与皮电均高于基线条件；在主观感觉上，PANAS得分显著高于基线条件。而在三种模态中，视触结合条件诱发效果更好，表现为心率更高， PANAS负性情绪得分更高以及沉浸感更高。多感官信息会降低用户在压力型虚拟环境中的感知控制，影响用户的生理反应和负面情绪。将适当的多感官模态引入虚拟环境中，会带来与现实更加符合的体验和反应，既包含体验中的享受和兴奋，还会带来体验中的不可控感与恐惧感。

在研究中我们发现，额外的触觉信息对感知控制有着显著影响。与其他两种视觉和视听觉的情况相比，用户在触觉条件加入后的控制感较低。对应到高空行走这一有着真实压力情况的情境，用户对感知控制的降低也说明了用户感觉的更加沉浸。而这一结果也与以往的研究一致。例如，一项研究发现，与在听到脚步这一情况下相比，参试者在感受到虚拟人脚步的振动触觉反馈时会表现出更大的回避行为[7]。 有研究者发现，虚拟威胁环境中的被动触觉元素会增加用户的生理唤醒，带来更高的压力反应[11]。然而，与触觉信息相比，额外的听觉信息并没有对用户的控制感带来著影响，在视听觉条件下体验到的感知控制水平与单纯视觉条件和基线条件下的基本相同。但是在另一些实验中，研究者发现在听觉视觉条件下的参与者比在唯一视觉条件下的感知更明显[5]。这些实验间的差异我们认为是由于实验的 情境和任务的特征导致的。在感受虚拟人脚步的研究中，侧重于关注虚拟环境中的社交存在，它对视觉和触觉信息更加敏感，因为视觉信息和脚步是有人接近的更重要的信号。但在视听觉实验更优的实验中，空间化的声音为虚拟环境中的导航任务提供了额外的信息，所以会带来更显著的感受。在我们的研究中，模拟高空木桥的晃动感这一颤抖性并带有跌倒暗示的被动触觉，使用户的失控感急剧增加，而与高空环境一致的听觉信息并没有引起压力的激增。但研究发现，环境噪音是会使人产生焦虑和失控的。综上所述，感官线索是否影响用户的感知控制和其他主观体验，主要取决于感官线索在虚拟世界和现实世界中所提供的信息之间的因果关系。本研究中，相比高空听觉的背景音，被动触觉的晃动会带来更强的跌倒暗示，导致更大的压力与失控感，也就会导致感知控制和其他主观体验的明显变化。

我们的研究还表明，感知控制与负面情绪之间存在显著的相关性。较高的负面情绪与较低的控制有关。游戏研究发现感知控制与挫败感之间存在负相关关系[14]，然而，我们的研究发现感知控制与积极情绪之间没有显著关系。这一结果与游戏研究不同，后者发现更高的控制感知会带来更多的享受体验[15]。不过本研究的场景与游戏类场景本身存在差异，场景的设定并不会带来高的娱乐性，可能也导致了研究中的感知控制与积极情绪无显著关系。而我们的结果与关注压力的研究一致，这类研究认为，缺乏感知控制是压力源的一个特定维度。感知控制的缺乏会诱发消极情绪，但与积极情绪无关。

本研究中同时发现，多感官信息会帮助人们更加动态和自然地与虚拟环境进行交互。尤其与现实场景有着高因果性的感官线索的提供，如本研究中被动触觉的反馈提供，使用户不仅可以调整主观体验，还可以调整生理反应，对不断变化和信息丰富的环境有一种心理适应。在考虑使用虚拟场景进行高空或特殊类型作业培训时，可参考多感官信息的加入，将关键性的线索通过多感官方式呈现，达到更加真实和有效的交互体验。

目前的研究存在一些局限性。首先，情境的特殊性限制了结论的一般性。本研究的情境为高空行走类，未来应考虑更多的恐惧症或有压力的虚拟场景。其次，本研究中的参试者在心理和生理上都是健康的，在进一步的研究中可以考虑招募更多患有恐高症等特征的参试者进一步进行比较。第三，由于实验时长的设置，参试者在高空情况下的暴露持续时间相对较短。当人们长时间处于较高频率的此类情境中时，多感官信息对感知控制的影响是否与当前研究中的相同，这是一项未来可继续深入的研究工作。

5 结论

本研究发现虚拟现实高空应激场景诱发了被试的应激状态，以及多感官信息会降低用户在压力型虚拟环境中的感知控制，影响用户的生理反应和负面情绪。在高空行走类任务中，对比单一视觉、视觉听觉以及视觉触觉的交互体验，视触觉会导致更低的感知控制、更高的负向情绪得分和更高的沉浸感。同时，本研究验证了在压力场景中，感知控制与负面情绪之间的显著相关性。对未来多感官信息支持下的虚拟场景设计，如高空作业类型的培训、以及高空刺激类游戏的体验完善等，可提供一定的参考。