虚拟现实情感机制：身体图式增强情绪唤醒度

沈夏林 张际平 王勋

摘要：虚拟现实引入教学增加了其中情感现象的复杂性，情感机制成为亟待研究的问题。情绪是情感的可操作单元，激活情绪的信息分为感知和概念化信息两种途径，客体与个体预期的差异决定了情绪的强度，虚拟现实主要提供了感知通道的情绪信息来源。在场感给予体验者接近于叙事者的情感体验，但“情感模拟”并不能解释虚拟现实环境中与仿真度不对等的微妙情感现象。为此，从身体觉知虚拟对象示能性的过程出发，提出是身体图式在唤起情绪中扮演了关键角色，是个体预期与客体感知间差异的实质。进而，针对隐含于语文教学中的情绪，以“三峡船闸”为教学内容，设计了高激活度图式（虚拟现实学习环境）和一般激活度图式（视频学习）的对比实验。结果显示，高激活度图式的情绪唤醒度显著高于低激活度图式。在此基础上，构建了虚拟现实学习环境的情绪影响模型。

关键词：情绪;身体图式;在场;虚拟现实;具身认知

中图分类号：G434

文献标识码：A

一、引言

真实情境体验缺乏是教育专门化后的固有缺陷，虚拟现实（Virtual）为此提供了令人惊叹的替代经验，已经有大量研究从认知角度对虚拟现实体验进行了探讨，如发现虚拟现实的有益性在于“可以像作者一样身临其境地体验”，但也带来了信息的冗余与干扰，通过虚拟体验有时反而不利于知识抽象化，有关认知的研究对虚拟现实资源开发及教学应用方式起到一定的指导作用。然而，由于情感的不可触摸性和难以测量性，却少有研究涉及，虚拟现实对情感的影响远未明确。情感是教学无法回避的因素，师生、生生交互，以及教材中充斥着显性或隐性的情感成份。情感作为“非智力因素”，对认知具有重要影响，情感在语文教育中甚至就是“智力”——作为高层次能力的文学创作能力依赖于情感的体验与表达。虚拟现实资源成为教学中情感因素的一个新来源。但是，虚拟现实作为对现实世界的模拟，由于技术与成本限度，却并不能真实地反映客观世界，甚至是以“曲解”的方式进行的模拟——对目标感知现象的增强以及对非目标现象的忽略，这进一步加剧了虚拟现实情感现象的复杂性。为此，本文以虚拟现实学习环境中的情感现象为对象，设计课堂实验，试图揭示虚拟现实的情感机制。

二、虚拟现实学习环境与情感

情感教学理论将人类情感现象分成三类：作为基本单元的情绪（Emotion）、与基本社会性需要相联系的情感（Feeling）、与高级社会性需要相联系的情操（Sentiment）。情感遵循从情绪到情感、情操的发展路径，而情绪是其中的操作性对象。激活情绪的信息按加工特征可分为低级情绪信息和高级情绪信息。其中低级情绪信息又称为感官情绪信息，通过感官系统觉知，具有自下而上的自动加工能力，几乎无需意识努力和后天学习。如实验发现绿色书写纸比白色书写纸更能让学生情绪安定和心理舒适，赫拉利将这种自觉情绪现象的原因归结为人类上千万年进化过程中对绿色自然环境的适应。卢家楣认为个体预期在感知通道的情绪发生中起到重要作用，决定了情绪的强度：客体超出预期越多，产生情绪越强，反之越弱。高级情绪信息则通过理解言语和符号化信息而发生，需要认知系统参与，经过意识努力并耗费心智资源加工。如基于文本交流的情绪唤起现象——当人们阅读充满情绪内容的文本时，可以激活脸部肌肉动作而展示情绪。在一项恐惧情绪的研究中，研究者们将VR作为情绪感知输入和信息输入分离的工具，发现感知途径和概念途径均可激活恐惧，唤起生理和行为上的恐惧反应，但概念途径表现为较差的生理激活，社会性因素引起的恐惧却更易受概念言语信息的影响。VR所重构的虚拟世界，为学习提供了可控的感官情绪信息来源，其中的情绪发生机制则成为亟待探讨的问题。

在场感（Sense of Presence）被认为是情感在虚拟环境中发生的先决条件和必要中介。在场感指体验者就在“那个”虚拟环境中的错觉，是人类感官与虚拟输入、输出之间的匹配，在场感分为空间在场与社会在场，空间在场指用户将其感觉来源归因于虚拟环境的意识状态，社会在场则为“与某人在场”的错觉，指获知他人心智、意图和感官印象的程度。瑟思（Seth）等人提出内感受预测编码模型以解释在场感产生的原理：个体在体验过程中，会就场景的内感受状态做出持续预测，在刺激发生时，将实际内感受状态与预测进行对比，两者一致时产生在场感。作为虚拟现实主要技术特征的沉浸性，本身不会增加情感体验，但沉浸性通过在场感影响体验者情绪，高沉浸度有助于良好的在场，如观看2D电影体验的被试认为“主角是小男孩”，而同样内容的VR电影体验者则认为“自己就是主角”。此外，研究还发现，沉浸性对情绪的影响取决于情绪本身的唤醒度，高唤醒度较低唤醒度在VR沉浸中表现得更为强烈，如恐惧和焦虑情绪相比幸福和放松，前者受到的影响更大。弗里曼（Freeman）等人由此提出情绪在场唤醒理论，认为情绪唤醒导致了警觉，警觉进而引起更高的在场感，因为唤醒代表着“行动的召唤”，这与生态学中生存优先的进化原则相符。

虚拟现实的仿真度是体验者形成在场感的首要因素，内在原因则是自主感（Sense of Agency）和拥有感（Sense of Ownership）。自主感和拥有感的概念由哲学家加拉赫（Gallagher）提出，作为具身体验两个分离的方面，自主感指虚拟场景中的“那个动作是我发起的”感觉，如感觉到是“我”在操纵游戏中的赛车行驶;拥有感指虚拟场景中“那个正在经历体验的人是我”的感觉。自主感和拥有感作为动作属我性的现象体验，如同条件反射一样共同作用于虚拟场景体验：体验者驱动自主感体验自身，同时感受自己正在场景中。有赖于自主感和拥有感，低仿真度的交互技术也能营造高度的在场感，如仅仅通过手柄以推、拉、摇、移、按键等简单动作控制虚拟场景中模拟现实世界的复杂动作，却仍能让用户体验到强烈的操纵感，感受自己正在场景中。

虚拟化身现象是深度在场的表现，化身（Avatar）概念源于传统媒体体验中的角色认同——观众将自身想象为媒体中的角色，而产生感同身受的情绪反应。传统媒体作为单向的信息传播通道，受众遵循设定的情节体验，角色认同发生时，是角色替代了个体的自我意识;另一方面，角色认同本质上是概念信息引发的感同身受现象，身体知觉并没有参与其中。虚拟现实的交互技术则将角色认同现象凝聚为实体——虚拟化身，作为现实世界自主体的代言者“降临”虚拟世界;通过动作映射，将现实世界的原始动作投射到虚拟世界为感知动作，从而自主地操纵虚拟化身的行为，或与其他化身互动，获得虚拟世界身心融合的归属感。因而，虚拟化身是身体知觉与意识的共同“在场”。由此，虚拟化身也显而易见地区别于早期人机交互中的代理（Agent）概念——一个帮助用户完成刻板计算机操作的具有亲和力的虚拟形象。视知觉是虚拟场景的主要通道，虚拟化身存在第一人称和第三人称两种视角的知觉方式：第一人称视角是主体和化身以完全一致的角度观察虚拟世界，如同现实场景，主体不能看到自己的化身形象，但可以被其他用户看到（如果在多用户社会性场景中）;第三人称视角也称为“上帝视角”，主体以相对宏观的角度观察自己化身的活动，通常设定于化身后方或后上方的视角，以维持主体与化身运动方向上的同构，而不致过于弱化在场感。虚拟现实沉浸技术的差异导致不同的化身形式：桌面式虚拟现实可在第一人称和第三人称两种化身视角中切换;沉浸式虚拟现实使用第一人称化身视角;增强式虚拟现实将化身融人到实体中;卡梅隆导演的电影《阿凡达》（Avatar）中想象的未来技术打造的“化身”则能取代“真身”实体，在不同生物性和文化的体验中引發了彻底的情感变化。

三、身体图式与情绪发生

综上，现有研究明确了人类情感现象的构成，情绪是教学中情感体验的操作单元，情绪具有感知和概念化信息两种激活途径，客体与个体预期的差异程度决定了感知通道情绪的强度。虚拟现实为情绪提供了感知来源，在场感被作为虚拟现实环境中情绪现象的一种解释——给予“如同叙事者一样的情感体验”，通过对现实世界的模拟而给予体验者如同亲历者一样的情感体验。但是，虚拟现实并非仅仅“对现实世界的模拟”，在场感的研究表明其中起决定作用的并非仿真度，实质是自主感与拥有感。虚拟现实中的情绪发生仅仅也是对亲历者体验的重现吗？有关示能性（Affordance）的研究提供了另一种启示。

示能性的概念由生态心理学家吉布森（Gibsen）提出，指被生物体感知到的可承载其活动的环境属性。示能性作为客体属性，仅在被主体意向性知觉时才成之为“示能性”——可能引发主体随后身体动作的感知，如个体身边的大树——其枝干、硬度等性質能被觉察到，通常情况下，个体不会去知觉这些性质，此时大树的物理属性未成为示能性;但如果不远处突然出现一条大鳄鱼，个体感受到危机，立刻知觉到大树的物理性质可承载其安全爬高，此时枝干高度与硬度等属性则成为主动知觉的示能性。新恩（Shin）认为虚拟环境客体同样存在着示能性，并且是虚拟现实体验中感官情绪发生的起始点。除了急迫的生存危机，客体是否位于主体的“近身空间”范围，是示能性产生与否的重要因素，近身空间指位于生物体身体可及范围的物理空间，生物体对近身空间的对象具有更敏感的反应，这种现象具有进化意义：攻击距离内的捕食者更具有威胁性和紧迫性，远距离的对象则只要保持识别、观察即可。亦即，位于近身空间的刺激促使物理性质转化为示能性。神经科学的脑成像实验印证了近身和远身两种空间的加工区别：近身空间信息主要发生于大脑背侧通路，其神经功能正是负责对象运动、位置与空间特征的表征;远身空间对应大脑腹侧通路，负责对象结构特征、形状、颜色的表征。相比于2D媒体，虚拟现实以将主体“拉进”场景的方式，形成了“近身空间”效应，因而更容易将环境属性知觉为示能性。

主体是如何利用示能性的？具身认知理论将与示能性这个生物感知属性相对应的人类认知概念命名为图式（Schema）。皮亚杰将图式作为一种认知结构——抽取对象的“类属”属性，以简图的方式来表征对象。如对有关“树”的典型图式是一幅包含树干、树枝、树叶等“类属”属性的“简笔画”。通过这种方式，图式给予具体对象以属类——使人类能识别和区分千变万化的事物，给予抽象概念以具象结构——使基于符号化的高级认知成为可能，康德因而将图式作为具体事物和抽象概念的中介。如儿童在阅读中遇到“荔枝树”这个名词，尽管从未见过真实的荔枝树，通过“树”图式仍旧能建立起对荔枝树模糊的形象概念，而使认知得以继续进行，不影响其它信息的加工，尽管所建立的“荔枝树”概念可能是错误的。这种能力对人类生存与进化极为重要，提供了面对未知问题的一种有效方式，在当前机器人学研究中，霍夫曼（Hoffmann）认为对于人类图式能力的模仿，是达成真正意义上“人工智能”的必要途径，但又是难以企及甚至不可能达到的一个领域。

图式作为知觉加工机制，具有自动化的多感官融合能力——将来源于视、听、触、嗅、味、本体觉等通道的多模态知觉信息整合为特定问题的结构性信息，格式塔心理学的心理完型案例，为视知觉图式的整体性和简约性特征提供了直观表征。图式源于身体，贯穿于从身体基本运动到抽象概念发展的整个过程：从婴儿出生时的吮吸、抓握等本能反射行为开始，通过与外界的交互，逐步建立起包括以自身身体为中心的诸如空间、容器、移动、平衡、力量等基本图式;在基本图式之上以身体投射（Bodily Projection）建构非身体参照的、跨概念域的复杂图式，如将以自我身体为中心的前、后、上、下等空间关系投射于对象，形成相对于对象前、后、上、下的空间关系，由此从身体参照推而广之到物与物之间的空间定向;图式以概念隐喻作用于抽象理性概念的建立，如“理论是大厦的基石”;图式以一般化抽象结构特征，形成人类认识世界的范畴化能力而识别、记忆客观世界中错综复杂、多不胜数的事件。因而，皮亚杰在发生认识论中将个体图式发展分为感知运动、前运算、具体运算和形式运算四个阶段。拉考夫依据图式的身体根源性，以“身体图式”为核心概念，阐述了其在人类意义建构和推理中的基础性作用，成为第二代认知科学中具身认知理论的基石。身体图式的潜在价值引发了哲学、心理学、神经科学、机器人学等多个学科和领域的研究。在情感研究领域上，霍夫曼提及了身体图式可能的情感价值，格雷格森（Gregersen）、金（Kim）等游戏研究者认为用户的原始动作与虚拟世界中的映射动作在身体图式上的同构，有助于提升虚拟体验的享受度，但相比于图式的认知机制研究，情感机制的讨论极为缺乏。

相比在场感给予“如同叙事者一样”的情感体验目标，身体图式起到更为积极的作用，客体与个体预期之间差异的感知正是由身体图式完成：体验者知觉客体示能性，激活身体图式（如山峰宏大的空间图式），并与预期的图式（以身体为参照的有关山峰的图式）相比较，两者的差异引发了情绪。同时，身体图式也促进了在场感的提升，正是身体图式的投射功能，实现由现实世界原始动作到虚拟场景感知动作的映射，将操纵杆的推、拉、摇、移、按键等有限动作映射为驱动虚拟世界运作的复杂感知动作，从而营造由“我”控制旧主感）、“我”在其中（拥有感）的错觉。相比于仿真度所营造“构想的”在场感，由自主感与拥有感形成动力的在场感，具备更高水平的沉浸度。因而，正是身体图式，连接起知觉与情绪，形成从客体示能性、身体图式和在场，及至情绪的因果链。以下将设计教学实验，对身体图式的情绪效应进行验证。

四、身体图式影响情绪的实验

（一）实验设计

1.研究假设

本研究选择隐性情感教学最典型的语文学科，以《三峡船闸》为内容，分别设计以虚拟现实、视频为材料的课堂教学实验——两者具有不同的图式激活程度，通过学习结果的分析，比较虚拟现实和视频体验在情绪唤醒结果上的差异。提出以下假设：

情绪效价统计数据如表2所示，实验组和对照组效价均值分别为6.3723和6.2261，使用VR的班级略高于使用视频的班级，独立样本t检验结果p-0.113>0.05.即两组数据在统计上没有差异。

（三）非情绪性检测结果

（1）认知结果。实验结束后，由任课教师对两个班级的知识检测题进行批改，该题目满分5分，教师按回答完整程度在0-5分之间给分.并由研究人员逐一核对。得分结果的描述性统计如表3所示，VR组平均得分3.72分，视频组平均得分为2.76分。对得分进行差异性检验结果为：t=2.102，p=0.038<0.05。也即实验班平均分高于对照班的数据具有统计意义，其差异具有显著性，通过VR体验，相比于视频体验，学习者在有关三峡船闸原理的程序性知识检测上表现更为优秀，知识迁移状况更好，这与实验假设不一致。

（2）心流体验结果。心流体验数据如表4所示，进行差异性检验结果为：t=2.102， p=0.02<0.05。也即實验班的心流体验高于对照班的数据具有统计意义，两者差异具有显著性，在该内容的学习中，通过VR体验，相比于视频体验，学习者具有更高的学习投入程度。

五、分析：虚拟现实学习环境的情绪模型

在以上实验中，对于三峡船闸雄伟、高大、壮观的情绪体验，对于自然力量和人类力量的情绪体验，VR组的情绪唤醒度显著地高于视频组，但在情绪效价上没有差异，也即，虚拟现实有助于增加情绪的强度，但对情绪正负的影响没有统计学意义。究其原因，相比观看视频，VR以隔绝现实的全沉浸视角，使三峡船闸及其周边山峰更具有“高大”的视知觉示能性;其次，VR以模拟亲历者的视角，将体验者“拉入”到场景中，形成近身空间效应，使体验者对于身体周边对象知觉更为敏感，在随轮船行驶过程中，体验者感受到迫人而来的闸壁和山峰，激活空间图式，引发情绪。除了言语性情绪评估数据，通过VR学习的47名被试中，有22人报告在体验乘轮船通过三峡船闸的场景时产生了轻微的眩晕感。究其原因，可能是由于视觉系统看到的不规则运动，在本体觉和前庭觉作用下，形成的晕船假象;也可能存在虚拟现实本身的技术问题，如像素和刷新率不够高;或者是以上两个原因的综合。本次实验未对眩晕感的原因作验证，但是，所有报告眩晕感的学生均表示，眩晕感本身也让他们感觉更像是在轮船上。因此，可以说产生了非常逼真的虚拟化身效应，在场感达到了较高的程度。

非情绪检测是对情绪的侧面验证。VR组相比于视频组，具有更高的心流体验——也即学习更为投入，结果与实验假设一致。心流体验的结果再次印证了情绪效应，激活了情感的学习具有更高的投入程度，同时该结果也与虚拟现实的技术特征——沉浸性相吻合。对于三峡五级船闸原理理解的检测，参考已有研究的结论，由于VR环境中的学习者沉浸于感知体验，不利于思维的抽象，因而预测虚拟现实体验对于本实验三峡五级船闸原理的理解不会有促进作用，其直接的认知效果不如视频学习。但实验结果与假设相反，VR组的认知测试表现出了优势性。究其原因，可能是由于教学活动为三峡五级船闸原理的理解提供了多种信息来源，包括课文文本、图示、课件中的动画以及教师语言解释，虚拟现实或视频仅仅只是其中一种来源，在虚拟现实或视频体验之前，学生已经对原理有了充分的了解。因而，虚拟现实或视频体验对于思维抽象作用的差异未能起到决定性的影响;相反，由于虚拟现实体验具有更佳的心流体验，以及情绪的“非智力”效应，导致学生更高的学习投入程度（与心流体验结果相吻合），这可能最终影响到了学习结果。

根据以上分析，我们提出虚拟现实学习环境的情绪影响模型，如图2所示：与作为客体属性的示能性相对应，身体图式作为一种主体认知结构而知觉客体示能性，引发对客体的自觉认知以及由此产生的自动化行为;虚拟现实技术以将体验者“拉人”场景的方式，形成体验者对虚拟对象的近身空间效应，使虚拟对象更易于被意向性知觉。身体图式一方面与认知结构中存在的一般图式相比较，在两者不一致时直接激活情绪（如三峡船闸闸门与“门”的原型图式相比较，由于闸门远大于“门”而激活“高大”“人类力量伟大”的情绪）。另一方面，体验者通过身体图式的投射性，毫无违和感地操纵虚拟场景，形成如同身临虚拟场景的自主感与归属感，也即瑟思所称的内感受。实际体验的内感受与由虚拟现实沉浸感、构想性引发的预期感受两相比较，具备一定程度上的一致时产生在场感，在场感又让体验者以“与作者一样的叙事结构”体验目标世界的情绪现象。也即，身体图式和在场感共同作用于虚拟现实学习环境中感知通道的情绪发生，具体而言，身体图式激活情绪的唤醒度，而在场感则让体验者相信激活的情绪是真实的。

以上模型揭示了情绪、知觉与示能性三者之间的关系，对蕴含于教学中无处不在的隐性、不可触摸、但又不可忽视的情绪，提供了可操作的方法，通过对客体属性（示能性）的调整，可有效控制特定情绪的激活水平;虚拟现实学习环境的仿真程度并不必然影响情绪激活，在场感则使体验者相信所产生的情绪是真实的，身体图式在知觉通道的情绪发生中起到了关键作用。因而，该模型为虚拟现实学习环境与VR学习资源的开发、虚拟现实学习环境中的教学设计与学习活动设计提供了有益的参考。此外，虚拟现实技术感知通道和信息通道的可分离性，以及感知属性的可控性（客体示能性），也为教学和学习研究提供了有用的工具。

六、结语

情绪是教学中情感体验的单位，激活情绪的信息分为感知和概念化信息两种途径，虚拟现实为教学提供了感知通道的情绪信息来源。客体示能性是情绪发生的起始点，虚拟现实的技术特性通过将体验者“拉入”场景的方式，形成近身空间效应，使得其中的客体属性具备知觉优先性。体验者在知觉到示能性后，激活相应的身体图式，形成对客体属性的图式化认知，并与个体预先存在的原型化、一般性图式两相比较，两者的差异激活情绪，作用于情绪的唤醒度，差异越大，唤醒度越高。同时，身体图式以动力同构为原则，将现实空间的原始动作投射为虚拟世界中的操纵活动，使体验者感受到是“我”在操纵虚拟世界、在虚拟世界的人是“我”，形成自主与拥有的，这种实际内感受状态与虚拟现实沉浸和构想而来的预期感受相比较，两者存在某些一致时产生在场感。在场感进而使体验者认为产生的情绪是真实的。身体图式的引入，弥补了虚拟现实学习环境中情绪发生因果链上的缺失环节，为教学中操作性缺乏的情绪体验提供了可行的途径。虚拟现实感知信息与概念化信息分离的特征，以及基于汉语词汇的情绪测定，也为教学中的情绪研究提供了参考。