混合现实环境中具身交互如何促进科学概念理解

黄红涛　孟红娟　左明章　郑旭东

摘要：具身认知和混合现实是当代认知科学和信息技术创新发展的两大前沿，推动教育研究与实践的范式发生深刻变化。具身认知强调身体参与认知过程的理论观点对促进科学概念的理解具有独特作用，而混合现实为学习者的具身参与和交互提供了技术支撑。基于此建构具身型混合现实学习环境，是打破虚拟环境和实体环境之阻隔，让学习者充分使用自己的身体开展各种认知活动，真正促使学生从“离身”走向“具身”，并促进其对科学概念深度理解的重要途径。当前实践领域已有不少研究通过设计能够激发具身交互的情境和活动，来帮助学习者对科学、地理、数学和生物等学科知识进行深度理解，并认为具有显著效果。然而这些研究更多是在特定的技术创新及其约束性条件下驱动的，没有将研究焦点明确置于技术创新在教育境脉中的功效之上，也没有回答“如何有效”和“为何有效”的深层科学问题。因而，未来混合现实环境中具身交互促进科学概念理解的研究应在两个方面着力：一是逐步发展一套能在混合现实环境中有效促进科学概念理解的具身交互策略，二是在实证研究中逐步揭示混合现实学习环境中具身交互促进科学概念理解的认知加工机制。

关键词：具身认知;混合现实;学习环境;概念理解;深度学习

中图分类号：G434   文献标识码：A    文章编号：1009-5195（2018）06-0028-09  doi10.3969/j.issn.1009-5195.2018.06.004

*基金項目：国家科技支撑计划课题“科技馆建设及展示展教关键技术研究”（2015BAK33B02）;华中师范大学中央高校基本科研业务费项目“面向特殊人群的无障碍展教技术研究”（CCNU18TS041）。

作者简介：黄红涛，工程师，华中师范大学信息化办公室;孟红娟，工程师，华中师范大学教育信息技术学院国家级文科综合实验教学示范中心;左明章，教授，博士生导师，华中师范大学教育信息技术学院;郑旭东（通讯作者），教授，博士生导师，华中师范大学教育信息技术学院（湖北武汉 430079）。

一、基于具身认知观点对概念理解的探索

具身认知是一种反对笛卡尔身心二元论的哲学思潮，它经由认知科学和心理学而逐渐进入教育学，陆续引发各种学习和教学理论不断涌现，驱动教学实践的内容、方式、过程及其效果评估发生变革。具身认知强调认知根植于身体行动，经验建构于具身交互。更确切地讲，人的身体在认知过程中发挥着非常关键的作用，认知是通过身体、心灵和环境的交互作用而形成的。

对具身认知的探讨始于对心智具身性的思考。瓦雷拉（Francisco J. Varela）、汤普森（Evan Thompson）和罗施（Eleanor Rosch）所著的《具身心智》就是一个原典，它的许多主题——认知科学对计算主义忠诚的幻灭、对吉布森主义和联结主义认知进路的同情、对表征概念在认知解释上过度作用的怀疑、对知觉和认知必须与行动相联的自信——在具身认知中已经上升为教条的地位（Varela et al.，1991）。随后，克拉克（Andy Clark）、西伦（Rsther Thelen）、史密斯（Linda B. Smith）、威尔逊（Margaret Wilson）、夏皮罗（Lawrence Shapiro）等人也纷纷加入到具身认知的研究阵营，使具身认知的轮廓变得更加清晰。与此同时，“心智活动包括脑、身体和世界以及它们之间的交互作用”这一核心思想也日益受到推崇，并引起博尔吉（Anna M. Borghi）、卡萨桑托（Daniel Casasanto）、约斯特曼（Nils B. Jostmann）、尼登塔尔（Paula M. Niedenthal）等很多实验心理学家的关注，这使得人们对具身心智的探讨从思辨走向实证和实验。具身认知的研究也开始利用神经科学的方法和技术、数据和结论，把认知对身体及其感觉运动系统的依赖性带进人们的视野，其理论的科学化水平不断提高，具身认知科学开始登上认知研究的历史舞台。

随着具身认知科学的兴起，传统认知科学所坚持的概念与思维的非模态理论——人类通过感知觉获得的信息可以转化为抽象的非模态符号，思维的过程就是对非模态符号信息提取与加工的过程——开始受到越来越多的挑战。从具身认知的观点出发对概念理解的研究，最具煽动性的辩护之一是建立在对思维中隐喻作用的分析之上。语言学家莱考夫（George Lakoff）和约翰逊（Mark Johnson）是该领域的杰出人物。他们在对大量隐喻现象进行分析后指出：隐喻不仅是一种语言修辞手段，更反映了人类认知的重要特征;人类的抽象概念系统是以感知觉经验和具体概念为基础发展形成的，抽象概念的加工与对其进行隐喻化描述的身体经验密切相关（Lakoff & Johnson，1980）。以此为基础，莱考夫和约翰逊（Lakoff & Johnson，1999）提出了颇具影响力的概念隐喻理论，进一步确立了身体经验在概念理解中的重要地位。与此同时，Barsalou（1999）提出了知觉符号理论。该理论主张概念表征不是一种独立的抽象符号或心理表象，而是神经表征;人是以体认的方式认识世界，概念与思维的实现必须通过人的身体经验，而不是依靠超验和抽象符号。

很多研究表明：在对概念进行加工和处理的过程中，感觉和运动系统会被激活（Mahon et al.，2008）。神经科学的相关基础研究对上述观点进行了验证，并进一步揭示了其具体的工作机制。Pulvermüller（2005）的一项研究表明：当用穿颅磁刺激（Transcranial Magnetic Stimulation）的亚阈值对手臂活动进行刺激时，运动区域通常会被激活。当强磁脉冲引起右手肌肉收缩时，被试对与手部相关单词的处理速度会比与腿部相关单词的处理速度更快。由此可以证明：与行动相关的神经托换（neural underpinning）有助于对概念的理解。最新的研究则进一步阐明了基于具身认知观点的交互促进概念习得的具体工作机制。Dackermann等人（2017）发现：在空间与概念之间建立起映射、个人空间不同区域之间的动态交互、不同空间参照系的整合是影响具身交互中概念习得的三个主要潜在因素。他们以数量关系这个概念的习得为例，具体阐明了这一工作机制：通过全身的运动把数量和空间联系在一起，这涉及到个人空间不同区域之间的交互作用和不同空间参照系的整合，二者会激活一个映射过程，通过这个映射过程，学习者会建立空间-数量的心理表征，而这一心理表征的建立会增进其对数量这一概念的理解，并促使学习者超越空间-数量联结对数字进行加工和处理。

具身认知的理论观点对促进科学概念的理解具有独特作用。与日常概念不同，科学概念是一个对某些自然现象进行解释的想法或模型。比如，我们对物体落到地球上这个自然现象的理解就是通过重力这个科学概念得到解释的。科学概念具有明确的内涵和外延，即它所包含的知识内容是具体且明确的，它能够解释的现象范围也是具体且明确的。因此对科学概念的理解也涉及两个层面：一是掌握这个概念包含的知识内容，二是利用概念对特定的自然现象进行解释。聂波特等人（Niebert et al.，2012）提出，对科学概念的理解是需要具身的，因为学生在从日常知识向科学概念不断深入学习的过程中，隐喻和模拟发挥着关键作用，这一点在过去20年的科学教育研究中已经成为学界的共识，而隐喻和模拟正是具身认知科学对概念理解所持的基本观点。在科学概念的教学中，一个好的教学隐喻和教学模拟，是需要有具身来源的。这种具身来源主要表现为日常经验，而这些日常经验通常被概念化在一些诸如容器、路径、平衡、上下之类的图式之中。也正是在这一意义上，具身交互对科学概念的理解才具有独特的促进作用。

二、人机交互领域对具身交互设计的研究

交互设计的概念产生于20世纪80年代。它由美国人比尔·莫格里奇（Bill Moggridge）在1984年的一次设计会议上提出。20世纪90年代后期，人机交互的研究重点逐步扩展到智能化交互、多模态-多媒体交互、虚拟交互及人际协同交互等方面，也就是“以人为中心”的人机交互上，并取得了显著进展。理论方面，交互设计从人机工程学中独立出来，更加强调认知心理学、行为学和社会学等学科的理论指导。实践方面，交互设计从人机界面拓延开来，强调计算机对于人的反馈交互作用。在国外，交互设计已成为一个与视觉设计、产品设计等设计领域密切相关的学科领域，并取得了丰硕的研究成果，如库珀等（Cooper et al.，2007）的《About Face 3：交互设计精髓》、蒂德韦尔（Tidwell，2010）的《设计接口：有效交互设计的模式》等，都是交互设计领域的代表作，在交互产品逻辑设计、界面设计及用户体验设计等方面发挥着重要的引领作用。

值得注意的是，20世纪90年代后期，人机交互领域开始引入胡塞尔的现象学，日益重视交互的具身性。“具身”具有三方面的含义，分别是生理性或解剖学意义上的，作为习得性机能的，以及社会浸浴下的（Dreyfus，1996）。而所谓交互的具身性是指交互是一种与上述三方面密切关联的现象，它发生于这个世界中，包括应对物理世界，处理社会关系，提供交互的形式、物质和意义。Dourish（2001）出版的《行动在哪里：具身交互的基础》一书把“具身”确立为人机交互的一个基础概念，奠定了人机交互领域内具身交互研究的基石。人机交互的模式在经历了电子化交互、符号化交互、文本化交互、图形化交互后，为有形化计算和社会化计算所取代，有形化计算和社会化计算的融合发展进一步推动了人机交互向具身型交互迈进（Myers，1988）。

在理论上，人机交互领域对具身交互的研究源于胡塞尔（Husserl，1965）生活世界观的启示。他认为生活世界具有一种不言而明的特质。哈贝马斯（Habermas，1991）将这种自明性演绎为情境性，而伊德（Ihde，1990）则将其落实到人与技术之具身、诠释、它异和背景关系的建立和转换。生活世界的哲学阐释为交互设计研究提供了多种启发，作为场所或背景的生活世界使交互設计回归日常生活。数字技术的目标在于支持或增强，而不是扰乱人们的日常工作、学习和生活，因此它们应该寓居于环境之中，成为支持人们日常活动的一个有机组成部分。而“具身”正是人们面对日常世界的方式，是日常世界存在的属性：它不仅指物理现实，还指社会参与状态（Dourish，2001）。

具身交互拒斥人类认知建基于抽象的信息加工这样一种观点，其研究焦点集中于实际参与和身体构造在人机交互中是如何塑造人的知觉、经验和认知的。在具身认知科学不断进步的加持下，特别是在现象学的引领下，人机交互领域有关具身交互的研究持续进步。近年来，人机交互领域有关具身交互的研究进展主要包括以下方面（Marshall et al.，2013）：全身交互为具身交互设计提供的新机遇被不断开拓;应用于人机交互中的现象学理论不断得到发展;用于支撑具身交互的技术手段不断进步;身体操作促进意义生成的更多细节得到解释;辅助盲人的触觉增强系统被创造出来;以认知的具身、嵌入和延展为特征的认知科学理论得到发展等。

三、具身型混合现实学习环境的构建与应用

混合现实学习环境是一个利用混合现实技术构造起来的计算机支持的学习环境。在该环境中，来自真实世界和虚拟世界的各种对象被整合到一个单一的学习进程中。如果这个环境还具有支持具身交互的功能，那么它就可以被称为“具身型混合现实学习环境”（Embodied Mixed Reality Learning Environment，简称EMRLE）。具身型混合现实学习环境是一个媒体融合型的交互式学习环境。它介于一个从真实现实环境到虚拟现实环境的连续统上，是增强现实环境与增强虚拟环境的融合体，且具有支持具身交互的功能。在该环境中，用于轨迹追踪的魔杖、用来做笔记的电子白板之类的物理实体对象和使用技术设备投影出来的数字内容之类的数字虚拟对象均被整合为一个整体（Milgram  et al.，1994）。

具身型混合现实学习环境大都具有以下四个显著特征：一是多模态，至少有一个以上的实体空间环境与数字虚拟环境在同时运行;二是增强现实，来自虚拟环境中用户的视音频信息被投射到真实世界中的参与者身上;三是增强虚拟，来自真实世界中用户的视音频信息被投射到虚拟世界中的参与者身上;四是富媒体交流，真实世界和虚拟世界中的参与者可借助各种技术设备与不同环境中的参与者进行实时/非实时、面对面/非面对面的交流。这些特征让具身型混合现实学习环境能够打破虚拟环境和实体环境之间的阻隔，实现二者之间的融合，从而让学习者能够在其中使用自己的身体展开各种认知活动，让学习从“离身”走向“具身”的新境界。

目前，最具代表性的具身型混合现实学习环境首推美国亚利桑那州立大学设计开发的“情境化多媒体艺术学习实验室”（Situated Multimedia Arts Learning Lab，简称SMALLab）（Birchfield et al.，2006）。SMALLab是一个使用了各种动作捕捉设备，并嵌入了高度协同的教学法的教育平台。它以为中小学教育创建一个变革型学习环境为目标，以推进具身认知在学校教育与博物馆教育中的应用为使命。多年的应用与研究表明：与其他类型的技术平台和学习环境相比，SMALLab在促进学生知识理解、提升学生协作质量、提高教师教学水平等方面具有独特优势（Bower et al.，2017）。

从技术层面来看，SMALLab是一个以实体教室为主，以计算机网络技术、物联网技术、红外线传感技术为辅的混合学习环境。它利用物理跟踪器、感应摄像头、音频扬声器、视频投影仪等设备，以人的身体作为学习的接口，通过多种形式的感官输入，与情境产生交互作用，营造逼真的临场感和沉浸感，并激发学习者的参与感和挑战欲，进而体验、建构和生成知识。SMALLab设置有12个动力感应摄像头，将学习者的位置、姿势和动作等身体信息全程记录下来，并传送给计算机。在实验室顶部设有投影仪，它会在前方的橡胶地板上投射出一片区域，投影仪的光线交织在一起形成相应的虚拟物，学习者可以在不接触物体本身的情况下，通过肢体动作与虚拟物进行互动，从而体验和探究与学习主题相关的知识和原理。除此之外，身处互动空间周围的其他学习者也可以看到学习场景中的媒体变化情形和人机互动结果，并与他人进行直接交流与实时协作。

从功能架构层面来看，SMALLab主要包括场景建构、多通道感知、动态视觉、声音反馈等模块。其中，视觉传感依靠安装在活动空间周围的同步视频摄像机来实现，主要用于跟踪物体的运动速度、幅度、位置等。音频传感依赖于排列在互动空间周围的麦克风来实现，它具有两个功能：一是实时记录学习者发出的声音，以供后续的交互性练习使用;二是通过声音分析模块驱动空间中的互动媒体，提取音频在音调、声波上的相关特征，以描述学习者身体运动与其声音之间的关系。声音反馈模块涉及的技术包括扬声器、低音炮音箱以及声音处理与播放软件等，其主要功能在于记录声音，以作为学习者自我反思的材料。视觉反馈主要是利用学习者收集和标注的静态与三维图像、视频片段等来实现，安装在环境顶部的视频投影可以在地板上呈现交互式的可视化内容。数据建档模块主要负责对所有数据进行即时存储、传感和反馈，这些数据将为学习的过程性评价提供依据。

SMALLab可以提供两种典型的学习环境：一种是基于实体教室改造的SMALLab物理环境，它包括基本的桌椅、互动空间以及摄像头、扬声器、投影机等其他设备;另一种是基于各种技术营造的SMALLab虚拟环境，它包括样式各异且可以不断增长的场景库，学习者可以根据不同的需求选择不同的学习场景。虚拟环境的场景库中包括多种主题的学科场景，例如生物、化学、物理、地理、语言、艺术等。除此之外，SMALLab还提供了一个开放源码的软件开发工具包，允许教师、学生以及第三方开发人员创设新的教学场景，并提供个性化、针对性的教学场景服务。

总体来看，SMALLab是一个利用交互式数字媒体，在多通道传感框架上设计的混合现实学习环境，它具有具身交互、多通道反馈、协作交流等特征。SMALLab为我们在理解和分析具身型混合现实学习环境提供了如下三方面的有益启发：首先，SMALLab作为一个融合视觉、听觉、触觉等多种感官于一体的学习平台，其在视觉传感、音频传感、视觉反馈和声音反馈等模块上采用的技术设备和相关软件，可以帮助学习者获得多通道的感知与反馈信息，使学习者在不同感官通道上都能产生对应的刺激和体验。其次，SMALLab互动空间的设计，可为未来具身型学习环境的构建提供参考和借鉴。为搭建类似于SMALLab的互动空间，营造有利于学习者体验和理解抽象知识的场景，可将互动区域设置在空间的中心，将桌椅及相关设备放置在空间周围，将投影仪安装在空间顶部，以向地面投射出可交互的虚拟物。最后，应兼顾当前教学方法和课程内容的有机融合。换言之，具身型混合现实学习环境应具有较强的灵活性和较多的可选择性，便于与多元的教学方法和不同的课程内容进行有机融合，以期在满足学习者多样化需求的基础上为其提供个性化的服务。

除了SMALLab之外，还有一些具身型混合现实学习环境，如CAVE、Meteor等。它们无一例外都使用了混合现实的若干关键技术。比如，它们除了图形引擎和音频引擎外，还使用传统舞台布景的特效引擎，以及在主题公园中常用的故事引擎，从而将各种触觉和嗅觉设备构造的虚拟现实和真实现实整合为一个整体，并实现体验捕捉和多感官增强。另外，它们还普遍使用力触觉反馈技术、虚拟屏幕、自动数字演员、眼动追踪、手势跟踪等。力触觉反馈技术能为用户提供虚拟环境生成的力感和触感反馈。虚拟屏幕的使用可以使被试降低对电脑等硬件设备在空间上的依赖。自动数字演员可以提供一个可与用户进行更直接交互的虚拟躯体和声音。眼动追踪和手势跟踪可用于采集学习者学习过程中的各种基础信息。

以SMALLab为代表的具身型混合现实学习环境通过设计能够激发具身交互的情境和活动，来有效促进学习者科学、地理、数学、生物等学科知识的习得。有关具身型混合现实学习环境应用研究最具有代表性的成果主要包括以下几项：Birchfield等人（2009）以SMALLab为例，对学习者如何在具身型混合现实学习环境中学习地球科学进行了探索。他们在地球科学的课堂上使用SMALLab环境，以合作学习的方式对72名高中生进行了为期3天的教学干预，并与传统课堂进行了对比研究。结果发现，在SMALLab环境中，师生之间的交流在数量上与传统课堂相比显著增强，且学生的学业成就水平显著优于传统课堂。Johnson-Glenberg等人（2014）分别以化学滴定和疾病传播的学习为例进行了两组研究。其操作模式均为前3天一组置于SMALLab环境中，另一组置于传统课堂中;6天后两组环境进行互换。结果发现，基于具身型混合现实学习环境中的学习者学业成就水平显著优于传统课堂教学环境中的学习者，且教學干预（两种环境）的顺序对最终学习结果没有影响。进一步分析表明，这种显著性差异是由嵌入在具身型混合学习环境中的具身交互设计导致的。Lindgren等人（2016）在一所中学对学习者在一个混合现实技术营造的沉浸型、交互式学习环境中是如何学习万有引力和行星运动进行了研究，结果发现，通过全身活动来演示物理学中的概念并对其中的关键思想进行体验，可以产生显著的学习进步，不仅学到的东西更多，而且投入水平也更高，对科学的态度也更加正面和积极。

四、推进混合现实环境中具身交互促进科学概念理解的策略

传统意义上认为认知只是大脑的功能。但新近的研究（Froese et al.，2014）表明：交互也能够实现认知的功能，交互的动力学潜在地引导着认知，交互让心智得以扩展，从而把认知转载到环境中，进而实现认知的具身。这意味着身体的活动是一个触发学习的重要催化剂，自然状态下人的身体和手势在混合现实技术的支持下可以成为触发具身学习的重要输入变量。然而，当前对这一问题的探索，在很大程度上是由特定的技术创新及其约束性条件驱动的。这些研究通常都没有把焦点明确地置于这些技术创新在教育境脉中的功效之上，多数研究仅仅回答了“是否有效”，但并没有回答“如何有效”以及“为何有效”的深层科学问题。具体到利用混合现实技术支持学习者的具身交互，进而促进其对科学概念理解的研究上，也是如此。混合现实技术营造的学习环境可以让学习者进行计算机模拟，这已经被证明非常有助于学习者对一些困难概念的理解，特别是在跨学科的STEAM教育中更是如此。虚拟现实技术构造的交互界面具有具身的性质，扩展了学习者与计算机模拟进行交互作用的模式。但这些新的具身交互方式对学习者概念理解和投入程度的影响及其背后深层的认知机制却一直没有得到有深度的科学考察。

基于以上研究进展及其面临的挑战，利用混合现实技术构造具身型学习环境，基于具身型混合现实学习环境，开展相应的具身交互设计，并把其应用于对科学概念理解的教学，在科学和实践上都具有重要意义。它不但可以推进混合现实技术在教育境脉中的应用，促进实体空间环境与数字虚拟环境之间的融合与贯通;还可以发展出相应的具身交互策略，有效地帮助学习者实现对科学概念的理解;更可以在基础研究中深化对基于混合现实环境中具身交互和科学概念理解之认知机制的认识。但如何基于具身认知科学，集成混合现实技术，利用包括脑电在内的各种先进的人体研究设备，推进这项系统的研究工作？Lindgren等人（2013）针对如何推进基于混合现实的具身学习研究曾提出过6条建议：第一，让每一个学习者都能从基于身体的学习中获益;第二，在基于混合现实的具身学习中要保持行动和概念的一致性;第三，针对增强现实技术设计应让学习者明确增强的究竟是什么;第四，要为学习者引入各种进行协同与合作型交互的机会;第五，要把基于实验室场景的研究与现实世界中的实践结合在一起;第六，要持续不断地对基于混合现实的具身学习环境展开评估并基于评估结果进行改进。这6条建议为我们推进未来研究提供了重要参考。

推进混合现实环境中具身交互促进科学概念理解的研究，不仅需要构建一个基于混合现实技术、能有效支持科学概念理解的具身学习环境，还要发展一套能在混合现实环境中有效促进科学概念理解的具身交互策略，更重要的是揭示混合现实学习环境中具身交互促进科学概念理解的认知加工机制。基于已有研究，未来具体的研究工作可以考虑从以下两个方面着力。

1.构建虚实结合的具身型学习环境并设计具身交互策略

在具身型学习环境的构建上，有很多种技术路向可供选择。比如，可以尝试基于开源的Java类库Open Wonderland，构建一个交互式的3D虚拟环境。这个交互式的3D虚拟环境扩展了多用户架构，可对学习活动工作流进行处理，具有在真实对象和虚拟对象之间建立起联系，在实体空间和虚拟空间之间进行多媒体信息交换，并对学习活动进行协调的能力。在这个交互式的3D虚拟环境中，核心组件是一个混合现实软件套件。这个套件除了含有图形引擎和音频引擎外，还含有使用传统舞台布景的特效引擎，以及在主题公园中常用的故事引擎。它能把各种触觉和嗅觉设备构造的虚拟现实和真实现实整合为一个整体，并实现体验捕捉和多感官增强，从而实现实体环境与虚拟环境的无缝联结，使学习者在这一环境中获得无缝的混合现实体验（Cheok et al.，2002）。这样构建起来的具身型混合现实学习环境整合了实体和虚拟两个场景，具有支持具身交互的特征。

充分发挥具身型学习环境的功能，需要有针对性地设计具身交互策略。具身的心智可以支持学习者在物理空间环境、时间动态环境、社会文化环境和情感心理环境中展开的各种活动。反过来说，学习者在物理空间环境、时间动态环境、社会文化环境和情感心理环境中展开的各种活动的耦合可以实现认知的具身。这意味着通过设计能促进学习者在上述四重环境中活动耦合的具身交互策略，实现学习者认知的具身。混合现实学习环境中具身交互策略的设计实质就是探讨如何通过让学习者投入到与各种人造物的交互中来创设、操纵和分享意义，其核心目标是通过动觉交互（Kinesthetic Interaction）来实现学习者认知的具身，关键环节在于利用各种数字技术调动学习者身体的参与，实现基于全身的交互。混合现实学习环境中具身交互设计研究的议题主要包括三个层面。

首先，在具身交互所处境脉这一层面上，具身交互及交互界面创新设计的基本主题有二：一是如何根据信息生成意义以对情境有所意识，二是如何借助通讯设备展开及时协同。其次，在技术环境这一层面上，分别针对体感交互设备、混合现实环境和具身赋能用户，探讨如何设计有效的体感交互、空间交互和人际交互策略，让用户获得最佳的具身体验。最后，在交互行为这一层面上，上述具身交互策略的设计需要综合考虑技术环境设置的新颖程度、学习者认知投入的水平、学习者身体行动与意义建构之间的联结。通過对以上三个方面的探索，可以回答以下两个科学问题：学习者是如何通过具身交互式系统与计算化的世界进行交互的？他们是如何通过这些作为中介的交互手段和策略与他人互动的？

2.在实证研究中揭示具身交互促进科学概念理解的认知机制

在认知层面上，混合现实学习环境中具身交互策略的设计涉及如何协调处理以下6个要素的关系，以促进学习者的具身交互，使其获得最佳体验（Enyedy et al.，2015）。第一，动觉，即肌肉运动知觉，是对身体在空间中所处位置与运动的意识，它是通过身体的运动产生的。第二，本体知觉，即对四肢和内部器官所处位置有所意识以及对所付出之努力的强度进行感觉的能力，它是通过肌肉、关节和肌腱被感知到的。第三，内部知觉，即对身体内部器官的感知和感觉。第四，外部知觉，即通过诸如视觉和听觉之类的外部刺激对外部环境的感知。第五，触觉，即对外部对象的感知和操纵。第六，触觉反馈，即指垫中的手指在低阀值机械敏感性受体的中介下产生的接触感。触觉和触觉反馈往往很难区分，但二者具有不同意义。触觉反馈承载的是触觉的意义，它依靠宏观水平上的触觉来揭示通过指垫对纹理的感觉。动觉包括所有通过皮肤获得的感觉、本体知觉及内部知觉，它通常还以中介形式连接着其他形式的感觉以决定身体所处的位置和展开的运动。本体知觉和动觉紧紧缠绕在一起，因为本体知觉在很大程度上是通过身体的移动产生的。此外，还需要注意：本体知觉和外部知觉也不可分，因为学习者对自己的意识是同时通过外部知觉和内部知觉形成的。正是通过各种知觉形式，学习者才能够对自己的身体有所了解，进而对外部的世界有所认识。上述6个元素紧密联系在一起，共同揭示了具身交互的认知机制。

有研究者提出了一個具身交互促进数学概念理解的理论模型（Abrahamson et al.，2011;Dackermann et al.，2017）。对其进行一般化推广，可以形成一个具身交互促进科学概念理解的理论模型，如下图所示。这一模型的基本假设是：在外显行为上，学习者在混合现实学习环境中通过全身运动，对科学概念及其与物理世界的关系进行体认，形成身体经验，把要学习的科学概念与空间环境联结在一起。在心理机制上，这一联结过程涉及到个人在不同空间区域的交互以及不同空间框架的整合，二者共同激活了学习者对空间-概念进行表征的心理过程，从而在外部行为与内部心理之间建立起映射关系。在最终效果上，空间-概念心理表征的建立会促进学习者对概念形成理性认识，并帮助其超越空间-概念的联结进而进行抽象的认知加工，即实现对科学概念的理解。基于这一理论框架，可以把学习者的具身交互行为、认知投入水平、对科学概念的意义建构质量分别作为一组变量，从而建立起三组变量之间的关系。通过对这三组变量之间关系的定性描述和定量表达，在下图所示的框架下可进一步阐明具身交互促进科学概念理解过程中的认知加工机制。具体来说，一方面可以通过接入学习环境中的体动记录仪、高精度动作捕捉系统、眼动仪、触觉式力反馈设备等人体研究设备，提取学习者在具身型混合现实学习环境中产生的各种具身交互行为信息，包括肢体行为和眼动行为。另一方面可以使用尼尔森脑波帽收集被试在具身交互过程中产生的脑电波，通过分析不同频段的波形（如α波、β波以及θ波等），来判断被试在交互过程中认知投入的深浅和时间的长短，以及是否触发了记忆等。此外，还可以使用针对特定科学概念的学业成就测验量表，通过考试的方式对学习者在混合现实学习环境中完成具身交互后对科学概念的意义建构质量进行测量，以此来判断学习者对特定科学概念的认知和理解水平。

图 具身交互促进科学概念理解的过程模型

五、结语

具身认知和混合现实是当代认知科学和信息技术研究的前沿，推动着教育发生深刻变化。在科学教育中，基于混合现实技术构造的具身型学习环境能让学习者在其中使用自己的身体展开各种认知活动，从而更有效地促进其对科学概念的理解。目前相关探索已成为跨学科研究的热点。基于具身认知科学，集成多种虚拟现实和增强现实技术，构建具身型混合现实学习环境，设计能促进科学概念理解的具身交互策略，揭示具身交互促进科学概念理解的具体认知加工机制，不仅可以推进混合现实技术在教育境脉中的创新应用，促进实体空间环境与数字虚拟环境的融合，有效帮助学习者对科学概念的理解，还可以深化对混合现实环境中具身交互促进科学概念理解之认知机制的科学认识。

参考文献：

[1]Abrahamson， D.， & Trninic， D. （2011）. Toward an Embodied-Interaction Design Framework for Mathematical Concepts[A]. Moher， T.， Quintana， C.， & Price， S. （Eds.） （2011）. Proceedings of the 10th International Conference on Interaction Design and Children[C]. Ann Arbor， Michigan：1-10.

[2]Barsalou， L. W. （1999）. Perceptual Symbol Systems[J]. Behavioral and Brain Sciences， 22（4）： 577-660.

[3]Birchfield， D.， Ciufo， T.， & Minyard， G. （2006）. SMALLab： A Mediated Platform for Education[A]. Proceedings of the ACM SIGGRAPH 2006 Educators Program[C]. ACM：33.

[4]Birchfield， D.， & Megowan-Romanowicz， C. （2009）. Earth Science Learning in SMALLab： A Design Experiment for Mixed Reality[J]. International Journal of Computer-Supported Collaborative Learning， 4（4）：403-421.

[5]Bower， M.， Lee， M. J. W.， & Dalgarno， B. （2017）. Collaborative Learning Across Physical and Virtual Worlds： Factors Supporting and Constraining Learners in a Blended Reality Environment[J]. British Journal of Educational Technology， 48（2）：407-430.

[6]Cheok， A. D.， Yang， X.， & Ying， Z. Z. et al. （2002）. Touch-Space： Mixed Reality Game Space Based on Ubiquitous， Tangible， and Social Computing[J]. Personal & Ubiquitous Computing， 6（5-6）：430-442.

[7]Cooper， A.， Reimann， R.， & Cronin， D. （2007）. About Face 3： The Essentials of Interaction Design[M]. John Wiley & Sons.

[8]Dackermann， T.， Fischer， U.， & Nuerk， H. C. et al. （2017）. Applying Embodied Cognition： From Useful Interventions and Their Theoretical Underpinnings to Practical Applications[J]. ZDM， 49（3）：1-13.

[9]Dourish， P. （2001）. Where the Action Is： The Foundations of Embodied Interaction[M]. Cambridge， MA： MIT Press：572-575.

[10]Dreyfus， H. L. （1996）. The Current Relevance of Merleau-Pontys Phenomenology of Embodiment[J]. The Electronic Journal of Analytic Philosophy， 4（4）：1-16.

[11]Enyedy， N.， & Danish， P. （2015）. Learning Physics Through Play and Embodied Reflection in a Mixed Reality Learning Environment[A]. Lee， V. R. （eds） （2015）. Learning Technologies and the Body： Integration and Implementation in Formal and Informal Learning Environments[M]. Routledge： 97-111.

[12]Froese， T.， Iizuka， H.， & Ikegami， T. （2014）. Embodied Social Interaction Constitutes Social Cognition in Pairs of Humans： A Minimalist Virtual Reality Experiment[J]. Scientific Reports， 4（3672）：3672.

[13]Habermas， J. （1991）. The Structural Transformation of the Public Sphere： An Inquiry into a Category of Bourgeois Society[M]. The MIT Press.

[14]Husserl， E. （1965）. Philosophy as a Rigorous Science[A]. Phenomenology and the Crisis of Philosophy[M]. New York： Harper and Row.

[15]Ihde， D. （1990）. Technology and the Life World： From Garden to Earth[M]. Bloomington： Indiana University Press.

[16]Johnson-Glenberg， M. C.， Birchfield， D. A.， & Tolentino， L. et al. （2014）. Collaborative Embodied Learning in Mixed Reality Motion-Capture Environments： Two Science Studies[J]. Journal of Educational Psychology， 106（1）：86-104.

[17]Lakoff， G.， & Johnson， M. （1980）. Metaphors We Live By[M]. Chicago， IL： University of Chicago Press.

[18]Lakoff， G.， & Johnson， M. （1999）. Philosophy in the Flesh： The Embodied Mind and Its Challenge to Western Thought[M]. Chicago， IL： University of Chicago Press.

[19]Lindgren， R.， & Johnson-Glenberg， M. （2013）. Emboldened by Embodiment： Six Precepts for Research on Embodied Learning and Mixed Reality[J]. Educational Researcher， 42（8）：445-452.

[20]Lindgren， R.， Tscholl， M.， & Wang， S. et al. （2016）. Enhancing Learning and Engagement Through Embodied Interaction within a Mixed Reality Simulation[J]. Computers & Education， 95： 174-187.

[21]Mahon， B. Z.， & Caramazza， A. （2008）. A Critical Look at the Embodied Cognition Hypothesis and a New Proposal for Grounding Conceptual Content[J]. Journal of Physiology-Paris， 102（1-3）：59-70.

[22]Marshall， P.， Antle， A.， & Hoven， E. V. D. et al. （2013）. Introduction to the Special Issue on the Theory and Practice of Embodied Interaction in HCI and Interaction Design[J]. ACM Transactions on Computer-Human Interaction （TOCHI）， 20（1）：1-3.

[23]Milgram， P.， & Kishino， F. （1994）. A Taxonomy of Mixed Reality Visual Displays[A]. Proceedings of the IEICE Trans Inform Systems[C]：1321-1329.

[24]Myers， B. A. （1998）. A Brief History of Human-Computer Interaction Technology[J]. Interactions， 5（2）：44-54.

[25]Niebert， K.， Marsch， S.， & Treagust， D. F. （2012）. Understanding Needs Embodiment： A Theory-Guided Reanalysis of the Role of Metaphors and Analogies in Understanding Science[J]. Science Education， 96（5）：849-877.

[26]Pulvermüller， F. （2005）. Brain Mechanisms Linking Language and Action[J]. Nature Reviews Neuroscience， 6（7）：576-82.

[27]Tidwell， J. （2010）. Designing Interfaces： Patterns for Effective Interaction Design[M]. O'Reilly Media， Inc.

[28]Varela， F. J.， Thompson， E.， & Rosch， E. （1991）. The Embodied Mind： Cognitive Science and Human Experience[M]. Cambridge： MIT Press.

收稿日期 2018-07-06 責任编辑 刘选