具身型混合现实学习环境(EMRLE)的构建与学习活动设计*

2020-09-27 12:19赵瑞斌范文翔杨现民谌志霞张文
远程教育杂志 2020年5期
关键词:模态学习者混合

赵瑞斌 范文翔 杨现民 谌志霞 张文

(1.江苏师范大学 智慧教育学院;2.江苏师范大学 徐州市智能教育工程研究中心,江苏徐州 221116;3.杭州师范大学 教育学院,浙江杭州 311121)

一、EMRLE 缘起背景

学习环境是促进学习者发展的各种支持性条件的统合,通常包括学习空间、学习资源、辅助技术等[1]。从不同的认知理论出发,利用不同的技术设备和物理资源,可以构建出不同类型的学习环境,例如,建构主义学习环境、虚拟现实学习环境等。不难理解,学习环境的设计与构建受到认知科学研究进展、信息技术发展趋势,以及教育教学改革需要等多种因素的影响。作为一种新型的学习环境,EMRLE 的缘起背景,主要体现在以下三个方面:

第一,认知科学研究范式由“离身”到“具身”的转型。受传统西方哲学特别是笛卡尔(Rene Descartes)身心二元论的影响,早期认知心理学家一般认为认知和身体是分离的[2]。外界信息经人体感知器官进入大脑之后转变为抽象符号,而认知就是大脑对这些抽象符号的加工运算。由于认知对象是抽象的符号表征,其加工运算过程可独立于其所承载的身体,即认识是“离身的”或“非具身的”。自上世纪末以来,随着现象学哲学、认知心理学、认知语言学、神经生物学等领域研究的推进,人们越来越强烈地认识到身体对认知具有重要意义:一方面,人们正是通过身体的“感知—运动”系统与外部环境进行交互,而这种交互及其产生的体验是认知的基础;另一方面,人类对外界事物所形成的表征并非是抽象的,而是鲜活具体的,其与认知发生时身体感知器官的状态与事物本身的特征密切相关。在此基础上,逐渐形成了以“具身认知”为代表的第二代认知科学,即认知科学的研究由“离身”转向了“具身”[3]。对学习环境构建而言,这种转型不仅提供了新的理论基础,而且提出了新的要求,它要求学习环境能够支持学习者在逼真的情境中通过具身交互与深度体验,进行更“有意义”的学习。

第二,新兴技术的快速发展及其在教育教学中的广泛应用。近年来,人工智能、混合现实、人机交互等新兴技术得到了快速发展与广泛应用。借助于人工智能技术,人们不仅可以实现学习资源的自动化制作与个性化推荐,而且能够实现对学习者语音、动作、表情等身体行为状态的准确识别。可见,人工智能技术为人机之间的自然、多模态交互提供了可能,进而支持人们构建出更为智能、具身的学习环境。混合现实(Mixed Reality,MR)是虚拟现实(Virtual Reality,VR)和增强现实(Augmented Reality,AR)发展的新阶段。通过深度感知、三维重建、模型匹配等步骤,混合现实技术能够在三维空间中真正实现虚拟模型与现实环境的自然、有机融合。与“只见虚、不见实”的VR 环境以及“虚实简单叠加”的AR 环境相比,混合现实技术所构建的学习环境具有更高的逼真度和沉浸感,也更有利于学习者开展具身交互和深度体验。正因如此,混合现实技术正在成为当下人们研究的一个热点,并已经在科学教育、医疗培训、远程指导等领域取得成功的应用[4-5]。可见,新兴技术既能为学习环境的构建提供着必要的支持,又能促进学习环境的进一步转型升级。

第三,新时期教育改革与创新发展的实际需要。为了让教育更加符合教育规律,更加适应社会发展趋势,需从教育理念、教学模式、教学方法等多个维度不断地推进教育改革与创新。面对当今知识经济时代对创新型高素质人才的需求,教育也更加强调自主学习、问题解决、实践创新、合作探究、跨界融合等必备品格和关键能力的培养。在此背景下,以STEAM 教育、创客教育为典型代表的新兴教学模式正在得到广泛的关注和运用[6]。与此同时,学习也不再拘泥于传统课堂上对知识的单向灌输和被动接受,而更加提倡在真实的社会、文化、历史以及实践应用情境中,通过主动探究和亲身体验,实现对知识的深度理解,并促进学习者高阶思维的发展。因此,作为学习发生的场所和支持条件,学习环境的设计理念也需要创新,从而更有利于增强学习体验、加深知识理解、支持探究创新以及促进迁移应用。

二、EMRLE 构建理论与支撑技术

EMRLE 是以具身认知理论为依据,以混合现实技术为支撑,设计并构建的一种新型学习环境。换言之,EMRLE 是具身认知理论与混合现实技术相结合的产物。为此,本文一方面从理论视角分析具身认知的发生机制,并依次明晰EMRLE 的构建目标;另一方面,从技术角度分析混合现实具有的功能与特性,以及借助该技术实践EMRLE 的必要性与合理性。

(一)具身认知理论与EMRLE 的构建

具身认知理论认为,身体是认知的主体,其不仅参与了认知、影响着思维、塑造着心智,而且不同的身体构造及身体参与方式,均会形成不同的认知结果。自上世纪中叶,在质疑和批判身心二元论的过程中,海德格(Martin Heidegger)、梅洛·庞蒂(Maurice Merleau-Ponty)等提出的“身心一体观”为具身认知提供了哲学基础。其认为身体、知觉和世界是辩证统一的:身体是知觉的主体,知觉是身体的基本技能,认识则是身体与外界交互过程中形成的知觉经验[7]。此后,来自认知语言学、知觉心理学等不同领域的学者,就具身认知的发生机制从不同的视角进行了研究和阐述。在认知语言学领域,基于对人类语言中大量存在的隐喻现象的分析,莱考夫(George Lakoff)等提出了概念隐喻理论,其将概念分为具体的“始源域”概念和抽象的“目标域”概念[8]。在知觉心理学中,基于大量的心理及生理学实验,巴萨洛(Barsalou)于1999年提出了知觉符号理论(Perceptual Symbol Systems)[9]。其认为概念是在身体多通道感知运动系统的作用下,以感知觉信息为基础形成的多模态神经表征。此外,神经生物学家瓦雷拉(Francisco Varela)提出的心智生成论,也主张个体与环境并非独立存在,而是在感知运动过程中紧密耦合、交融创生且共同演化[10]。

不难发现,尽管不同领域的学者用不同的机制阐述了认知的具身性,但对具身认知的发生条件及基本过程却有着共同的认识。其主要体现在:(1)具身认知需要鼓励身体感知运动系统的参与,需要身体与环境之间的多模态交互;(2)具身认知过程本质上是在身体与环境之间的感知交互过程;(3)具身认知结果是交互过程中对外界事物形成的多模态具身表征,这种表征与认知时身体的感知状态与事物的本身特征密切相关。由此可见,具身认知发生的关键在于增强学习者对学习内容的多通道感知,支持学习者与学习环境的多模态交互,以及促进有意义身体体验的形成与积累。为此,作为支持具身认知发生的场所,EMRLE 的设计与构建应体现如下目标:

1.支持多通道感知

身体包括动觉、触觉、视觉、听觉、嗅觉等感知通道。这些通道在认知过程中既参与了对外部世界的感知,也参与了对感知结果的加工、记忆和应用。为此,EMRLE 应该支持以多媒介、多形态的方式呈现学习内容。例如,对于抽象概念,可借助可视化技术、多媒体技术甚至触觉仿真技术,让身体的多个感知通道进行同步感知。通过融合各通道所获得的反馈信息,学习者可以对认知对象形成更加准确、全面、鲜活的认知结果。除此之外,多通道感知亦有利于促进知识的迁移和应用,即促进学习者在新情境中模拟出认知发生时的身体状态,并回忆起相应事物及其意义。

2.支持多模态交互

从具身认知理论的视角,知识的习得不是在大脑中对抽象符号进行加工运算的结果,而是学习者在其“感知—运动”系统与学习环境不断交互的过程中形成的体验及意义。为此,具身型学习环境应该支持学习者利用其身体与学习内容进行自然交互。这种交互既包括基于视觉和听觉的非接触式交互,例如,通过语言或表情动态调整学习内容的呈现;又包括基于动觉和触觉的接触式交互,例如,通过身体运动或手势动作交互式地触摸、操控以及预览学习内容。对EMRLE 而言,多模态交互既是具身认知发生的内在需要,又有助于激发学习动机,提高学习的参与感以及增强学习的趣味性。

3.支持多情境体验

具身理论认为,认知依赖于具有各种感知运动能力的身体,而这种能力本身被嵌入到更广泛的生物学、心理和文化情境中[11]。可见,情境对具身学习具有特殊的意义。相应地,在具身型学习环境中,学习内容需要在特定的情境中加以呈现,其通常包含该学习内容形成或应用相关的真实场所、实践活动、社会文化等。在此情境中,学习者通过观察、探究、合作、交互等方式获得体验并形成认知。此外,为了实现深度学习并促进知识迁移,具身型学习环境应该提供灵活、多样的学习情境,从而让学习者在动态变化的情境中,对学习内容形成更真实、更本质、更普适的感知体验。

(二)混合现实技术与EMRLE 的构建

自上世纪80年代以来,沉浸式科技取得了快速的发展,并先后经历了虚拟现实→增强现实→混合现实→扩展现实(XR-Extended Realiy,XR)的发展阶段。MR 由VR 和AR 衍生而来,也是当前新兴的沉浸式环境构建技术。作为未来的一种发展趋势,MR 将不断创新人机交互技术,并逐渐融入具有触、味、嗅等感觉通道的仿真技术,从而构建出更真实、更自然、也更具身的沉浸式环境,即XR 环境。可见,当前新兴的MR 以及未来的XR,能够为具身型学习环境的构建提供较为理想的技术支持,其主要功能体现在以下三个方面:

1.支持虚实融合的学习环境

在混合现实技术的支持下,可以构建出虚实有机融合的EMRLE,既包含了现实世界中客观存在的学习场所、学习资源、学习伙伴等真实对象;又融入了以文字、图像、动画、三维模型等媒介形式呈现的虚拟信息。其中,真实对象为EMRLE 提供了基础,其能够让学习者在一个真实的、拟社会化的场景中开展学习活动;虚拟信息能够让EMRLE 突破现实条件的限制,增强对学习内容的表达与呈现,进而支持学习者的多通道感知和多模态交互。

2.支持学习者进行自然交互

在传统的VR 和AR 学习环境中,通常需要借助鼠标、键盘、手柄等第三方媒介,或手持移动终端通过点击、滑动等方式实现交互[12]。在此类交互中,身体状态是不够自然的,身体运动也是受限的。作为一种新技术,混合现实可以通过动作捕捉、手势识别、眼球追踪、表情识别、语音识别等,实现人与环境的更加自然的多模态交互,从而解放了学习者的双手,让其身体在自然、自由的状态下,执行各类身体动作与交互操作。也就是说,在混合现实技术的支持下,EMRLE 可以实现人机自然交互,这不仅更加符合学习者的心理与生理规律,而且具有更好的移动性、灵活性和自由度。

3.支持学习过程的动态生成

在混合现实技术的支持下,围绕具体的学习主题和学习目标,一方面可以方便、快速且低成本地构建丰富、多样的数字化学习资源;另一方面可以通过虚实融合来动态生成并实时更新学习环境。换言之,基于混合现实技术构建的虚拟学习环境不是静态的、一成不变的,而是在学习过程中根据学习目标、交互行为以及事物内在规律而动态创生。这种动态生成性对具身学习具有重要意义。究其原因,具身学习的过程实质上是学习者、学习环境以及学习资源等要素相互影响、交融共生且动态演化的过程。在这个过程中,学习环境不断变化、意义不断生成、经验不断积累[13]。

综上所述,从具身认知理论的视角出发,EMRLE 能够支持学习者对学习内容的多通道感知,支持学习过程中的多模态交互,支持面向深度学习的多情境体验。从技术角度而言,混合现实技术所具备的虚实融合、自然交互和动态生成等特性,能很好地支撑具身型学习环境的构建。在图1中,我们给出了混合现实技术对EMRLE 各构建目标的支撑关系。其中,虚实融合特性可以有效增强学习内容的呈现,从而能够支持学习者对学习内容的多通道感知;自然交互特性可以释放学习者的身手,从而支持学习者通过其身体器官及运动,与学习环境自由地进行多模态交互;动态生成特性可以灵活、便捷地创设并更新学习情境,从而能够支持学习者在多种情境中获得深度的学习体验,如图1中间的灰色箭头所示。正是在这种感知、交互和体验中,学习者形成并积累了对有关外界事物的多模态具身表征,即实现了具身学习。由此可见,结合具身认知理论与混合现实技术来构建EMRLE,具有可行性且有意义。

图1 混合现实技术与EMRLE 构建目标间的关系

三、EMRLE 构建模型及实现途径

在前述理论与技术分析的基础上,我们提出了EMRLE 构建模型,如图2所示,用于描述EMRLE 的组成框架及实现途径。该模型包括三层:具身学习层、交互感知层和动态生成层。其中,具身学习层主要是指学习者通过身体感知运动系统的参与,开展学习活动并积累具身表征;感知交互层主要是通过身体行为状态的识别以及多模态自然交互,实现学习者与学习环境的紧密耦合;动态生成层主要是在学习者交互行为的驱动下,实现学习环境的动态创生,从而支持具身学习活动的有效实施。

图2 具身型混合现实学习环境构建模型

具体而言,该模型的主要实现途径包括:

(一)通过身体参与开展具身学习活动

身体感知运动系统的参与是具身学习发生的基础。正因如此,在图2中的具身学习层,EMRLE 以学习活动为主线,通过扮演、操作、观察等方法调动学习者身体感知运动系统参与。进一步而言,根据感知运动系统参与程度的高低,身体参与方式可分为全身运动、姿态动作、具身模拟三类[14]。其中,全身运动是指在一个宽敞的空间,身体在无约束的状态下自然地执行各种动作,例如,自由走动、协作扮演、动手操作等;姿态动作主要是指在相对固定的位置甚至在蹲坐的情况下的手势动作、头部姿态以及语音、表情动作与行为;具身模拟是指学习者通过观察他人的身体动作与行为而获得相应的具身体验,例如,观察教师或学习伙伴的示范。在EMRLE 中,正是通过鼓励并支持上述类型的身体参与,来实现具身学习。为此,EMRLE 既需要在学习活动设计时充分考虑身体的参与方式,还应该在学习场所设计、学习资源制作以及辅助技术与设备等方面支持身体参与,特别是支持学习者的动作、手势、表情、语音等行为状态。

(二)通过身体行为识别支持多模态交互

身体行为状态识别对EMRLM 具有重要意义,其不仅是实现学习者与学习环境互动的途径,更是学习者积累具身体验的基础。为此,EMRLE 首先需要准确、实时地采集学习者的身体行为与状态信息。目前,借助体感设备、无线传感器以及智能手机,便可方便、快捷、低成本实现这一目标。例如,微软的Kinect 设备通过集成深度传感器、摄像头、麦克风等功能模块,能够同步采集人体的位置、图像、动作、手势、语言、表情等信息;穿戴式传感器可以实时采集学习者的心率、呼吸频率、心电、体温等心理数据。对采集到的每种身体行为与状态信息,EMRLE 通过人工智能算法进行识别并赋予具体的意义。在此基础上,EMRLE 便可以将学习者的身体行为状态与学习环境的交互操作方式相关联,进而让学习者通过身体行为与动作自然、便捷地与学习环境进行交互,例如,通过手势操控并编辑学习内容,通过肢体运动模拟事物变化规律,通过语言动态调解学习进程等。

(三)通过交互操作驱动学习环境动态创生

具身认知理论强调学习者与学习环境是紧密耦合、相互作用且交融共生的。这意味着学习环境应该能够及时、准确地感知学习者的当前状态和学习期望,并能够根据这些信息实现自身的动态创生,从而更好地支持学习活动的有意义延续和拓展。为了实现这一目标,在EMRLE 中,首先在感知交互层,通过采集并识别学习者的身体行为,来获得其学习需求与状态信息,例如,通过身体动作或语言表达出来的学习兴趣与期望,以及通过面部表情体现出的学习情感与态度;然后,在交互过程中,将这些信息传达给动态创生层,并由此驱动学习环境的重造与更新,包括调整学习任务、重组学习资源、重设学习情境等。在此过程中,学习者不断地缘遇着、体验着EMRLM 中的各类组成要素和活动事件,并通过触发新的交互而不断生成新的学习情境。

(四)通过感知体验形成并积累具身表征

得益于虚实融合、自然交互和动态创生的特性,对于给定的学习主题和学习目标,EMRLE 不仅能够动态创设逼真的学习情境,而且支持学习者对其进行多通道感知和体验。在此类学习情境中,既包含学习者身边的各种真实物理对象,也融入了计算机生成的各类虚拟场景。对于真实对象,学习者可自然感知其原初特征与属性;对于虚拟对象,则首先由可视化、触觉仿真、无线传感等技术与设备反馈给学习者,然后由学习者利用其视觉、听觉、触觉等器官进行感知和体验。在这种虚实融合的情境中,学习者正是通过多通道感知运动系统的不断探索和体验,来获得更加全面、具身、鲜活的认知结果。同时,EMRLE 中的学习情境是丰富多样的,其不仅有助于形成更加普适的学习经验,也更有利于促进学习结果的有效迁移。除此之外,自然交互特性也赋予了EMRLE 更多灵活性,能够让学习者灵活地开展人际交流和多元互动,从而很好地支持社会化背景下的协作式学习。

四、EMRLE 应用实例与具身学习活动设计

(一)EMRLE 的构建实例及应用

1.基于互动投影的EMRLE 及其应用

互动投影是一种将投影画面与人的行为动作相关联,从而支持人与投影内容实时交互的智能投影系统。在互动投影系统中,通常包括行为捕捉、分析计算和内容投影等功能模块。其中,行为捕捉模块主要是用深度传感器、麦克风、摄像头等设备,实时采集人的位置、手势、动作、语音等行为状态;分析计算模块主要是对捕捉到的行为状态进行智能识别,并根据识别结果动态生成并更新投影内容;内容投影模块则是通过投影仪、显示屏等设备,在物理空间中输出并显示各类数字化的多媒体内容,从而将虚拟信息融入到现实环境之中。由此可见,在互动投影中,个体不再是被动地观看投影画面,而是通过其身体器官与行为动作交互式地创造并体验投影内容。显然,这种方式能增强趣味性,并提高用户的参与度与体验感[15]。

基于互动投影,人们可以灵活、便捷、低成本地构建具身型混合现实学习环境。在教室、实验室甚至工作场所中,通过将虚拟的、数字化的学习情境、学习内容、学习任务等信息投影在墙上、地板或大屏幕上,再结合音频系统,便可创建具身型混合现实学习环境,如图3所示。在图3(a)中,通过将游戏化虚拟学习场景投影到桌面,并通过3D 打印生成一些白色实体道具,Elif Salman 等构建了一个用于促进学前儿童数学能力的发展的学习环境[16]。在其提供的虚拟游戏画面中,儿童通过直接操控实体道具来交互式地参与虚拟游戏、多通道地感知反馈信息,从而更形象直观地学习数学知识。在图3(b)中,通过将虚拟信息投影在地面上,Robb Lindgren 等构建了一个规模更大、具身度更高、沉浸感更强且支持学习者全身运动的学习环境[17]。在该环境中,学习者仿佛置身在一个虚拟太空中,通过自身运动扮演、模拟并探究行星的运动轨迹,并在此过程中体验并理解万有引力规律,以及其对行星运动轨迹的影响。

我们不难发现,这类学习环境可以让学习者无需佩戴VR 眼镜即可在虚实融合的情境中开展具身学习,即学习者通过身体器官及身体运动操控、感知并体验学习内容。此外,由于可在一个宽敞的物理空间中方便地实现虚实融合,这类学习环境能够很好地支持多位学习者一起开展协作式学习。如图3(c)所示,多个学习者可以自由合作、自然交互,进而在一个社会化的环境中体验并习得知识。在具身学习环境中,除了支持学习者身体参与和交互外,还可以通过实时采集学习者的生理数据,实现学习者身体与学习环境和学习内容的耦合。例如,针对“呼吸系统和心脏系统”这一学习主题,在图3(c)所示的学习环境中,通过穿戴式传感器实时采集学习者的呼吸频率、心跳等生理特征数据,来实时驱动知识的生成和表达,从而让学习者通过身体运动来调整身体状态,并切身观察和体验身体运动与科学知识间的关系[18]。

2.基于全息眼镜的EMRLE 及其应用

图3 基于互动投影构建的具身型混合现实学习环境

传统的VR 眼镜尽管也能营造出逼真的沉浸感,但其实际上只能让用户看到虚拟物体,而看不见现实世界。这意味着在佩戴这类眼镜时,用户与其所处的现实世界是隔离的。近年来,为了推动混合现实技术的普及应用,全息眼镜作为一项新技术产品得到了快速发展。区别于传统VR 眼镜,全息眼镜通过三维重建、全息成像、模型配准等技术,能够将虚拟对象自然、实时地融入到真实物理世界之中,从而让用户既能看到虚拟对象,又能感知到真实世界(见图4)。其中,虚拟对象既可以是人造的三维模型、各类多媒体信息,也可以是存在于另一时空中真实事物的数字化全息影像。如图4(a)所示,在一个真实的房间中,通过全息眼镜可以看到坐在沙发上的虚拟同伴,也可以感知到以文字、图像、视频等媒介呈现的虚拟信息。不难发现,这种全息眼镜支持下的虚实融合技术,能够生成更加逼真、更加自然的混合现实学习环境。

此外,全息眼镜还支持更自然的人机多模态交互。通常,全息眼镜内置了视频相机、语音系统、人工智能算法等功能模块,这使得其能够同步采集和识别用户的动作、手势、语音、表情等信息。正因如此,全息眼镜可以让用户通过身体运动、手势动作、自然语言、眼动追踪等形式实现多模态具身交互。例如,在图4(b)中,在美国微软公司(Microsoft)与凯斯西储大学(Case Western Reserve University)合作研发的解刨学教学系统中,学习者可以通过点按、拖拽、缩放等手势动作,自然地操控、观察和编辑人体的器官模型[19]。此外,新型的无线全息眼镜能够实现场景的实时分析和动态构建,这使得基于全息眼镜构建的EMRLE 具有更好的移动性和灵活性,从而使其能够满足各种室内外应用需求。在如图4(c)所呈现的真实工作场所中,学习者一边可以真实地操作体验,一边可以通过全息眼镜观看远程指导视频。由此可见,在全息眼镜的支持下,我们可以构建出沉浸感更高、交互性更强、移动性更好的具身型混合现实学习环境。但其不足之处在于,目前全息眼镜的舒适性还有待提高,且成本也偏贵。

图4 基于全息眼镜的具身型混合现实学习环境

(二)EMRLE 中具身学习活动的设计与开展

在构建EMRLE 的基础上,便可设计并开展具身学习活动。这类学习活动的鲜明特征,主要体现在让学习者通过身体感知运动系统的有效参与而获得有意义的具身经验。在此,我们结合生物课中的“心脏器官”这一学习主题,分析并阐述在EMRLE 中设计和开展具身学习活动的主要步骤及其内容。

首先,分析学习内容,选择知识呈现形式。在EMRLE 中表示和呈现学习内容,既可以采用实物、教具、卡片等真实存在的物理媒介,也可以采用三维模型、图像图表以及动画视频等数字化的虚拟媒介。为此,需要分析教学内容中的知识点或认知对象,并根据其类型特点和学习目标选取合理的表示媒介,其不仅要能如实、全面地表征知识,而且还能支持学习者对知识的具身感知和体验。就“心脏器官”这一学习主题而言,心脏的组织结构和工作原理是重点学习内容,然而人体心脏在现实条件中是难以被直接操控和观察的。对于这类认知对象,可以选择以三维虚拟模型的形式在EMRLE 中进行表示和呈现。同时,为了更全面、更真实地表示心脏的工作原理及过程,该三维模型不应是静态的,而应该能够根据相关影响因素或学习进程,进行动态调节和变化。

其次,设计交互方式,确定具身映射策略。具身学习的关键是获得有意义的身体感知运动经验,这种经验的获得,依赖于身体与学习内容以及学习环境之间的具身交互。对于人体心脏系统的学习而言,由于心脏本身是人体的一部分且与身体的运动状态密切相关,故能自然地在学习内容与学习者身体经验之间建立具身映射关系。具体而言,只要将前面构建的心脏虚拟模型与学习者的身体运行状态关联起来,学习者便可以通过调整自身的运动状态,亲身观察和体验心脏的工作过程、工作原理以及相关影响因素。不难发现,通过这种方式获得学习体验是具身的、鲜活的,也是有意义的。在此步骤中,对不同类型的学习主题,可灵活采用不同的方式,来建立学习者与学习内容之间的交互与映射策略。

最后,选择技术方案,开展具身学习活动。具身学习过程实质上是学习者、学习环境以及学习资源等要素相互影响、交融共生且动态演化的过程。在此过程中,正是具身交互驱动着学习要素的动态变化和学习活动的不断演进,而这种交互的实现通常需要一定技术设备的支持。例如,在前述的心脏系统学习过程中,为了将学习者的运动状态与虚拟心脏模型的工作过程关联起来并实现二者的互动,既可以通过Kinect 传感器实时采集学习者的身体姿态和运动状态;又可以通过穿戴式传感器同步采集学习者的心跳、血压等生理指标。在此基础上,便可以开展具身的学习活动,学习者一方面通过自身运动不断驱动学习内容的变化、学习任务的更新以及学习活动的演进;另一方面通过对自身状态以及学习对象、学习环境的同步感知,可形成鲜活且有意义的具身经验。

五、总结与展望

为了体现认知科学的新理念并支持深度且有意义的学习活动,我们提出了以具身认知理论为指引,以混合现实、人工智能、人机交互等技术为支撑,构建起EMRLE。从理论视角而言,EMRLE 应该能够支持多通道感知运动系统的参与,支持自然状态下的多模态交互,以及学习过程中的多情境体验。从技术角度而言,MR 技术以及未来XR 技术所提供的虚实融合、自然交互、动态生成等功能,可有效支持EMRLE 的构建。由此可见,EMRLE 的构建有其必要性、合理性和技术上的可行性。

与此同时,5G 技术正在蓬勃发展。通过整合无线传感、人工智能、MR、XR 等技术,将衍生出一个万物智联且交融共生的5G 信息生态系统。在该生态系统的支持下,一方面,通过对远端、云端以及身边虚、实教学要素的跨时空同步融合,可构建出更加真实、智能和个性化的EMRLE;另一方面,基于数字孪生理念和技术,通过对师生、环境、资源等要素的当前状态与变化过程的全面感知和智能分析,既可以实现教学要素的互联互通与深入交融;又能支持教学活动的数字化建模、全流程跟踪以及精细化评估。

展望未来,EMRLE 的应用将会促进教与学形态的创新。例如,将校外教师或远程学习同伴以全息投影的形式呈现在当前教室或学习者家里,便可开展“双师协同教学”或“远程协作学习”;再如,将云端学习资源、学习任务、虚拟情境等要素融入学习者当前所在的泛在物理空间,便可构建出泛在EMRLE 并支持泛在学习。此外,这类EMRLE 能够突破传统学习环境对师生身体行为的限制,让其更加自在地构建学习环境,更加自然地开展交流互动,以及更加具身地进行探究学习,从而提升学习效果和学习体验。

猜你喜欢
模态学习者混合
基于BERT-VGG16的多模态情感分析模型
混合宅
多模态超声监测DBD移植肾的临床应用
跨模态通信理论及关键技术初探
你是哪种类型的学习者
一起来学习“混合运算”
十二星座是什么类型的学习者
混合运算的方法要领
青年干部要当好新思想的学习者、宣讲者、践行者
高校学习者对慕课认知情况的实证研究