虚拟现实技术支持的学习者动觉学习机制研究

华子荀

摘要：基于虚拟现实环境开展的动觉学习是一种可以调动人的视觉、听觉等多种感官认知的学习过程，对人类的认知发展具有促进作用。然而，应用虚拟现实技术开展动觉学习，既是技术的问题，也是教学方法的问题。该研究在虚拟现实环境及其支持的STEM教育现状研究的基础上，以认知学习理论为指导，抽取“同化”“顺应”“机械学习”“意义学习”四类关键要素，提出了虚拟现实环境支持的学习者动觉学习机制框架（RM2A），包含：同化知识的机械学习（RAl）、顺应知识的机械学习（RA2）、同化知识的意义学习（MAl）和顺应知识的意义学习（MA2），设计了STEM融合知识的交互模块结构、路径与软硬件实现方式，并根据动觉学习机制框架开展了虚拟现实技术支持的STEM项目实证研究。案例选择美国某州立大学的“CSS”STEM项目，通过双组前后测实验结果，分析得到实验组成绩高于对照组成绩并且差异显著的结论，通过统计分析过程，发现虚拟现实环境支持的动觉学习机制与学生能力发展的诸多关系，使得该研究提出的虚拟现实环境动觉学习机制的理论框架得到了验证。因此该研究既为虚拟现实等技术对学生学习的影响机制提供了理论解释和实践验证，也丰富了STEM实践研究范例，具有重要的理论价值与实践意义。

关键词：虚拟现实技术;动觉学习机制;学习认知：STEM教育

中图分类号：CJ434

文献标识码：A

一、研究背景

《教育信息化“十三五”规划》指出：“应利用信息技术改造传统教学中‘进不去、看不见、动不了、难再现的难题”，虚拟现实等技术具有利用躯体与周围环境进行互动的特点，通过动作模仿、技能训练、情境演练、动态展示等使学生利用交互式技术进行学习。另外，STEM教育是中、美等国家共同关注的教育理念，源于其促进技术发展、推动学科融合和促进教育持续发展等方面的重要作用。因此，在STEM教育理念下开展虚拟现实技术支持的教学应用，既在虚拟现实技术支持的STEM教育实践中促进了学生的学习认知发展，也实现了信息技术与STEM教育的深度融合，在虚拟现实技术和STEM教学实践两个方面都具有较高的理论价值和实践研究意义。

二、国内外研究现状

（一）虚拟现实技术与动觉学习

虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，虚拟现实技术以体感设备、虚拟现实设备、头戴眼镜等为代表，包含了互动设备、互动资源和互动内容，文字、图形、动画、声音和视频是最早的互动媒体形式，并且存在相互独立开展教学的问题，现代的虚拟现实技术所支持的教学过程具有整合多种媒体资源的独特优势，通过较强的感官沉浸再到意识沉浸，提高了学生的学习积极性，并能够为学生提供真实的学习体验，促进学生对所学知识和技能的强化。

动觉学习（Kinematic Learning）是一种通过肢体运动感觉进行学习的方式，是对身体各部位位置和运动状况的感知进行学习认知的过程，当前实现动觉学习的主要实现方式就是虚拟现实技术。自维果茨基在20世纪70年代提出机器学习的概念，研究者就开始关注互动性媒体对学生认知的影响，虚拟现实技术的主要作用是能够让学习者综合性地调 动视觉、听觉、动觉等感官活动开展学习，实现动觉性学习过程（Kinesthetic Leaming Activity，KIA）。VR在教学资源设计中的融合性应用方法、虚拟现实技术支持的SIEM教学法是虚拟现实技术与教学活动进行结合的主要教学方法。

（二）STEM教育的研究现状

STEM教育是一种重视实践的多学科融合教育理念，是对科学（Science）、技术（Technology）、工程（Engineering）、数学（Mathematics）四个科目的缩写，最早由美国弗吉尼亚理工大学Yakman于1990年在美国国家科学委员会（NSF）上提出，STEM教育旨在加强基础教育阶段学生跨学科知识素养和解决真实问题的能力，具有跨学科、趣味性、体验性、情境性、协作性等特征，该理念强调整合的教学方式，注重实践和过程、解决真实问题、知识与能力并重，倡导“做中学”、创新与创造力培养、知识的跨学科迁徙及其与学习者之间的关联。

近年来，“互联网+”背景下学生的学科核心素养培养、3D打印融ASTEM项目式学习、STEM与创客空间互鉴、STEAM融人多工具智创空间等理念成为热点，产生了中国本土化的STEM教育实践路径。但是，中国化的STEM教育依然存在问题，表现比较突出的有：缺乏课程资源与硬件环境支撑、对利用STEM培养学生创新实践能力的呼吁、未能真正实现跨学科知识与能力的整合等。

（三）虚拟现实技术支持的STEM教育

STEM教育不是对单一知识型学科的学习，而是更为关注真实世界情境中的真实问题，通过互动式学习技术开展STEM的教与学的活动，能够提高学生的创新实践能力和学习认知发展。

动觉学习工具尤其是体感技术被广泛应用于STEM教学过程中，源于体感技术支持的教学过程，能够提高学习者在动作模仿、技能训练等方面的能力，充分利用体感技术可以调动学习者的听觉和视觉，可以帮助教师创造多感官互动学习活动;互动体感技术可供选择的设备非常多样，研究者普遍关注厉动体感控制器（Leap Motion）的教学应用，该体感控制器在曲率特性（CurvatureFeatures）、距离特性（Distance Features）、相关特性（Correlation Features）、连接特性（Connected Features）四個方面具有较好的表现。通过体感设备的选择、软件的设计，在认知一行为主义（Cognitive-Behavior）、建构主义（Social Constructivist）等学习理论的指导下，能够使体感技术与教学内容相结合。

将体感技术融人课堂教学，探索体感技术支持的STEM教学法，发现体感技术支持的STEM课堂教学能够给予学生自我展示、交流讨论和解决应用问题的机会。创客空间中，可以将APPInventor、Scratch、机器人、3D打印等技术引入到中小学的课堂，使得学生能够动脑动手创造出具有创意的作品，促进学生创新意识、创新能力发展方面具有重要作用。有学者基于创客文化设计了一个基于沙箱游戏“Minecraft”的教学项目，通过创客空间让学生利用电脑、网络平台在创作作品的过程中进行协作学习;也有一种基于创客媒体教育的新形式，让学生在混合项目中通过实际操作提高高阶思维能力;STEAMtrax是由3D打印机制造商3D系统公司（3D Systems Inc.）设计的面向中小学的一种科技创新课程，在创客空间中将3D打印技术和工程设计整合到科学、数学的核心知识实践体验中，在相关的学习情境里，培养问题解决、协作、沟通和批判性思维的基本技能等。这些案例都能够为基于虚拟现实环境的STEM实践项目提供指导。

（四）研究启示与目标

根据上述文献综述提出以下研究目标：

（1）动觉学习是一种有效的互动性学习方式，能够促进学生学习积极性和学习体验，本研究将选择虚拟现实技术实现动觉学习过程，并且在现有资源基础上进行设备和资源的自主设计。

（2）根据STEM教育的实践过程现状研究，发现协作学习、基于项目的学习、基于问题的学习、学科整合式项目教学、创客空间都是行之有效的STEM实践路径，本研究将结合已有的实践路径，采取知识融合性项目式学习的STEM实践开展案例研究。

（3）根据虚拟现实技术支持的STEM教育研究现状，在STEM教育实践中，应充分利用视听虚拟技术、互动式体感技术、手势交互设备、创客空间的技术和教学特性，创新性地呈现STEM中的学科融合性知识，本研究将选择创客空间场室，利用手势互动设备、三维虚拟软件和3D打印机支撑STEM项目的开展。

三、虚拟现实环境支持的STEM融合知识动觉学习机制研究

本研究利用文献研究法收集近年来国内外期刊、专著及网络期刊数据库中关于动觉学习、虚拟现实技术与STEM教育的相关研究，关注其分析、设计、开发、应用与评价过程，通过对文献的收集、整理，得到虚拟现实技术能够对学生的学习认知产生影响的因素。研究虚拟现实环境支持的STEM学科融合性知识动觉学习的相关机制，与STEM教育的项目实践相结合，系统分析动觉学习机制促进学生的知识理解、学习认知、实践能力、创新能力、协作学习的动因。

对行为主义学习理论、认知主义学习理论、建构主义学习理论进行内容分析，借鉴皮亚杰在学习认知方面的理论，抽取互动式技术影响学习者认知的因素为同化（Assimilation，AS）和顺应（Accommodation.AC），研究奥苏贝尔关于学习行为方面的理论，抽取了机械学习（Rote Learning，RL）和意义学习（Meaningful Learning，ML）的影响因素。

虚拟现实技术支持的认知学习过程根据同化与顺应、机械学习与意义学习四个要素，提出本研究四元素相结合的学生认知学习过程（如图1所示），包括：机械学习过程（Rote Learning To Assimilation，RAl）、顺应知识的机械学习过程（Rote LearningTo Accommodation，RA2）、同化知识的意义学习过程（Meaningful Learning To Assimilation， MAl）、顺应知识的意义学习过程（Meaningful Learning ToAccommodation，MA2）。通过对以上四组认知学习过程描述和定义，为后续的STEM动觉学习机制影响因素分析提供变量基础。

当分析得到虚拟现实技术支持的认知学习过程后，结合虚拟现实技术的使用流程进一步分析学生使用虚拟现实设备的学习步骤，应包括“任务设计一交互模块一肢体互动一动作捕捉一系统处理一任务完成一促进认知”七个步骤，进而分析各个流程对学生认知发展的影响。

虚拟现实技术的学习过程根据其交互的特点分为了认知层面、交互层面和交互认知层面。在认知层面上，学生根据任务提示理解交互模块的知识，根据知识与学习者已有认知的匹配，实现同化知识（AS）或顺应知识（AC）的过程;在交互层面上，学习者根据同化或顺应知识的理解，进行肢体互动实现人机交互，在交互过程中，学习者可能会根据任务进行机械学习（RA），或者根据理解程度进行意义学习（MA）;在交互认知层面上，学习者已经在认知层面上进行了同化知识或顺应知识的步骤，并且在交互层面进行了机械学习或意义学习的步骤，最后通过学习者的互动，交互系统进行处理并给予学生反馈，到达交互认知层面，学生根据系统反馈对反馈结果的进一步的理解，促进了学习者的认知，在此过程中，学习者实现了在认知层面和交互层面各学习过程的交互融合，实现了上述RA1、RA2、MA1、MA2的四种学习认知过程，如图2所示。

四、STEM融合知识的交互模块结构与路径设计研究

交互模块结构与路径设计部分研究了虚拟现实技术所构成的环境特点，构建STEM学科融合知识的互动性模块结构与路径，发现促进学生多元学习认知的最优解结构。

（一）基于ISM方法建构知识交互模块的学习路径

根据STEM动觉学习认知影响因素的分析，得到四个影响因子中的四个类别认知学习过程，而每一个类别又包含S、T、E、M四类知识内容，因此交互模块可以包含32个知识内容。例如同化知识（AS）类别包含了Sl、Tl、El、Ml四个交互模块。然而，针对交互性的学习过程，不可能在短时间内学习完所有32个交互模块，需要根据学习者的认知水平和学习需要进行动态路径规划，交互模块学习路径构建选择了解释结构模型法展开。

STEM项目的交互模块路径过程基于以上解释结构模型法过程，将交互模块定义为Node，而交互模块Node由各要素构成的矩阵计算构成，路径Path则通过区域分解和级间分解确定其层级关系，形成交互模块路径Path。

本研究选擇Ucinet软件实现解释结构模型法过程，通过结构方程分析得到潜变量及子因素，运用解释结构模型法构建以上因素的可达矩阵并进行区域分解和级间分解，求得各因素的层级结构，即STEM动觉学习实践项目的交互模块路径（如图3所示），所形成的层级结构表示虚拟现实环境中学生利用体感设备与虚拟模块进行互动的流程。

（二）虚拟现实环境的软硬件实现

本研究计划选择Leap Motion体感控制器和Oculus Rift虚拟现实设备组成虚拟现实学习环境，基于Unity3D软件实现Leap Motion手势控制，利用Leap Motion的SDK开发者语言进行软件开发，对手势命令进行定义（如图4所示），定义命令包括：手掌位置（Palm Position）、手掌速度（Palm Velocity）、手掌法向量（Palm Normal），方向（Direction）、球心（SphereCenter）、球半径（Sphere Radius）、长度（Length）、宽度（Width）、指尖位置（Tip Position）、指尖速度（TipVelocity）、画圆动作（Circle）、挥动动作（Swipe）、点击动作（Key Tap）、触屏动作（Screen Tap）。

在Unity3D中加入定义的Leap Motion手势命令，设计“3D模型设计与制作”虚拟现实交互程序，利用Leap Motion对3D模型进行手势控制和操作，将制作的模型继续优化，形成学生作品，如图5所示。

五、虚拟现实环境支持的STEM实践项目实证研究

（一）STEM实践项目的设计

为研究虚拟现实环境与STEM实践项目相融合的过程，探索所建构的学科融合知识动觉学习模型对STEM实践项目的相关作用，将基于虚拟现实环境的“3D模型设计与制作”STEM动觉学习项目应用于实践教学，在本项目前期已经对其他实验组开展了“3D模型设计与制作”STEM实践项目中“3D建模软件” “Form l+3D” “Sculpting建模软件”的案例研究，积累了较多关于VR教学的实际经验，取得较好的教学效果，本项目只加入体感控制设备，如图6所示，加入的虚拟现实技术将进一步提高学生操作的体验性和交互性，同时也有利于开展虚拟现实技术支持的STEM动觉学习机制研究。

（二）实验过程

本研究在美国某州立大学教育学院开展，所有参与的志愿者都是该校理工、科学、技术类专业学生，如下页表1所示，在58个参与者中，男性占比67%，女性占比37%，参与者被随机分配为实验组（30人）和对照组（28人），在实验开始前参与者都是自愿参加本次实验，并且对虚拟现实技术或者体感技术的认识水平处于基本认知的状态。

作为“3D模型设计与制作”实践项目的一部分，本研究开展“Cyber Science Skull”STEM项目式学习过程，如图7所示。为期三周的学习过程分为五个部分，针对实验组和对照组的实验都配备了Leap Motion体感控制器、Form l+3D打印机和计算机及设备构成的虚拟现实学习环境，前两个部分双组教学计划一致，为学生提供了前测测试、LeapMotion基本教学、准备知识和以小组为单位的学习指导过程，从第三部分双组实施策略开始不同，对实验组进行“CSS”STEM项目的知识讲解和小组训练指导，第四部分为“CSS”STEM项目的知识建构指导和基于社交网络APP的协作学习指导，第五部分体感控制、3D打印、虚拟现实操作的组合知识指导、3D打印过程指导和后测，对照组在后三个部分仅提供了基本的设备指导，无实践操作指导和小组协作指导。实验组与对照组在设备方面条件一致，仅在虚拟现实环境中的指导和小组协作指导方面存在差异，其目的为验证学生提高程度来源于虚拟现实环境支持的STEM融合知识动觉学习机制的策略，而非虚拟现实环境本身。

（三）实验评价与结果

本研究根据虚拟现实环境要素和实验过程评价，吸收虚拟现实环境、21世纪技能与STEM教育评价、ICT技能自主学习、协作学习、问题解决、创新能力发展和数字学习技能的评价要素，设计了“虚拟现实环境支持的学习”五维调查问卷（GBTLS），包括虚拟现实环境的学习动机（GL）、虚拟现实环境的使用便利度（GT）、虚拟现实环境的资源有效性（GR）三个部分共六项二级评价指标，同时设计了“虚拟现实环境支持的STEM融合知识动觉学习认知”五维调查问卷（RM2A-GBT），包括动觉学习中的技术熟练度（RM2A-GU）、动觉学习中的自主学习（RM2A-SL）、动觉学习中的协作学习（RM2A-CL）、动觉学习中的问题解决（RM2A-PS）、动觉学习中的创新发展（RM2A-CD）五个部分共15个二级评价指标。在正式使用问卷前对问卷进行了试测，选择了13位同类专业背景的志愿者学生在了解实验背景后填答问卷，其a信度分别为0.79和0.72，根据Gall对问卷信度评价的标准，0.79和0.72介于0.69和0.88之间，证明两套问卷具有较高信度。

1.双组前后测成绩结果

对学生的前测评价得到双组平均值、标准差和t检验结果，如表2所示。根据结果显示双组前测成绩分别为2.37和2.12，表明双组基础处于对等水平，后测成绩对照组平均值为3.61、标准差为0.906，实验组平均值为4.39、标准差为0.936.且双组后测成绩的独立样本t检验在假设方差齐性条件下，其显著性P值为0.002（小于0.05），证明双组后测具有显著差异，实验组表现好于对照组。

2.学习态度调查评价结果

对实验组进行后测调查的GBTLS和RM2A-GBT两套问卷的结果如下页表3所示，得到了两套问卷各一级指标的均值和标准差，对于GBTLS调查问卷来说，关注于被试在虚拟现实环境中的学习体验和资源使用情况，指标“虚拟现实环境的学习动机（GL）”和“虚拟现实环境的资源有效性（GR）”均达到较高的水平（均值=4.55，标准差=0.379;均值=4.28，標准差=0.639），而“虚拟现实环境的使用便利度（GT）”相对较低（均值=3.91，标准差=0.658），这表明学习者在利用虚拟现实环境中的学习动机和资源学习体验较好，而互动使用的便利性相对一般，但总体来说三项指标依然达到较高水平。

对于RM2A-GBT调查问卷来说（如表4所示），关注于学习者在利用虚拟现实环境进行学习的动觉学习过程，指出动觉学习所能够涉及到的学生能力发展的部分。指标“动觉学习中的技术熟练度（RM2A-GU）” “动觉学习中的自主学习（RM2A-SL）”“动觉学习中的创新能力发展（RM2A-CD）”三项指标均值均大于4，达到了较高水平，表明学生在动觉学习过程中能够达到较好的技术熟练度，并且进行较好的自主学习，达到了创新发展的目的;而“动觉学习中的协作学习（RM2A-CL）”和“动觉学习中的问题解决（RM2A-PS）”相对得分一般，表明学生在使用虚拟现实环境开展协作式动觉学习依然存在难点，并且对于问题的解决过程成为其亟待突破的部分。但是总体来说，动觉学习的五项一级指标依然达到较高水平，表明参与实验的学生能够利用虚拟现实环境开展有效的动觉学习过程。

3.学习态度评价指标的相关性分析

为探究虚拟现实环境对学生认知发展、学生能力发展及其与动觉学习的关系，对GBTLS和RM2A-GBT两套问卷进行了相关性分析，得到如表5所示的相关性分析结果。结果表明，GR与GL、RM2A-GU与GL、RM2A-GU与GR、RM2A-SL与RM2A-GU、RM2A-CD与RM2A-SL、CL、PS存在较显著的正相关关系，相关性不能够指出因果关系，但通过分析表明虚拟现实环境的资源有效性促进了学生虚拟现实技术的学习动机，动觉学习中的技术熟练度促进了学生的学习动机和资源的有效性，动觉学习的自主学习过程反过来促进了技术的熟练度，最后动觉学习中的创新能力发展促进了自主学习、协作学习和问题解决的发展。

总体来说，在虚拟现实环境中的动觉学习以技术的熟练度为基础，促进了学生对虚拟现实环境的学习动机和资源有效性，以动觉学习中的创新能力发展为关键突破点，通过促进这一能力的发展能够同时促进自主学习能力、协作学习能力和问题解决能力的极大提高。

在比较GBTLS和RM2A-GBT两套问卷的均值、标准差和相关性分析结果后发现，学生更倾向于机械学习的过程（RA1、RA2），如技术的熟练度促进了学生的学习动机和资源的有效性，表明在实验初期，学生需要更多的时间开展自主学习，促进其技术熟练度，进而提高学习动机和资源有效性;但是意义学习的结果实验后期产生较大效应（MA1、MA2），如创新能力发展促进了自主学习能力、协作学习能力和问题解决能力的提高，表明以机械学习过程为基础，达到一定学习进度后，学生能够自然地适应技术和资源的支撑促进其能力的发展，但是这个过程需要较长的时间。以上结论回应了本研究的目标，即虚拟现实环境对学生认知发展的作用是通过机械学习促进意义学习，由技术熟练到促进学习动机和资源有效性发展，进而促进能力提高，通过创新能力发展促进其他能力的进一步提高的过程。

六、研究结论

本研究为虚拟现实技术与学生认知发展的联系提供了理论框架，在文献综述、认知主义学习理论的基础上提出了虚拟现实环境促进学生认知的动觉学习机制，即虚拟现实环境支持的STEM融合知识动觉学习机制，设计了STEM融合知识的交互模块结构、路径与软硬件实现方式，并根据学习机制与路径开展了虚拟现实环境支持的STEM实践项目的实证研究。实证研究为美国某州立大学的“CSS”STEM项目，通过双组前后测分析得到实验组成绩高于对照组成绩，并且差异显著，实验结束后得到GBTLS和RM2A-GBT两套问卷的分析结果，表明基于虚拟现实环境的STEM项目对学生的短期学习过程中的机械学习促进效果较好，即技术的熟练度促进了学生的学习动机和资源的有效性，如果能在一个较长的学习周期中开展研究，基于虚拟现实环境的STEM项目可以逐渐有效地促进学生开展意义学习过程，即创新能力发展促进了自主学习能力、协作学习能力和问题解决能力的提高。

本研究实证过程依然存在不足，通过前期三项实验积累虚拟现实技术支持的教学实践经验基础上，“CSS”STEM项目的实施为3周，对于利用虚拟现实技术促进学生认知学习的过程来说依然具有时间局限性，在后续研究需要进一步开展更长时间的实践研究;另外，本研究所提出虚拟现实技术支持的动觉学习机制模型以认知学习理论为基础，模型元素在呈现学习内容、知识内容、学习过程与技术本身的关系方面依然有待深化，因此，该模式可在国内开展针对不同学段和内容的研究，以进一步验证RM2A理论模型的有效性，同时也能够对基于动觉学习的学生认知促进机制开展国内外对比研究。

通过本研究，为虚拟现实环境和学生的认知发展提供了联系，为VR、AR、MR等技术对学习者的促进作用提供了理论框架并进行了验证，为国内外同类研究的教学实践提供了参考，丰富了关于虚拟现实环境对学习者动觉学习机制和认知能力发展的理论内涵和实践意义。总体来说，本研究在虚拟现实技术、STEM教育、学习者认知等领域具有较高的理论价值和实践研究意义。

*本文系中国博士后科学基金第65批面上资助项目“基于虚拟现实技术的STEM学科融合知识动觉学习机制研究”（项目编号：2019M652945）、广州市哲学社会科学发展“十三五”规划2019年度羊城青年學人课题“教育信息化2.0背景下粤港澳大湾区教育质量提高与均衡发展效益辐射模式研究”（课题编号：2019CZQN20）研究成果。