混合现实技术在原子力显微镜实验教学的研究

摘 要 以探究如何将混合现实技术有效地应用于物理实验教学为目标，本研究设计和应用了认知负荷测量量表、沉浸感测量量表、情绪测量量表、学生态度测量量表以及知识掌握问卷。利用HoloLens2设备实现了原子力显微镜实验探针安装过程的混合现实系统，应用于真实实验课堂教学，并以参与的学生为被试收集数据。研究结果显示，学生在使用混合现实的原子力显微镜探针安装系统的过程中，抱有较为积极的学习态度，感受到深入的沉浸式体验，掌握知识的准确率较高，且普遍认为自己没有感受到较大的认知负荷。但结果也显示，在将物理量可视化的过程中，混合现实的实验形式可能会给学生带来一些认知误区。在沉浸感控制维度方面学生表现不理想，表明部分学生认为自己在操控混合现实设备上存在一定的困难。

关键词 混合现实;物理实验教学;认知负荷;沉浸体验

混合现实技术将现实场景与虚拟环境相结合，搭建了融合虚拟世界、现实世界和用户感知交互的智能平台，给用户带来沉浸式体验，被应用于科学研究、工业生产和教育培训等领域[1]。在物理实验课程教学的过程中，积极探索和引进前沿科技手段，应用混合现实技术可以搭建智慧学习环境，有益于提升学生的实验体验和学习效果[2-4]。因此，在本科生的近代物理实验课程的原子力显微镜实验项目教学中，利用微软的Holo-Lens2设备实现了探针安装操作的混合现实实验后，从沉浸感、认知负荷、情绪态度、知识掌握多个方面收集了学生数据，分析混合现实技术融入对实验教学带来的影响。

1 混合现实系统的实现

在原子力显微镜实验探针安装过程设计的混合现实系统中，采用了微软的HoloLens 2装置，该装置外观为头戴式眼镜，内置摄像头和传感器，可以实现虹膜识别、语音识别、手势识别、跟踪定位等功能，是目前最先进的混合现实装置之一。HoloLens2采用了全息投影等技术能够直接将图像投影到人眼之中，形成全息影像，并提供手势交互功能，让用户能够与数字全息影像进行互动。

系统开发的技术栈采用的是Blender软件建模，如图1（a）所示，利用MRTK 软件包简化开发流程，在Unity平台中完成程序开发设计，利用Visual Studio 2022进行部署。通过悬挂C 脚本的方式实现各类交互，UI设计则是采用微软提供的混合现实开发软件包MRTK中的各类基础UI。

学生进入混合现实系统后，看到如图1（b）所示的虚拟的探针安装盒和镊子等，能够使用右手手持虚拟的镊子，用镊子去夹取储物盒中所放置的原子力显微镜探针，夹取成功后在混合现实环境中寻找原子力显微镜探针的支架，利用左手的中指和食指按压支架正确的位置将支架上方的挡板升起一个角度后，学生可以将右手夹取的探针靠近并安装在合适的位置。在安装的过程中，该系统会出现提示的面板，简要说明整个过程，让学生目标明确地进行探针安装操作，当学生在一定时间内还未完成探针安装操作时，会出现提示要求学生聚焦于任务，尽快完成操作，也可以作为混（a） MRTK开发界面; （b） MR眼镜中观察到的原子力显微镜探针安装盒合现实实验考评的指标之一。

2 混合现实系统的教学应用

在本科生的近代物理实验课程中，应用混合现实技术的原子力显微镜实验教学设计如图2所示。在原子力显微镜实验中，学生一般先完成探针安装混合现实实验操作，再开始后续真实实验环节。在教学环节中利用混合现实系统使得该实验教学的内容更加丰富，学生也能够建立更加健全的认知图谱。

首先，教师引导学生在HoloLens中完成原子力显微镜的探针安装操作，具体的内容包括：在混合现实环境中拿起弯头镊子，找到储物盒中的原子力显微镜探针，并利用食指和中指正确地操作支架使其上方的挡板升起，将探针安入空隙中。完成上述流程后，学生基本理解了原子力显微镜探针的结构以及安装的过程。教师也会进行讲解，并引导学生观察现实实验环境中的实验仪器，将虚拟元素和真实空间连接到一起。学生摘下眼镜后，就可以继续其他不需要以混合现实方式呈现的真实实验内容。

3 测量指标的确定

认知负荷主要用于考察混合现实系统是否在认知上给学生造成了更大的负担，认知负荷过高或过低都会影响学习者最终的学习效果，因此进行学习过程中的认知负荷评估十分重要[5];沉浸感则是虚拟现实、混合现实等技术应用最常见的考察指标之一，能够检测学生的参与度和专注度，可以用来衡量系统所呈现虚拟环境的生动性以及隔绝外部世界的程度[6]。它是人对客观事物的态度体验及相应的行为反应，是人脑的高级功能，与其他的心理过程有复杂的相互作用关系，从而保证个体的生存和发展[7]。情绪能反映学生的状态，对其行为发展做出预测，反映出学生对于学习内容和教学方法的真实感受。

态度指一种比较稳定的心理状态，正确的学习态度主要表现为四种循序渐进的过程：适应过程、认知过程、满足过程和飞跃过程[8]。学生在这个过程中会基于以往的经验显示出不同的偏好，但在学生群体中，同伴之间往往存在相似性，考查学生群体比较具有共性的态度及行为倾向，能够为针对物理实验教学场景的混合现实系统以及混合现实应用程序的设计提供参考，真正了解利用什么技术以及如何利用技术能让学生在物理实验课堂中发挥主观能动性，这一指标的测量对于物理实验教学效果的优化至关重要。

物理实验课堂通过向学生传授知识和技能，帮助学生打下扎实的物理学基础，为更深入的物理学科知识的探索提供支持。学生是否在融合了混合现实技术的物理实验课堂中掌握了正确的概念和操作过程，即相关的陈述性知识和程序性知识是否被正确习得，是考查混合现实系统或混合现实程序的教学有效性的重要方面，应设计合理的问卷以检测学生的知识掌握水平。

4 研究方法

4.1 调研样本

被试为T大学物理科学与工程学院应用物理专业的本科生、物理学专业硕士研究生，以及教育技术专业的硕士研究生。他们在接受混合现实系统的探针安装操作学习之前，都在实验室中学习过传统的原子力显微镜实做实验，即用真实仪器操作的原子力显微镜实操实验。被试拥有一定的物理学基础，且不仅接受了传统型的原子力显微镜实验授课，也接受了混合现实环境的原子力显微镜探针安装实验授课。问卷发放的过程中，为保证客观性，向被试公布了填写的基本原则和回收方式。回收问卷后，研究人员也对试卷进行了筛选，剔除了不合格问卷，保证数据的有效性。

4.2 研究工具

研究工具基于被试的特征以及问卷的科学性进行设计。本研究参考了国际上知名的量表设计，并结合本项目学生特点，以及原子力显微镜实验教学情况进行适当的修改。研究问卷相关的测量对象、维度设置、题项类型和题项数量如表1所示。

4.2.1 认知负荷的测量

认知负荷测量量表参考了PASS、WP、NASATLX[9-11]三个经过检验的国际量表，最终将认知负荷分为心理负荷、情绪负荷、外部负荷和躯体要求四个维度，设计了15个子题项，较为全面、客观地考查学生在混合现实实验中所面临的认知负荷真实情况。经检验，修改后的认知负荷测量量表的克隆巴赫系数达到0.876，信度较高;KMO 统计量值大于0.5，变量间的相关程度差异不大，数据适于做因子分析，巴特利特球形检验的显著性结果小于0.05，球形假设被拒绝，原始变量之间存在相关性，适合做因子分析。

4.2.2 沉浸感的测量

沉浸感是考察虚拟现实、增强现实、混合现实等技术应用于教育教学场景中效果的重要指标，本研究对PQ、IPQ、MPS、MEC-SPQ、SUS[12-16]量表的题项进行了分类总结，将重复条目以及不相关的条目进行剔除。指标之间的维度会发生重合，本研究会测量情绪状态和认知负荷的各维度，因此将沉浸感量表中涉及这两方面的条目剔除，最终选取并修改出18个题项进行测量。经检验，本研究制定的沉浸感测量量表的克隆巴赫系数达到0.856，信度较高;KMO 统计量值大于0.6，变量间的相关程度无太大差异，数据很适合做因子分析，巴特利特球形检验的显著性结果小于0.05，球形假设被拒绝，因而原始变量之间存在相关性，适合做因子分析。

4.2.3 态度的测量

态度是学生所持有的较为稳定的心理要素，基于态度会产生不同的行为倾向，促进不同的学习结果。关于态度测量量表维度的确定和题项的制定，考虑到相关学生的特点和不同学科门类学生态度测量的贴切性，本研究量表中关于态度三维结构模型的理解和应用设计参考了《学习态度的理论与研究》[17]。同时，在量表的制定上还借鉴了《工科大学生学习态度影响的实证研究》[18]中的工科类学生态度测量量表。本量表测量指标分为认知、情感、行为倾向三个维度，包含了12个题项。经检验，本研究基于态度的三维结构模型和张俊珍的量表设计的测量量表的克隆巴赫系数达到0.803，信度较高;KMO 统计量值大于0.5，变量间的相关程度无太大差异，数据适合做因子分析，巴特利特球形检验的显著性结果小于0.05，球形假设被拒绝，原始变量之间存在相关性，适合做因子分析。

4.2.4 情绪的测量

学生的情绪可以归纳为正向情绪和负向情绪两方面，正向情绪包含了多种体现学生积极快乐的情绪，负向情绪则体现学生的低迷和困惑等。为保证测量的有效性，参考PANAS积极消极情绪测量量表[19，20]，并将其中不适合的题项进行适当地删减，最终采用16个分别能够代表学生积极情绪状态和消极情绪状态的形容词作为检测的指标，考查学生在混合现实环境中进行探针安装操作的情绪状态。经检验，本研究在PANAS基础上修改的测量量表的克隆巴赫系数达到0.915，信度较高;KMO 统计量值大于0.7，变量间的相关程度无太大差异，数据适合做因子分析，巴特利特球形检验的显著性结果小于0.05，球形假设被拒绝，原始变量之间存在相关性，适合做因子分析。

4.2.5 知识掌握水平的测量

本研究设计了7个题项，分别从理论知识及操作技能的角度来考查学生的习得水平，验证他们是否在混合现实系统中对实验的理论知识及操作技巧建构了正确的理解。例如，其中一个题项“在安装原子力显微镜探针时，应该将探针带有沟槽的一面朝上放置还是朝下放置？”，这一题目回答的正确与否直接影响到学生探针安装操作的成败，但在物理空间中，原子力显微镜探针的结构较为微小，学生不易观察沟槽，在混合现实场景中，他们能够从全方位视角进行观察，按照需求进行放大和移动，提高正确操作的水平。

5 研究结果

5.1 认知负荷

认知负荷量表测量的平均值为3.385，高于中等水平2.5，证明总体上混合现实系统没有给学生造成过大的认知负荷。针对具体的题项，“系统展示内容的形式容易理解”“系统呈现方式很清晰易懂”“系统的布局很清晰易懂”分别表现出均值4.17、3.90和3.83的较高分数，该系统在认知负荷的外部负荷维度表现优秀。但关于以下题项，“在这个系统中学习时，我需要不断地思考和努力”“我觉得自己的脑力被充分利用了”“这个系统需要我全神贯注”，学生们得分较低，普遍感受到自己承受了一定的神经负荷或情绪负荷。

在实验教学的过程中要注意学生内在认知负荷、外在认知负荷和关联认知负荷之间的累加关系， 使之不要出现认知超负荷现象[21]。整体来看，该混合现实系统并不会给学生带来过多的认知负荷，其在心理负荷、外部负荷以及躯体要求的维度上表现良好，但该系统应考虑到造成神经负荷和情绪负荷的方面并进一步改进，从而和课堂教学更好地融合。关于为何在教学过程中带给学生较高的情绪负荷和神经负荷，对应具体的实验环节考虑。首先，学生对于原子力显微镜的精密结构认知不足，又接触了新的技术手段，佩戴混合现实眼镜的过程中要完成操作，部分学生就会出现一些忧虑情绪。

5.2 沉浸感

沉浸感测量量表的平均值为3.373，学生在该系统内操作过程的沉浸水平较高。在相关的题项中，学生一致认为该混合现实环境中可以边走动边观察，同时多个角度观察虚拟环境和虚拟物体，这体现了HoloLens 2的技术优势，也凸显了混合现实相较于虚拟现实而言的优势性，即学生可以同时观察真实空间和虚拟物体，视线不会被完全遮挡，可以自由地走动并观察。但在“我会花费很多的精力在控制设备的操作方法上”的分值较低，均值只有2.83，证明在混合现实空间中，用双手来控制虚拟物体以实现精准的实验操作仍存在一定困难，还不能像直接用双手操作一样地灵活自如。对应具体的实验环节，学生主要是在按压原子力显微镜支架以及将探针放入的过程中遇到了困难。一方面，混合现实系统先识别到学生的双手手势，再出现相应的虚拟映像，学生总会觉得混合现实环境中双手操作没有真实空间中灵活。另一方面，混合现实系统的技术有限，难免会造成一些时间上的延迟和卡顿。

5.3 态度

态度测量量表回收数据的均值结果为3.976，说明学生们对于使用混合现实的原子力显微镜探针安装系统表现出良好的态度。针对具体的题项，学生不仅表示自身对该系统感兴趣，同时也表明了愿意参与该系统相关实验学习的行为意向。在学习的过程中，学生们表明愿意主动查阅相关资料并向教师寻求帮助。但在另一方面，学生们认为混合现实学习系统对于自身世界观、人生观、价值观形成的帮助是比较有限的。混合现实以技术赋能的方式开阔了学生的视野，使其体会到新兴技术手段的神奇之处，更深入、有效地学习物理实验的内容。

5.4 情绪

关于情绪测量，PANAS量表是将正向词汇和负向词汇呈现，学生要按词汇描述的符合程度打分。本研究中，将消极词汇所描写的题项进行了转置并赋分，以保证得到的均值的合理性，最终该情绪测量量表回收的数据均值为3.741，证明学生在混合现实系统学习的过程是以正向的积极情绪为主导。学生感觉到活跃的、充满热情的、兴奋的、欣喜的等积极的情绪。

值得注意的是，部分学生在实验中感觉有些紧张，甚至在解决问题的过程中会产生一些挫折情绪。这一方面是源于该系统本身的设计，应该在后续进行系统优化以带来更好的体验。另一方面，新兴教育技术的迅速普及和广泛应用也不可避免地对教育发展秩序产生一定的干扰，助长人们对教育技术的焦虑情绪[22]。学生接受融合了新技术的课堂需要一个过程，其中难免会伴有紧张情绪和挫折情绪，教师要注意加以正确的引导，使学生保持对于物理实验学习的热情。

5.5 知识掌握

关于知识测量问卷的理论知识测评部分，总体的正确率达到80%。学生在混合现实系统学习的过程中对知识的掌握情况良好。针对具体的题项，对于“原子力显微镜工作的原理”以及“探针是否可以反复利用”问题回答的正确率分别达到了100%和96.7%，但学生对于“原子力显微镜探针针尖是否肉眼可见”的问题产生了误区，正确率只有43.3%，这可能是由于在混合现实系统中对于纳米级别的探针进行了可视化呈现，设计的本意是为了加深学生对于探针结构的了解。在后续系统的修改中，应该解决这个问题，也提醒其他高校在利用混合现实技术进行不可见实验过程可视化设计时要进行充分的说明，以免给学生带来误解;关于知识测量问卷的操作知识测评部分，总体的正确率达到了78.3%，学生对于操作知识的掌握情况良好，能够清晰地了解探针放置的具体位置，弯头镊子的使用过程，支架的移动部位以及探针沟槽面向上放置的操作要点。

5.6 综合分析

研究结果如图3所示，学生在知识掌握和态度方面的表现较为突出，这与系统生动展示仪器结构的特性密不可分，学生亲身经历了安装探针的过程后，对知识能有更好的理解。同时，因为技术的新颖性以及教师的有序引导，学生对于混合现实系统的态度较为积极。沉浸感和认知负荷的平均值都大于中间值2.5，且大于3.3，证明该系统带给学生较好的沉浸体验。认知负荷这一指标稍差的结果可能源于技术的有限性，混合现实空间中的操作无法像传统实验那样，让学生感觉自己的双手“一样地灵活和丝滑”，部分学生觉得混合现实教学系统给自己造成了一些认知负担。

6 结语

将混合现实技术融入原子力显微镜实验教学，研究结果发现在认知负荷、情绪状态、三维态度、沉浸体验以及知识掌握等五个方面，皆得到了较为良好的测量结果。因此，学生对于混合现实技术在原子力显微镜实验课堂中的应用持有积极的态度和较高的接受水平。同时，在知识掌握方面，学生的理论知识和操作技能知识的正确率都很高，分别达到了80%和78.3%，证明混合现实系统能够达到物理实验课堂知识传授的目标。研究结果初步证明了相关技术手段的适用性，既没有给学生造成很强的认知负荷，也达到了知识掌握的目的。

对于混合现实的物理实验系统的教学设计，本研究也发现了一些需要引起重视的问题。首先，在沉浸感测量的控制维度上得到了一些不太理想的结果，这是由于混合现实技术场景中并不能完全复刻真实场景。站在技术角度，系统首先会识别学生的手部指令，学生再利用手部指令对虚拟物体进行一系列操作，这个过程中很容易发生不太灵敏或卡顿的情况，部分学生因而产生一些消极情绪。其次，在知识掌握问卷测量的过程中，本研究发现混合现实系统的一些可视化呈现效果很可能会给学生带来误解。例如，系统将原子力显微镜探针针尖可视化，这样设计的目的是方便学生理解针尖所处的位置，对针尖结构建构自身的理解。但很多同学会误以为在混合现实系统中针尖是可见的，那么真实的物理空间中原子力显微镜探针针尖也是肉眼可见的。情境认知理论认为，知识应融入真实情境，向真实情境迁移，学生才有机会体验知识在真实生活中的应用，感悟知识的价值[23]，但若知识在迁移的过程被误解，造成学生的认知偏差，则会影响整个知识建构过程。这提醒研究者，在利用增强现实技术、混合现实技术进行各类物理实验过程复现，将不可见的物理量可视化的过程中，要考虑到学生会产生认知误区的情况，并改进混合现实技术相关的实验教学设计。

参 考 文 献

[1] HOFFMAN M A. The future of three-dimensional thinking[J]. Science， 2016， 353（6302）： 876.

[2] STRZYS M P， KAPP S， THEES M， et al. Augmenting the thermal flux experiment： A mixed reality approach with the HoloLens[J]. 2017， Phys.Teach.， 55： 376-377.

[3] BODENSLEK O， SONNTAG D， WENDORFF N， et al.Augmenting the fine beam tube： From hybrid measurements to magnetic field visualization[J]. 2017， Phys.Teach.， 57： 262-263.

[4] SONNTAG D， BODENSLEK O. How mixed reality shifts visual attention and success in experimental problem solving[J]. 2022， Phys.Rev.Phys.Educ.Res.， 18： 023101.

[5] 薛耀锋，王坤，邱奕盛，等.基于多模态数据的在线学习认知负荷评估[J].现代教育技术，2024，34（3）：79-88.663

XUE Y F， WANG K， QIU Y S， et al. Cognitive load assessment of online learning based on multimodal data[J].Modern educational technology， 2024， 34（3）： 79-88. （inChinese）

[6] CUMMINGS J J， BAILENSON J N. How immersive is enough？ A meta-analysis of the effect of immersive technology on user presence[J]. Media psychology， 2016， 19（2）：272-309.

[7] 俞国良，董妍.学业情绪研究及其对学生发展的意义[J].教育研究，2005（10）：39-43.

YU G L， DONG Y. Study of academic emotion and its significance for students development[J]. Educational research，2005（10）： 39-43. （in Chinese）

[8] 张志红，耿兰芳.学习态度对大学生学习成绩影响的实证分析[J].中国大学教学，2009（10）：87-89.

ZHANG Z H， GENG L F. An empirical analysis of the impact of learning attitudes on college students academic performance[J]. Chinese university teaching， 2009（10）： 87-89. （in Chinese）

[9] PAAS F， Van MERRIENBOER J. Instructional control of cognitive load in the training of complex cognitive tasks[J].Educational psychology review， 1994， 6（4）： 351-371.

[10] TSANG P S， VELAQUEZ V L. Diagnosticity and multidimensionalsubjective workload ratings[J]. Ergonomics，1996， 39（3）： 358-381.

[11] HARTS G L. Development of NASA-TLX（Task Load Index）： Results of empirical and theoretical research[M].Amsterdam： North Holland Press， 1988： 239-250.

[12] WITMER B， SINGER M. Measuring presence in virtual environments： A presence questionnaire[J]. Presence： teleoperators and virtual environments， 1998， 7（3）： 225-240.

[13] SCHUBERT T， FRIEDMANN F， REGENBRECHT H.The experience of presence： Factor analytic insights[J].Presence： teleoperators and virtual environments， 2001，10（3）： 266-281.

[14] MAKRANSKY G， LILLEHOLT L， AABY A. Development and validation of the multimodal presence scale for virtual reality environments： A confirmatory factor analysis and item response theory approach[J]. Computers in human behavior， 2017， （72）： 276-285.

[15] YILDIRIM Ç， BOSTAN B， BERKMAN M I. Impact of different immersive techniques on the perceived sense of presence measured via subjective scales[J]. Entertainment computing， 2019， 31： 100308.

[16] RAUSCHNABEL P A， FELIX R， HINSCH C， et al.What is XR？ Towards a framework for augmented and virtual reality[J]. Computers in human behavior， 2022， 133：107289.

[17] 陶德清.学习态度的理论与研究[M].广州：广东人民出版社，2001.

[18] 张俊珍.工科大学生学习态度影响因素的实证研究[J].价值工程，2011，30（1）：218-219.

ZHANG J Z. An investigation and analysis on factors influencing engineering students learning attitude[J]. Value engineering， 2011， 30（1）： 218-219. （in Chinese）

[19] WATSON D， CLARK L A， TELLEGEN A. Development and validation of brief measures of positive and negative affect：the PANAS scales[J]. J Pers Soc Psychol， 1988，54（6）： 1063-1070.

[20] 黄丽，杨廷忠，季忠民.正性负性情绪量表的中国人群适用性研究[J].中国心理卫生杂志， 2003， 17（1）： 54-56.

HUANG L， YANG Y Z， JI Z M. Applicability of the positive and negative affect scale in Chinese[J]. Chinese journal of mental health， 2003， 17（1）： 54-56. （in Chinese）

[21] 庞维国.认知负荷理论及其教学涵义[J].当代教育科学，2011（12）：23-28.

PANG W G. Cognitive load theory and its teaching implications[J]. Contemporary educational science， 2011（12）：23-28. （in Chinese）

[22] 陈涛，韩茜.教育场域中技术焦虑的形成机理及治理路向———基于马克思“人与机器”思想的时代阐释[J].重庆高教研究，2023，11（1）：46-60.

CHEN T， HAN Q. The formation mechanism of technology anxiety in educational field and its governance route：The contemporary interpretation based on Marxs thought of “man and machine”[J]. Chongqing Higher Education Research， 2023， 11（1）： 46-60. （in Chinese）

[23] 伯海英.从学生认知误区反思概念教学[J].生物学通报，2019，54（6）：23-25.

BO H Y. Reflecting on concept teaching from students'cognitive misconceptions[J]. Biological Bulletin， 2019， 54（6）：23-25. （in Chinese）