基于VR/ AR的互动式教学研究与实践

丁飞 张登银 师晓晔 许斌 刘宁

摘要：为培养学生创新思维，锻炼学生实践能力，采用虚拟现实和增强现实技术，将抽象的科学概念以可视化方式呈现，打破传统授课方式，使教与学更形象具体，以符合人类认知习惯。通过对虚拟现实和增强现实技术的分析，基于虚拟现实和增强现实互动式教学特点，提出基于虚拟现实和增强现实的互动教学应用架构。通过基于位置服务的教学实践，验证了基于虚拟现实和增强现实的互动式教学效果，促进启发性、协同式和情景式教学改革与发展。

关键词：互动式教学;虚拟现实;增强现实;应用架构

Research and Practice of Interactive Teaching Based on VR/AR

DING Fei， ZHANG Deng yin， SHI Xiao ye， XU Bin， LIU Ning

（School of Internet of Things， Nanjing University of Posts and Telecommunications， Nanjing 210003， China）

Abstract：In order to cultivate students′ innovative thinking and exercise their practical ability， abstract scientific concepts are presented in a visual way thanks to virtual reality （VR） and augmented reality （AR） technologies to subvert traditional teaching methods， make teaching and learning more concrete and specific， and conform better to the habits of human cognition. In the first place， through the investigation and analysis of VR and AR technologies， this paper summarizes the characteristics of interactive teaching based on VR and AR. Then， it explores the scheme of education reform by using the aforementioned technologies and puts forward the application framework of interactive teaching with the help of VR and AR. Finally， through the teaching practice based on position service， it demonstrates the beneficial effect of this new type of teaching and can promote the development of this new teaching method which aims to be enlightening， cooperative and situational.

Key Words：interactive teaching; virtual reality; augmented reality; application architecture

0 引言

隨着计算机图形学、人机接口技术、多媒体技术、传感技术和网络技术等快速发展，虚拟现实（Virtual Reality，VR）和增强现实（Augmented Reality，AR）技术已进入应用阶段[1 2]，开始对教育[3 5]、工业生产[6 8]、旅游[9]、建筑[10]、医疗[11]等领域带来颠覆性影响，各公司纷纷布局该市场，如Facebook公司于2014年收购Oculus VR后，推出了全球首款VR眼镜。美国第二大家居装饰用品公司（Lowe′s）正在开发名为Holoroom的一款3D增强现实科技，客户可自定义3D空间，并可在线体验自己设计的空间。另外三星、索尼、宏达等公司都纷纷推出AR/VR相关产品或服务[12]。

在教育领域，由于存在教学课程的专业化、理论化、抽象化、复杂化等因素，传统以理论教学为基础的教学模式存在诸多问题[13 15]，对于专业化较强的学科，教师往往对某个概念和技术理论需要花费大量的时间进行教案准备并增加授课学时数，但还是存在部分学生难以理解的情况。抽象化概念往往很难用语言和文字表达，复杂的学科往往交织多方面知识，理解和提高都非常困难。在这种情况下，传统教学亟需结合新一代信息化技术，如仿真系统、实训设备、信息化技术等进行辅助教学。

VR/AR技术以多感知、存在感、交互性、自主性等优势在教学辅助中占有非常重要的地位。文献[16]提出了基于VR/AR的教学系统架构及教学体系建立方法，文献[9]研究了在博物馆文化教育体验领域典型的系统设计与架构。在课程教学中，VR/AR技术可以更好地激发学习兴趣，促进学生体验应用场景和过程，掌握知识要点。同时，VR/AR技术为教师提供了便捷的辅助教学手段，将知识以更加直观和立体方式传递给学生。文献[17]设计了一种基于AR平台及图像识别系统的跨平台移动终端，可在机械课程的教学过程中，通过展示立体模型及动态过程，手触控制、多场景选择等，强化用户现实感官认知。

VR/AR技术催生了教育关联产业的进一步发展，文献[18 20]分析了AR在智慧图书馆个性化借阅、资源利用以及科普学习等方面的积极影响，文献[21 22]研究了AR技术与出版行业结合的研发与应用。

物联网是传感网、大数据、人工智能、移动互联、云计算等新一代信息技术的高度融合和综合应用，该课程的授课知识点多、工程应用性强。现有教材主要采用线性教学为主，学生只能在教师的讲授下获得基础概念、原理及逻辑关系，难以结合应用场景学习知识，主要体现在知识转移能力弱、缺乏实践性相关知识。

本文在物联网课程授课实践过程中，通过引入AR/VR技术，搭建互动教学的应用系统，利用AR/VR技术的场景增强和沉浸式体验优势，将物联网多样化知识点、复杂和抽象的应用场景相结合，为学生提供动态的、开放的结构化互动教学方式，便于学生获得立体性知识，对传统教学内容的结构及授课形式进行了改革与创新。

1 基于VR/AR的互动式教学特点

1.1 国外典型应用案例

国外在教育领域大量采用VR/AR技术进行教学。基于VR/AR教育培训首先应用于安全教育，由美国纽约应急管理办公室使用高级灾害管理模拟器（ADMS）进行培训。ADMS是Environmental Tectonics公司开发的应用，将人工智能融入其中。应急办已建成纽约的城市虚拟副本系统，专注于指挥模拟，市民可通过操纵杆穿行于虚拟城市。指挥者引导他们通过目标点，并通过实时沟通满足应急需求[6]。

美国科格威尔工艺学院 （Concordia University，Irvine） 在全球首先开设VR/AR课程，旨在让学生学习VR/AR的认知和感知方面的知识，掌握开发人机界面及交互的设计原则及技能，以及VR/AR的故事叙述方式。格林内尔学院（Grinnell College）设立了沉浸式体验实验室（Grinnell College Immersive Experiences Lab），探索VR和AR以及混合现实（Mixed Reality， MR）技术以提高文化科学学习效率，探索VR技术应用于历史场景复现的教学中[23]。

Barts Health NHSTrust （巴兹保健和国民信托） 的肿瘤外科医生Shafi Ahmed博士是英国一流癌症外科医生之一，他在皇家伦敦医院对一位结肠癌病人进行了手术，该手术直播给成千上万的医学院学生观看，目的是改进医学院学生训练，这场直播手术展示了虚拟现实如何成为一个强大的教育工具[24]。

南密西西比大学负责筹建的Sportevac项目，为体育场疏散工作提供解决方案。通过观察场内70 000人面对危险的第一反应，研究分析人类面对危险的行为。

1.2 技术特点与优势

VR/AR技术在教学中具备其专属特点和优势。在物联网教学中采用VR/AR技术，能够为教师提供全新的工具。传统方式传递的知识大多以文字和图片的形式进行表达，而VR/AR课件可将知识以更加直观、通俗的场景或游戏、卡通的方式展现，更容易让学生理解接受，激发学生对知识的兴趣。

VR/AR目标是在特定活动中鼓励、激励学生，教材的编写与VR/AR技术之间的协调性决定其是否起到关键性作用，比如课件编写、场景设置、多媒体制作等都至关重要;让学生体验动手学习的同时又毫无风险，如安全程序和医疗教学，不会涉及病人的安全等。

基于VR/AR的互动式教学作为一种新型教学模式，具有3个方面的特点和优势[2， 13 16]：

（1）可视化、形象化。VR/AR技术仿真和交互的特性，能将抽象、晦涩难懂的知识以更生动、直观、全面的方式呈现，用沉浸式体验增强学生的代入感。

（2）可在各种环境下进行情景式学习。移动AR系统能够基于真实环境中的虚拟物体帮助下，使无处不在的合作式和情境式学习得到加强，现实生活中的一切都能成为AR学习的道具，实现便捷性、交互性、情境性、连通性及个性化。AR系统能够检测到学生的当前位置和活动状态，从而及时发出提醒和待选选项以集中学生的注意力。

（3）提升学生存在感、直觉和专注度。AR/VR提供一个虚拟的学习空间，让学生感觉与其他人或事物同处一个位置。这种存在感可加强学生对学习社区的认知。所以，AR/VR在培养学习者直觉方面有巨大潜力，这种感觉也是一个人在综合而真实的体验中所拥有的主观感受。

2 基于VR/AR的互动教学应用架构

基于VR/AR的互动式教学应用体系，是在传统课本、课件、问答和实验实践教学基础上，结合利用移动终端设备的摄像头、WiFi、GPS、语音识别等丰富功能和移动互联网络的移动、广覆盖、实时在线等特性，通过条碼链接、信息识别3D建模、行为分析和智能评价等，形成结合移动智能终端的VR/AR系统化技术架构解决方案，如图1所示。

在上述应用架构下，可以充分发挥VR/AR虚实相结合的优势，将课堂教学与立体式知识环节关联起来，形成“以技术链为主线”的课程知识体系。在VR/AR教材制作中，可对实际场景进行数据采集，然后通过后期制作，加上虚拟的教具（2D、3D模型）和交互性的人机操作，使学生更加深刻地理解授课的知识点。同时，AR教材可通过图形识别技术，更加方便地呈现多媒体应用（如视频、音频、图片、动画等）。

有些特定的物联网应用行业，如高危环境等进行知识传达时，基于课本知识达不到预期效果，现场考察学习危险系数高。采用结合VR/AR的交互式授课方式，可以精确模拟真实环境，采用传感器模拟视觉、听觉、触感、力量等，达到与高危现场一致的体验，完成授课目标。

3 基于VR/AR位置服务的教学实践

物联网是大数据、人工智能、移动互联、云计算等新一代信息技术的高度融合和综合应用，其关联知识点较多且知识点立体性更强。为获得更好的授课效果，笔者院校在“基于位置的服务”课程中开展了融合VR/AR的教学实践，取得了较好效果。

首期开发了基于位置VR/AR的原型服务系统，将智能手机识别应用与电子罗盘、GPS、3D展现等相结合，对基于位置服务的应用场景、POI （Point of Interest） 检索、智能终端和VR/AR技术等方面进行协同教学。

图2是基于智能手机实现电子罗盘VR/AR实现原理，在用户终端上通过电子罗盘提供以摄像头实景为背景的POI搜索展现。

周边POI的VR/AR展示效果如图3所示，包括餐饮、娱乐、交通、银行、住宿、购物、生活7大类，7大类下又提供54小类周边POI搜索服务。

基于位置VR/AR的周边POI检索方案，相比于传统地图POI检索方式具有以下优点：

（1）将周边POI在手机摄像头上进行统一分类叠加展现，支持兴趣点的二次点击和动态移动。

（2）展现周边POI的位置、朝向、距离等信息。

（3）实现实景化的目标导向和POI信息增强，提升用户位置判断和目标识别体验。

（4）支持灵活参数配置（如检索区域大小等），根据不同使用场景灵活配置。

4 结语

本文通过VR/AR技术的导入，将授课基础知识点、课件、课堂问答和实验实践虚拟化，结合虚拟化场景的呈现和完整流程，为学生提供动态、开放的结构化认知形式，从而便于学生更好地理解课程知识，体验课程体系和关联知识，为卓越工程师培养提供了新的教学思路。

基于VR/AR技术，探索教师在教育教学上进行授课方式创新的新形式。将抽象的科学概念以可视化方式呈现，以及融入语音、手势、体感等多种交互方式以创造沉浸感，使教与学更形象具体，符合人类认知习惯，有助于启发性、协同式和情景式教学发展。

参考文献：

[1] RODRIGUEZ N. Teaching virtual reality with affordable technologies[J].Lecture Notes in Computer Science， Proceedings of Lecture Notes in Computer Science （including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics），2016（11）：89 97.

[2] 王培霖，梁奥龄，罗柯.增强现实（AR）：现状、挑战及产学研一体化展望[J].中国电化教育，2017（3）：16 23.

[3] 朱斌，曹漫祥.VR技术及其在现代教学中的应用[J].中国教育信息化，2007（5s）：62 64.

[4] 赵兵，韦薇，李红宇.虚拟现实技术在风景园林教学中的应用[J].中国林业教育，2009，27（5）：72 75.

[5] 茅洁.增强现实技术在游泳教学中的应用研究[J].武汉体育学院学报，2018，52（5）：67 72.

[6] 郑康，王小婷.让VR技术贴近安全生产实际[J].现代职业安全，2017（5）：77 79.

[7] 成董浩，浑宝炬，靳凯.增强现实技术在矿井通风系统中的应用前景分析[J].工矿自动化，2018，44（8）：10 14.

[8] 万艳敏，付莹.增强现实技术在服装领域的应用[J].毛纺科技，2018，46（5）：57 61.

[9] 余日季，蔡敏，蒋帅.基于移动终端和AR技术的博物馆文化教育体验系统的设计与应用研究[J].中国电化教育，2017（2）：31 35.

[10] 王廷魁，杨喆文.案例对比分析BIM与AR在施工现场培训中的应用[J].施工技术，2016，45（6）：44 48.

[11] 潘雯，宫建.3D可视化、3D打印、虚拟现实、增强现实在医学中作用的研究进展[J].实用医学杂志，2017，33（17）：2969 2971.

[12] 美国：2016 2045年新兴科技趋势报告[EB/OL].http：//www.21ic.com/iot/smart/data/201701/699932.htm.

[13] 张四方，江家发.科学教育视域下增强现实技术教学应用的研究与展望[J].电化教育研究，2018，303（7）：64 69，90.

[14] 梁华勇.虚拟现实技术及其在高校中的应用[J].广东培正学院学报，2005（4）：61 64.

[15] 蔡苏，张晗，薛晓茹，等.增强现实（AR）在教学中的应用案例评述[J].中国电化教育，2017，362（6）：1 9，30.

[16] 李小平，张琳，张少刚.智能虚拟现实/增强现实教学系统构造研究[J].中国电化教育，2018，322（1）：97 105.

[17] 张海森，杨光辉，刘超见，等.基于AR技術的跨平台移动终端的辅助学习系统[J].图学学报，39（1）：85 90.

[18] 廖宇峰.增强现实（AR）技术在图书馆中的应用研究[J]，情报资料工作，2017（1）：62 66.

[19] 马林山，赵庆峰.基于现实技术的图书馆空间参与式服务项目开设研究[J].图书馆理论与实践，2018（2）：92 96.

[20] 张树鹏，侯文军，王希萌.基于增强现实虚实交互的科普知识学习方法设计研究[J].包装工程，2017，38（20）：48 55.

[21] 段弘，吴琳.“出版+AR”：以出版主体为中心的增强现实技术应用研究[J].出版广角，2017（12）：20 23.

[22] 周荣庭，孙松.增强现实出版物产业价值链分析[J].出版广角，2018（8）：3 6.

[23] ANONYMITY.What can virtual reality teach us about life on a plantation [EB/OL]. http：//www.grinnell.edu/news/what can virtual reality teach us about life plantation.

[24] 王同聚.虚拟和增强现实（VR/AR）技术在教学中的应用与前景展望[J].数字教育，2017，3（1）：1 10.