增强现实技术在高校创客教育中的应用

王德宇，宋述强，陈 震

(1.清华大学 基础工业训练中心，北京 100084；2.清华大学 信息化技术中心，北京 100084)

增强现实技术在高校创客教育中的应用

王德宇1，宋述强2，陈 震1

(1.清华大学 基础工业训练中心，北京 100084；2.清华大学 信息化技术中心，北京 100084)

增强现实(AR)技术是借助视觉、听觉、触感、加速度等感官通道，建立起一套接近于现实的虚拟仿真环境，并与现实环境进行匹配融合，为体验者提供信息交互的一类技术。高等院校在教育教学活动中越来越多地采用实践教学的模式，强调学生的体验和参与。增强现实技术为教育教学提供了全新的可能性，一方面拓展了教学环境，将校园内外不同物理空间的内容编辑制作为AR内容，可以广泛应用于小班或大班教学中；另一方面能够将一些不适于进行实体交互的内容，通过AR仿真，让学生亲身参与体验，甚至交互。该文以清华大学iCenter在工程实践教学以及创新创业教育方面应用AR的规划及案例，探讨在未来课堂中应用AR新技术的前景。

虚拟现实；增强现实；创客教育；工程教育；创新创业教育

一、增强现实及其在高校创客中的应用

随着图形计算、数据传输、可穿戴显示、人机接口等周边技术的不断发展，增强现实(Augmented Reality，以下简称 “AR”)的相关技术及应用日趋完善。AR通过软硬件人机交互通道，从视觉、听觉、运动、触觉、味觉、嗅觉等方面建立一套感官刺激，与现实世界的感官融合，在现实世界中延伸出新的交互环境[1]。此外，区别于虚拟现实，AR更强调虚拟世界与现实世界信息的融合，并实时动态更新，能够极大扩展现实环境交互中，操作者所接收的信息[2]。基于这一特点，在很多创客实践教学中的场景中，AR在提高学习质量方面，都具有极大的潜力。

AR在娱乐游戏、工业生产、产品设计等领域的应用发展尤为迅猛。Arduino模块式可编程开发板、Unity 3D建模引擎等工具加快了AR交互硬件及交互内容的开发速度，同时也促进了交互真实度的提高，以及更为复杂的交互逻辑和沉浸感更强的体验方式的出现，如右表所示。AR已成为信息产业界和科技创新创业领域新的热点。美国知名孵化器Y Combinator对近年来的申请项目进行的一项分析表明，从2014年开始，创业项目申请中提及AR的次数则出现爆炸式增长。今年AR继续成为项目申请书中最常提到的术语之一[3]。产业界对AR的高度关注以及大量人才团队投身此项技术及其应用的开发，预示着其将成为未来社会中重要的一种交互模式。

在教育领域中，远程教学、虚拟仿真、虚拟实验等教学形式正随着基础设施的完善而日益普及。针对一些具有较高成本、对条件保障有较高要求、高危险性、不可及等特点的设备、实验、系统等教学场景，AR技术提供了一种接近真实、便捷的教学方式[4]。近年来盛行的创客运动，一方面在推动AR相关交互展示技术和内容制作的发展，另一方面从AR技术的快速发展中受益。高校创客教育，以学生为主体，以项目为导向，其教学内容的来源，具有跨学科、跨地域、形式多样等特性。借助AR技术，可以将不同地点的教学内容或研究开发对象，进行异地实时交互呈现，实现协同设计、协同开发，甚至协同生产。

增强现实技术特点

AR技术与创客教育真正的融合，则需要从学习过程全生命周期，以系统观角度进行研究和设计。与商业、娱乐应用不同，AR的教育应用设计，需要遵循教学活动设计的基本原则，其目标是提高综合教学成效，而不仅仅局限于提高师生互动，或是增强课堂参与度等某几个方面。笔者试图从培养目标、成效度量、师资、教学设施等角度，分析AR在高校创客教学中应用的机遇与挑战。

二、增强现实应用于创客教育中的意义及设计要素

(一)结合不同培养目标进行AR应用决策

培养学生在知识、能力、素养等方面所达到的目标，是决定教学活动中是否以及如何应用AR技术的要素。不同教学活动在三个方面的侧重，是AR教学内容设计的主要依据。在知识层面，学习过程的目标是对一套知识体系的掌握，以及若干知识点的记忆。根据这个目标设定的学习大纲，是为学习过程制定的“合约”，因此也定义了AR教学的内容合约。AR场景中出现的知识点，在展示时长、展示方式、内容准确性、出现顺序等方面，应遵循教学内容设计合约，并有利于学生掌握知识，利用AR交互多感官联动的特点，促进长期知识记忆的形成。此外，随着移动互联网的普及，以及数据压缩技术的提升，借助AR搭建虚拟实验室，由个人移动终端进行接入，可以让学生在课堂之外浏览课程内容[5]，这非常有助于课堂之外学生进行自主学习。

能力培养依靠实践训练，经过一定时间的积累形成。在创客教育中，通过开发平台、综合实践场景进行动手训练，真实性强，但限于各种因素，在特定情境下的实践常常不能完成。在一些高危险、高成本、不可及的场景下，AR可以提供更为接近实际场景的交互体验，从而对真实情境下所需要的技能进行训练。

AR所创造的环境，接近于真实场景，并可以根据需要设置一些挑战，例如灾害、实验安全事故等。这种场景，对于培养创客的基础素养，具有更好的效果，能够更为直观地传达信息。此外，依靠AR场景进行叠加信息，可以针对性地标示出需要特别注意的内容，从而加强素养的形成。因此，以创客实践素养为目标的学习内容，可以更好地利用AR进行训练，以形成更为强化的记忆。

(二)AR与成效度量方法的结合

创客教育中学习成效的度量，强调过程度量与结果度量并重。而AR教学内容中设置阶段性考核点，并在内容制作时，定义好过程度量的数据采集格式，有利于分析掌握学生的学习进度，更好地实时度量学习成效。借助AR等信息化手段进行教学的优势在于，教学过程可以更便捷地设定考核点，且过程数据多为结构化数据，便于后续分析。AR交互场景中，可以将创客任务分解为多个阶段的子任务，并设置不同维度的度量点。在团队协作中，也可以结合AR场景的实时交互性和信息叠加特点，有针对性地设置团队成员间一定信息的共享，例如考察其他团队成员的状态等，不仅让教学者能够实时了解学习进程，更促进学习者同侪之间的交流。

另外，AR在行为度量与分析方面，也具有一定的优势。利用AR进行快速部署，配合眼动仪等设备，对实践创客实践教学过程进行采集与分析，供日后进行分析，考察教学内容设计与学习成效之间的关系。

(三)师资建设

AR技术的应用，涉及信息技术、心理学、人机交互等多个学科，设计优秀的AR教学内容，不仅需要对学习过程的准确把握，还需要具备上述知识技能的专业人员配合。在AR内容设计环节，教学设计者与AR专业工程师配合，根据教学内容重点，设计AR交互。这一过程需要教学设计者梳理学习过程的各个环节，有助于教学内容质量的提升。此外，教学设计者也需掌握AR的基本原理和制作方法，从而更好地组织教学内容，以充分发挥AR交互提升学习成效的作用，并设计出利用AR特长进行学习评估的方法。

(四)AR教学设施

AR在各个领域都具有广泛的应用前景。在教育领域，针对科学、技术、工程等方面的教学内容与实践活动在日益增加。AR技术，在电子化教学基础设施和校园网络设施逐步完善的前提下，能够很快进行部署[6]。创客教学过程中，以项目为导向，同时由于AR场景涉及虚拟与现实信息叠加融合，这种个人使用模式，要求AR设备应按照课堂学生数量进行规划。

AR内容可以采用在线云端数据作为主要来源，对于具有独特学科背景或技术领域、或将课程内容建设列入创客教育发展规划的学校机构，则可以在本地建设私有云服务，从内容制作开始提供本地资源，缩短制作周期。

三、AR教学模式

(一)以AR技术为教学工具

高校创客教育中，工程训练是基础教学内容重点，学生可以利用AR进行零部件识别、模拟设备装配等指导性实践操作[7][8]。学生通过移动设备自主浏览和操作已经预制好的虚拟现实模型。此类互动模式简单，学生可以按照教学设计者规划好的信息进行交互。

对于生产系统、车间等级别的教学内容，常见于针对工业系统、企业、产业为对象的教学环节，同时更加关注系统中不同元素之间的组合及互动。例如，通过虚拟现实搭建生产线模型，配合工业系统仿真软件，可以更好地还原工业现场，学生进行设计与部署，并可观看虚拟世界的系统仿真结果[9]，还可通过AR直接作为交互界面，控制实际机械臂完成工件夹持和上下料等操作[10]。这类交互情境中，需要学生独立对虚拟世界中的元素进行操作。为了保证学生的体验及课堂效率，每位学生通过个人终端、可穿戴设备(如头戴显示器等)、数据手套等设备进行操作输入。显示设备也以可穿戴设备为主，如头戴显示器、增强现实眼镜等。

(二)以AR技术为教学内容

结合高校对人才培养的要求，可围绕AR技术原理、产品研发、内容制作、模式设计、应用开发等方面开设相关课程。AR技术包括计算机图形学、摄影摄像、图像处理、立体视觉生理学、人机交互等方面的知识与技术。教学内容的组织大致可分为四个模块：(1)虚拟现实理论及应用；(2)前期制作；(3)后期编辑；(4)交互设计。其中理论及应用模块主要引导学生认识AR技术的基本原理，了解常见的应用场景，启发设计灵感。前后期制作部分，围绕建模、虚拟场景制作、信息叠加等技术。交互设计则会介绍系统仿真、AR交互硬件原理及开发、Web交互、可穿戴设备交互、动作捕捉等[11]。

(三)AR应用于创新创业产品开发

高校创客教育着眼于创意创新创业项目实践。传统产品导向教学中，由于实体产品的定制化制造过程既耗时，成本又高，因此教师往往通过简化任务目标，或延长课程时间来进行弥补。增材制造技术的快速发展和应用，一定程度上缩短了原型产品制作的周期，但对于宝贵的课堂时间来说，仍然难以赶上教学进度的节奏，同时原型产品的材质选择大大受限于设备本身。AR技术的引入，则可通过更为真实的呈现方式，为教师和学生开发产品原型提供更快捷的方式，甚至比实物产品更利于进行查看和修改。

产品开发涉及对空间形体更为复杂的操作，因此常配备专用输入设备，如空间3D操作笔、数据手套、空间3D手柄等[12]。此外，一些虚拟现实系统，可以提供动作捕捉功能，让使用者可以直接通过肢体动作，对虚拟世界中的元素进行操作。有些则利用声音识别进行操作指令的输入[13]。

针对某一专门行业或领域设计的AR交互，可以通过更加丰富的现实设施，加强交互的真实性。例如，面向汽车设计的AR开发平台，能够借助成品车辆，通过叠加方式进行定制化改造，将虚实结合的增强现实界面，呈现给使用者，以形成更接近实物原型产品的效果，帮助设计师准确把握设计方案[14]。

利用虚拟现实或增强现实进行产品设计过程的支撑工具，不仅可以为创新团队提供更加快速的原型制作体验，并结合全球网络中的现有资源进行开发，还对学生形成协同化产品开发的理念起到帮助。

四、AR对教学过程的影响

AR的出现，源于通过仿真技术，提供一种安全、低成本、便捷的交互体验模式。在教育领域，这项技术有助于学生在与虚拟世界互动的过程中，建构自己对教学内容的理解，同时整个交互过程中，易于对操作、行为进行采集和分析。这种交互过程中，各个信息通道中呈现的内容，可以根据教学内容进行设计，并在可控的条件下进行呈现，利于学习者的注意力更为集中在有效教学内容上。此外，接近于游戏的交互模式，还能够帮助学生提高探索问题、定义问题、解决问题、交流沟通、团队合作等能力。

AR交互模式的丰富程度，对学生的参与度会产生影响。这种参与度来自多个方面。一方面，虚拟场景交互有助于建立起使用者与场景提供方之间的认同感，并当交互模式更加丰富，这种感觉也会随之增强[15]。基于课堂中更强的师生关系，教学内容整合到AR交互中，并结合可互动操作的虚拟场景，学生能够在交互中获得一定的成就感，这也有助于加强学生的参与度。另一方面，复杂的虚拟现实交互任务，过多的信息，会造成使用者认知负荷增加，降低在学习方面的认知资源，从而对学习效果造成负面影响[16]。在以实践为主要内容的课程中，虚拟现实有助于提升学生的实践技能[17]。尤其是在培训一些复杂操作前，通过虚拟现实进行培训，配合适当的指导，可以让学生更快地掌握技能。不过，值得注意的一点是，由于虚拟现实对危险因素的呈现有限，同时使用者会以更加放松的心理从事虚拟世界中的任务，因此对于实验安全意识的培养，相较实物操作会有所欠缺。

五、结语

虚拟现实与增强现实技术，已经不仅是实体交互的一种替代。AR在工业、娱乐、医疗、军事等各个领域的广泛应用，如同电子化阅读取代印刷品阅读的过程一样，正在逐渐改变人们与世界交互的习惯。然而这种交互模式中，仍有很多问题值得探索和改进，例如怎样更有效地传递期望使用者得到的信息，如何消弭虚拟世界与现实世界融合的鸿沟，如何减少虚拟世界漫游产生的不适等。对于高校教学来说，无论是作为研究对象，还是作为支撑工具，AR技术无疑将具有广阔的应用前景。借助这些技术培养未来创新人才，也将对教学内容变革的方向产生影响。

[1]邓志东,余士良等. 通用虚拟现实软件开发平台的研究及其应用[J].系统仿真学报, 2006,(12): 3438-3443.

[2]徐伟平,朱仲涛等. 增强现实硬件平台的实现与应用[J].实验技术与管理, 2003,(1):7-9.

[3]Friedman J. Reading applications to Y Combinator is like having access to a crystal ball [EB/OL]. http://themacro.com/articles/2016/05/the-startup-zeitgeist,2016-05-15.

[4]Potkonjak V, Gardner M, Callaghan V, et al. Virtual laboratories for education in science, technology, and engineering: A review[J].Computers & Education, 2016,(95):309-327.

[5]王萍.基于增强现实技术的移动学习研究初探[J]. 现代教育技术,2013,(5):5-9.

[6]赵士滨.虚拟现实技术进入高校教学的研究与实现[J].电化教育研究, 2001,(2):30-35.

[7]Michalos G, Karagiannis P, Makris S, et al. Augmented Reality (AR)Applications for Supporting Human-robot Interactive Cooperation[J].Procedia CIRP, 2016,(41):370-375.

[8]Mura M D, Dinia G, Faillia F. An Integrated Environment Based on Augmented Reality and Sensing Device for Manual Assembly Workstations[J]. Procedia CIRP, 2016,(41):340-345.

[9]张伟,马靓等.基于运动跟踪和交互仿真的工作设计[J].系统仿真学报, 2010,(4):1047-1050.

[10]刘国现,于莲芝等.空间遥操作机器人增强现实系统设计与实现[J].微计算机信息, 2010,(2):148-149.

[11]赵沁平.虚拟现实综述[J].中国科学, 2009,(1):2-46.

[12]张伟,张为涵等.协同式虚拟产品外形设计与快速试制系统研究[J].系统仿真学报, 2004,(9):1974-1977.

[13]Chu C P, Dani T H, Gadh R. Evaluation of virtual reality interface for product shape designs[J]. IIE Transactions, 1998,(30):629-643.

[14]张林鍹,辛献杰等. 面向汽车产品设计的虚拟现实服务平台研究[J].系统仿真学报,2014,(10):2407-2411.

[15]Scholz J, Smith A N. Augmented reality Designing immersive experiences that maximize consumer engagement[J]. Business Horizons,2016,(59):149-161.

[16]Cheng K H, Tsai C C. Affordances of Augmented Reality in Science Learning Suggestions for Future Research[J]. Journal of Science Education & Technology,2013,(22):449-462.

[17]Akçayır M, Akçayır G, Pektas H M, Ocak M A. Augmented reality in science laboratories: The effects of augmented reality on university students’ laboratory skills and attitudes toward science laboratories[J].Computers in Human Behavior,2016,(57):334-342.

Application of Virtual Reality and Augmented Reality in Maker-driven Education in Universities

Wang Deyu1, Song Shuqiang2, Chen Zhen1
(1.Fundamental Industry Training Center, Tsinghua University, Beijing 100084; 2.Information Technology Center,Tsinghua University, Beijing 100084)

Augmented reality(AR)use visual, auditory, tectile, spatial cognition channels to build a simulated environment and to integrate the environment with the real world, where users can have various kinds of interactions. As practical, hands-on, experiential learning activities are included in more courses in higher education, AR can be used in a wider range of scenarios. On one hand,AR can help extend the learning context, connecting different physical spaces to a classroom. On the other, some interactions with tangible objectives that are not applicable to classrooms can be converted to virtual interactions where students can experience. In this article, we will discuss about how to apply AR technologies into higher education, based on the experience in Tsinghua University.

Virtual Reality; Augmented Reality; Engineering Education; Entrepreneurship; Maker Education

G434

A

王德宇：硕士，助理工程师，研究方向为高校创客教育、工业与系统工程(wdy@tsinghua.edu.cn)。

2016年8月29日

责任编辑：赵兴龙

1006—9860(2016)10—0112—04