增强现实学具的开发与应用*——以“AR电路学具”为例

陈向东，乔 辰

(华东师范大学 教育信息技术学系，上海 200062)

增强现实学具的开发与应用*
——以“AR电路学具”为例

陈向东，乔 辰

(华东师范大学 教育信息技术学系，上海 200062)

增强现实学具将虚拟信息融入真实学习环境，使信息的呈现既能与真实物理空间对应，又不受学具真实属性的约束，弥补了传统学具的诸多不足。增强现实技术融入学具的开发，能够向学习者提供降低认知负载的知识访问接口，从物理感知、认知、情境三个维度拓展了学具的应用。该文通过“AR电路学具”的开发与应用，介绍了增强现实学具需求分析、设计、开发、调试与分布的完整流程，给出了相应的技术选型方案和开发实施路线，提供了实际应用方案。增强现实学具的研究可以强化学具的助学功能，拓展学具的应用范围，丰富教学工具的表现形式与互动手段。

增强现实；学具；电路学具

一、引言

学具是一种辅助教学活动的重要工具，它能够将抽象的信息转化为具体的形态，向学习者提供直接的观察或触控体验，从而刺激学习者的多维感官。然而，传统学具的表现力受其物理载体的限制，在很多应用中效果不太理想。增强现实、体感控制、可穿戴设备等各类新技术的涌现，大大丰富了教学工具的表现形式与互动手段。将增强现实技术应用于学具的设计和开发，可以使学具以一种新的形式发挥辅助学习的功能，拓展了它的应用前景。

二、增强现实学具的作用

增强现实是一种融合真实世界和虚拟世界的成像技术，它将计算机实时渲染得到的虚拟信息呈现在真实世界相应的注册区域之上。所谓的注册区域可以理解为存储在增强现实程序中的真实世界影像，例如一张图片或者一个标记，程序能够从摄像头捕获的视屏输入流中比较并识别这些“注册”了的影像，同时进行相应的虚实叠加操作。

将增强现实技术融入学具，既能够保留学习者直接操控实物材料的真实体验和空间临场感，又能够利用计算机处理和呈现丰富的教学信息。除此之外，借助AR技术融合真实环境和虚拟环境，在支持实物操控体验的同时，通过感知真实环境中的变化(学习者改变作为标记的学习素材的位置、方向或外形；学具系统通过各种传感器或GPS定位系统检测到环境的变化)对学习者的学习行为做出反馈，这一方式使得增强现实学具(以下简称AR学具)虚拟信息的呈现更为自然。

和所有学具一样，AR学具需要嵌入学习目标，并且其学习内容的呈现应当充分发挥增强现实技术的优势。AR学具在一定的学习目标下安排合适的内容、设计潜在的学习互动，并将这些要素通过适当的使用规则整合到学具中去，提供教学信息访问的接口。有别于一般学具的是，AR学具的使用，要求学具系统必须斟酌目标主体的技术接受能力、学习习惯及其认知规律，从而使AR形式的学具在有效助学的同时，不产生额外的认知负担。

AR学具在教学过程中所起的作用如下页图1所示。在一个以AR学具为载体的学习环境中，学习者与虚实资源的交互是教学活动的重要组成部分，通过各种视觉、听觉信息以及与对应于真实物体方位的虚拟资源的交互，AR学具使得学习者受到多维度的感官刺激，扩充了其知识内化的信道数量。

图1 AR学具的作用形式

图1的模型也反映了AR学具的应用功能，它承担着呈现和传播教学内容的职能。学习者直接与AR学具交互，通过学具提供给他们的访问通道去接触所学内容，这也是AR学具的价值所在—向学习者提供降低了认知负担的知识访问接口。

当然，在教学内容、学具和学习者要素之外，该模型还包含教师或其他协调人员。通常情况下，学习活动都直接或间接的需要协调者的组织，不论是老师的课堂引导、布置家庭作业，还是家长的家庭辅导。另外，AR学具应当能够记录学习者的学习状态，实时或异步地将学习者的学习情况反馈给教学组织者以及学生自身，从而促成AR学具环境中各要素之间的信息沟通。

TinkerLamp就是这样一种典型的AR学具[1]。它是一个用于仓储管理职业培训的AR学具，学习者可以在学具提供的增强现实仓库模型中对理论知识进行实验，从而将理论与实践联系起来。学习者借助学具实体部分(货架、办公室、货运码头等塑料模具)与学具交互，学具将增强效果反馈给学习者。同时，教师也可以通过TinkerKeys(标记)与学具进行交互，切换学具的不同状态、控制学习进程，并由此与学习者进行直接或间接的交互。

对于增强现实技术对于学习的作用，有学者曾经从物理感知、认知和情境三个纬度进行了分析[2]。基于这三个维度，增强现实技术拓展了传统学具的应用。

(1)物理感知

物理接触的体验是一个人认知世界的最原始方式。与鼠标、键盘控制图形界面发生抽象交互的形式不同，支持物理世界真实交互的AR学具能够以真实的触感、自然的实时交互降低学习者操控体验的时空隔阂。同时，相比于虚拟学具需要掌握计算机操作技能，使用AR学具完全可以利用学习者已经惯用的真实物体作为操作接口，在一定程度上抑制了额外认知负担的产生。

认知心理学中具身认知(Embodied Cognition)的观点认为[3]，在学习的过程中认知主体的身体属性也是认知活动的重要因素，并且人们会在物理动作和抽象概念之间形成一种隐式的关联。相比单纯以视听方式表示的知识，具身化的知识应该能够取得更加牢固的建构效果。AR学具正是绑定身体动作与抽象知识的良好媒介，这种绑定通过学习者对物理对象的操控体验而得以发生。同时，AR系统支持虚拟物体在空间和时间上以最接近自然环境的方式反馈，这也强化了学习体验的效果。在配备了数据手套、体感识别、可穿戴显示器等交互设备的AR学具环境中，学习者可以获得体感操控、触感、重力反馈等细节体验的支持。这种更精细的体验给知识提供了更多的呈现方式，同时也能有效地吸引学习者的注意力，增添学习乐趣。

(2)认知

以抽象符号为载体的知识往往需要借助较为直观的道具来教授，特别是针对没有经验的初学者。但实物道具具有先天的缺陷，其中一个方面就是缺乏将演算过程中的符号表示同物理实体的状态变化对应的机制，尤其是当推演变得复杂的时候。例如，当学生在用实体学具进行数学演算时，由于与抽象数学符号分离，可能在脑海中并没有出现相应数学符号的推演变化，而这恰恰正是应该被学生构建的知识内容。

如果承载知识的相关信息在时间和空间上能够保持呈现和响应的一致性，那么这种机制对于降低学生的认知负担、简化认知难度产生积极的影响。AR学具的信息展示特点正好给时空连续的教学信息呈现提供了机会，它能够将这些信息同物理实体和空间方位整合在一起，同时在学习情境中对学生的操控提供与实物在空间方位上对应的响应信息。

此外，AR学具能够提供学习者在物理实体中或常态下难以获得的状态、环境和场景。例如模拟诸如深海、真空以及高温等极端环境中的现象，并将这些现象呈现在学习活动的真实空间内，学习者在普通的环境中就能轻松的获得这些平时无法轻易得到的感性材料。

(3)情境

AR学具能够创造特定的学习情境。例如，实验、实践形式的AR学具可以作为真实实验、实践操作的预演，这种预演在保证学习者绝对安全的同时，提供逼真的操作体验，也能够训练学习者的操作熟练度，提高他们进行真实实验、实践的效率。

AR学具也能够支持多种类型的情境学习，在智能手机、平板电脑等移动设备的支持下，AR学具可以脱离教室，在更广阔的空间范围内发挥作用。例如，借助移动设备的GPS、电子罗盘等传感器，AR学具能够在历史遗迹中再现特定场所的历史画面，从而为实地参访的历史主题学习活动提供更生动的认知体验。

通过改变学习者感知真实的体验，AR学具还能够在学习者熟识的情境中创造变化，这既重用了已有的环境资源，也能够在一定程度上维持学习者的好奇心和兴趣。

三、AR电路学具的开发

本节以笔者开发的AR学具—“AR电路学具”为案例，展示AR学具开发的主要流程。虽然在AR学具开发过程中，开发者往往根据现实条件选择不同的开发路线，但是与一般的软件系统的开发类似，AR学具的开发一般都需要经历需求分析、设计、开发和调试发布这几个阶段，如图2所示。

图2 AR学具开发流程

(一)需求分析

开发人员分析AR学具的使用情境、使用主体，明确AR学具所要提供的学习内容，确定学具的具体功能。AR电路学具针对的内容是初中物理电路结构相关的知识。根据《义务教育物理课程标准》(2011年版)条目3.4.3中给出的有关电路知识的学习要求[4]：

会看、会画简单的电路图；会连接简单的串联电路和并联电路；说出生产、生活中采用简单串联或并联电路的实例；了解串、并联电路电流和电压的特点。

从以上内容来看，带有串联、并联结构的简单电路是基础教育阶段学生需要掌握的知识点。在各种练习、测试当中，带电路图的电路分析题也常常出现，可见电路结构是初中物理考察的重要内容。

考察学习内容包含的知识单元，电路结构知识是一种概念性的知识，其中包含了至少三个概念：电压、电流和电阻，以及至少一个原理：欧姆定理，它反映了前面三个概念的关系(电流 = 电压/电阻)。这给了我们在虚拟呈现方面的一些启发：以某种方式显示三种概念和它们之间的关系。

学具的使用者大概是十三到十四岁左右的中学生，对于抽象概念有一定的理解能力，并且在进行电路结构学习之前应该已经掌握电压、电流、电阻的基本概念。因此学具的设计重心应当放在三者关系的表现上。

实验是辅助电路知识学习非常有效的形式。目前学生可以体验的实验主要有实验课上的真实实验和计算机中的虚拟实验。真实实验的进行需要众多条件的限制，而使用鼠标、键盘操控的虚拟实验则缺乏真实实验带给人的临场感和自然交互的体验。AR学具能够集两者的优势，更好地支持电路知识的学习。

项目的最终成果应该能够以虚实结合的方式呈现基本或较复杂的电路结构，并且可以模拟真实电路的通电状态，当用户改变电路元件时，电路状态应当发生正确的变化并反馈结果；此外，学具还应当具有某种策略或机制，引导学习者的学习过程，并提供启发性的思考和探索的机会；最后，学具应当使用方便、灵活，具备一定的扩展性。

(二)设计

AR电路学具的总体架构如图3所示，系统的实体部分包括引导学习过程进行的学习手册、若干代表特定电路结构的留空电路图以及表示电路元件的标志物。系统通过摄像头将真实环境的影像捕获并输入到计算机主机，学具软件的AR引擎从每一帧的视频输入流中扫描标记并在扫描命中的情况下注册和追踪标志物，最后，系统将虚拟信息叠加到每一帧输出流中以标记物标定的空间的相对位置，在显示器上呈现虚实叠加后的影像。

图3 AR电路学具的系统架构

学习的主要引导工具是学习手册，这是一个实体素材，和实验手册类似。手册扮演了教师的角色，学生根据手册的提示学会学具的操作使用，并在手册的引导下使用标记在特定的电路底板上生成可联通的电路，然后使用摄像头扫描电路，在显示器上观察程序处理得到的结果，并记录观察到的现象、反馈手册中的提问和其他要求，如图4所示。

图4 学习者用例图

设计阶段需要进行数字和实体资源的设计、操控交互设计与互动程序等方面的设计。学具素材外观的设计力求简洁清晰，对有效电路中各电性关系及量化数据的呈现力求做到实时有效。这些模型包括电灯、电压表、电池、可变电阻、电阻和开关等。此外，还需设计相应的实体资源，包括留空电路图、标志电路元件的黑白方框标记和学习手册。留空电路图是电路的底板，每一张图都表示某个特定的电路结构，空位是放置电路元件的位置，未放元件的空位表示电路在此断路；黑白方框标记代表具有一定阻值的电路元件或可变电阻，也可以是固定或可变电源，把这些标记放在留空电路图的空位上，将断路“连通”，AR程序就可以将虚拟信息叠加在连通电路中的每个元件上，增强实体资源的呈现效果。

本案例使用基于视觉的传统黑白方块标记作为注册标识物，同时在标识物上注明其所代表电路元件的属性及属性值。标识物能够表示多种电阻元件，包括灯泡、电源、可变电阻等，此外还有控制类型的标识物，它们作为操控可变电阻、可变电源电阻值、电压值的交互接口。

交互程序则是学具实现增强现实功能的关键。程序启动后就要从相关的配置文件中将标识物、电路结构描述矩阵等信息读入，进行预操作、启动摄像头；接着程序需要从摄像头的视频输入流中扫描并注册标记，并根据追踪的标记信息判断电路的连通状态；如果电路连通，程序就需要计算电路，包括每个元件的电压、电流值，并渲染相应的虚拟素材，将它们叠加到视频输出流中反馈给用户；用户如果做出了改变电路元件或加减可变电源、电阻属性的操作，程序应该能够正确响应并将新得到的结果呈现在显示器中。

(三)开发

本系统以开源项目为开发工具，对程序语言、集成开发环境(IDE)、增强现实开发包、以及系统平台和硬件设备的选型都以此为依据。此外，高自由度、易用和低成本也是开发选型的考虑标准。综合各方面的因素，本案例程序设计语言采用Java，集成开发环境采用Eclipse和Processing，增强现实开发包则采用NyARToolKit for Processing。Processing最初来自麻省理工大学多媒体实验室[5]，是一个开发人员为简化数字艺术作品的创作难度而设计的开发工具。它实质上封装了Java语言，并提供了自己的开发环境，集成了一些与图形图像处理相关的API。个案开发选择开源的增强现实引擎NyARToolKit，这是一个完全用Java编译的增强现实开发包[6]，是在ARToolKit 2.72.1版本的基础上衍生而来，可以认为NyARToolKit是ARToolKit的Java版本。其他方面，采用普通的网络摄像头和显示器作为增强现实系统的外围设备。

程序的开发主要分为两个阶段，其中第一个阶段在Eclipse平台进行，完成ARCLT SDK(Augmented Reality Circuit Learning Tool Software Development Kit，增强现实电路学习工具软件开发包)的开发；第二个阶段在Processing平台中进行，完成系统主控程序的开发。

ARCLT SDK，即增强现实电路学具开发包，封装了存储电路元件的数据结构，并设计了与电路生成和计算有关的算法。ARCLT SDK设计初衷是能将它应用于更多需要进行简单电路计算的场合，因此它与第二阶段的主控程序耦合度低。开发的第二阶段转入Processing平台，在项目中导入前一阶段开发的ARCLT SDK开发包以及增强现实引擎包Nyar4psg。主控程序需要使用两个包构建交互程序，它识别真实环境中的标识物电路，确定电路结构的每个位置上的元件，再将完整的电路信息交给CEGA(Circuit Expression Generating Algorithm，电路表达式生成算法)和CECA(Circuit Expression Calculating Algorithm，电路表达式计算算法)两个算法实现电路计算，CEGA算法根据注册追踪反应的电路信息生成能够以简单运算数和运算符号反映电路结构的“电路表达式”，CECA算法则根据前者生成的电路表达式计算电路中每个电路元件的电压、电流值。最后，将叠加了虚拟信息的影像输出到屏幕上。主控程序的活动图如图5所示，它组织实现了程序的主要执行逻辑。

图5 主控程序运行活动

开发完成后，需要对AR电路学具需要进行学习者和教师两种用例的测试。

四、AR电路学具的使用

一般AR学具的应用可以分为三个方面：(1)用于知识表现和教学演示。AR学具可以在课前引入情境、课中辅助概念讲解、学生自行演示体验等方面得到应用。(2)用于动作引导和实验操作。AR学具可以发挥其实时交互和智能计算的能力，对学习者的动作做出响应，表现出与真实物体互动的特性。(3)用于参观、学习游览等非正式学习活动。AR学具在移动设备的支持下仍然能够成为辅助学习的有效工具。

本案例中的AR电路学具既可用于课堂知识表现与教学演示，也可用于实验操作。由于本学具的应用主要定位于学生的自主学习，所以针对第二类应用作使用说明。

电路相关知识的学习需由教师确定学习内容和目标，使用学具系统自带或教师自行制作的留空电路图、标记作为学具的实体材料。教师还需制作包含自学引导和学习情况记录等功能的学习手册，手册需在安排学习任务时分发给学生。学习手册同时也是学习活动的反馈报告，学习者需在自学结束后将手册递交给教师，教师需对学习者的学习成果进行评价。

与一般导学方案类似，学生在学习手册引导下，根据教师的要求知识回顾、接触新知、动手实践、现象分析、规律总结、巩固发散等环节的学习，其中在动手实践与巩固发散阶段，利用AR电路学具进行探究。学生在学习手册的指导下，在AR电路学具的留空电路图中放置代表电路元件的标记、打开AR交互程序以实现电路的增强显示，学生在AR环境中观察电路现象(根据灯泡的明暗判断各原件电能的强弱)，并操控AR学具改变电路元件的属性，将观察得到的数据以表格方式记录在学习手册中(如图6、7所示)。

图6 在留空电路图中摆放电路元件

图7 学具呈现各个电压、电流和电阻属性

AR学具的学习手册可以帮助学习者分析数据，总结实验结果，并归纳出相关的电路变化规律。在此基础上，引导学习者自主探究、鼓励学习者借助AR电路学具的增强现实效果进行不同类型电路的试验。

在学习过程中，教师指导学生互相评估、交流各自的学习体验和发现，并且根据学生递交的学习手册情况，对学生的学习过程进行讲评，给每一个学生做出书面评价。

五、结束语

通过AR电路学具的初步应用，我们可以发现该学具的一些特点：(1)一致性。真实电路图的外观使得学习者很容易判断学具的使用意图。(2)有效反馈。互动程序能够对使用者改变电阻、设置电路结构等操控产生实时和正确的响应。(3)控制权。可以由学生完成整个学具的操作，教师并不一定需要出现在学习活动现场。(4)灵活性。能够支持使用者开发自己的留空电路图、电路元件标记和学习手册，满足个性化的使用需求。(5)最小化。AR电路学具聚焦具体电路结构的知识，功能简单，只给出最关键的电路状态数据。此外，受益于前期低耦合的设计，本项目中的AR电路学具从某种意义上说是一个学具框架，它支持并鼓励后期的自主定制开发，从而满足更多的教学需求。

本文的案例只展示了基于基本电路元件的学具开发过程。未来该学具的开发可以作更多的扩展：首先，用户的界面、学习状态记录和过程控制可以作更多的改进；其次，需要支持诸如二极管、电容等更多的电路元件；最后，改进学具的使用方式，进一步开发适合多人协作、基于移动终端的AR电路学具。

[1]Cuendet S, Bonnard Q, Do-Lenh S, et al. Designing augmented reality for the classroom[J]. Computers & Education,2013,(68):557-569.

[2]Bujak K, Radu I, Catrambone R, MacIntyre B, et al. A psychological perspective on augmented reality in the mathematics classroom[J].Computers & Education, 2013,(68):536-544.

[3]叶浩生.具身认知:认知心理学的新取向[J].心理科学进展,2010,(5):705-710.

[4]义务教育物理课程标准(2011年版)[M].北京:北京师范大学出版社,2012.

[5]Processing. Overview[EB/OL]. http://www.processing.org/overview/,2014-04-30.

[6]NyARToolkit Project. Welcome to NyARToolkit project[EB/OL]. http://nyatla.jp/nyartoolkit/wp/,2014-04-30.

陈向东：博士，副教授，研究方向为新媒体阅读、在线知识交流模式、数字图书馆（chen_xiangdong@163.com）。

乔辰：在读硕士，研究方向为教育数据挖掘、移动教学技术（qiaochen@outlook.com）。

2014年6月9日

责任编辑：李馨 赵云建

The Development and Application of Augmented Reality Learning Aids——The Case Study of AR Circuit Learning Aids

Chen Xiangdong, Qiao Chen
(Department of Education Information Technology, East China Normal University, Shanghai 200062)

With virtually unlimited expressiveness and ability to keep the virtual world aligned with the real, augmented reality(AR) learning aids overstep the limitations of their traditional counterparts. The introduction of AR into learning aids expands their application fi eld in the sense of physical, cognitive, and contextual dimensions, and thus supplements knowledge access with an interface that features in reduced cognitive load. Through the case study of “AR Circuit Learning Aids”, this paper explained the whole process of AR learning aids implementation, provided its technical selection and implementation routes, and gave correspondent usage scenarios. The study showed that AR learning aids are more expressive and interactive, and thus have a wider application fi eld. This study yielded a scalable circuit learning aid, and gave light to the application of AR in the classroom as learning aids.

Augmented Reality; Learning Aids; e-Circuit Learning Aids

G434

A

1006—9860(2014)09—0105—06

* 本文系教育部人文社会科学重点研究基地重大项目“教育信息化与基础教育教学方式转变研究”(项目编号：11JJ0880004)、教育部人文社会科学研究一般项目“增强现实电子书的开发与应用” (项目编号：12YJA880012)、上海市教育科学研究重点项目“基于新媒体的社会性阅读研究”(项目编号：A1308)阶段性研究成果。