基于增强现实技术的电子书分析——以“AR涂涂乐”为例

孙锦 王慧君

实践案例

基于增强现实技术的电子书分析
——以“AR涂涂乐”为例

孙锦 王慧君

（河南大学 教育科学学院，河南 开封 475004）

从“虚拟现实”到“增强现实”的发展实现了现实世界与虚拟世界的结合，“神笔马良”不再是传说。增强现实技术不断被应用到社会各个领域，改变着人们的生产生活方式，应用此技术设计开发的电子书也给传统纸质图书带来了挑战。本文在对增强现实技术特点及增强现实技术在教育中应用进行阐述的基础上，以“AR涂涂乐”3D互动图书为例，从增强现实电子书的特点、产品设计与技术实现等方面做了较为详细的分析，以期为增强现实电子书的研究和应用提供借鉴。

增强现实技术；电子书；AR涂涂乐

随着互联网普及，信息全球化势不可当。科学的不断发展推动着技术的变革，将虚拟情境与现实结合起来的想法引起了人们的关注。早在20世纪60年代，美国就开始研究增强现实技术，随着国外研究高潮的不断迭起，我国的部分高校、研究所也加入研究中并取得成果，增强现实技术开始被越来越多的人认识并逐渐得到重视。2011年《地平线报告》中就已提到增强现实和基于游戏的学习，并预测其会对教育领域产生重要影响[1]。截至2017年3月，在中国知网中以“增强现实”为主题词进行专业学术检索，检索到2000余篇期刊文章和672篇博硕论文，从2010年开始文献数量呈现快速上升趋势，且多数研究分布于计算机和教育领域，可见增强现实技术在未来教育中将发挥重要作用，增强现实技术正在成为教育领域教学研究的一大热点。

一、增强现实技术及其特点

（一）增强现实技术的内涵

增强现实[2]（Augmented Reality,简称AR）是近年来随着虚拟现实技术的发展而产生的新技术，是虚拟现实(Virtual Reality,简称VR)中的一个分支，涉及计算机图形学、人机交互技术、模式识别、计算机视觉等多个领域。

众多专家学者研究增强现实技术，并结合特定研究范畴对其下定义。北卡罗来纳大学的罗纳德・阿祖玛（Ronald Azuma）教授将增强现实归纳为虚拟与现实融合、即时互动和三维注册三部分内容；保罗・米尔格拉姆(Paul Milgram)和岸野文郎(Fumio Kishino)提出了现实—虚拟现实连续体，他们将真实环境和虚拟环境分别作为连续体的两端，位于它们中间的被称为“混合实境”。其中靠近真实环境的是增强现实，靠近虚拟环境的则是扩增虚境[3]。以上的定义中均提到了虚拟与现实的结合，由此认为增强现实技术是指将现实世界中难以体验到的实体信息（视觉、听觉、触觉等），通过模拟仿真等技术将其叠加到现实世界，从而被人类所感知，达到超越现实环境的沉浸式体验[4]。其中仿真技术将计算机等专业设备作为基础工具，调用提前制作完成的系统模型使物体以虚拟形式呈现，达到高度还原效果。增强现实在此技术基础上将虚拟物体与真实场景结合，旨在达到视觉、听觉、触觉等全方位感官的增强，使用户沉浸其中，实现与现实的交互。

（二）增强现实技术的特点

虚拟现实为用户提供了完全虚拟的环境，而增强现实将虚拟环境融入周围现实场景中，实现互动体验，具备虚实结合、交互性强、效果立体化的特点。

1.虚实结合

增强现实技术将虚拟与现实相结合，使用户可以直接感知。与虚拟现实不同，增强现实技术将真实存在的场景与叠加在场景上的虚拟化物体结合，经过光学投影等一系列技术处理实现真实场景中融入虚拟立体图形的效果，为使用者带来沉浸式体验。虚实结合是增强现实技术的核心特征，也是能够反映其本质的独具特色的特征。

2.交互性强

增强现实技术实现了人机交互，使用此技术的人通过操控移动设备中的识别标志，显示设备上就会对应出现虚拟物体，在此基础上实现了人、机器和界面的有机结合。用户向计算机输入指令，计算机进行后台处理后将结果输出，用户即可观看到结果。通过人的操纵还可以变换界面呈现效果，更强调了人机互动的这一过程，交互性在其中也有明显的体现。

3.效果立体化

增强现实技术通过特定设备或物体识别特定标志，虚拟物体接收绘制信息从而呈现出立体化物体，其中主要是依据不同的识别标志，根据现实场景的位置，将预先做好的立体效果叠加到现实场景中即可。这种立体化效果将抽象的平面内容更加直观地以立体化形式呈现出来，变抽象为具体，方便人们理解。

二、增强现实技术在教育中的应用

目前，增强现实技术已在军事、医学、商业、教育、航海训练等领域开始了尝试性应用并取得了一定成效。教育与AR技术的结合为学习者创设空间立体材料的同时推动了技术与教学的深度融合，使其无论作为教学内容还是作为教学工具都能促进知识的吸收内化，带来教育领域的创新发展[5]。目前，AR技术在教育领域中的应用主要体现在以下几个方面。

（一）基于AR的课堂教学

增强现实技术教育应用以情境学习理论与沉浸理论为理论基础[6]，以建构主义学习理论指导知识的获取与吸收，强调个人体验的重要性。基于AR技术的课堂教学强调利用AR技术创设学习情境，将学习资源叠加到真实情境中进行教学，使用AR教具变抽象经验为具体经验，通过个人真实体验建构知识体系，达到知识的理解内化效果。例如考夫曼（Kaufman）教授在教学过程中利用名为Construct 3D的AR教具将复杂抽象的空间几何图形以三维立体形式呈现，他指出，AR教具的运用在提高师生兴趣的同时提高了学生的学习效率，对于学习效果的提升也是显而易见的[7]；蔡苏等人以增强现实学习环境为基础提供了基于AR课堂教学的典型案例[8]，为基于AR的课堂教学提供了范本，随着技术的推进，AR技术普及课堂近在眼前。

（二）基于AR的技能培训

基于AR的技能培训，为高校学生，特别是技术导向相关专业的学生开展工作实践提供了便捷直观的操作指导。工程专业的学生可以使用AR技术识别零部件，模拟组装专业设备；相关人体教学AR应用可以帮助深刻理解人的身体构造，在医学培训中推广此类应用有利于提高认知的准确度。AR头盔、谷歌眼镜等可穿戴技术的出现也为技能培训提供了物质条件和设备基础。

（三）基于AR的移动学习

AR技术应用于移动手持设备中，将手机镜头获取的现实信息传送至计算机，由计算机反馈的附加信息对现实场景进行补充和扩张，满足了随时随地个性化学习的需要。移动学习突破了空间局限，能够在任何时间、任何地点学习。增强现实技术与移动设备固有特点相结合，将虚拟物体呈现于真实世界中，为移动学习实践提供技术支持，推动了探究性学习的发展[9]。除此之外，多人使用具备AR技术的移动设备模拟部分学习环境，分角色扮演并在已创设的情境中开展交互活动，提高学习参与度的同时增强了学习者的问题解决能力。

（四）AR教学产品开发

随着AR研究的推进和技术的发展，越来越多基于增强现实技术的教学产品被设计开发出来。谢尔顿（Shelton）等人利用AR教具讲授九大行星，使位于立体空间的行星真实地出现在眼前，提高了教学互动和教学效果[10]。AR教育游戏的出现与寓教于乐理念相契合，提高了学生的动手能力，如早教游戏《熊猫博士》，儿童可迅速将自我角色融入，建立与其他动物的互动联系，在合作交流中探索世界。除此之外，AR卡片、AR电子书的出现对传统纸质书籍带来了挑战，AR电子书利用摄像机标定、三维注册等技术实现虚拟与现实的结合[11]，例如实现与恐龙互动的I Dinosaur（《恐龙》）书籍[12]，以及新开发的用于儿童认物识字的“AR涂涂乐”等。

三、以“AR涂涂乐”为例分析增强现实电子书

AR技术应用于教育领域并设计开发出一系列促进教与学的学习产品，其中典型产品当属AR电子书。“AR涂涂乐”就是一款新开发、具备代表性的增强现实电子书，在此主要从增强现实电子书的特点、纸质图书设计、应用程序设计及三维模型设计等方面对“AR涂涂乐”进行分析。

（一）“AR涂涂乐”的特点

“AR涂涂乐”是针对学龄前儿童设计开发的一款增强现实电子书，手持终端学习者通过涂鸦、扫描、跟读、互动等完成识字认物的学习。此款AR电子书需要纸质书籍与移动终端（手机、平板等）结合使用，手机扫描书本上的二维码下载安装应用程序（APP），打开软件激活后即可开始学习。从纸质书籍使用角度，学习者可根据自己的喜好进行涂鸦，发挥想象力将物体的线条和轮廓涂上颜色，家长依据其表现为学习者打分并将空心星星涂色，书本上配图旁的文字可供学习者识别阅读。从APP使用角度，学习者打开软件选择相应书籍即可进入学习。将手机摄像头对准纸质书籍上的图片，正确识别后移动端屏幕上出现图片中物体的立体化效果，点击屏幕可与三维物体进行互动，比如点亮蜡烛、打开车门等。

（二）整体设计

“AR涂涂乐”通过在移动设备上下载APP，扫描纸质书籍标识后出现立体三维图形实现交互式学习。对这款增强现实电子书的整体设计分析从纸质图书设计与制作、APP设计与开发及三维模型设计与实现三方面来具体阐述。

1.纸质图书的设计与制作

“AR涂涂乐”配套使用的纸质图书针对学龄前儿童特征设计开发。学龄前儿童注意力不能够长时间集中，相对于文字学习更倾向于阅读图文并茂式学习材料。针对其学习特点，“AR涂涂乐”纸质图书中字体设计比较大，采取少字数、大行距模式，图画设计色彩鲜艳，对比度高。页面中印制有动漫人物或动物等图形的轮廓，儿童可以根据自己的喜好填充颜色，这个颜色决定了立体效果图中物体的颜色，有利于激发孩子的想象力，提高动手能力。书中中英汉字结合，符合双语教学目标。每一页右下角设置有以星星为代表的评价模块，家长可以根据孩子的表现为五颗星涂色打分，如图1所示。

图1 纸质图书

增强电子书在特定位置会有识别标志的出现，以便用移动设备对其进行扫描。书中图案的布局也经过精心编排，需要与呈现的三维模型相对应，将纸质图书与立体图形以最优化布局呈现出来，发挥最大虚实结合效果。

在纸质图书的制作过程中，主要是利用Photoshop和Adobe Illustrator软件对图画进行制作和编辑，将制作完成的图画印制出来并装订成册,且保证书本纸质较厚，不易折坏或磨损。

2.应用程序设计与开发

增强现实电子书是将纸质图书中的识别标志与移动设备中的摄像扫描对应起来从而实现立体化效果的过程。针对此案例，移动终端支持平板电脑、手机等，ios系统及Android系统均可。整个过程通过移动设备的摄像头捕捉图书中的标记，识别图案，根据图案搜索出服务器中已制作好的三维立体图形，将三维立体模型与图书中的图案融合起来，将活灵活现的场景呈现在移动设备屏幕上，并且可以操作屏幕中的立体模型，实现多角度呈现、放大缩小等动画效果。

在APP图标设计上，呈现出立体化小恐龙拿铅笔的图片，生动形象。点击图标打开此软件，主页面色彩搭配和谐，动漫人物和小动物对应着几本书呈现在屏幕上，儿童可以根据已购买的图书选择对应的模块进入学习，“分享”图标可将此软件推荐给更多人，“团队”和“更多”是对这款软件的开发背景及同类增强现实电子书的介绍。

点击进入扫描页面后，会出现扫描框，这也就是标志扫描的地方，一般距离图书20—40厘米，在光照适中并稳定的环境下对准纸质图书中的识别标志进行扫描。左下角支持中英文转化，可选择语言类型，右上角的相机按钮可以在出现立体三维图形的同时截取画面，留下神奇瞬间，如图2所示。

AR应用程序采用ActionScript 3.0为开发语言，FLARToolKit作为跟踪类库，Papervision3D作为三维框架，3D MAX和Collada分别作为模型制作和转换调用[13]。ActionScript 3.0是一种面向对象的编程语言，为程序实现奠定互联网编程基础，结合FLARToolKit增强现实开源库，利用Papervision3D将3D效果引入Flash平台，使用3D MAX制作出逼真的立体三维动画。后期声音的制作需要使用Adobe Audition工具辅助实现。

图2 扫描页面

3.三维模型设计与实现

三维模型主要利用3D MAX及Unity等软件进行前期制作，采用位图贴图的方式，为模型的各个角度图片上色，同时由于模型的调用需在网络环境下进行，为提高其调用速率，在保证模型逼真度的前提下要进行适当的压缩处理以减小文件的大小。图书中的识别标志与摄像装置结合的瞬间将提前制作好的存储在云端的三维模型调用呈现，现实与模拟融合在一起，给学习者以真实感，如图3所示。

图3 增强现实效果

四、结语

增强现实技术在教育领域的应用为教与学提供了新思路，作为其代表性产品，增强现实电子书突破了纸质书籍的局限，为学习者提供模拟真实的直观学习材料，促进了知识的获取与吸收。“AR涂涂乐”通过移动终端简单便捷的扫描即可将平面化物体“跃然纸上”，多种互动形式激发了学习者的学习兴趣，使其在与立体化“伙伴”交流中学习知识、认识世界。当然，增强现实电子书处于发展阶段，不论是3D模型的逼真度还是互动效果都存在不足，需要在后期的研究及制作中进一步完善。随着智慧课堂和数字化学习的推进，增强现实电子书作为新兴学习媒体将会对课堂环境、教学模式乃至教育领域带来颠覆性影响。

[1]地平线报告[R].上海：SHANGHAI EDUCATION，2011．

[2]赵超.界面设计——从人机关系走向人际关系[J].装饰，2002，(4)：20.

[3]张萍.基于虚拟现实艺术的软件界面设计研究[D].湖南：湖南师范大学，2010.

[4]姚远.增强现实应用技术研究[D].杭州：浙江大学，2006.

[5]王德宇，宋述强，陈震.增强现实技术在高校创客教育中的应用[J].中国电化教育，2016，(10)：112-115.

[6]胡智标.增强教学效果 拓展学习空间——增强现实技术在教育中的应用研究[J].远程教育杂志，2014，(2)：106-112.

[7]Kaufmann,H.The potential of augmented reality in dynamic geometry education[C]//12th International Conference on Geometry and Graphics,Salvador,Brazil，August 6-10，2006：35-49.

[8]蔡苏，宋倩，唐瑶.增强现实学习环境的架构与实践[J].中国电化教育，2011，(8)：114-119.

[9]程志，金义富.基于手机的增强现实及其移动学习应用[J].电化教育研究，2013，(2)：66-69.

[10]Shelton B,Hedley N.Using Augmented Reality for Teaching Earth-Sun Relationships to Undergraduate Geography Students [C]//Augmented Reality Toolkit.The First IEEE International Workshop,Darmstadt,Germany，September 29，2002：1-8.

[11]韩存齐.无标识增强现实电子书系统研究与实现[D].武汉：华中师范大学，2014.

[12]萧冰，王茜.增强现实技术在儿童科普读物中的应用研究[J].科技与出版，2014，(12)：108-110.

[13]许山杉.增强现实电子书的开发[D].上海：华东师范大学，2011.

（责任编辑 乔磊）

An Analysis of Electronic Books Based on Augmented Reality Technology—A Case Study of the AR School

SUN Jin,WANG Huijun
(School of Education,Henan University,Kaifeng,Henan,China 475004)

The development of technology from Virtual Reality (VR) to Augmented Reality (AR)makes the combination of the real world and the virtual world a reality,which makes the "Legend Painter Ma Liang" no longer a legend.The AR technology has been increasingly used in various fields of the society,changing people’s way of life.E-books developed on the basis of the AR technology have brought challenges to the traditional paper books.Based on the analyses of the characteristics of the AR technology and its use in education,this paper took the 3D interactive books used in the AR School as an example to elaborate on the AR e-books regarding their characteristics,product design,and technology realization etc.It is hoped that the results of the study may offer some references for the research on and the application of the AR e-books.

Augmented reality technology;E-book;AR school

G4

A

2096-0069（2017）03-0061-05

2017-04-11

2017年度教师教育课程改革研究项目“农村中小学教师网络研修的现实困境与突破路径”（2017-JSJYYB-012）

孙锦（1993— ），女，河南开封人，河南大学教育科学学院教育技术学研究生，主要研究方向为信息化教学；王慧君（1966— ），女，河南新乡人，河南大学教育科学学院教授，博士，教育技术学硕士生导师，主要研究方向为教师教育、信息技术与课程整合。