增强现实动画技术在儿童教育中的开发研究——以AR涂涂乐为例

（四川音乐学院，四川 成都 610000）

随着2016年增强现实（Augmented Reality）技术的爆发式增长，各大科技企业如谷歌、Facebook、阿里巴巴等开始投资虚拟现实和增强现实领域，而可口可乐与宜家家居在增强现实AR广告的应用，更加印证了AR技术正在不断的发展中。2018年的资本市场开始慢慢冷静下来，增强现实概念逐渐淡出大众视野。除了技术在不断沉淀，AR技术应用开发将是其最终发展之路。增强现实AR技术在教育中将抽象的概念通过三维模型的叠加使其形象化。利用交互手段使得学生感受更加贴近真实世界，从视觉、听觉沉浸式的体验知识的乐趣增强了学习的趣味性，达到寓教于乐的目的。

一、增强现实（AR）技术的教育应用概述

增强现实技术最早于1990年提出，随后经历了近30年的探索研究。2009年SPRXmodbile公司推出了全球首款Layer的增强现实浏览器，能帮助用户通过手机获取当前环境的详细信息，2012年4月，谷歌发布了一款眼镜（Goolge Project Glass）用户可以通过显示屏提供辅助信息，同时可下达语音指令，实现拍照、导航、电话等功能。增强现实技术是在虚拟现实技术的基础上发展而来，主要利用电脑图形图像技术、可视化技术将真是世界与虚拟世界进行“真实”结合的技术。其把虚拟物体信息叠加到真实空间，也可以将不可见的概念实时交互的融合在真实世界中。

增强现实的硬件系统主要以计算机系统、标识识别系统、显示系统、传感器组成的人机交互系统组成，其主要有以下几种技术手段来实现计算机图形和可视化技术，由此将虚拟的物体与真实环境进行融合。AR与VR技术相比，AR可以不用穿戴设备，将学习对象与仿真世界融合呈现，使之方便有效地进行操作，在应用中用户以自然的交互手段进行自主探索，获得知识，能将真实环境无法表现的信息比如说磁场、电波、分子结构等与真实环境结合，且能互动，获得实时的交互体验。

（一）图像识别技术

通过对图像的特征进行分析计算得出对应的摄像机位置和图像特点。当摄像头拍摄到预定图像时将根据识别到的信息如图像位置、大小、旋转、反求出摄像机位置、移动、旋转等，由此可将3D虚拟模型叠加到真实空间中。除了特定单一图片，在特定场景或者物体的识别技术都与图像识别技术原理相同。如宜家家居AR情景广告，通过手机应用扫描宜家家居的画册，可以看到家具模型，可将喜欢的家具放入到自己家中查看展示效果。

（二）定位技术

除了通过图像识别到镜头的旋转等信息以外，还可以通过电子罗盘、GPS等设备来获取定位所在位置。如Pokemon Go的交互游戏、谷歌发布的Project Glass等。例如Project Glass它体积虽小但是将智能手机、GPS、相机集于一身，可以通过语音来控制拍照、发信息，使用地图导航、分享、直播等多种功能。利用定位技术，结合网络的传输，可现实地图信息将交互性提升到了一个新的台阶。

二、增强现实AR数字化教育的产品开发现状

（一）幼儿教育

增强现实AR产品应用涵盖多种方面，而在教育、医疗、科技、旅游、游戏以及大屏互动等应用中相对成熟。其中在幼儿教育领域比较成功的方式如AR卡片识物、多卡搭建场景、涂涂乐图书。在未来AR教育依然是技术应用极其重要的方向，幼儿教育环境本身对创新教育方式保持相对积极的态度，而且幼儿又更容易接受新鲜事物，在实际课堂中，借助AR技术将世界各地风景以3D的形式体现出来，甚至还能加入人机交互，在丰富了课堂内容的同时增强了学习体验，大大增加了课堂学习趣味，提高了学生学习兴趣。这使得AR在教育领域应用变得更加具有开发价值。

（二）中学教育

在中学阶段的增强现实应用主要以课堂理论和实验室实践为主要方案，提升理论知识的趣味性、形象化。在中学阶段，学生开始学习物理、化学、数学等抽象概念学科，增强现实可以帮助老师在课堂快速实现理论知识的可视化操作，对提升学生的抽象思维、探索能力也具有积极的促进作用。例如“云幻科教AR教学”应用方案。其涵盖了物理、化学、生物等学科，以中学的课程为方案设计，在演示过程中可以进行手势操作。可以通过交互方式从各个角度观察物理现象、生物动画、化学反应动画等，作为一种教学手段提升了学生的参与度，同时丰富了教学模式。

（三）高等教育

增强现实AR技术在高等教育中的应用同样十分广泛，它可以将抽象立体几何图形进行3D可视化，可以将机械模型进行拆分，将人体骨骼、肌肉、经脉等展现在学生面前等等。据研究表明，增强现实在教育教学中能帮助学生更加直观方便地获取专业知识，在教学过程中免去了复杂的抽象的概念，免去了手工拆分模型的烦琐，有助于学生专注于核心知识。这种沉浸式的体验，有助于培养学生专注力，训练学生的空间思维能力。目前增强现实在各个学科领域的应用，表明了作为一种技术手段其特有的沉浸式、交互式的优势，它可融合与各行各业，对各行各业相关专业的发展有很强的促进作用。

三、在移动客户端下的儿童图书动画产品需求分析

增强现实在图书领域的应用主要体现在书本作为可识别的对象，结合AR技术展现出3D物体，同时兼备沉浸式、交互式，甚至扩展AI智能的特点。开发儿童对事物认识的思维，拓展理解事物的维度。作为商业产品的应用，儿童图书产品需要更多关注到用户体验，比如更多考虑到书本识别图案的获取便利性、移动端对物体识别的便利性、产品的趣味性、可拓展性等因素。由此在制作基于增强现实技术图书中，除了遵守最基本的儿童教育图书相关法律和道德规范。对3D画面的设计应当适合儿童的美术风格；对交互性设计可选择以非文字方式体现，可采取手势控制、语音指令等方式体现。如由海洋出版社出版的儿童《AR涂涂乐2》系列图书，分别由多样职业系列、奇妙自然系列、多彩社会系列有趣物品系列四部分组成，通过手机客户端下载APP选择对应图书进行AR识别，儿童可将自己涂色的人物显示成三维模型，在美术和动画设计上选用可爱Q版风格，画面清新明亮，同时配有语音和屏幕触摸交互设计。

四、儿童AR涂涂乐动画产品开发

涂色类AR应用是将真实的图书图案图上颜色显示在虚拟模型上的一种AR应用，其通过绘画的方式与虚拟模型的颜色呈现做了一个交互体验，让客户有了另一种参与感受，这种AR技术方式对儿童的动手能力、色彩思维、立体空间形象思维等开发有很强的参考价值。目前涂色类AR在技术实现上有两种体现，第一种是实时的涂色（涂色过程会实时显示在虚拟模型上），另外一种是固定涂色（涂色结束以后，需要展示涂色效果的时候才显示在虚拟模型上）。两种方式各有优点，实时涂色方式可以实时显示体验过程，但在绘制过程中往往无法保持相机位置，识别容易受到环境因素而形成干扰；而固定涂色方式，是绘制结束以后才显示绘制效果，在识别过程中不容易出现干扰。

五、基于计算机图形识别的三维配准技术

在AR识物卡片涂涂乐实例中，可以方便的选定需要的三维配准工具，当下常用引擎为unity3D而支持引擎的增强现实的SDK配准插件包有Vuforia、EasyAR和Wikitude等。目前市面上主要的SDK开发工具包为Voforia和EasyAR。Voforia是增强现实应用的软件开发工具包，其除了平面图片识别还提供了圆柱体、立方体、虚拟按钮、智能贴图等功能。而EasyAR是国产增强现实SDK在行业中使用较多，其推出的免费版获得了许多爱好者的拥护，随着市场竞争愈来愈激烈EasyAR也不断在更新使其功能更加完善，可实现的效果也就越来越丰富多样，最终才会推动AR产业不断向前发展。Wikitude是国外一款增强现实SDK，与其他竞争者相比，它支持地理信息定位，而识别类型目前只有图片识别功能。

六、基于SDK开发工具包的增强现实制作技术整体设计

在制作AR增强现实中的SDK开发工具包有很多，本文以EasyAR为例。在基于EasyAR的增强现实制作流程中，主要划分4个步骤：涂色类AR识别图案设计、三维模型制作、配置识别图和模型制作、获取正确贴图的编程。

（一）涂色类AR识别图案设计分析

识别图设计的优劣会直接影响到最终能否被引擎识别，最终影响呈现效果。在涂色类AR的识别图中，分为两个部分，第一部分是有色部分，这一部分信息会作为定位模型的依据，第二部分是空白区域，这一部分需要客户手动上色以后在虚拟模型上呈现出来材质颜色区域。而第一部分的有色区域需要考虑美观以及可识别性，我们可以利用加大图案的复杂程度、清晰程度、对比程度来增强图形的可识别性。识别图的设计展现方式中常见有两种呈现方式，一种是正交识别图（空白待填色区域体现物体正面和背面），另一种是非正交识别图（空白待填区域是生动的动作设计），两种识别图各有优点，正交识别图可以比较完美地将颜色赋予虚拟模型，但是识别图从设计上来讲显得呆板无趣；另一个非正交识别图，动态感比较强提升了美观性和故事性，但是最后识别出来的贴图赋予到虚拟模型上以后，材质显示会出现比较明显的拉伸变形效果，有些部分会形成遮挡，以至于无法单独上色。

（二）涂色类AR三维模型和动画标准分析

在3D建模中常见的模型类型有多边形网格和曲面。在引擎Unity3D中用于增强现实场景常用的是多边形网格poly，为了提高客户端运行效率，模型网格数量应该严格控制在一定范围，目前行业对场景和普通物体模型的网格数量要求在三千个左右，而卡通人物的网格数量控制在一万个以内，模型的网格数量越低运行效率越高，但是细节容易损失，需要在画面质量和运行效率中找到一个平衡点，既能满足普通客户配置要求，又能得到更好的体验。在对模型法线要求中需要法线方向朝外，以便更好显示贴图材质，在拥有动画数据和贴图数据后，需要将动画进行烘焙。

七、配置识别图与获取正确贴图的原理

在涂色类AR案例中，之所以能把图书中涂色部分的颜色匹配到三维模型上，是因为三维模型的材质现实是基于UV贴图，首先需要让客户端APP识别到图书中的识别图，并将识别图作为UV贴图传递到物体上，作为物体的材质素材图启用。所以在UV贴图制作项目中需要将模型的UV展开，并将UV于识别图模型的结构进行匹配，为了避免跟踪数据的不稳定因素造成贴图的错误，也可以适量将UV边缘与识别图的边缘保持一段距离，来避免识别误差导致的不理想效果。

八、资源整合及编程实现

在Unity3D引擎中我们可以很方便搭建三维场景，可将模型、动画、声音、物理系统等素材资源进行组合，它是一个多平台综合型的游戏开发工具，在增强现实AR领域应用十分广泛。在本项目中选用可在Unity3D中使用的增强现实EasyAR工具包。在操作中我们需要登录EasyAR的官网下载开发工具包，在导入引擎以后会自动提供一个“ImageTarget”，此物体是作为场景中的识别物体现实，将需要识别图片拖入“StreamingAssets”目录下，通过对“Inspector”中的属性进行设置，并将场景材质与识别图进行关联。这样即可实现基本的增强现实AR效果。

在实现可识别图案后，作为涂涂乐AR的需要，对模型材质部分还需要用程序进行指定。在引擎中的实现方法可以采用自动启用识别出的材质，也可以通过按钮替换方式来实现贴图材质。在自动启用中，这里制作一个新的材质Mobile/Diffuse,将材质赋予模型（模型植物体中的网格物体），不过模型材质还是为空，是因为材质并没有获得任何可用信息。在这里解决办法是新建一个C#Script对存储的模型和贴图通过函数将其关联。其关联主要代码如下：

在另一种呈现方式是通过按钮替换贴图，要实现这一功能需要调用引擎的UGUI的“Button”来实现点击按钮来显示贴图或者取消显示。在这里对按钮的点击事件中需要设置On Click（）下的表达式管理来添加对应的函数代码。在此案例中使用按钮替换贴图，其主要代码如下：

在后续测试中，会出现贴图不准确的情况，这是因为在获取识别图时，直接将所有不想关联的识别区域一并赋予模型。解决这一的问题可以通过获取识别图的四个边角在空间位置的坐标，以此来准确获取识别图的区域，获取此区域以后，就可以将它的位置定义到着色器shader上。最后通过将识别图的资源与定位出来的区域进行调用即可实现正确的贴图效果。

九、总结

如今科技不断发展，教育数字化在教育应用中也在不断创新，虚拟现实AR技术的采用加快了教育改革创新步伐，如何开发符合市场需求的创新产品也是当前所缺乏的，在教育领域增强现实AR技术为学生建立了直观可视化的教学案例和交互平台，其将抽象的教学知识可视化，辅助学生对不可见的自然物象进行可视化；同时让学生交互式体验不同实验室的研究过程，增强了学生在学习过程的参与感，培养学生发散性思维。作为教学活动的新方式，增强现实AR技术也丰富了教学活动，为课堂注入了动力，提高了学生的学习趣味性，为传道授业解惑的教育事业增添了新的活力，如何利用好增强现实技术AR为教育服务正是我们需要探索和研究的领域。