基于增强现实的幼儿简笔画教学资源的设计与实现

谢 鑫,陈 勇，张 雪,李桂福

（重庆师范大学计算机与信息科学学院，重庆 400000）

1 引言

《3-6 岁儿童学习与发展指南》指出在幼儿艺术领域中，给孩子创造更好地条件和机会对他们的学习至关重要，一个丰富多彩的教育环境，能从不同角度促进幼儿全身心和谐发展［1］。随着移动设备，人工智能、5G、物联网等多项技术的迅速发展，人们获取信息及知识的渠道愈加趋于多元化，面对面的教学方式受限于信息传递方式的单一已经不能满足当今多元的教学需要。增强现实（AR）技术作为当今新兴发展的教育技术之一，通过在虚拟与现实之中搭建一条互通的信息交互渠道，可以有效增强对空间的想象能力与对实际呈现的有效性。将原本存在于想象中的画面和情景与真实世界相互融合、重叠，构成一种完整的现实场景，进而调动学习者的学习主动性。在教育领域，关于AR 技术的研究主要集中于中小学教育、高职教育、高等教育，甚少涉及幼儿教育。在中国的教育领域中，幼儿教育是我国学校教育和终身教育的第一步，也是基础教育的重要组成要素，且处在幼儿教育阶段的孩子是大脑发育最快速的时期，因此，将AR 技术引入学前教育的教学活动中意义重大。

2 AR 技术

2.1 AR 概述

AR 是在传统虚拟现实的基础上演变而来，是传统虚拟现实的延续与扩展，其主要体现在虚拟现实的基础上增加了真实情境，并由此为使用者带来了崭新的体验。其概念最早于1992 年由Caudell 等人提出［2］。通过将虚拟信息（文字、图像、模型、音乐、视频等）模拟仿真，与真实世界融合，从而达到“增强”现实的效果［3］。AR 技术包含三大特征：三维注册、虚实结合和实时交互以及三大核心技术：特征检测、图像识别和识别追踪。

2.1.1 特征检测

特征检测是指使用计算机提取图像信息，并判断检测点是否属于一个图像的特征点。特征检测算法中，尺度不变特征变换（Scale-invariant feature transform，SIFT）算法尤为经典，它通过引入尺度不变性和旋转不变性，解决了在不同尺度下不同分辨率的图像上不稳定问题。SIFT 算法可以分为四个步骤：检测尺度空间极值，定位关键点，确定关键点方向和描述关键点。通过特征检测，筛选出特征点明显的图像，上传到Vuforia 数据库，以便后期摄像设备能快速识别目标，特征点检测结果如图1 所示。

图1 特征点检测结果图

2.1.2 图像识别

图像识别的主要步骤包括特征点匹配和图片相似度度量。特征点匹配涉及高维特征空间的搜索。若是使用最基本的线性特征匹配方法,则效率远达不到性能要求。因此通常使用基于多维度特征空间的数据结构算法来进行快速搜索，以满足实际应用的性能要求。其中，在众多数据结构算法中，KD 树结构及对应算法和KMeans 树结构及对应算法是最常用且最有效的算法之一。

2.1.3 识别追踪

关于增强现实的识别追踪，追踪过程就是对被摄目标3D 姿态估计以及目标对应的虚拟对象进行姿态估计。每次追踪的基础都源于特征点的获取、匹配及单应性变换。得到单应性变换,就等于同时获取了被摄物体的3D 实际位置节点集和二维屏幕图像位置节点集。通过得到的匹配点集以及标定获得的摄像机内参数,再利用求解透视N 点问题算法,就可以计算出摄像机外参数,即摄像机实时姿态,随即便可估算出被摄物体3D姿态。

2.2 增强现实在幼儿教育领域的应用现状

基于儿童理解能力较为薄弱,对于儿童的教育需借助教育学习产品。融合AR 技术的教育学习产品，按照用途划分,可以分为教学、阅读、教育游戏和工具四类。王路源根据汉字字形特征及学前幼儿语言教学的特点,结合幼儿认知发展规律,将AR 技术与幼儿识字相结合，设计与开发出了游戏“汉字实验室”,为基于AR 技术的教学产品研发和思路提供了新的思路［4］。陈若薇等人通过在幼儿教育中使用AR 抽认卡让儿童学习词汇,从而提出AR 和传统抽认卡都能显著提高儿童的词汇学习效果［5］。马建军等人运用ENTiTi工具制作并生成了三维立体的词汇卡,并分别对幼儿园A 班和B 班的使用效果进行验证,研究表明AR 技术可以大大提高幼儿对英语单词的认知质量,显著增强孩子对语言知识环境的认知,进而增强孩子对词汇的理解水平和能力［6］。此外，乔黎博设计了一款AR 绘画教育的应用,旨在培养幼儿的辨色能力,激发幼儿对绘画的学习兴趣［7］。张浩针对AR 的特性,开发了AR 支持下的幼儿美术学习框架,以提高幼儿的学习状态以及美术教学质量［8］。同时，张帆等人根据幼儿的心理特征与媒体传递之间的联系,运用AR 技术，阐述基于幼儿行为习惯养成的教育软件设计研究方法［9］。并对这个软件的使用效果进行统计学分析，研究表明合理的卡通人物设置、情景设计和AR 技术的结合，能有效帮幼儿培养优秀的行为习惯。

与传统的幼儿教育类产品不同的是，AR 教学产品在课堂教学中可以尽量减少阅读中的单向灌注内容，同时添加互动性内容，激发幼儿的主体兴趣,充分发挥其主观能动性，让幼儿在学习中感受到乐趣［10］。更重要的是，教学内容可以以三维立体动画等方式呈现，使内容更加浅显易懂，从而使幼儿可以直观地通过视、听、触全方位的感知信息对信息及知识进行捕获吸收。同时由于AR的交互性，加强了教学方式的多渠道表达，从而极大的展现出了学习的趣味性和生动性，并由此提高幼儿的认知兴趣。

3 理论价值与实践意义

3.1 理论价值

皮亚杰的认知发展理论指出了其理论发展的四大阶段：感知运算阶段、前运算阶段、具体运算阶段、形式运算阶段，这四个发展阶段是不可逆的。在学前教育阶段，也就是前运算阶段，幼儿的各种感觉运动行为模式逐渐内化为表象或者形象思维，但是在语言的诞生并得到发展之后，幼儿对表象符号使用的渴望愈发强烈，以此去代表或者再现外部世界的事物，从而产生表象思想，而此时也是幼儿形成各种记忆形式相互连结的关键时期，只要利用这种阶段增加了幼儿的视觉记忆量，让幼儿的各感觉形式相互配合，扩大脑细胞之间的相互通信，从而提高他们对所认识事物的理解。在图像与文字转化的过程中，涉及到多样性和扩散性的连结，因此可以利用日常生活中的物品来引导幼儿先完成对图像识别的感官训练，从而逐渐发展出自主学习的能力。

根据情境认知理论的观点，知和行是彼此交互的，即知识是在情景中通过各种实践活动不断向前发展［11］。因此，AR 技术通过虚实融合，利用Unity 3D 开发引擎创造适应学生学习内容的虚拟情境，提供学习的临场感，增加孩子的情感感受及反馈、增强学习欲望与积极性，促进孩子对学习内容的理解。通过探索幼儿认知能力的发展特点，发现感知觉在幼儿的认知活动中具有明显的主导地位，而AR 技术恰恰能够实现这一点，丰富认知、突破时空、实时互动。

3.2 实践意义

将AR 技术引入幼儿教育教学活动具有重要意义。幼儿的学习媒介通常是事物的形状、颜色和声音等等。他们感觉和知觉的发展主要体现在对色彩视觉、空间知觉、时间知觉和观察力等方面的感知和捕捉上。儿童视觉空间能力对智力的影响，甚至超过了语言能力［12］。AR 技术利用三维可视化打破传统教学的壁垒，创建生动的学习环境，并采用寓教于乐的方式启迪儿童的心灵，使儿童在愉悦中获得新知识。

4 简笔画的设计与制作

4.1 简笔画的总体结构框架

简笔画的制作主要包含3 个步骤：分析产品定位、色彩选择以及卡通形象设计。制作流程如图2 所示。

图2 简笔画制作流程图

4.1.1 产品定位

幼儿教育产品的最终服务对象为幼儿，由于在学前教育阶段，即在3 岁到6 岁的动荡期，他们的注意力会轻易地被外界事物所影响，因此教育产品上应尽量减少让幼儿容易分心的因素，将教学任务拆分成简单容易操作的项目，着重提高兴趣，调动孩子的学习积极性，从而做到寓学于乐。

4.1.2 色彩选择

两岁以后是幼儿视觉发育的空间期。两岁的幼儿可以最简单地了解红，黄两色，然后才是绿和蓝。而三岁的儿童则可以正确区分红、黄、蓝、绿四种基本色。四岁开始，才开始逐渐发展分辨细微不同颜色的明度与饱和度。因而在简笔画卡片视觉的表现中保持色彩的层次分明性，以清晰明确的颜色突出主题元素，让视觉重心聚焦于主流程。主打幼儿天生敏感和偏爱动画所展示的温暖、明亮的颜色，通过对色彩的联想让幼儿产生愉快的心理和生理体验。

4.1.3 卡通形象设计

卡通人物的内容浅显，所以很容易让小朋友们觉得可爱亲切、易于接受。卡通的“超越”，无论是形式上的还是内容上的都为幼儿创造了大量快乐。卡通满足幼儿好奇的同时能够使其更兴奋，高度的兴奋感与充实感也就是处于心流状态。此外还需根据Vuforia 的图片识别机制来设计卡通形象，Vuforia 的机制在于识别和检测图片的自然特征点来进行匹配而完成，将图片上传至Vuforia官网时，可以明显看出有边有角的、轮廓更加清晰的图片，其评分的等级显著提高，当Rating 显示五颗星时，则追踪效果和识别效果也就越好，卡通形象的设计图如图3 所示。

图3 卡通形象设计图

5 AR 简笔画功能的设计与实现

5.1 AR 三维模型的制作流程

三维模型的制作，应用3D Max 完成，在三维模型构建之时，模型的顶点数和三角面会影响扫描识别的结果，因此为保证三维模型能够被更加流畅的操控，模型的设计需要简洁化。以创建兔子模型为例，建模流程包括以下几个步骤：（1）规划，在建模前先规划以确定建模的目的和细节，包括概念构思和草案绘制等；（2）粗略建模，使用3D Max 中的内置几何体和建模工具，创建出兔子的基础形体；（3）细化建模，添加更多的细节、曲线和形状，以便更加真实地表现对象；（4）明确建模，对建模进行最后的细节调整和校准，使其更加逼真。（5）UV 映射，对建模表面的纹理坐标进行确定，以便进行纹理绘制；（6）纹理绘制，在建模表面上添加纹理和材质，以便更好地渲染建模对象；（7）照明设置，安排光源并调整场景光照，以提高图像的质量和颜色；（8）渲染，将建模和纹理转换为图像或视频，以便进行后期处理和使用。

5.2 AR 应用的设计与实现

AR 的技术模块包含卡通图片三维模型显示，动作控制，声音操控，模型互动。以开发安卓客户端为例，在开发之前，首先需要构建安卓平台，安装JDK、Android SDK 等。然后前往Vuforia 的官网注册用于登录的账号，以便后续上传目标图片,由于Unity 软件的独特性，应用要获取许可密钥，即License Key，随后通过Target Manage 获取识别图数据库。

5.2.1 扫描生成简笔画三维模型

将在3D Max 制作完成的三维模型，以后缀为.fbx 等格式导出，再导入到Unity 中，即工程文件夹中的Assets 文件夹目录下，并创建一个RFX文件夹便于管理导入的资源，并检查建模贴图是否齐全，若出现错误，则根据错误提示对模型重新贴图，反复验证，直至模型贴图完整。登入Vuforia官网，下载上传图片对应的数据库Unity Data base并导入到Unity 中。还需设置Game Object 下的Vuforia，即在AR Camera 勾选相应的图片数据库，相机设备等，然后继续在Vuforia 下的Image 中添加目标图片，通过设置一系列参数，将模型与识别图对应，模型立于识别图上方,使用设定数据改变模块的尺寸和距离后,扫描识别卡通图片，即可显示对应的三维模型。模型显示效果图如图4 所示。

图4 扫描识别显示三维模型图

5.2.2 动作控制功能的实现

动作的控制需新建一个Animator，即控制动画播放路径，将导入的动画添加至Inspector 区域的motion 框中，若需动态过度自行播放，则创建Make Transition 连接指定的每个动作，模型路径控制图如图5 所示。

图5 模型路径控制图

5.2.3 音频控制功能的实现

实现音频的播放需要创建一个Audios，存放导入的音效资源，随后在Image Target 下设置Audio Source 并加入指定音频，则当摄像机识别图片时将播放音频。根据用户的操作,如点击设备屏幕，实现声音的播放、暂停等功能。当扫描设计好的简笔画时，便可跳出相对应的三维模型,以及对应的声音。

5.2.4 AR 简笔画模型交互功能的实现

当AR 技术与简笔画融合,用户与模型的交互便显得尤为关键。交互包括旋转、缩放、双击等。模型的旋转主要指的是操控界面时，模型可以上下、左右旋转；模型的缩放则是指操控界面时，模型随着操作缩小或放大,但由于空间的限制，模型不能无限的缩小或者放大,否则将出现看不全或找不到的情况；双击是指模型进行双击之后模型消失,再次双击则再次出现模型。

模型交互功能，主要通过编写C#脚本来实现。以模型双击交互功能为例，实现双击的关键代码如图5 所示。

图5 模型双击交互功能关键代码

5.3 AR 幼儿简笔画教学资源的生成

AR 简笔画的增强现实功能设计完成后，可以导出APK 并放置到任意安卓装置上，对APK进行反复的真机检测，并调整优化。检查项目主要有以下内容：是否可以通过扫描卡通图识别出3D模型、扫描图和弹出的三维模型是否对应，点击后音频是否顺利播出，以及如何完成模型的翻转、缩放和双击操作等。

6 教学资源的应用

6.1 教学实验研究

为验证开发完成的教学资源是否具有应用价值，需在具体教学中进行实验。目前，C 市某幼儿园正以“动物的故事”为专题，开展美术教学活动，可将开发的动物系列AR 教学资源应用于教学活动中。相较于传统的绘画教学课堂，AR教学只需在教学过程中将传统多媒体资源用AR资源代替，其余教学流程不变。

6.1.1 实验过程

为控制影响因子，课前对幼儿园的小朋友进行摸底测试，根据测试结果，选择水平相近的A、B 两个班级开展教学活动。设置实验组与对照组，实验组使用AR 教学资源开展教学，对照组使用传统教学资源开展教学。

6.1.2 实验结果

教学结束后，根据学生上课情况，得以发现就这节课而言，实验组的学生整体上课积极性高，随后对授课教师进行访问，授课教师直言，使用AR 教学资源教学，学生的学习积极性较之前明显提高，大大激发了小朋友的好奇心，上课效果更好。

7 存在问题及应对策略

7.1 存在问题

研究过程中面临着一些问题，将其归纳为两类，问题一：开发中存在的问题，开发教学资源的初始阶段，扫描简笔画目标识别图时，生成对应模型产生延迟现象；开发资源中期，三维模型与目标识别图位置偏离，模型未出现在目标识别图正上方。问题二：应用中存在的问题，使用AR 教学需要提供如平板电脑等设备，学校可使用设备不足；教学过程中，使用AR 教学虽然提高了学生的学习积极性，但学生对其过于好奇，导致教学秩序混乱。

7.2 应对策略

对于以上所述问题，需采取应对策略。问题一中，关于生成对应模型产生延迟现象是由于简笔画目标识别图特征点不够明显，则需要在设计简笔画时，设计出棱角分明、线条清晰的图案，特征点越是明显，生成对应模型越是快速；其次，模型与目标识别图位置偏离，若要避免此现象，需及时设置模型坐标参数。问题二中，AR 教学设备不足，可将学生分成小组学习模式，几人为一组，可减少对设备的需求；最后，针对教学秩序混乱这一现象，教师在设计教学活动时，细化使用AR 这一环节，划分具体步骤，学生按照小步骤执行，教学秩序便可得到维持。

8 结束语

将AR 技术和简笔画融合，完成了AR 技术在中国幼教行业的一次应用，并研发出了一套儿童简笔画卡片和一个能实现扫描并完成与AR 交互操作的APK。儿童在使用AR 简笔画时，可自主给简笔画上颜色，主动用手与模型互动。AR 简笔画卡片提升了沉浸感，提供多感官和互动的数字化感受，为儿童开启一个认识世界的窗口，激发儿童自主认知的积极性，可以真正实现寓教于乐。