基于MAR技术的小学英语辅助学习系统设计与开发*——以PEP小学英语教材三年级下册课文《At the zoo》为例

王雅芸，陈 勇

（重庆师范大学 计算机与信息科学学院，重庆404100）

一、引言

移动增强现实 （Mobile Augmented Reality，简称MAR）是增强现实（Augmented Reality，简称 AR）的分支，目前主要有两种：传统MAR技术和基于移动终端的MAR技术。传统MAR技术主要依靠PC机、头盔显示器或者GPS、磁传感器等一些外接设备来完成系统。[1]基于移动终端的MAR技术指在iPad、智能手机、便携式计算机等移动终端上实现的增强现实系统。[2]尤其是智能手机，已经配备了相机和多种传感器，拥有足够的处理能力，具有轻便、便携、易用、可负担等优势，能更好地支持AR学习。

从平面化的书本中获取知识，尽管是有效的，但它们仍然是有限的。[3]以PEP小学英语教材为例，于越[4]在调研中指出：小学生认为该课本学习起来困难与一般的占49.7%。小学英语课本中的文字、插图呈现的2D信息对小学阶段部分学生的认知具有局限性和挑战性，且经常令他们困惑和难以识记。AR技术的出现很大程度上打破了这种认知维度的局限，提供叠加的3D信息并与环境正确对齐。“学习金字塔”[5]理论提出：以语言学习为例，初次学习的两个星期后，阅读和聆听分别能够记住学习内容的10%和20%；看图能够记住30%；看影像、展览、演示和现场观摩能够记住50%。说明“视觉化”可以使语言类的学习更有效。以可视化的方式呈现抽象的概念，在提高教学效率同时也能帮助学生理解和记住这些概念。[6]利用MAR技术，以更简便的方式将小学英语课文内容“可视化”呈现，帮助创设情境、增强个体体验，从而学习和获得经验。目前，支持小学英语学习的相关AR产品已经得到了应用，例如：Orilnbar[7]公司发布了一款支持7岁左右儿童随时随地学习英语拼写的AR游戏；厦门荣趣网络科技有限公司开发了一款名为“AR英语”的APP，涵盖了小学三年级英语课本中大部分英文词汇。本研究旨在围绕小学英语课文内容，设计开发MAR技术支持的虚拟动态景物环境，将视频、模型、音频等实时“写入”英语课文，补充标准课程，并在拟真场景进行简单互动拓展，通过个体体验建构知识体系，最终达到知识的理解与内化。

二、设计原则与整体架构

1.设计原则

基于MAR的小学英语辅助学习系统的设计原则应考虑如何在发挥AR技术优势的同时保证教学内容贯穿始终，需要遵循以下4个要素：

学习目标明确。在明确课文学习目标、知识重难点的基础上进行AR功能的编导，融合学习目标创设拟真学习环境和直观学习资源，达到较高层次的知识建构。

学习内容紧贴课文。AR呈现的内容应紧紧围绕课文学习内容展开，通过扫描课文中标记图片可以看到配合课文情境的图像、模型、文字、声音等信息。将抽象信息与直观信息相结合体现了它们之间的内在联系，让学习者更加直观全面地理解词汇及语法加深记忆。[8]

简单交互。“学习金字塔”[9]理论提出：学习效果在50%以上的，都是团队学习、主动学习和参与式学习。系统交互功能可以提高学生的学习热情与学习主观能动性。针对小学学科的AR系统交互设计要具备操作简易且能调动学生感官的特点。针对英语学科应实现团队参与式对话的简单交互方式，既能增加趣味性，又能培养英语交际能力。

良好感官体验。质量较高的视觉、听觉与交互体验，可以获得更好的学习情境沉浸感，较长时间抓住学生的注意力，提升用户体验。

2.系统整体架构设计

系统整体架构设计如图1所示，均以以上几个设计原则要素为基础进行拓展。选择小学英语课文单元，对小学阶段学习该课文单元的对象进行特征分析，目的主要是了解学习对象，选择适当的感官刺激，为后续的系统功能模块设计提供依据；对课文单元学习目标分析，包括以单词语法识记为中心的知识目标、以语言交际能力为中心的能力目标、协作自主学习目标、情感文化目标及重难点等，融合学习目标创设情境。根据学习对象的特征和需要达到的不同学习目标，编导设计相应情节的功能模块，采集和创作课本中的标记图与需要展示的模型、视频、音频等开发资源，进行落地化开发。

图1 英语辅助学习系统整体架构设计

系统应用安装成功后，学习者手持智能手机扫描需要学习的相应单元课本标记图，根据显示出的3D虚拟图像，学习者可以变换手机摄像头的距离或者移动书本来完成对虚拟图像的观看或观察。

三、资源方案

实现该系统的开发资源主要有硬件资源、软件资源、媒体资源。体验者所需资源主要有：智能手机、网络、小学通用英语课本。

1.系统硬件资源分析

AR硬件从较高的层面上来说，主要分为两个种类：可穿戴和不可穿戴 （便携式和固定式设备）。可穿戴包括：头盔、耳机及未来会出现的隐形眼镜。不可穿戴设备包括移动设备（智能手机、平板电脑、笔记本电脑、武器等）、固定式设备（电视机、个人电脑、播放器等）和平视显示器（集成式或后置式）。[10]如今，智能手机设备处理速度迅速，摄像头像素高清，具备电子罗盘、GPS、陀螺仪，可实现重力加速度计算、光线和距离感应等功能，已完全满足了AR的硬件要求，其轻便、便携、易用、普及等优势更是实现MAR技术应用的理想平台。本系统采用的MAR硬件平台是具有网络和摄像头的PC及Android系统的智能手机。

2.系统软件资源分析

（1）开发环境

Unity是一个层级式的开发环境，用于创建三维视频游戏、建筑可视化、实时三维动画等类型互动内容的综合性创作工具，其编辑器运行在Windows和Mac OS X 下，可发布游戏至 Windows、Mac、iPhone、Android 等平台。在2107年国际混合与增强现实研讨会（ISMAR）中，Vinh Nguyen与Tommy Dan提出了在Unity中建立虚拟现实和增强现实学习环境。Unity是目前优秀且常用的开发AR和VR学习环境的引擎。本系统采用的是U-nity 2017.1.0版本，其脚本环境是Untiy自带的MonoDevelop工具。

（2）软件开发工具包（SDK）

现阶段AR的SDK已经非常多了，例如国外Metaio公司的Metaio SDK、高通公司的Vuforia SDK、Total Immersion公司的D Fusion SDK，且都在与Unity和Html5结合。前两者虽然分别已被苹果公司和PTC公司收购，但目前并不会对使用者造成太大影响。值得一提的是，Unity发布的2017.2及以上版本中集成了Vuforia SDK，为用户提供了更方便的AR开发环境。国内AR SDK虽然起步较晚，但是发展迅速，已经能为开发者提供良好的用户体验，例如视辰的EasyAR SDK、亮风台的HiAR SDK、米有的太虚VOIDAR SDK等。表1[11-15]对比了现阶段几款国内常用开发AR的SDK插件。本系统采用的是VOIDAR SDK，其优势主要有：免费云识别、无水印、不使用云识别开发时无需将识别图上传至后台数据库、免费的录屏功能。

（3）媒体资源

要进行精确的图像识别，就需要用细节特征丰富的平面静态图像作为识别图。考虑到系统遵循学习内容紧贴课文的原则，将小学通用英语课本中的图片作为通用识别图，方便学生手持课本就可以体验AR内容。系统中用到的3D模型制作完成后需导出为fbx格式。VOIDAR SDK 视频支持 PC 端为 mov、mpg、mpeg、mp4、avi格式；Android 端为 3gp、mp4 格式；iOS 端为 3gp、mp4、avi格式；音频为 mp3格式。

表1 现阶段几款国内常用AR SDK插件对比

四、开发与应用

本研究以英语人教版3年级下册第三单元课文《At the zoo》为例，依托于智能手机、Unity与DVOIDAR SDK，开发小学英语辅助学习的MAR应用。

1.学习者特征与学习目标分析

（1）学习者特征分析

小学三年级（8-9岁）是具体形象思维向抽象思维为主要形式的过渡期中的转折期。他们开始学会掌握初步的科学定义，同时还离不开直接经验和感性知识，思维仍具有很大成分的具体形象性。[16]同时，Lin和Hsiao[17]研究了静止图像与简单动画对学习者学习词汇的影响，结果表明，动画组的学习者在词汇表现上明显好于图片组。所以在模块设计时需尽可能将抽象概念具像化，运用生动的视频和模型代替文字和图片。小学三年级阶段的学生感知力和观察力较片面，起点水平较低，因此要选择相对简单的交互内容和交互方式，抓住非智力因素有关特征，提高学习过程的注意力，调动学习兴趣，培养丰富的情感意识。

（2）学习目标分析

该单元的学习目标主要划分为知识目标、能力目标、情感文化目标与重难点。知识目标：学生能识记一些简单的形容词和器官名词， 例如：thin、fat、eyes、nose；能力目标：能在对话中运用所学形容词描述动物特征；情感文化目标：爱护动物，懂得动物是世界不可缺少的一部分；重难点：能以单词和句型为依托灵活交流拓展。

2.功能模块

根据学习者特征与学习目标分析，系统将单元课文 《At the zoo》的AR功能划分为四个模块:视频模块、课文重点单词识学模块、情景互动对话模块、录屏模块。

视频模块：在该模块中当学习者扫描《At the zoo》单元封面图片时出现与该单元相关的动画视频并播放，视频内容包括该单元的词汇、儿歌、课文对话等。这类视频资源通常与课本配套出版，获取较为便捷。

课文重点单词识学模块：该单元需要学习的英文单词侧重于简单形容词及器官名词，单词的学习方式是在动物园观察动物的情境下，使用所学单词对动物特征进行描述。该模块实现显示课文中拟真动物模型，并在模型上绑定相应单词，以生动、形象化的方式帮助学生识记单词，了解动物，爱护动物。

情境互动对话模块：交流是学习语言的重要特征之一，该模块为学生提供可进行简单观察、模仿和交流的一个对话环境。两张或两张以上的书本图片在扫描后出现相应的动物模型，当书本图片靠近到一定距离后，模型开始进行简单的互动并播放与课文内容相关的英文对话，学生可以通过按钮关闭对话声音，模仿或者创造自己的对话内容。这一简单交互功能可以实现团队学习与参与式学习。

录屏模块：通过录屏技术记录当前操作手机时所看到的画面并将这些画面存储，既能分享输出，又能方便对AR展示的学习内容快速浏览。

3.开发过程

（1）AR 环境布置

第一步，登录 Unity 官网（https://unity3d.com/cn/），下载Unity 2017.1.0，按照提示安装，需要注意的是，在U-nity的安装路径中不能出现中文字符，否则运行会报错。第二步，登录VOIDAR官网（https://www.voidar.net/index.php），在下载界面下载0.1.h patch1 beta版本SDK。注册并登录云平台（http://cloud.voidar.net），创建云数据库，完成后获得Accsess Key和Secret Key。第三步，将SDK导入Unity中。第四步，删除Scene自带的Main Camera，展开 VoidAR中 Prefabs目录，将 ARCamera和ImageTarget拖至Hierarchy中。选中ARCamera，在Void AR Behaviour组件属性中勾选Use Cloud，填入Access Key与Secret Key对应的值。点击Add Compoent，添加并绑定Cloud Controller脚本。利用Unity的AssetBundle功能，将本地识别资源ImageTarget打包，生成Asset-Bundle文件，上传至VOIDAR提供的云平台，即可实现云识别功能。开发环境的布置如图2所示。

图2 开发环境

（2）识别图（Marker）设置

课文《At the zoo》的封面图片作为视频的Marker，拖至StreamningAssets文件夹。选中 ARCamera，设置MarkerType为Image，代表识别类型为图片。设置Image Target Behaviour组件属性，在Image File Path后填写识别图名称及图片扩展名，如下文的视频识别图名称及扩展名为：At the zoo.jpg。设置成功后Scence场景中的ImageTarget由预设图变为识别图。实现图片云识别需添加并绑定Cloud Controller脚本。将本地识别资源打包，在VOIDAR提供的云平台资源管理界面中添加数据，上传识别图（仅支持jpg格式）和打包文件，即可实现图片云识别功能。

（3）视频模块开发

将视频资源同样拖拽至StreamningAssets文件，在prefabs中找到VoidePlay拖至 Hierarchy，填写image File Path。设置Void Video Player组件，在URL后填写视频名称及视频扩展名。实现云识别视频，需在云资源管理界面的自定义数据中填写网络视频的URL地址。在PC端进行视频播放调试时，必须安装QuickTime播放器。

（4）单词识学模块的开发

在本单元中，将图3左图设置为识别Marker，Image-Target命名为elephant。导入大象模型，拖拽至Hierarchy中的elephant下。在模型下创建多个3DTEXT与Cylinder。Cylinder调整及贴图作为单词的指示线，在3DTEXT中编辑大象模型对应的形容词及名词如：long nose、big ears，调整单词与指示线的位置、大小使之对应大象模型器官。为了使扫描出来的大象模型更生动，需要在动画模块Animation组件中编辑模型动作，并将对应的3DTEXT、Cylinder与对应的大象模型关节绑定。最终实现效果如图3右图所示。

图3 单词学习模块识别图与扫描后出现的效果图

（5）情境互动对话模块的开发

两张或两张以上指定图卡扫描后出现的两个或两个以上的模型在靠近到一定距离后进行与课文内容相关的英文对话和动作互动。例如，将图4作为互动图卡A，图5为互动图卡B，分别设置为Marker。选中ARCamera，设置Simultaneous Tracking为2，代表本次同时跟踪的识别Marker数量为2个。将图卡A的熊猫模型和图卡B的长颈鹿模型拖至场景中对应的Marker上。在动画模块Animation组件中编辑控制模型动作。两个模型分别给予标签并添加碰撞器Box Collider、刚体Rigidbody和音频组件Audie Source。调整碰撞器并把对话音频拖拽进音频组件，编写代码控制初次进入碰撞器、停留在碰撞器、离开碰撞器三种状态的模型动作与音频。当图卡A与图卡B靠近前，如图6，模型播放各自动作。当图卡A与图卡B靠近到一定距离后，两个模型的碰撞器发生碰撞后播放动作及对话音频，如图7。同时添加一个button用来控制对话声音开关，学习者可以关闭初始对话声音，为模型的互动配音。

图4 情境互动图卡A

图5 情境互动图卡B

图6 图卡A图卡B靠近前

图7 图卡A图卡B靠近时

（6）录屏与打包

VOIDAR SDK能将运行中的AR内容录制为mp4格式视频存储在手机相册中。在ARCamera上添加Video Record Behaviour脚本组件，即可方便实现录屏功能。完成所有开发测试后就可以打包，Android与iOS的打包需分别在Windows与MAC环境下完成，打包前需要下载Unity Android Support，打包过程中需要填写Company、Product Name 与 Bundle Identifier。

五、结束语

集成AR技术的虚实交互应用程序可为用户带来身临其境的体验感，在促进学习者积极学习、意义学习和有效学习的过程中已展现出巨大潜力。[18]MAR作为AR的分支，在可靠、易用、易获取等方面更好地支持了英语的移动学习与泛在学习。本研究基于MAR技术辅助学生掌握小学英语，促进合作自主学习，也可为教师提供更好的教学资源，且所采用的识别图都是通用型，可重复利用。但本研究还有待进一步丰富完善，如展示虚拟信息的方式仅限于识别图叠加，交互方式也较为单一，如何结合小学生特征设计更恰当的功能模块和技术应用，使之成为完整的、成体系的小学英语教育应用资源等，这些问题都需要深入探讨和实践。