基于AR技术的跨平台移动终端的辅助学习系统

张海森，杨光辉，刘超见，王继隆，李继璇，郎 宸



基于AR技术的跨平台移动终端的辅助学习系统

张海森1，杨光辉2，刘超见1，王继隆1，李继璇1，郎 宸1

(1. 北京科技大学计算机与通信工程学院，北京 100083；2. 北京科技大学机械工程学院，北京 100083)

为了解决现行单一的课本教学、课件教学等传统教学方式存在的局限性，将增强现实技术与现有教学方式相结合，利用3Ds max、Unity、NodeJS、MySQL等软件和技术，基于Vuforia增强现实平台以及EasyAR图像识别系统开发出了一款跨平台移动终端的辅助学习类应用“POU绘——立体课堂”软件系统，即立足机械制图等课程的教学过程，以多环节、多学科、多领域为出发点，具有能够自主识别、即时展示立体模型以及动态形成过程，手触控制、多场景选择等功能的软件系统。

增强现实；工程图学；应用软件；教学辅助

国家教育事业发展“十三五”规划中，将大力发展“互联网+教育”和教育信息化纳入了国家战略，MOOC课程、新型教材等层出不穷。教育部《教育信息化十年发展规划(2011—2020年)》中指出：探索现代信息技术与教育的全面深度融合，以信息化引领教育理念和教育模式的创新，充分发挥教育信息化在教育改革和发展中的支撑与引领作用[1]。提高教学质量和学习效率是现代教育的基本要求，课堂是人才培养的主战场；课堂教学结构的根本变革应体现在课堂教学系统的4个要素[2]，即教师、学生、教学内容和教学媒体。教学媒体作为提高教学质量和学习效率的4个要素之一，起着重要的作用，但现行的平面教材的传统教学方式有着明显局限性。现阶段普遍存在学生感知差的现象，随之带来的一系列影响也很广泛。目前，对教学媒体进行了一些革新，如采用二维码等方式链接到各种网页上的辅助资源，但学生的接受度普遍不高，还需要寻找更切合当今学生需求和习惯的方式来解决这一问题。

增强现实技术(augmented reality，AR)是在虚拟现实基础上发展起来的一项新技术，其将计算机生成的场景融合到真实世界中，扩张和补充真实世界而不是完全替代真实世界，从而强化用户对现实的感官和认知[3-5]。针对大学生接近100%的手机等终端设备的持有率，AR技术与传统教学媒体的结合能恰好迎合学生的需求。本着改进当前教学方式的目的，北京科技大学立体课堂团队开发了基于AR技术的辅助类移动学习平台体统——“POU绘——立体课堂”(简称“POU绘”)。

1 平台系统简介

基于AR技术的跨平台移动终端的辅助学习系统由跨平台移动终端应用APP、Web端管理后台以及云服务器构成。“POU绘”是一款基于Vuforia增强现实平台以及EasyAR图像识别系统的辅助学习类应用。手机端应用可以通过手机摄像头将课本、课件上平面的图形变为“3D模型”或“注解视频”来帮助图学学习者更好地理解立体图和平面图之间的关系。教师或出版商可以将制作好的学习辅助资料(三维模型、视频动画等)通过平台系统的网页上传，进行简单设置后学生便可通过手机利用摄像头拍摄相应位置以实时追踪并呈现立体效果图形画面。

平台可以自由操控，实现了通过自助识别平面图形展现立体模型以及形成过程动画等。采用了MVP(Model-View-Presenter)的架构，由跨平台手机应用终端、Web端管理后台及云服务器、数据库3大部分组成。具有科目选择、自主识别、自由操控、过程展示等功能。

(1) 科目选择。跨平台移动终端应用APP用学科的识别集合作为分类，从教学到实验，涉及多学科、多领域(如机械工程、医学、建筑学等学科)。多学科的学生，都能立体直观地理解教学要点。

(2) 自主识别。通过摄像头自动追踪平面图形，不需要人工选择识别区域，经过自动精准的图像识别，实现即时的AR的立体呈现。

(3) 自由操控。使用者可以手动操控模型，360度全方位无死角观看三维模型或注解动画。

(4) 过程展示。将课本的平面图形变换成3D模型，甚至也可以将模型拆解的过程展示出来。

2 系统架构及实现

2.1 MVP架构

本辅助类移动学习平台系统主要用于辅助教学，目的是为了加强学生对立体图形的想象能力，提高学生在空间和平面之间的思维转换能力。MVP系统架构如图1所示。

图1 系统架构

跨平台移动终端应用APP和Web端管理后台使用户可直接接触到View的部分，跨平台移动终端应用APP实现即时AR识别展示，Web端管理后台用来上传和调整模型资料。

2.2 跨平台移动终端应用APP

跨平台移动终端应用APP实现功能并设置有登陆界面、课程选择界面等多个界面，其中登录界面如图2；课程选择界面如图3。

图2 跨平台移动终端应用APP登陆界面

图3 跨平台移动终端应用APP课程选择界面

2.2.1 功能

跨平台手机APP共有5个模块协调同步实现用户交互、服务器通讯、AR识别等功能。具有科目选择、自主识别、自由操控、过程展示等功能，每个场景中可实现分享模型、动画，暂停、截图等功能，还可实现判题纠错功能，即只有画出正确答案才可以出现对应模型。跨平台移动终端应用APP功能模块见表1。

表1 跨平台移动终端应用APP

2.2.2 逻辑流程

缓存管理模块和云服务器通信模块与AR识别模块相配合，当用户选择使用场景时，跨平台移动终端应用APP就可调用缓存管理模块搜索这个场景需要的识别数据，若没有缓存数据，则自动向服务器发送请求下载数据；当摄像头识别到识别点时，判断是否为判题模式，若是，判断是否正确，是则显示正确模型，不是则出现错号；若不是，调用缓存管理模块，查找识别点对应的展示模型，若有，则将模型添加到当前视图并绑定到平面图片上来展示；若没有，则向这个服务器发送请求并下载模型。

通过与云服务器通信，跨平台移动终端应用APP实现了即时识别、即时下载的功能，减少了客户下载大量模型的数据用量。相比市面上的AR产品，其模型是即时获取的，不是缓存的，减少了安装包的大小，方便后端更新和管理模型库。

跨平台移动终端应用APP逻辑流程图如图4所示。

图4 跨平台移动终端应用APP逻辑流程图

2.2.3 开发流程

(1) 首先使用Unity进行初次开发。将Vuforia增强现实工具包以及EasyAR的工具包导入Unity，将camera方向、光照系统等一系列初始值设置完毕。

(2) 编写Unity摄像头识别代码以及创建Prefab预制件，调用EasyAR的识别功能，完成AR识别模块。

(3) 编写模型受控旋转的C#控制脚本。

(4) 将Unity项目导出为Android的工程项目，在Android Studio中进行手机APP的二次开发，完成UI设计、缓存管理模块的设计。

(5) 引入Socket包，编写与服务器通讯的模块，完成登录注册、下载识别数据以及即时下载模型资料等。

2.3 Web端管理后台及服务器开发

2.3.1 Web端管理后台流程图及服务器架构

Web端管理后台流程图如图5所示；服务器架构如图6所示。

图5 Web端管理后台流程图

图6 服务器架构

2.3.2 开发流程

Web端管理后台及云服务器使用NodeJS、MySQL作为后端服务器的核心，前端使用Bootstrap。通过网页后端，教师和出版商可进行增删教材、AR资料识别、3D模型的操作。服务器通讯方面，由于除账户信息外数据不需要加密，开放GET与POST方式与跨平台移动终端应用APP进行通讯。

2.4 数据库

采用了MySQL作为主数据库，SQL是一个通用的、功能性极强的关系数据库语言。其优点有：综合统一、高度非过程化、面向集合的操作方式。并且只要在初期设计好数据库表单后期也较易拓展。

3 关键技术与创新

3.1 关键技术

(1) AR。AR是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，其目标是在屏幕上将虚拟世界嵌套在现实世界并进行互动。使用AR技术来实现旋转屏幕则可以与嵌套在屏幕中的3D建模模型进行互动，就像在现实中旋转3D模型一样来更好地观察3D建模模型。

(2) Unity+Andriod。Unity3D是由Unity Technologies开发的一种让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型可互动的多平台的综合型游戏开发工具，是一种全面整合的专业游戏引擎。Unity类似于Director、Blender game engine、Virtools 或 Torque Game Builder等利用交互的图形化开发环境为首要方式的软件。其编辑器运行在Windows和Mac OS X下，可发布游戏至Windows、Mac、Wii、iPhone、WebGL(需要HTML5)、Windows phone 8和Android平台。

可通过3D MAX建模，导入到Unity中，并进行整合开发，实现手指旋转查看模型的功能。发布至Andriod平台，使得Android手机可以运行POU绘立体课堂。

(3) 图像识别。是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。利用摄像头采集图片，然后通过软件进行识别处理。

(4) 云服务器。实现了及时图像识别，及时下载教学模型的功能。平台的教学模型并不是继承在软件中，而是存储在云服务器中，通过云查找来实现。

3.2 创新点

(1)利用当下热门的AR技术，增添学习乐趣，帮助学生更加直观地理解课堂内容。

(2)跨平台移动终端应用APP中识别的数据可以即时地通过网络后台更改，不需要完全更新程序。通过网页后端课本、课件设置模块，教师和出版商可添加、删除教材、课件的AR资料识别集。使用者可以通过辅助资料模块上传3D模型/动画视频作为AR识别后的内容，同时需要上传识别点的数据。

(3)具有可分享性。模型展示出来可以共享，同学之间互相分享，让知识更有趣，另外会增加其他互动模块，让知识做到共享。本系统既可以作为课堂辅助工具，也可以作为课下辅助工具。从课本，课件到习题册，平台可帮助学生全程掌握所学知识。

(4)引入习题判断功能。通过对习题结果的扫描，可对学生绘制的作业图案进行识别判断。本功能可以帮助学生自测、查缺补漏，并辅助教师评判作业，自动形成作业习题完成情况报告，便于老师管理和教学，以减轻教师的工作量。

4 应用场景及实例

北京科技大学立体课堂团队从2016年开始研究AR教育应用。这里介绍的3个典型应用场景案例均来自本团队。

4.1 机械制图课堂教学

传统的课本加课件的教学方式存在一定的局限性，只能单一的展示平面图片或固定视角的形状效果。对于图形深入理解不够，需要学生具备很强的空间构象能力[6]。通过AR技术，利用图像识别与立体呈现技术，通过建模等方式显示出立体效果，直接将平面图转化为三维物体，增强了学习过程中的互动性。在课堂学习上，老师可以通过本平台更好地展示教学内容，通过AR实现由二维讲解到三维讲解的转换(图7)。学生可以自行在书本上扫描自助学习。“课堂签到”、“课堂练习”等小功能也相应增加了课堂的互动性。同样，对于机械制图教材和习题集上遇到的问题，也可以通过各个角度的立体展示帮助学生进行分析和理解，如图8所示。

图7 机械制图课件

图8 机械制图习题集

4.2 建筑学

目前，国内建筑院校的本科教育虽然沿用包豪斯的“双轨制教学”模式，提倡教授理论知识与培养实践能力融为一体，但因为教学大纲的任务要求已经逐步转变成为“先课堂教学，后社会实践”的单向线性教学模式[7]，故教学与实践的结合对于建筑专业学生有着不可忽视的作用。“POU绘”平台亦在建筑学教学上有着重要应用。对于由于时间成本以及财力成本等造成的不能现场实践的场景，可以通过AR技术三维重建后具体观测。建筑学类似于机械制图，尤其重视建筑内部的结构。以往的建筑学绘制模型，通常做法是用图纸进行二维绘制。但是这样只能体现出与地面平行的结构。为了在二维图上体现出三维的参数，就不得不对二维图进行一系列的符号化，来表示三维的参数。这对学生立体感要求极高，且一旦看错，会造成不可估量的后果。而将模型按比例缩放做出，浪费财力、人力。

本平台通过手机对图纸一扫，即可实现从二维平面到三维立体的转变，使建筑学教学更加容易。建筑系的学生可以通过本平台更方便的观察各种建筑结构以及实例(图9)。

4.3 医学

纵观现在的医学教育，大多数学校均是直接拿出立体的模型进行展示。立体模型固然有其好处，相对于纯理论教授，其可以使教育变得更方便，且学生也可以更好地理解。然而实体模型带来的问题也是显而易见的。模型在使用过程中损耗很大，会增加学校的教学成本。考虑到使用频率过大导致模型受损率极高及实体模型因成本问题，通常也只会在实验室配备，或者是老师讲解时配备；模型制作需要使用大量的生物资源以及化学资源，会给生态带来一定的影响。

AR技术可在医学领域发挥独特作用，可帮助医学学习者建立对人体系统的立体动态概念、观察内部活动、模拟手术实践等[8](图10)，本平台在医学教育领域有很广泛的应用前景。

图9 建筑学应用

图10 医学应用

5 总 结

本文很好地解决了教师单一教学方式和学生难以建立立体感的问题；一定程度上避免了机械制图等课程教育中用平面讲立体的问题。基于AR技术开发的辅助类移动学习平台系统，使用Unity、3Ds max等技术，从Vuforia增强现实平台以及EasyAR图像识别系统出发，充分利用了引擎强大的向下兼容性以及云服务器实时获取模型带来的轻量化的优点，并将其应用于机械制图的移动教学领域。根据机械制图教学特点和认知规律，设计实现了对立体模型进行缩放、旋转的交互操作，方便学生随时随地进行学习。通过使用该平台，用立体课堂取代以往课本、课件教学，得到师生的认可。本文是AR在教育领域应用的一种实践探索，基于AR技术的移动学习模式具有传统学习所没有的交互性、移动性、分享性等优点。

基于AR技术开发的辅助类移动学习平台还有很大的发展空间，下一步可以在交互功能等方面进行开发。信息技术对教育发展具有革命性影响，成为国内外教育改革的新浪潮，为教与学的进一步发展提供了新的思路。

[1] 中华人民共和国教育部. 《教育信息化十年发展规划(2011-2020年)》[EB/OL]. (2012-03-13) [2017-05-20]. http://www.moe.edu.cn/publicfiles/business/htmlfiles/moe/ s3342/201203/133322.html.

[2] 张宗波, 王珉, 吴宝贵, 等. “线上+线下融合式”工程图学课程建设与教学实践[J]. 图学学报, 2016, 37(5): 718-725.

[3] 李青, 张辽东. 基于增强现实的移动学习实证研究[J]. 中国电化教育, 2013(1): 116-120.

[4] 赵守伟, 马东玺, 张勇, 等. 增强现实辅助维修技术研究进展[J]. 图学学报, 2014, 35(4): 648-654.

[5] 邱龙辉. 基于Android 平台的工程图学助教助学系统研究与实现[J]. 图学学报, 2016, 37(6): 831-835.

[6] 赵莉. 浅谈机械制图教学创新探索[J]. 才智, 2013(7): 284.

[7] 杨兆奇, 董莉莉. “近身教学”——建筑学本科教学中学生创新性思维培养探讨[J]. 高等建筑教育, 2011, 20(1): 59-63.

[8] 蔡苏, 王沛文, 杨阳, 等. 增强现实(AR)技术的教育应用综述[J]. 远程教育杂志, 2016, 34(5): 27-40.

Aided Learning System of Cross Platform Mobile Terminal Based on AR Technology

ZHANG Haisen1, YANG Guanghui2, LIU Chaojian1, WANG Jilong1, LI Jixuan1, LANG Chen1

(1. School of Computer & Communication Engineering, University of Science and Technology Beijing, Beijing 100083, China; 2. School of Mechanical Engineering, University of Science and Technology Beijing, Beijing 100083, China)

In order to solve the existing limitations of traditional teaching methods such as textbook teaching and courseware teaching, combining Augmented Reality technology with existing teaching methods, using 3Ds max, Unity, NodeJS, MySQL and others software and technologies, by which a cross-platform mobile learning application “POU drawing–stereo classroom” is developed, which is based on Vuforia and EasyAR image recognition system. It is established in the teaching process of mechanical drawing and other courses. The starting point of this APP is multi-link, multi-disciplinary and multi-field. “POU drawing” is a mobile application, with the functions of identifying pictures automatically, displaying stereoscopic models instantly, touching control and multi-scene selection.

augmented reality; engineering graphics; application software; teaching assist

TP 391

10.11996/JG.j.2095-302X.2018010085

A

2095-302X(2018)01-0085-06

2017-06-01；

2017-06-27

北京科技大学青年教学骨干人才培养计划项目；北京科技大学2017年度本科教育教学改革与研究面上项目(JG2017M14)

张海森(1996–)，男，北京人，本科生。主要研究方向为虚拟现实与增强现实。E-mail：1204124268@qq.com

杨光辉(1977–)，男，山东诸城人，副教授，博士。主要研究方向为大型设备的力学行为与控制。E-mail：yanggh@ustb.edu.cn