基于增强现实技术的工程图学移动端教学系统设计与开发

伊 鹏，刘衍聪，石永军，秦 臻，张宗波



基于增强现实技术的工程图学移动端教学系统设计与开发

伊 鹏，刘衍聪，石永军，秦 臻，张宗波

(中国石油大学(华东)机电工程学院，山东 青岛 266580)

依托当前快速发展的虚拟现实技术，以工程图学课程图感培养为目标，将增强现实技术引入课程教学，开发以移动终端为应用平台的辅助教学系统，将真实场景中的平面视图与虚拟三维立体模型相结合，通过视觉耦合叠加和增强交互操作突出体验的真实感，搭建起视图与形体间的以图感意识为桥梁的高效转换通道，提升了抽象三维形体的可接受度。配合课程讲解和课下辅导，学生能够有意识地强化图感在视图解读中的认知作用，该教学模式和资源的改革探索将有助于推动新时期工程图学教学的发展。

工程图学；增强现实；移动端；教学系统

工程图学作为工程类专业的技术基础课程，以培养学生空间思维能力、绘制以及增强学生工程实践能力和创新意识为目标[1-2]。工程图学的学习过程是一个复杂的认知过程，要求学生在相关规范和标准的约束下，对包含不可见实体信息的工程图样进行快速接受、加工并认知和应用[3]。工程图学教学过程就是帮助学生逐渐增强图样认知能力的过程[4]。已有研究表明，图样作为平面和实体之间的认知媒介，其在脑海中还具有着更为底层的解读过程，即“图感”编码和解码的潜意识过程。图感是对所看到图形的直观感觉，在灵活应用图学理论的基础上，以形象思维和抽象思维为依托，经过大量训练逐渐形成，其对图形的敏感程度是图学能力的重要度量[4-5]。因此真正用图学的语言进行思考，调动图感直接对相关知识检索进而将对象结构进行快速分析，成为提高图学能力和工程意识的有效途径。

当前教学实践中，图感的认识和建立主要依靠课上、课下的实体模型展示和多媒体课件播放，能够取得一定的效果，然而在目前学时缩减、内容增加且不断更新的大学课程体系环境下[6]，受限于模型制作质量、数量、学生和教师的时间甚至场地，传统的教学手段越来越难以适应图学教学的发展趋势和要求，所能发挥的作用也越来越有限。因此，如何在图学教学中引入新的思路和技术手段，提升图感认知效率，并有针对性的对教学方法和内容进行建设，是十分具有意义的图学教学改革探索。近年来，虚拟现实技术(virtual reality，VR)和增强现实技术(augmented reality，AR)的迅速发展，为图学课程的教学改革提供了有效的技术手段。从教学法层面看，需要在教学活动层面针对VR体验进行设计，Robert Heinich提出的“计划-准备-实施-跟进”四阶段模型对于VR教学设计具有很强的参考价值[7]。文献[8-9]将VR技术分别应用于机械和土木工程制图教学中，增强了学生感知形体内外部结构、工艺和装配结构以及阅读、绘制工程图样的能力。刘伟等[10]基于VR技术，开发出应用于Android平台移动终端的工程图学移动学习系统，针对工程图学课程的认知规律开发了分屏功能，使多媒体影音讲解与立体虚拟模型同屏交互展示。伴随着VR技术的快速发展，近几年以VR为基础的新一代增强现实技术AR迅速成长并正在得到广泛应用。AR技术可以将三维虚拟实体与真实环境相融合，提升用户对实体的感知和认识，具有虚实结合、交互性好、真实感强等特点[11]，同时由于移动智能终端的迅速发展和极高的普及率，能够成为搭载AR技术的理想平台[12]，特别适合引入教学环节，开发新颖的教学资源，配合传统教学方法以提高教学质量。然而当前AR技术的移植与应用还十分有限，PEJOSKA等[13]在对建筑场景数据分析的基础上提出了基于AR的Soar系统设计框架和原型，应用于建筑工人的职业教育课程；HSIAO等[14]利用无标识物的增强图像识别开发了MAR天气教学系统；CHIANG等[15]开发了基于位置的AR系统，为学习者提供知识分享服务；文献[11]应用具有自主知识产权的识别技术和跟踪注册技术，开发了Android系统下的移动增强现实光学平台；徐鹏等[16]则应用AR和计算机视觉技术开发了VECAR虚拟教教室，为学生提供了沉浸式和交互式的学习环境；文 献[12]开发了适用于主流移动终端操作系统的AR应用并用于车床加工工艺实训教学环节。

以上教学研究工作虽然形成了具有可操作性的实验教学辅助工具，但研发工作分散于多个学科，且多以演示为主，交互性不足，另外，较少应用于大学教学，在工程图学教学领域的工作则更未见报道。然而根据前文的分析，工程图学的教学环节特别需要此类AR技术对现有教学手段进行补充，因此本文将AR引入工程图学教学，与基于图感培养的教学方法相融合，并以智能移动终端为平台，开发多功能的可交互AR图学模型系统，使其成为重要的配套教学资源，推动图学教学质量的提高。

1 系统架构和开发方案

基于AR技术的工程图学移动端辅助教学系统，应突出虚拟模型与现实场景耦合叠加的增强现实的技术特点，以手机和平板等移动智能终端设备为应用平台。根据教研室多年的工程图学教学经验，结合已开展的针对工程意识和图感因素培养的教学改革和实践工作，进行教学系统的功能需求分析，系统应具备的主要功能包括：①能够快速识别图形码并调出立体模型，与真实场景中的平面视图叠加显示；②对立体模型进行多点触控的交互操作，包括缩放、旋转、剖切和正交投影以及针对组合体、装配体的拆分展示等；③为每个模型录制视频讲解，可随时调出并与分屏播放；④可对模型进行实时评分和评论，通过系统提交学习过程中的问题和感想，与教师和同学进行交流，并能提供模型的下载量和评分统计。

根据AR教学系统的功能需求，为充分发挥其技术优势，系统的资源支持层由3个模块构成，分别为模型库管理模块、模型交互模块、模型讨论与评价统计模块；系统的技术实现层则由硬件系统、网络协同和软件平台三部分构成，系统的总体架构如图1所示。

图1 系统总体架构

系统软件开发过程综合考虑移动终端设备的硬件性能及开发平台软件的兼容性，开发方案如图2所示。系统以Eclipse作为开发平台，对Java Development Kit和Android Software Development Kit安装环境进行配置，安装Android插件Android Development Tools，创建Android Virtual Device；在3Ds Max建模环境中建立三维立体模型并进行材质贴图处理，通过OpenGL ES将模型导入Unity3D平台引擎进行人机交互和视觉追踪的开发，利用Finger Gestures操作实现模型的触觉感知功能，配合多点触控的支持，实现手势操作与模型的交互。

图2 系统开发方案

2 系统开发

基于AR移动端教学系统的功能需求和总体架构，软件开发工作主要集中于三维形体建模和导入、目标识别和跟踪注册以及耦合显示和交互。

2.1 三维形体建模

建模对象为教材中的三维形体，覆盖的知识点章节有平面立体及其截切、曲面立体及截切和相贯、组合体画图和读图、表达方法、标准件和常用件、零件图和装配图，根据已有教学研究和教学经验[17]选择了在图样阅读和绘制能力方面较典型的共68个形体进行建模。

现有的虚拟教学系统模型库大多以3D Max为建模工具，再导入Unity3D中渲染，得到的虚拟模型占用空间大且视觉仿真度不高、交互操作不流畅[18]。所以本系统直接在3D Max中进行三维建模以及贴图和渲染后处理，充分利用3Ds Max模型与Unity3D平台良好的兼容性，可以节省存储空间和数据传输时间，同时优化提升系统使用过程中用户的视觉效果和交互体验。建模技术方面，采用基础、复合和多边形相结合的建模方法，严格控制每个模型的面数以保证系统的流畅运行和良好的显示效果，以教材中相应的图号和图名的对模型命名和检索，提供模型库的管理和调用功能，模型库部分模型如图3所示。

图3 3Ds Max模型库

2.2 目标识别和跟踪注册

教学系统通过移动端摄像头扫描目标图形，快速识别并调出立体模型叠加在现实场景中显示，系统采用基于计算机视觉的跟踪注册技术，通过对跟踪注册算法的优化开发，实现对虚拟模型局部坐标系的实时修正，计算摄像机的相对姿态并在屏幕的相应位置完成虚拟三维形体的快速刷新，使得在观察和交互过程中，应用终端姿态的变化不会对模型和场景相对位置造成影响，从而持续提供具有高仿真度的视觉感受。

目标识别方面，如图4所示，首先将摄像头读取到的平面视图(图4(a))转换成小规模灰度图片(图4(b))，利用穷举法计算得到前景色和背景色各自的类内差异最小和类间差异最大的最佳阈值，通过该阈值将灰度图片再转换为黑白缩略图像(图4(c))，然后将黑白缩略图识别为像素矩阵，从而能够对模型进行标记并与模型库建立对应联系。

图4 目标识别过程

跟踪注册方面，增强现实系统的单摄像头跟踪注册问题涉及到多个坐标系的变换操作，首先，从真实场景坐标系到摄像机坐标系的变换过程，是通过摄像头采集图像，将真实场景图像转换为二维图像并在摄像机的成像平面上显示；之后将摄像头参数作为已知条件，实时计算摄像头在真实场景的位置姿态，通过坐标变换确定摄像头和真实场景坐标系之间的转换关系；而转换关系是由变换矩阵确定，该矩阵可由一个旋转矩阵和一个平移矩阵组成，通过对真实场景中的标志物进行图像分析得到[11-12]。由于标志物的大小已知，即标志物顶点在其坐标系下的坐标已知，同时，图像处理过程中可以得到摄像头像平画上4个顶点的坐标。在确定了变换矩阵中的旋转矩阵之后，根据顶点在标志物坐标系的坐标和在摄像头平面中的坐标就可以计算出坐标系的变换矩阵，进而计算确定虚拟模型在场景中的确切位置，以实现注册。

2.3 耦合显示和交互

Unity3D渲染得到的模型与移动端IDE的真实场景视图在同一场景中并行显示，使得虚拟模型始终叠加于IDE视图之上且对现实场景具有遮挡和干涉的效果。系统以Unity3D为开发主体，充分利用Unity3D内部封装的OpenGL ES三维引擎提供的强大的3D解决方案。完成3DsMAX建模后，通过FBX模块将模型加载到Unity3D中，设置环境光源强度以控制交互操作时场景的明暗效果；同时构建系统逻辑，以实现模型在虚拟场景中的加载、展示和交互，预期效果如图5(a)所示。利用Unity Player Native Activity. java类中Unity Player类型变量，基于Eclipse编写Java耦合显示及交互效果功能插件，与配置文件集成导入Unity平台，运行效果如图5(b)所示，屏幕输出了真实场景与虚拟模型的耦合显示效果，模型与目标场景的相对姿态保持一致，摄像头或者目标场景发生姿态变化，模型也会随之变化，从而能够提供更为真实的增强现实效果。

图5 耦合显示和交互效果

3 教学应用

为了提供更为便捷和直接的用户体验，提高软件系统的使用率，系统将工程图学教材封面定义为可识别图像(图6(a))，提供摄像头扫描图像并识别下载的功能，用户使用智能终端设备的摄像头扫描教材封面，即可下载安装相应平台的“工程图学AR模型系统”APP程序，终端手机设备的安装运行效果如图6(b)所示。

为方便学生安装使用，针对目前主流移动平台Android和IOS分别进行了软件开发，图7为学生在利用手机端扫描调出模型并进行模型观察和交互学习的场景。学生进入系统并启动自动识别功能，扫描教材中预定好模型视图，调出虚拟立体模型，与真实场景耦合叠加显示。学生可以对模型进行如图触控交互操作(图8)，包括对模型实现正交投影操作(图8(a))、进行三维旋转操作(图8(b))、对模型进行预设的剖切操作(图8(c))、模型缩放操作(图8(d))、模型短评及教学视频短片的分屏播放(图8(e)、(f))。通过一系列完备的交互操作，增强学生们的用户体验感，自觉进行模型与视图的快速对比转换，辅助建立图感意识，加深对视图表达的理解和认识。

图6 软件识别、下载及安装运行

图7 AR系统应用场景

图8 模型的触控操作

通过在典型教学环节进行教学试点实践，课上课下引入图学AR辅助教学系统，配合传统教学手段，学生主动学习的积极性明显得到提升，尤其是在基本体及截切、组合体读图和表达方法等环节，能够更快地培养图感意识和思维，并将图感内化为图学能力，在形体分析中自觉运用。学生的空间思考和答疑讨论明显增多，也让教师可以更多地了解学生对模型的理解和接受情况，对于教师的课堂讲解也具有很强指导意义。

4 结 论

本文依托当前快速发展的虚拟现实交互技术，以工程图学中图感培养和加强为目标，将AR引入课程教学，分别开发了以Android和IOS移动终端为应用平台的增强现实图学教学系统，建立课堂教学和课下自学环节中高效率的AR铺助图感培养的教学资源。该资源将实际教材和习题集中的平面视图与虚拟的三维立体模型环境相结合，通过视觉耦合叠加和增强的交互操作，突出了体验的真实感，提升了图学课程吸引力和学生学习兴趣，同时搭建起二维视图与三维形体间高效的转换通道，配合课程讲解和课下辅导，学生可以方便、自觉地利用该通道有意识的强化图感在视图解读中的认知作用。下一步的工作将同步扩充教学和模型资源、完善教学客户端系统，为学生提供更好的软件服务。本文是移动端AR与工程图学教学进行有机结合的实践探索，其成果具有的学习模式的虚拟性、交互性、扩展性和移动性优点，有助于推动新时期工程图学教与学的革新与发展。

[1] 段志坚, 杨甫勤, 田广才, 等. 改革工程制图教学理念构建全程教育课程体系[C]//2012管理创新、智能科技与经济发展研讨会论文集. 南昌: 南昌工程学院, 2012: 104-107.

[2] 姜文锐, 宫娜. 拔尖人才培养模式下的工程图学教学研究[J]. 图学学报, 2014, 35(3): 455-458.

[3] 王珉, 张宗波, 伊鹏,等. 以图学能力内化为中心的效果导向型教学模式探索与实践[J]. 图学学报, 2016, 37(4): 567-572.

[4] 刘衍聪, 马晓丽, 伊鹏. 现代图学教学中的图感因素探析[J].图学学报, 2013, 34(6): 110-113.

[5] 伊鹏, 刘衍聪, 马晓丽, 等. 工程图学"图感"形成过程分析及教学实践研究[J].中国电力教育, 2013(31): 84-85.

[6] 张宗波, 王珉, 吴宝贵, 等. “线上+线下融合式”工程图学课程建设与教学实践[J].图学学报, 2016, 37(5): 718-725.

[7] 张志祯. 虚拟现实教育应用:追求身心一体的教育——从北京师范大学“智慧学习与VR教育应用学术周”说起[J]. 中国远程教育, 2016(6): 5-15.

[8] 朱文博, 陈龙, 崔怡, 等. 基于虚拟现实技术的机械制图教学[J]. 教育教学论坛, 2014(9): 57-58.

[9] 邓朗妮, 马晋超, 赵军. 虚拟仿真在工程制图课程中的教学改革研究[J]. 价值工程, 2017(3): 170-171.

[10] 刘伟, 杜强, 张顺心, 等. 基于VR技术的工程图学移动学习系统[J].图学学报, 2016, 37(6): 857-861.

[11] 陈泽婵, 陈靖, 严雷, 等. 基于Unity3D的移动增强现实光学实验平台[J]. 计算机应用, 2015, 35(S2): 194-199.

[12] 何福本, 梁延德, 张红哲, 等. 增强现实技术在车削加工实训教学中的应用[J]. 实验技术与管理, 2017, 34(3):127-129, 150.

[13] PEJOSKA J, BAUTERS M, PURMA J, et al. Social augmented reality: enhancing context-dependent communication and information learning at work [J]. British Journal of Educational Technology, 2016, 47(3): 474-483.

[14] HSIAO H S, CHANG C S, LIN C Y, et al. Weather observers: a manipulative augmented reality system for weather simulation at home, in the classroom, and at a museum [J]. Interactive Learning Environments, 2016, 24(1): 1-19.

[15] CHIANG T H C, YANG S J H, HWANG G J. Students’ online interactive patterns in augmented reality-based inquiry activities [J]. Computers and Education, 2014, 78: 97-108.

[16] 徐鹏, 刘艳华, 王以宁. 国外增强现实技术教育应用研究演进和热点——基于SSCI期刊文献的知识图谱分析[J]. 开放教育研究, 2016, 22(6): 74-80.

[17] 李雨桐, 王玉新. 强化工程意识与工程图样绘制能力的工程图学教学探讨[J].图学学报, 2014, 35(5): 791-797.

[18] WEI X D, WENG D D, LIU Y, et al. Teaching based on augmented reality for a technical creative design course [J]. Computers & Education, 2015, 81: 221-234.

Design and Development of Engineering Graphics Teaching System on Mobile Devices Based on the Augmented Reality Technology

YI Peng, LIU Yancong, SHI Yongjun, QIN Zhen, ZHANG Zongbo

(College of Mechanical & Electronic Engineering, China University of Petroleum, Qingdao Shandong 266580, China)

Supported by the currently rapid development of virtual reality technology, in order to improve the sense of drawing set as the goal in engineering graphics course, the augmented reality technology was introduced into curriculum teaching and auxiliary teaching system on mobile devices as application platform was developed. In this system, the real scene of plane view was combined with virtual 3D models. The coupling and interaction experience reality was enhanced by a high level visual superposition. The sense of drawing can be set up as an efficient conversion bridge between the imaging and three-dimensional solid. By using such bridge, the acceptable degree of abstract three dimensional model and the learning interest were promoted. With the lecture and the guidance after class, students will consciously strengthen sense of figure interpretation in the view of cognitive function. The reform of teaching mode and resource discovery will help to promote the development of engineering graphics education in future.

engineering graphics; augmented reality; mobile devices; teaching system

G 642.0

10.11996/JG.j.2095-302X.2018061207

A

2095-302X(2018)06-1207-07

2017-10-06；

2017-11-19

山东省本科高校教学改革研究重点资助项目(B2016Z013)；中国石油大学(华东)教学改革项目(JY-B201831)

伊 鹏(1983-)，男，山东淄博人，副教授，博士。主要研究方向为工程图学、计算机辅助设计与图形学。E-mail：yipupc@163.com