基于MAR的工程制图助学系统研究

侯守明，连盼盼，徐文鹏，陈柯瑶



基于MAR的工程制图助学系统研究

侯守明1,2，连盼盼1，徐文鹏1，陈柯瑶1

(1. 河南理工大学计算机科学与技术学院，河南 焦作 454100；2. 鹤壁汽车工程职业学院，河南 鹤壁 458030)

在工程制图课程中根据二维图纸来构思三维形状，对于初学者来说有相当大的难度。针对传统基于PC端工程制图的多媒体辅助教学方式在交互性和易用性上的不足，研究基于移动增强现实的工程制图助学系统。采用无标记识别技术实现工程图样与三维数字化模型的自然交互，并在此基础上开发了一个功能齐全的助学APP，使用者可以通过手机摄像头扫描识别二维工程图，在屏幕上叠加显示三维模型以及其他相关教学资源，用户可实时完成模型缩放、旋转等操作，并且可对复杂的工程装配体模型进行拆卸和组装。实验结果表明，该系统不仅便于学生自主学习，而且在一定程度上改善了工程制图课程的教学环境。

增强现实；工程制图；无标记识别；助学系统

工程制图是工科学生必修的一门专业基础课，旨在培养学生绘制和阅读工程图样的能力。在学习过程中，学生需要根据投影原理构思二维图表示零部件的三维形状，完整绘制出零部件的三维模型图和三视图，这对学生的自主学习能力提出了很高的要求。尽管现有的教学模式采用多媒体、虚拟实验室和三维CAD软件等作为教学手段极大地提高了教学效果，但主要的展示环境依赖PC终端，在易用性和交互方式上仍有很大的改善空间。近几年随着软硬件制造水平的不断提高，尤其是智能手机的爆发式增长，增强现实(augmented reality，AR)再次成为人们的研究热点。移动增强现实(mobile augmented reality，MAR)便是将AR技术应用到智能手机和IPAD上的新阶段产物，近年来也可以看到MAR在教育、维修、工程、军事、娱乐、旅游、机械等领域上的诸多应用[1-3]。

MAR技术的出现也为工程制图课程的教学提供了一种全新的教学手段和方法。CAMBA等[4]研究了AR的应用平台，通过对桌面应用、可移动设备应用和3D浏览器的调查分析，认为通过AR技术结合工程制图有利于提高学生的学习兴趣，并结合实际研究实现了一种基于标记的AR应用，分别在桌面式和移动平板上进行可行性实验，得到了广大师生的认可，确立了工程制图与AR结合的一种研究趋势。FIGUEIREDO等[5]提出基于AR的全息投影绘图方式，帮助学生观察和学习2D视图和3D模型，实现一个可视化与交互式的全息原型，降低机械工程师学习过程的感知三维的难度。原型以QR码来触发模型的显示，接着使用Leap Motion硬件设施来感知手势动作，从而进行对模型的简单操作。该原型系统需要特定的一组硬件设备，采用的是有标记识别的方法，并不是很方便学生的自主学习。OH等[6]提出基于AR技术的船舶设计图纸可视化系统，通过对船舶图纸的识别展现三维数字化船舶的模型，帮助经理人与工程师们进行沟通。对于不懂行的经理人和懂行的工程师很难单从一组抽象的二维图纸来弄清需求和实际理念，也不可能等船舶构造好了再进行更改，所以这种船舶图纸的可视化可以有效地降低成本、节约时间。但是由于船舶等大型模型内部结构的复杂性，其并不能清晰、精确的展现出模型的细节部分。邱龙辉[7]提出基于Android平台的工程图学助教助学系统，结合一种3D浏览器的核心功能模块，实现三维模型在手机端的应用，方便学生对工程制图的学习，局限在于人与手机的简单交互。现有相关研究主要是基于有标记识别[8-9]的AR技术，对于出现在不同教材或者习题集中的同一张图片，需要重复进行标记编入操作，这样不仅加大了数据管理的工作量，也对工程制图三维可视化的扩展产生不少麻烦，同时有标记识别也不利于自然交互。

本文在研究AR的无标记识别技术基础上，分析并构建了工程制图助学系统的体系结构，提出系统实现的关键技术，基于Unity 3D开发应用于Android平台的工程制图助学APP。该系统可以让使用者借助智能手机实现工程制图中二维图纸与三维模型的直观交互，随时随地辅助学生自主学习，增添学习过程中的趣味性，进一步改善了工程制图课程的教学环境。

1 移动增强现实技术

AR通过对现实世界的场景进行分析，根据场景定位对现实场景添加一些辅助信息来达到一种感官上的增强效果，实现对真实世界的增强表现。AR系统主要由三维注册、虚实结合和实时交互3大模块组成。AR凭借其在智能终端上的便携性和普适性特点备受关注，如何结合智能手机开发出实用性强的应用是当下AR研究方向之一。

1.1 无标记识别技术

三维注册一直是AR技术研究的重点，而无标记识别和有标记识别是基于视觉的三维注册的两种方式。无标记识别以直观的真实图像为识别对象，其采用计算机视觉中图像处理的相关算法对摄像头采集的一帧图像进行特征点提取等操作，不需要分析图像再生成一张辅助图像识别的标记图。特征点是图像处理后的一种独特的数据信息，可以在特定情况下表述一幅图像和其他图像之间的区别。无标记识别技术的特征提取算法常用的有SIFT、SURF和ORB(oriented FAST and rotated BRIEF)[10]等算法，本文采用具有更好的运算速度和响应效率的ORB算法来实现工程图样的无标记识别。

ORB算法是对FAST特征点和BREIF特征描述子的一种结合和改进。FAST算法主要思想是在设定半径为3个像素值大小的Bresenham圆中进行像素点的灰度比较，根据中心灰度值和圆周灰度值判断该点是否是关键点，其判断关键点的公式为

其中，t为设定的阈值；为中心灰度值；为圆周灰度值。在图1中，有连续9个以上像素点的灰度值小于中心点P的灰度值，P便作为图的一个特征点被提取出坐标位置。单一的特征点坐标位置信息量太少，不足以区分图像特征点之间的关联程度，所以增加特征点的表述信息可以加强其鲁棒性。鲁棒性是指特征点不受图像大小、拍摄角度及模糊程度影响。

使用()代表灰度值，特征点的位的二进制串可表述为

通过BRIEF描述子可以将特征点描述为一组二进制字串，最终将图像用一组数值串的数集进行表示。二进制字串的维度常用的有128位、256位、512位二进制数值，选择不同的维值则会带来不同的计算消耗，在计算速度、识别率等方面也会有不同的效果。图2使用256位二进制编码表述特征点。在工程制图AR APP开发中使用BRIEF描述子的汉明距离判断特征点是否匹配，在进行特征匹配过程根据二进制数值的汉明距离比较得出最优匹配点对。

图2 特征点描述子

1.2 增强现实系统体系结构

无标记识别是AR系统实现的关键环节之一，结合其他关键技术才能构成一个完整的MAR系统。首先，通过手机的摄像头来获取现实世界的一张图片，开始对图片进行灰度化预处理，接着使用ORB等特征点检测算子提取图片的特征点[10]。随后根据提取的特征点计算得到一组多维向量由此作为特征点的描述符，根据特征点描述符和数据库中的不同图样的匹配符数据信息进行匹配与优化，完成系统的数据分析过程。接着，根据判断的结果进行下一步处理，如果匹配成功，结合精确的特征点信息和摄像机标定处理计算出单应性矩阵，如果判断信息失败，重新调用摄像头进行前几步的匹配过程。再接着由匹配环节确定的图像信息调用图样的三维模型，确定在数据库中描述符标签和模型标签一对一关联着的图样和模型数据信息。最后三维模型通过单应性矩阵转换出在屏幕上的准确位置信息，虚实融合地把增强信息显示在手机屏幕上。根据上述原理设计的工程制图MAR系统体系结构如图3所示。该系统由信息处理模块、数据库管理模块、三维显示模块3部分组成。

2 工程制图MAR助学系统开发

在工程制图课中，学生空间几何问题的图解能力、空间逻辑思维能力和形象思维能力的培养，是通过一系列的由简到繁的二维图样与三维模型之间的不断转换练习而获得的。该课程现有的学习方法主要通过教师课堂多媒体课件PPT展示、课下学生完成习题集作业来进行。课程教学方面，目前网络视频公开课、精品资源库建设、微课课件等方式可以进一步提高该课程学习效果。在虚拟现实和工程制图相结合的课程改革方面，国内也有部分高校开展了工程制图虚拟实验室的建设以及AR技术的应用案例研究，但由于成本问题以及易用性的局限，应用推广的力度显然不够。学生的读图和绘图技能依然是通过做习题反复练习来得到提高的，这个过程略显无趣和单调，也缺乏足够的吸引力来引导学生自发学习。在移动互联网技术大行其道的今天，手机和平板电脑已经成为学生的最爱。开发一个基于移动端的工程制图助学APP，给学生的学习过程必定会带来很大便利和乐趣。工程制图MAR助学系统模型如图4所示。

图3 工程制图MAR系统体系结构

图4 工程制图助学系统模型

从系统模型中可以很清楚地看到AR的实际工作情况，其工作载体是智能手机。系统通过摄像头来交互获取现实场景中的一帧画面，经过分析处理后，智能手机调用已经建立好对应关系的三维模型并准确显示在屏幕中，这样能够提供非常直观的交互性学习。

2.1 关键技术实现

根据上述系统体系结构，工程制图MAR系统实现的关键技术包括：

(1) 工程图样特征提取。在计算机图像处理中，特征点作为一幅图片的身份信息可区别图像与图像之间的相同、相似、不同关系。虽然工程图样的图纸多是由规则的黑色线条来描述，但依然可以对图纸的特征点信息进行检测并存储，这样可以把所有线的数据信息统一抽象为图像像素数据信息，手机根据存储的一些多维的特征点数据，通过特征点的坐标位置和特征向量的数据信息，可以很快且方便地建立设计图纸和对应的工程图样之间的关联关系。

(2) 工程图样的匹配检测。通过ORB算法可以提取出工程图样图像的特征点信息，进而对特征点匹配情况采取优化措施。匹配时使用特征点的描述符，其作用之一可以作为特征点相似程度的度量，使用蛮力匹配或比率测试的k近邻分类(k-nearest neighbor，KNN)匹配算法[11]可以有效地检测出匹配的特征点对，继而使用随机采样一致性方法(random sample consensus，RANSAC)[12]结合单应性估计过程对特征点对进行检测并删除离群点对，最终保留匹配过程中得到的一些精准特征点存储到一组特征点集里。

(3) 三维模型的姿态估计。计算摄像机的内外参数可以根据先验方式获取，如张正友棋盘标定法等，根据精准特征点计算出图像之间对应关系得到精细的单应性矩阵，从而计算出待检测图像与摄取图像之间的旋转角度、缩放尺度和平移距离，接着根据工程图样图像的顶点坐标确定摄取图像的最终匹配区域，同时建立起匹配区域和三维模型的绘制区域的三维坐标系。

(4) OpenGL ES可视化支持。确定三维模型在摄像头摄取图片的实际坐标后，通过OpenGL ES对模型进行渲染，在屏幕坐标系上绘制出经过透视变换和几何变换的较为真实的三维模型。

2.2 工程制图助学APP开发

2.2.1 开发环境与工具

系统使用JDK1.8.0、Android SDK、VS2013、MySQL、Unity 3D、HiAR和Vuforia的SDK等工具进行开发。其中Vuforia和HiAR的SDK都是AR的跨平台的开发工具。

2.2.2 手机运行环境

测试设备为360手机1505-A02智能手机，CPU为高通骁龙625，运行内存4 G，屏幕分辨率1080×1920，操作系统为Android 6.0.1。

2.2.3 数据采集

(1) 二维图像采集。系统资源库中使用的工程图样部分来源于课程教学使用的电子教材和习题集，部分来源于基于三维CAD软件构建的三维关联模型自动生成的对应的二维工程图。采集到的二维图像保存格式为.jpg文件，供用户浏览和查询资源库使用。

(2) 三维数字模型。系统用到的一些零件模型、截交体模型、相贯体模型、装配组合体三维模型采用SolidWorks和其他CAD软件绘制。这些模型经转换后可以保存为3D Studio的.3DS格式。由于.3DS格式不支持unity的材质和动画，可通过3D MAX软件转换成.FBX格式的模型，方便作图过程的动画展示。

2.2.4 系统主要功能

工程制图助学APP主要帮助提高学生的学习兴趣，调动学生的主观能动性，结合AR技术设计了APP的4个主要功能，如图5所示。

(1) 工程制图电子习题册。将采集到的工程制图教材和习题集中的典型实例的二维工程图样进行汇总并分类，方便用户查阅和浏览。习题经典类型是根据三视图中的某两个视图想象立体模型并补充绘制第三视图，或者根据给定的不同类型的轴测立体图来绘制三视图。此外，系统还提供了按照现行教材或习题集组织实例的方式呈现题库的主要内容，便于用户查找和使用。

图5 工程制图助学系统功能

(2) 三维模型虚拟浏览。系统提供三维模型资源库供用户观摩浏览。用户单击案例库中二维图片即可在手机屏幕呈现对应模型三维立体展示，用户可360°旋转、缩放查看模型细节信息。双击图像可最大化进入虚拟浏览界面，点击该界面上对应按钮用户可查看直接关联的习题参考答案和作图过程动画或者图片，进一步可以通过剖面查看模型内部结构，通过比例来测量模型的尺寸等信息。

(3) AR扫描助学。通过手机摄像头扫描纸质教材或者习题集上对应的图样，能够直接在屏幕上叠加显示其所对应的三维模型，实现人机自然交互和手势触屏交互。对于一些结构复杂的组合或者装配模型，系统使用虚拟按钮实现对模型的拆解和组装，帮助学生深刻理解形成过程和内部结构。

(4) 视频和电子学习资源。基于大数据技术使用开源的网络爬虫工具自动获取互联网上工程制图相关的学习资源和视频公开课资源，集中展现在系统中，供学习者使用，节约学生查阅资料和文献检索的时间，提高学习效率。

3 实验结果

在上述研究的基础上，开发了基于Android平台的工程制图MAR助学系统，如图6所示。

使用工程图纸作为教学资源，在不使用APP时可以让学生在想象中思考三维模型的构造，完成工程学科的基础训练；当学生遇到问题时，可以应用该APP的AR扫描功能直接调用立体模型进行交互和叠加显示文本或者视频信息，简单、方便、快捷，增添学习趣味性、多元性。例如：对于一些装配组合体，同样先进行工程图样识别，之后通过手指交互触屏控制拆卸和组装的虚拟按钮，就可以动态展示三维模型的拆卸和组装过程，如图7所示。

图6 工程制图MAR助学APP效果图

图7 工程制图装配体拆卸和组装实例

该系统目前已经建立了包含简单零件组、截交体、相贯体、装配组合体等在内的100多组二维图片及对应的模型库，展示效果稳定，内容较为丰富。该系统已在第一作者所在单位2016级计算机专业工程制图课程的159名学生和部分专业的制图课程教师中进行了测试使用。经调查问卷分析和访谈交流，参加使用和测试的5名教师以及90%的学生认为将AR技术应用于工程制图课程教学，不仅使教学过程更加方便，而且使学习过程也更加有趣，能够显著改善和提高工程制图课程的学习效果。

4 结 论

在工程制图的学习过程中，引入MAR技术，可以让学生从被动学习的接受方转变成主动学习的探索方，主观能动地通过观察和操作来对二维图纸进行理解，同时提供更加丰富、更加直观的三维虚拟模型信息给学习者，帮助学生更轻松地学习，提高学生学习的兴趣。基于MAR的工程制图助学系统在一定程度上改善了教学方式，使学生从中受益。进一步的研究工作包括：①针对工程制图中图样的特点优化识别算法，提高系统响应速度；②不断完善和丰富AR的工程制图资源库；③根据教师和学生使用的反馈意见，进一步优化系统功能，加快系统的应用和推广。

[1] HOŘEJŠÍ P. Augmented reality system for virtual training of parts assembly [J]. Procedia Engineering, 2015, 100: 699-706.

[2] DONATO M D, FIORENTINO M, UVA A E, et al. Text legibility for projected Augmented Reality on industrial workbenches [J]. Computers in Industry, 2015, 70(C): 70-78.

[3] WU H K, LEE W Y, CHANG H Y, et al. Current status, opportunities and challenges of augmented reality in education [J]. Computers & Education, 2013, 62(2): 41-49.

[4] CAMBA J, CONTERO M, SALVADORHERANZ G. Desktop vs. mobile: a comparative study of augmented reality systems for engineering visualizations in education [C]//2014 IEEE Frontiers in Education Conference Proceedings. New York: IEEE Press, 2014: 1-8.

[5] FIGUEIREDO M, SOUSA L, CARDOSO P J S, et al. Learning technical drawing with augmented reality and holograms [EP/OL]. [2017-05-09]. https://www.researchgate.net/publication/270286194_Learning_Technical_Drawing_with_Augmented_Reality_and_Holograms.

[6] OH Y J, PARK K W, KIM E K. Efficient 3D design drawing visualization based on mobile augmented reality [C]//17thInternational Conference on Advanced Communication Technology. New York: IEEE Press, 2015: 568-573.

[7] 邱龙辉. 基于Android 平台的工程图学助教助学系统研究与实现[J]. 图学学报, 2016, 37(6): 831.

[8] CHEN H, FENG K P, MO C L, et al. Application of augmented reality in engineering graphics education [C]// 2011 IEEE International Symposium on IT in Medicine and Education. New York: IEEE Press, 2011: 362-365.

[9] VEIDE Z, STROZHEVA V, DOBELIS M. Application of augmented reality for teaching descriptive geometry and engineering graphics course to first-year students [EP/OL]. [2017-03-12]. http://pdfs.semanticscholar.org/1f6f/eedc83b5 b9e57827da2e71fc5ee4083a07d4.pdf

[10] RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: an efficient alternative to SIFT or SURF [C]//ICCV´11 Proceedings of the 2011 International Conference on Computer Vision. Washington DC: IEEE Computer Society, 2011: 2564-2571.

[11] HASTIE T, TIBSHIRANI R. Discriminant adaptive nearest neighbor classification [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 18(6): 607-616.

[12] FISCHLER M A, BOLLES R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography [J]. Communications of the ACM, 1981, 24(06): 381-395.

The Assistant Learning System of Engineering Drawing Based on Mobile Augmented Reality

HOU Shouming1,2, LIAN Panpan1, XU Wenpeng1, CHEN Keyao1

(1. School of Computer Science and Technology, Henan Polytechnic University, Jiaozuo Henan 454100, China; 2. Hebi Automotive Engineering Professional College, Hebi Henan 458030, China)

In the course of engineering drawing, it is a great challenge for beginners to conceive three-dimensional shapes on two-dimensional drawings. This paper analyzes the shortages of traditional PC-based multimedia-assisted teaching methods in interactivity and convenience, and proposes an engineering drawing system based on mobile augmented reality. This system adopts the unmarked recognition technology to realize the natural interaction between engineering drawings and three-dimensional digital models, on the basis of which, an assistent learning application with multifunction has been developed. Users can use the cellphone camera to scan and identify the two-dimensional engineering drawings and overlapping display of three-dimensional models, and other teaching resources are also supported on the phone. Users can also zoom in or rotate the models, and disassemble and assemble those complicated assembly models. The result shows that the system is not only convenient for students’ autonomous learning, but also helpful in improving the teaching environment of engineering drawing courses.

augmented reality; engineering drawing; unmarked recognition; assistant learning system

TP 391

10.11996/JG.j.2095-302X.2018030587

A

2095-302X(2018)03-0587-07

2017-06-15；

2017-07-17

河南省科技攻关计划项目(162102310090，172102210273)；河南省教育教学改革项目(2014SJGLX478)

侯守明(1972-)，男，河南博爱人，教授，博士。主要研究方向为CAD/CG、虚拟现实、产品生命周期管理。E-mail：housm@163.com