AR技术在高职教育中的应用研究——以“平板电视检测与维修”为例

陈 丽 夏兴隆

(1. 苏州工业职业技术学院 电子与通信工程系，江苏 苏州 215000； 2. 苏州易泰勒电子科技有限公司，江苏 苏州 215123)

增强现实(Augmented Reality，简称AR)技术的发展，已经在很多领域得到了广泛应用。这种技术是虚拟现实(Virtual Reality，简称VR)的延伸，可以实时地计算摄影机影像的位置及角度再加上相应图像的技术，在屏幕上模拟三维的虚拟空间，并与现实世界进行互动[1]。AR技术的显著优势在教育领域受到了广泛关注，尤其是在职业技术教育方面。与传统本科院校不同，职业教育主要侧重培养学生职业技能、实践动手能力等。在教学过程中，实训条件的好坏很大程度上决定了职业技能培养的成效。只有建设完善的实训条件，才能更好地满足高职学生的培养需求。然而，有些实际工作现场环境恶劣、生产设备体积庞大等诸多因素导致很难在实验室搭建实训平台，即使可以搭建出类似的实训平台，由于实验实训中场地、设备、工作环境等方面与实际条件存在的差异，也无法完全真实还原生产现场，教学与生产仍有很大程度的脱节。

AR技术的出现，可以弥补这方面的不足。随着AR技术越发成熟，职业教育领域课堂中也逐渐出现AR技术，为一些受客观条件限制而难以开展的项目提供了逼真的模拟现实机会[2]。探索AR技术在高职教育中的应用，对利用该技术进一步提升高职教育质量有着重要的意义。

1 AR技术综述

AR技术的应用无论是技术层面还是应用层面，都已经有一些成功案例。技术层面，Z Space、Metaio等公司已经研发出AR解决方案和工具，使该技术在各领域的应用得以落实[3]。应用层面，最常见的开发软件为基于C#语言的Unity 3D。有学者从理论层面分析了如何实现AR技术的方式；也有学者调研了海外AR技术的应用案例，主要用于大学物理实验[5]、环境科学户外实践[6]、数学非正式学习环境[7]、艺术教育[2]等。AR技术在职业技能训练方面也有报道，如魏国前在2007 年的研究中提到利用AR 模拟技术来训练学生学习起重机实操技术[8]。这些都为AR技术的应用提供了支撑。

但是，AR技术在职业教育领域的发展还存在一定难度。AR技术在教育教学领域中应用的关键技术大多是高新技术，不仅技术应用困难，而且投资研究成本较高，需要大量的技术支持才能很好地运用实现。如今对AR技术的研究开发还处于表面，不够深入。目前，市面上最常见的AR方式是制作成手机APP，在使用过程中，打开手机摄像头，通过手机摄像头引入现实场景，再叠加虚拟场景，实现虚拟和现实的有机结合。在课堂教学当中，能够运用到AR技术的教学并不多，大部分都是教材中自带演示功能的AR软件。教师对于现有的AR技术运用也不熟悉，AR技术使用中存在的不足尚不明确。何种场景适合采用AR技术，如何发挥他在教育中的教学优势，AR技术在使用过程中，还存在哪些问题，如何避开AR技术的不足，这些都是值得研究的。

2 实验设计

2.1 知识点选择

本研究选取“平板电视检测与维修”课程为主要研究对象。该课程主要目标是培养学生识别平板电视故障、测试及故障排查、故障修复及调试等技能。平板电视一般包括液晶屏、驱动板、信号输入等几大模块，其中，故障和不良品检测是后续教学的基础，也是学生应掌握的就业相关技能，直接对接用人单位品质管控等岗位。

在这些模块中，有关电路、信号接口等方面的故障检测与维修在实验教学中较容易进行，传统的电路检测维修方法、设备等都可以使用，且操作直观，对动手能力的培养更为直接有效。然而，液晶显示屏的问题，由于实验场地、条件的限制，很多不良品、故障现象较难复现。主要原因包括以下三方面：

(1) 实验实训环境并非无尘环境，拆解完的显示屏会直接报废，成本非常高。因此，在课堂上将显示屏进行大范围的拆解并不现实。

(2) 实验实训设备均采用良品显示屏，即使可以拆解显示屏，各部分部件均是通过出厂检验的良品，仍然无法看到各部件的不良现象。

(3) 实验室演示显示器不良现象主要是点亮显示屏后，通过软件系统来模拟产生故障现象的图像，与实际生产工艺中的品质管控仍有较大差距。

因此，对于显示屏模组的检验检修方面的技能并没有合适的实验条件来对学生进行培训。

本项目选取液晶显示屏模组中最具代表性的组成部分——玻璃基板作为研究对象，在实际生产中，玻璃基板的品质管控必须熟悉常见缺陷，能对这类缺陷进行有效识别。该部件的缺陷与电路相比，缺陷种类多，现象各异，大部分是在生产过程中，由于工艺、管控等原因造成的。采用AR技术，可以很好地解决这部分问题。通过AR软件的制作，在课堂中进行互动式的交互体验，可以对学生进行这方面技能培训。

2.2 实验内容设计

AR软件的开发，主要以行业应用为出发点，锻炼学生技能，满足企业用人需求。因此，确定研究对象后，选取从事光电显示行业玻璃贴合的苏州博奇电子科技有限公司为典型合作企业，进行调研后确定典型任务。企业生产对象均基于玻璃制品开展，且生产要求需要满足显示模组的品质要求，比常规玻璃制品要求更高。在进行玻璃基板贴合之前，需要对玻璃进行品质检验，对常见的玻璃缺陷进行识别、分类，并根据缺陷的大小进行筛选。对于部分有缺陷，但缺陷大小小于一定尺寸的玻璃，在不影响使用时，仍然可以继续进行下一步工序。如果在制作完成后，再发现缺陷，则该产品会直接报废。因此，在整个工艺流程中，玻璃基板品质管控的作用非常重要。

在整个生产过程中，有6种不良现象最为常见，具体如图1所示。这些缺陷部分由保管时产生，部分由玻璃生产过程中的管控产生。后续将选择这六类中最常见的缺陷作为AR软件的制作内容。

由于玻璃是透明的，对于缺陷面积较小，且对比度不高，缺陷现象不明显的情况，只有在特定观察条件下才可以看到。因此，教师在实验室现场没有实物的情况下，直接通过传统的信息化手段——PPT进行演示，根本无法取得较好的效果，学生也无法理解其缺陷现象。

(a)毛屑(b)脏污(c)白点(d)黑点(e)划痕(f)异色点

图1 六种常见缺陷

2.3 AR软件设计

基于上述6种最常见的缺陷，整个AR软件设计包括两部分内容：单项缺陷和综合缺陷。

单项缺陷包括毛屑、脏污、白点、黑点、划痕、异色点。展示每种缺陷时，AR软件会呈现多个数量不等的同种缺陷。图2为其中两种缺陷的三维建模效果图。

为了尽量模拟实际缺陷效果，基于三维建模的效果图，开发了一款教学App。App内容包括六种典型缺陷的单项训练，学生通过选择缺陷名称，调出该缺陷对应的现象效果图，通过手势操作，可以实现图像的放大、旋转，也可以通过按键改变观察的环境光。

在熟悉单项缺陷的基础上，教师可以通过综合缺陷进行知识点测试。

(a)白点(b)划痕

图2 三维建模效果

在软件制作过程中，主要采用3DMax软件和Unity 3D软件进行App制作。3DMax软件是目前市面上比较常见的动画制作软件，采用该软件可以制作三维渲染动画，在建筑设计、工业设计等方面应用非常广泛。在本设计中，采用3DMax制作各种带缺陷的玻璃模型图，并进行渲染、生成.fbx文件，用于下一步Unity 3D软件进行App制作。Unity 3D是比较常见的AR制作软件。首先，将上述.fbx文件导入软件，然后在此基础上进行缩放等操作。该软件基于C#进行编程，其中缩放的流程如图3所示。完成各种缺陷的效果后，打包生成安卓Apk文件。在上课前，教师发送给学生提前安装。

图3 缩放流程

3 实验结果

实验在课程实施过程中，随堂进行。课前让学生寻找日常生活中能观察到的缺陷，通过课堂中的交流，在未经过训练的情况下，学生能找到的缺陷主要是玻璃划痕、玻璃碎裂，他们对其余缺陷现象几乎没有任何概念。经过缺陷现象讲解，学生将对各类缺陷有一定的了解。随后，进行单项训练，对学生进行简单测试。记录学生在不同条件下，找出缺陷的时间，测试结果如图4所示。

图4 测试结果

从图4中可以看出，高亮情况下，缺陷的观察时间普遍比低亮要少，也就是高亮情况更容易观察到缺陷。在实际检测过程中，通常会采用照灯的方式使环境光更亮，各种缺陷在此环境下更易观察到。实验结果与实际检测一致。6种不同缺陷中，划痕所需的观察时间较短，这种缺陷比较常见，学生对这类缺陷较熟悉。异色点所需时间最长，原因是异色点与其他缺陷相比，对比度较小，现象不明显。

在测试单项缺陷后，教师对学生进行考核，学生点开综合测试，随机生成缺陷图片，学生指出缺陷类型和数量。测试结果表明，100%的同学可以在AR软件中正确指出缺陷类型，并总结出最佳观测条件。

访谈是教育研究的常见方法之一。在课后，对部分学生进行访谈，进一步获取对该软件的评价。访谈内容主要包括：

问题1：6种缺陷是否可以辨别？

问题2：AR软件对学习6种缺陷有没有帮助？

问题3：在这个知识点的学习过程中，还有什么比较困难的地方？

问题4：这个软件在使用过程中有什么问题？

经过对访谈结果的整理，得出以下结论：

(1) AR软件对缺陷现象识别有很大帮助，学生通过AR软件的学习，可以分辨不同缺陷，并掌握玻璃基板缺陷识别这一知识点。

(2) AR软件的使用可以使课堂进行时空拓展，课后的学习和复习也有了载体，效果较好。学生课后可以利用软件复习这一知识点与实际生活场景中玻璃缺陷进行对比，加深了对知识点的掌握。

(3) 整个实验过程中，部分缺陷不太明显，学生观察起来较困难，可以通过放大找到缺陷。

(4) 软件使用简单，容易上手。在使用体验上，部分同学认为软件需要打开摄像头，且实验持续时间较长，手机耗电较快，影响使用体验。

从上述访谈结果中可以看出，学生对该AR App的评价比较正面，该AR App对学生技能锻炼起到重要作用。从学生的反馈可以看出，AR技术的引入虽然起到很大作用，但也存在一些不足。主要体现在使用体验和实际应用能力上。引入AR后，打开摄像头势必会引起耗电快的问题，尤其是现有智能手机已经普及，手机电池在持续使用过程中，电量不能满足长时间打开摄像头使用。AR的效果可以让学生了解到这些缺陷现象，但是在实际操作中，由于玻璃基板面积大，无法放大等问题，缺陷现象的查找相比App还是存在一定的难度。

4 AR技术在高职教育中的应用启示

本研究是以“平板电视检测与维修”课程中玻璃基板缺陷的识别为具体内容进行的AR App设计。依据实际调研，确定了6种最常见的缺陷现象作为App具体展示内容。课堂教学以及课后访谈结果表明，AR软件的使用对于提升教学质量有很大帮助。同时也带来了使用体验的问题。通过AR技术在高职教育中的应用，得出了以下启示。

4.1 利用信息化手段，改善实验实训条件

目前，职业教育以培养学生职业素养、锻炼学生职业技能为主要目标。在学生培养过程中，注重锻炼学生实践动手能力，因此需要投入大量仪器设备创造实践条件。但是，很多应用场景很难在课堂复现。即使可以复现，也并不一定适合教学。信息化手段的引入，可以解决应用场景难以复现的问题，还可以通过趣味设计，提高学生的学习兴趣。

4.2 针对AR特征，设计实验内容

在各级教育中，信息化教学形式多样，多媒体、动画等技术已经较为成熟，并广泛应用于教学过程中。AR技术带来了与传统信息技术不同的优势，其交互性、真实与虚拟的融合性等优点是传统信息技术无法比拟的。然而，设计AR项目，技术难度较大。因此，在实际教学设计中，必须权衡不同信息技术的优缺点，考虑使用AR技术的必要性。只有当AR技术优势明显时，才考虑设计AR技术，充分发挥AR技术的优势。

4.3 课后拓展，充分发挥AR优势

AR技术的优势除了可以提高学生学习兴趣，与实际实训条件进行互补，还可以充分利用信息化手段实现课堂翻转，有效利用课余时间对知识点进行巩固。

4.4 多种手段并用，弥补AR不足

研究发现，在课堂中长时间反复使用软件进行训练，大部分智能手机存在电池电量无法满足两节课训练的要求。在AR技术的设计和应用中，应考虑这个因素，将项目进行分解，采用其他信息化手段进行现象讲解，使AR技术主要用于操作练习。在设计教学任务时，控制AR软件的使用时间，避免由于电池电量等因素导致使用体验下降。