虚拟增强现实技术在焊接技术与自动化专业建设方面的应用研究

严瀚林 陈有禄 杨新田 兰州职业技术学院

虚拟增强现实技术是将图像、音视频、文字等数字信息通过虚拟与现实信息叠加，形成三维交互式立体画面，使用户在真实环境中与数字对象进行交互的技术，这项技术以其沉浸性、生动性、可视性的体验、无缝交互等独特的教育特性。焊接技术与自动化专业在教学过程中理论教学与实操教学需要很好的有机结合才可达到教学要求，但是在理实一体化课堂中，学生施焊危险性较高、耗材较多、操作时间较少、部分知识较难观察，不能很好焊接保证教学质量，如果将虚拟增强现实技术应用到焊接专业建设中可以实现焊接学习情境可视、焊接抽象概念形象具体、丰富学习资源、多媒体数据生动教学内容、虚拟和现实对比实现思维方式高阶化、将知识丰富优化认知负荷。

1 虚拟与增强现实技术应用与特点

虚拟与增强现实技术是一种基于现实场景的功能实现与为达到对现实场景功能实现增强的虚拟数据实现功能性结合的一种技术。现实场景的特定时空条件下原本存在的实际存因为各方面的局限性而人体不能全部收集到所有需要的信息，但虚拟与增强现实技术可以将人体能够接收的信息量增大，将更多的视觉、听觉、味觉、触觉等方面的信息，通过三维设计软件、模拟仿真、数据平台搭建等技术，将虚拟信息投影到真实世界，被人所感知，同时达到超出现实的感官体验，能够实现把真实的场景和虚拟添加的信息实时地叠加到同一个画面或空间存在。

1.1 虚拟增强现实技术应用

虚拟与增强现实技术总体具有三大技术特征，实时交互性、虚拟与现实相结合、三维注册（也叫三维配准），其中三维注册是虚拟与增强现实技术最重要的特征。例如，三维注册是主要强调计算机生成物和现实场景的对应与叠加的关系，计算机生成物（虚拟存在）的三维坐标系和现实环境的空间坐标必须重合，并且虚拟存在的尺寸必须现实场景中的尺寸达到1：1的完美融合。

虚拟与增强现实技术的实现目前主要是通过Maya、solidworks、3D Max等3D建模渲染软件，以及Unity3D软件平台搭建数据平台，再使用计算机、目镜、手柄等硬件系统构成AR技术使用平台。下面以使用Unity3D、Maya、计算机、目镜、手柄等硬件系统搭建实现CO2保护焊增强现实实操系统为例，简单介绍虚拟与增强现实技术的应用。

传统CO2保护焊实操过程中，由于弧光较强学生在施焊过程中对于弧光观察不够，而且对于刚开始练习的学生对电弧电压掌握不够，还有可能存在不规范、不安全的操作。使用虚拟与增强现实技术在实操中进行以下两方面的现实增强：设置安全规范操作要求、提示、及矫正；在施焊过程中仿真弧光及熔滴过渡方式，可以实现学生以第一人称方式对焊接参数的不同引起的焊接声音、飞溅、弧光、过渡方式、焊接质量不同的理解，可以很好让学生在实操过程中规范安全操作，同时也可以提升教学效果，节约教学资源。

在此基础上，CO2保护焊增强现实实操系统的搭建内容和思路为：

(1）搭建课程体系，设计教学目标，提炼CO2保护焊实操过程中的知识要点、难点，分析学生预期学习达到的效果。教学目标设计决定了增强现实的实现过程中具体内容要求、效果要求和引用的技术手段。

(2）构建3D模型及工位。在场景设计方面，使用Maya软件严格按照1：1的比例对教学过程中实操工位进行场景建模布景，提升沉浸效果。1：1比例对CO2保护焊供气、送丝、焊机、线缆、焊枪建模以及渲染。在此基础上，根据CO2保护焊实操教学目标要求的各个学习单元沉浸式学习效果，完成第一人称控件设计、各个学习单元响应模式及效果设计。

(3）音频录制。项目拟设计使用3Dio公司的Free Space系列ProⅡ双耳音频麦克风双耳音频的录制。要达到一个健康人实际通过听觉感受现实世界环境的方式来捕捉声场的效果，是将两只万向麦克风背对背放置，相互间距离约为17.78厘米（模拟成）双耳间的距离，3Dio公司的Free Space系列ProⅡ双耳音频麦克风虽然不是安装在仿真头型内，忽略了头部形状，但保留了反向对称心耳。两只耳朵安装在两个圆盘上，相距约17.78厘米，模拟成人双耳的间距，从而可以用于完整体验与头部相关的传递函数和双耳听觉，能够到学生能够完全沉浸在虚拟教学环境中的要求。项目拟使用未压缩的WAV音频文件，达到保真效果。

（4）开发虚拟与增强现实技术学习软件平台。这部分为本课非常重要的一部分，决定学生能否良好沉浸在学习过程中。学生实操过程的学习过程可以完全看成学生以第一人称场景（first—person shooter）在进行某款游戏操作，每一个单元的学习也可以认为是某一游戏关卡的通过。所以在平台开发过程中，需要选择功能齐全、可视化、可多平台部署的编辑器。在项目中拟使用Unity3D现代游戏引擎。该引擎具有非常不错的3D渲染、友好的可视化工作流程，支持多维度跨平台，加入了自定义的教学艺术资源、自定义交互代码，实现焊接工位、模拟的物理操作系统，法线贴图，屏幕空间环境光遮蔽，学习单元各个部分的动态阴影等。编辑语言使用强类型的C#。开发沉浸式学习平台具体研究内容有：

构建第一人称置身的3D实训工位。建立空间，创建地板和内部墙体；设置灯光与摄像机；导入实操过程中各个学习单元的3D模型；编写移动及观察周围组件脚本。构建第一人称控件 ：响应按下焊机、气阀、检气、送丝机等的各项功能键，设置独立于计算机运行速率的运动速率、使用CharacterController应用接触检测和反馈。

在3D空间添加系统控制组元。在增强现实学习平台添加交互的手柄。交互的手柄作用有三部分。一是用来焊接系统各类按钮的功能实现；二是用来作为学生选取某个特定实操学习单元的命令发射器；三是作为CO2焊接系统的焊枪。

通过游戏中射线射击的效果，学生可以使用手柄作为焊枪进行施焊。学生也可以同学手柄，选择其他操作学习单元。在创建学习单元预设后，产生学习单元预设。当学生在进入沉浸式学习中，我们将创建学习单元编写脚本，使它相应学生对学习目标单元的单独选取。在使用手柄过程中，使用射线发射原理发现学习单元中设备或者系统，利用ScreenPointToRaylai“发射”，并为准心和击中点的单元点或者设备添加可视化提示。

使用基本漫游AI，实现电信号的转移视觉效果，学生可跟踪电信号转移进入其他学习单元。

为沉浸式学习平台创建美术资源。构建3D场景的同时使用2D图像给场景贴图，在重要的学习单元中创建HUD，插入屏幕文字，显示学生需要记忆、理解的重要知识点。

建立焊接模拟系统数据库。一般需要使用Access建立数据库，同时数据库要可以基于Unity3D平台的虚拟现实系统可以成功调用，需要实现两个条件：一是要在本地电脑上配置ODBC数据源，同时需要数据库数据模板的存储地址与Unity3D访问地址关联；二是在Unity3D平台编写相关程序及脚本。

使用Unity粒子系统创建施焊过程中电弧变化、熔滴过渡方式、飞溅等的视觉效果。

导入WAV音频文件并实现代码触发音效或者音频。因为Unity在导入音频后会压缩音频，所以通常应该选择WAV文件格式。

整合各个部分，搭建沉浸式教学平台开发总体的沉浸式学习平台结构，通过控制任务流来处理学生学习过程中各个单元学习进度。

将平台构建到Windows PC上。

（5）体验论证。在沉浸式学习平台建成以后，项目团队进行体验论证。该论证主要论证项目实现的交互、视觉、听觉效果与预期设计的教学目标契合程度；沉浸式学习系统本身给学生带来的不适感程度。

1.2 虚拟与增强现实技术在焊接职业教育中的研究应用现状

1.2.1 在国内研究应用现状

在国内搭建实训平台方面，由天津大学提出的一种基于虚拟现实触感技术而开发的电弧焊训练系统，该系统能够通过触感反馈装置测量焊缝长度，通过焊枪角度、焊接速率、电弧电压进行即时检测来调用焊接系统来形成相应的焊缝或者焊接轨迹，该系统还能实时向施焊人员反馈，使得施焊水平得到提升。

由装甲兵技术学院开发了一个用于焊条电弧焊仿真系统，该系统使用了软件、交互技术、光电传感技术实现了对焊接过程中运条轨迹、施焊速率、焊枪角度以及弧光等十几项施焊参数等模拟。

在建立虚拟现实焊接系统方面。目前已有技术支撑建立虚拟现实焊接系统，其中一部分是普通存在的主要是用来开展实际焊接任务并通过摄像机实时观测熔池信息的焊接机器人操作系统的UR－5焊接机器人，该机器人有六个自由度，手臂末端装有GTAW焊枪和摄像机；另一部分为虚拟焊接系统，由投影仪将摄像机拍摄到的熔池实时投射到虚拟工件上，焊工可以根据熔池状态及时调整虚拟焊枪的运行速度，同时传感器还可以监测焊枪的运动情况，并通过以机器人语言控制机器人机械臂运动。

1.2.3 在国外研究应用现状

VRTEX360焊接模拟教学系统是由德国林肯电气开发处出用于辅助加强传统焊接培训方式的教学培训工具，支持全位置施焊。值得学习的是该系统中的专用焊枪和支架的力学反馈，让模拟更真实。另外，设备中的磁定位系统可以精准评判施焊人员对工艺的操作规范程度，促进和改进焊接技能和焊接身体姿势向高质量和高效率方向转换，同时相比传统焊接培训大大减少材料浪费，是同类最佳的高端焊接培训系统。该系统经专门设计可在简单易用且吸引人的焊接培训工具中提供功能全面扩展式平台。对于基础至高级焊接培训有极高效率，并且对于员工可以进行深层次的技能评估和实时打分，让公司能对现有焊工的技能有一个指导性的评估，然后根据评估设计出针对每一个焊工的焊接方法和工艺技能培训，使得工厂所有焊接工人的工艺方法完全统一，提高焊接质量。

2 虚拟与增强现实技术与焊接技术与自动化专业建设

在焊接教学中，将知识、技能能够在安全、节能、形象、直观的情况下让学生学习到知识、技能是最理想的状态。但是，对于职业院校的学生在学习手工焊接实操技能过程中，对于初学者的安全规范操作不足，由于弧光刺眼，对电弧与熔滴过渡的状态及对焊接熔池观察不足，焊枪角度把握不够，影响了学生实操学习效果，同时还存在安全隐患。如果将虚拟与增强现实技术应用到实操教学中，就可以及时提醒学生规范操作，对学生焊接姿势及时提醒调整，实时调用焊接数据展现熔滴过渡方式及焊接熔池状态，这样不仅提升了教学质量，而且节约了能耗。当然，焊接变形处理、焊接结构失效、焊接电源学习等知识的教学虚拟与增强现实技术都可以作为教学手段，提升教学效果。如果将从专业建设角度应用虚拟与增强现实技术，焊接技术专业与自动化专业建设将有很大的提升。

2.1 焊接技术与自动化专业建设和虚拟与增强现实技术

合理配置职业教育资源，优化课程结构体系，推行一体化、多样化教学。在专业课程改革中，需要将焊接专业课程建设所需资源整合配置合理。同时，在专业核心课程的基本知识框架和体系中，以成果为导向，紧跟企业生产技术要求，产教融合，利用虚拟与增强现实技术，选择最优教学手段，设计教学过程，实现实训先模拟练习掌握基本操作要领，后实际施焊的模式，提高焊接理论教学效率，提高焊接实训教学质量及时效性。

不断深化焊接技术与自动化专业教学改革，教学大纲、教学计划、教材等开展将虚拟与增强现实技术综合应用的综合研讨，以提升学生理论应用能力，提高创新、创业意识，养成新时代中国工匠为培养目标的一体化课程体系的建设。依据《国家职业教育改革实施方案》以及国家焊工职业标准及职业能力要求，确立教学标准与目标，精化教材主体内容，利用虚拟与增强现实技术优势，构建合理完善的教学体系。依据焊接生产化、工程化的特点，综合性重视工程识图制图、焊接基础知识、材料焊接性知识、焊接设备基本知识、工业机器人基础等基本理论与实践综合的教学，其中焊机的维修，焊接产品分析，焊接熔池的观察，焊接机器人的接线原理，焊接参数对焊接质量、熔滴过渡、焊接飞溅的影响等学习抽象，并且观察学习因各种因素较困难知识点可以利用虚拟与增强现实技术较好实现教学效果，同时虚拟与增强现实技术的利用还可以在教学中实时、形象的开展安全意识、规范及职业守则的职业道德教学。在虚拟与增强现实技术使用中，还要根据教学目标要求，注重技能提升，保障学时。

重视创新创业与虚拟与增强现实技术融合，优化教学手段，加强实训教学。教师需要不仅需要较强的工业生产技术能力，还要利用先进技术，具有使用丰富教学手段的能力。创新教育教学手段，以项目式教学为主导，融合理论和操作技能教学情境，推行虚拟与增强现实技术使用在“理实一体化+工程化培训一体化”课程中。

虚拟与增强现实技术可以将零散的大量的知识融合到项目学习中通过语音推送、2D贴图、粒子效果渲染等现实增强技术，建立学生能够在基础理论、技术、前沿的理论课程与制造技术、质量管理、焊后热处理课程相结合的完善教学体系中学习。

在虚拟与增强现实技术使用中，重视实际操作技能贴近生产教学，推行小班教学，加强焊接生产的教学环境建设，提高学生主体的教学效果。

针对典型焊接结构生产，将不同的手工焊接方法、半自动焊、自动焊协同应用，可以通过虚拟与增强现实技术提供不同焊接实施方案为学生提供进行复杂焊接工艺生产练习的机会。

将虚拟与增强现实技术与虚拟现实、大数据、5G技术、多媒体等手段多样化应用，提升教学效率。

重视教学效果反馈，发现教学现状，从专业建设的角度进行教学反思，修正教学方法与策略，提升教学满意度。

鼓励学生在虚拟与增强现实技术进行专业知识基础上进行技能创新创造，参加技能大赛，鼓励学生积极参加资格考试，多方位提升学生学习热情以及知识技能应用能力，提升学生将新技术使用到焊接中。

重视学生主体地位，虚拟与增强现实技术指导学生分层学习。项目式教学中需要突出学生主体地位，针对职业院校学生特点，根据学生的差异设计分层教学方案，学生在学习中可以通过虚拟与增强现实技术进行学习项目分层选取。分层教学中，教学目标、技能水平、成绩考核上，可以细分考核点，合理安排教学重点难点，提升学生水平的同时提升学生获得感。重视优化考核指标，项目中细分的考核点，突出开放性和应用性，为不同层次学生得到相应能力提升。同时，结合职业教育课程考核方式要多样化，从平时成绩、实操效果、课堂表现、项目成果等多方面考核，强调使用虚拟与增强现实技术对学生学习习惯和职业能力、创新意识的培养以及提高。

重视“双师型”教师队伍培养，提升教师生产性教学指导水平。专业建设需要以焊接专业的操作技能为主线，重视教师职业技能和专业素养的培养，同时拓宽专业教师引进和聘用方式。鼓励教师进入企业积累专业经验、学习前沿理论和技术的同时，要求教师要转变教学理念提升教学手段多样化的驾驭能力，积极学习增强现实技术，培养出跨领域多技能的专业教师。

2.2 虚拟与增强现实技术在焊接技术与自动化专业建设中需要解决的一些问题

虚拟与增强现实技术在职业教育领域有着惊人的应用潜力，在教育领域最早期也最成功的应用是培养特定的实践类型的技能，如教授特定技术劳工知识、焊接培训、喷漆培训等。虚拟与增强现实技术在教育领域大有可为，但在多数应用中，仅提供一定的商业用途的配置技术，但是在职业教育的方法艺术和科学上，虚拟与增强现实技术在焊接技术与自动化专业建设方面需要熟悉新技术或者接受过培训的老师以及安排严谨的课程配置，以及充实的硬件及技术发展成熟程度。

沉浸式显示体验往往面临着核心延时问题，即体验者发起动作之后经过计算位置和方向计算，应用程序控制，画面传输，目镜显示来完成体验。这个过程中存在延时问题，这种延时是因为信号处理、传输以及关键系统元件的同步延迟，是一项关键性能和适用性标准方面用户动作与系统响应间的延时长短。使用增强现实目镜往往会产生视觉诱发晕动，这种延时会降低用户的沉浸感、身体表现、低临场感、和舒适程度，目前将这种现象称为视觉诱发晕动症（VIMS）。在体验中延时不可能完全消除，而且还取决于具体位置传感器、CPU功能、显示器类型、以及画面复杂度。焊接过程中，即时性非常关键，如观察弧光、熔滴过渡等过程中如果延时较大，会严重影响焊接质量以及用户的体验，因此，焊接技术与自动化专业对虚拟增强现实设备的应用要求较高。

目前，虚拟增强现实技术商业用途较多，但是将这项技术应用到焊接技术与自动化专业建设中去，就需要焊接专业人才和虚拟增强现实专业人才联合开发，焊接材料、焊接方法、焊接参数的不同就要有焊条运条轨迹模拟、施焊速度、焊枪角度以及弧光等十几项施焊模拟来支撑，开发周期长，成本较高，对于一所院校专业来说，这种建设费用过高，较难完成。如果将开发商业化，多所高校共同使用，可节省成本也可使资源有效利用。

3 结语

新时代，我国的虚拟增强现实技术在职业教育中进行系统性的应用尚处于起步阶段，且在职业教育中的应用还未普及，但是通过院校开展虚拟增强现实相关通识课程、强化学校虚拟增强现实硬件配置和软件开发条件、提升教师虚拟增强现实应用能力、校企合作构建“虚拟增强现实技术—专业建设”生态产业链，由学生、教师、教学资源、成本控制等多个方面一同发力，促进虚拟增强现实技术与焊接技术与自动化专业职业教育建设有机深度融合，使焊接技术与自动化专业建设信息化迈上一个新的台阶，从而培养出更多更好的高端技能型人才。