基于AR的计算机软件教学工具设计与研究

吴小惠

摘要：增强现实（AugmentedReality，简称AR）是一种新型多媒体计算机技术，其集成了机器学习、模式识别、3D建模、多媒体显示等技术，可以为用户提供一个具有沉浸感、交互性、智能化的系统。计算机软件教学作为AR技术应用的重要领域，其可以根据需求创建一个装配式开发环境，扩展当前软件开发环境内容，利用各类型建模组件展示软件开发过程，不需要购置和建立大型应用环境，利用3D模型模拟真实世界软件开发环节和成品，进一步提高计算机软件教学的成效。

关键词：增强现实；软件开发；教学；自然交互

计算机软件教学是当前高等院校、培训机构的重要课程，常规的计算机软件教学需要购置较多的软硬件资源，比如配置计算机机房，部署软件生成环境，保证软件正常开发和可靠运行。计算机软件教学需要耗费大量的资金购置、建設研发环境，同时这些软硬件设备资源具有一定的寿命，不利于长期使用；同时教学过程比较枯燥，无法实时的展示软件成品未来运行状态，这样就不利于提高软件运行的可靠性，因此本文提出利用增强现实AR技术构建一个集成化的教学环境，这样就可以提高软件预期，将现实软件开发需求和虚拟开发环境进行集成，更好地激发学生的兴趣和积极性，进一步提高软件教学质量。

一、AR技术

增强现实AR技术是一种集成多媒体、人机交互、设备建模的信息技术，能够实现计算机机器学习、模式识别、图像处理，是计算机发展到一定阶段的高科技产物。增强现实AR技术能够实时跟踪用户手势，感知用户的逻辑业务操作，然后生成一个虚拟的、沉浸的操作环境，整合多种信息技术，将其输出到视频显示器中，同时可以配合语音输出到播放器，具有重要的作用。目前，增强现实AR技术经过多年的发展，已经在很多领域得到普及，比如可以应用到古迹文物保护、工业制造装配、娱乐游戏、旅游展览、飞行训练，形成了一个强大的科研教学、工业设计、精工制造平台。增强现实AR可以让位于不同地点的玩家进入到一个仿真的环境中，以虚拟替身为操作对象，实现对网络游戏的操作。

二、基于AR的计算机软件教学工具设计

（一）教学工具功能分析

基于增强现实AR的计算机软件教学可以有效解决当前时空受限、设备更新维护代价高、教学成效不突出等问题，为每一个学生分发一个虚拟教学环境登录账号，然后进入到虚拟教学系统，该系统可以重组部署软件研发服务设备、构建人文信息环境、生成网络拓扑结构等，有效地提高了计算机软件教学的娱乐性，激发学生的创造力和主动性。增强现实AR软件教学是一个多媒体系统，该系统设计了一个实例渲染算法，能够生成一个GUI交互常见，通过摄像头和手势输入各类型的对象元素，渲染软件研发部署服务器、终端和网络协议，能够实时的展示每一个软件研发设备的组成和部署运行情况，展示软件运行时组件装配的功能及作用，保证用户不仅可以理解软件模块的构成、作用，同时还可以明白软件模块的工作原理及过程，更加形象和直观，具有极大的挑战性。增强现实AR软件教学系统主要包括四个关键组成，分别是应用逻辑组件、GUI交互界面、实例脚本、视频场景渲染。GUI可以为用户提供一个简单的可视化交互向导，用户可以通过这个可视化向导输入交互性信息，临时性地添加各类型的软件组件，部署软件运行的硬件设备，包括服务器、交换机、路由器、终端设备等，同时还可以将这些硬件设备之间利用FTP协议、IP协议、TCP协议等，实现软件运行管理、设备部署和协议配置。视频渲染组件可以将软件教学系统的软件协议运行出来，利用红色、绿色的箭头传输信息，从软件教学系统中标注出来，具有重要的作用和意义。

增强现实AR软件教学系统的核心功能，该功能开发中采用了增强现实AR、3D建模、自然手势识别等技术，可以提高软件教学系统的沉浸感和真实感，确保用户操作的可靠性。增强现实AR能够为用户提供强大的操作支撑，为用户提供有力的信息管理模式。课程设计过程中，利用3D建模可以构建一个强大的操作服务功能，该功能能够利用强大的操作管理内容，构建一个强大的操作支撑，利用3DS.max、Maya、Photoshop等集成化的软件构建一个建模功能，实现信息的操作服务功能，利用骨骼、蒙皮构建动态的操作处理模式，保证业务的实时化开展，实现信息的加工和服务，进一步提高企业的良好处理能力。自然手势识别可以利用数据处理、机器学习等功能构建强大的操作，进一步管理企业的交互性、透视性和友好性，保证用户操作的良好性，方便用户交流使用。

（二）教学工具总体结构设计

增强现实AR软件教学系统在执行时可以划分三个层次，分别是用户终端层、虚拟渲染层、后台资源层，每一个层次之间都可以使用接口进行连接，接口可以实现用户信息认证、组件模型传输、应用服务处理，系统需要将服务器和用户逻辑业务隔离起来，这样就可以保护每一层的资源是逻辑独立的，能够为软件教学提供强大的支撑。软件教学引入增强现实AR技术，充分地利用先进的云计算、多媒体、人工智能技术实现实验室人员、设备精细化管理。因此，为了提高增强现实AR软件教学系统的普适性，软件设计师提出了浏览器/服务器架构，将分布式管理系统划分为浏览器、Web服务器、数据库服务器三层。用户只需要知悉分布式管理系统Web服务器地址，将其输入到IE浏览器，即可实现登录、认证和操作。Web服务器可以在IE浏览器上利用表单功能显示一个交互界面，用户只需要在该界面中输入逻辑业务请求，Web服务器完成信息解析之后，如果请求中不包含数据处理，将处理结果封装起来反馈给IE浏览器；如果请求中包括数据处理，Web服务器将其发送给数据服务器，实现数据的添加、删除、修改或查询，并且将结果反馈给Web浏览器，Web浏览器将处理结果封装在一起，反馈给IE浏览器。增强现实AR软件教学系统架构设计如图所示。

基于增强现实AR的软件教学系统业务流程

（三）教学工具关键技术

增强现实AR应用研发关键技术很多，主要可以划分三类，分别是注册技术、虚拟对象生成技术和显示技术。

（1）跟踪注册技术

跟踪注册技术可以将虚拟信息、真实环境进行配准注册，实现虚拟信息和真实场景的无缝叠加。目前，跟踪注册技术主要是基于机器学习，实现跟踪物体特征的预处理和增强。BP神经网络为了提高跟踪注册的准确度，又开始引入深度学习规则，深度学习规则作为一个多层次的感知神经网络，利用强度值向量、矩阵向量等特征的数据进行深度学习，能够更加有效地实现特征识别和提取。支持向量机能够为跟踪注册提供一个性能非常强大的图像处理技术，构建一个强大的样本数量进行非线性数据挖掘，可以更加有效地适用于高纬度数据模式。支持向量机最为关键的目标函数就是核函数，如果样本处于低维空间，解决的方法就是将其映射到高维空间，但是容易增加计算复杂度，核函数正好可以解决这个问题，只要在人工智能应用时选择一个合适的核函数，将其映射到高维空间进行分类，因此就可以获取更多的目標函数。

（2）显不技术

增强现实AR显示系统是一个非常重要的组成模块，为了达到逼真的虚实融合，提高增强现实AR应用的便捷性，高效率的显示器非常必要，目前显示器包括头盔显示器（HMD）和非头盔显示设备。透视式头盔为用户提供信息显示、环境录入、虚拟融合情景，这些系统操作原理与增强现实AR领域中的沉浸式头盔基本相同，与使用者交互的接口、图像融合、显示通道集成在一起，使用真实环境表现事实，基于CCD摄像头安装微型摄像机拍摄外部环境图像，将计算机图像进行处理之后可以融合虚拟与真实专家，将二者的图像叠加在一起。光学透视头盔显示器可以利用安装在用户眼前的半透半反光学合成器与真实环境进行有效融合，真实场景直接透过半透镜提供给用户进行操作，经过光学放大器提供给使用者，更好满足沉浸式操作需求。

（3）虚拟物体生成技术

AR技术的目标是将虚拟世界的内容叠加到真实世界，并且能够利用算法程序实现物体的动感操作，所以准确地为用户提供一个动感模型，能够提高增强现实AR系统应用效果，目前，虚拟物体生成主要采用三维建模技术，可以全方位的展示虚拟物体的真实感。研发AR动感模型时，要全方位、立体化地展示物体对象，因此三维建模常用的软件包括3DS Max、Maya、SKETCH UP和AUTO CAD等。虚拟物体生成过程中，自然交互是一个非常关键触发技术，该技术可以辅助AR应用软件实现信息注册，利用图像进行标记实时的监控外部输入信息，内部采用一个非常强大的特征提取、模式识别、事件触发功能，进一步提高AR信息的操作处理特征，保证用户处理过程中能够实现信息的加工，提取图像模板物体的轮廓，实现基础库向显示信息转换。

三、结束语

增强现实AR软件教学系统可以构建一个仿真的学习、实践环境，教师讲授一段课程内容之后，可以布置实践操作任务，学生登录仿真实践环境，可以根据任务需求设计软件，能够实现边学边练，具有重要的作用。