远程增强现实交互系统设计

葛晓扬　包海默　冯鸣

摘要：扩展增强现实应用的使用条件，使用户可以远程对目标环境进行身临其境的交互操作。分析了远程增强现实交互的设计思路，形成“本地用户交互端”、“远程交互实施端”、“云端数据计算服务”三个子系统的总体架构，并对每个环节的技术条件和使用方式设计进行了详细阐述。在此基础上论述了该系统在教育等领域的应用前景和待解决问题。形成了远程增强现实交互系统设计框架，以及对应的设计方案和技术路径。远程增强现实交互系统可以扩展增强现实技术的应用场景，在教育、安防、救灾等领域为操作者提供更宽松、更安全的使用条件。

关键词：交互设计 增强现实 姿态同步 5G 人工智能

中图分类号：TB472 文献标识码：A

文章编号：1003-0069（2019）07-0137-03

一、增强现实技术与应用简介

增强现实（Augmented Reality）一词最早由前波音公司研究员Tom Caudell在1990年提出，指通过将用户界面（UI）中的人工信息叠加在真实影像上，并同时呈现在使用者眼前的技术手段。早期的增强现实技术主要应用于军事领域，如战斗机的反射式瞄准装置，飞行员可以通过反射镜上投射的瞄准准星和头盔中集成的抬头显示装置（HUD）来直接获取飞行状态等必要信息，减少转头查看仪表盘的动作，从而提升驾驶的效率和安全性。

随着微电子和移动互联网等领域的技术进步，增强现实技术和应用近年来得到了快速的发展。以微软的HoloLens增强现实头盔为代表的一批产品已经面世，并给用户和业界带来了不同凡响的使用体验以及应用前景遐想。与早期简单的界面信息重叠投影不同，当今增强现实应用需要将界面信息与用户视线注意的画面对象相互结合，并设置有效的交互方式，以实现用户通过增强现实应用和具体环境进行信息交互功能。例如在维修汽车时，增强现实应用可以根据用户眼前的景象提示可能存在问题的位置，帮助和引导用户对该位置进行排查。

二、增强现实产品设计模式分析

增强现实技术大幅扩展了交互设计的应用场景范围，是当今设计发展的重要促进因素。它将用户的信息交互过程从电脑或手机屏幕拓展到了实际问题和需要所在的真实场景中，提升了信息交互过程的直观对应性。

从产品设计中用户使用方式的角度分析，用户在增强现实应用中看到的底层实景图像信息与表层信息交互界面，都需要通过屏幕或其他显示媒介技术输入到眼中，因此底层实景图像信息其实与用户本人所处的实际环境位置其实无关。只要图像信息采集自问题或需求所在的真实环境，通过远程图像传输技术的支持，用户同样可以实时地与真实环境进行交互操作，如图1所示。

这种信息采集位置与用户操作所在位置分离的设计思路其实更具有普遍意义。传统的增强现实产品设计模式中，用户通过智能手机或其他可穿戴设备来进行增强现实交互，其实是这种普遍设计思路中用户位置与环境位置相同的特例情况。但在救灾、安防、或空间狭小等场景条件下，用户直接身处目标环境较为困难，这种操作与实施位置相同的设计思路也就较难实现。因此有必要在更普遍的设计思路上，建构远程增强现实交互系统的产品设计框架，为相关需求的产品设计提供参考模式。

图2对比了远程增强现实与传统增强现实设计在系统架构、界面内容、交互方式、应用情景等方面的差别。两种设计模式具有相同的用户界面内容，传统增强现实设计模式的用户直接身处问题所在场景中，这就要求这些场景必须满足空间大小合适且安全的使用条件。应用场景包括日常购物的商品信息介绍、旅游观光的景点导览、日常维修的辅助信息提示等。

通过增加远程执行端，远程增强现实设计模式可以让用户在任意安全适宜的位置，对目标问题进行远程操作。由于用户无需实际身处问题场景，对可应用场景的要求也变得更为宽松。这种设计模式的改变可以大幅扩展增强现实技术的应用范围，任何可部署远程执行端设备的场景，如空间狭小或对人身有害的场景均可使用。使用者通过动作同步遥控操作的交互方式，可完成远程教育、远程展馆游览、远程旅游观光、遥控生产、勘探、救援、安防、危险品处理等任务。

三、远程增强现实交互系统的设计框架

远程增强现实交互系统包含“本地用户交互端”、“远程交互实施端”、“云端数据计算服务”三个子系统，分别对应用户交互、问题所在环境的远程控制以及过程中产生的智能识别、数据计算等任务，如图3所示。

（一）“本地用户交互端”设计

“本地用户交互端”包括图像与声音信息输出设备、用户交互输入设备、用户动作同步捕捉设备、本地端信息处理设备四个部分。

1.信息输出设备主要负责为用户提供目标环境的视觉、听觉等通道的信息和相应的用户界面信息及交互反馈。具体包括液晶屏幕、全息投影镜片、光纤投影、立体声耳机等装置。根据实际问题的交互需求，输出设备还可以增加如对应触觉的振动马达等其他感知通道交互装置。

2用户交互输入设备主要负责记录用户所需的各类交互操作，具体包括眼动追踪、触摸控制、按键控制、声控、高清摄像、录音等装置。

3.用户动作同步捕捉设备主要负责跟踪用户的头部运动、转向等動作，以同步控制远程交互实施端设备的运动姿态，从而实现身临其境的用户远程操作体验。该功能是整个系统设计的重要部分，人的头部与颈部有多个运动方向，为保证用户使用产品时能够得到拟合度最高的运动同步效果，动作同步捕捉设备需要搭载多个高灵敏度的九轴姿态传感器，以实时记录用户头部和颈部各关节运动的加速度变化、平衡变化以及方向变化。并将这些数据转换成远程交互实施端多轴云台中具体舵机、无刷电机或液压杆的驱动参数。

4.最后，本地端信息处理设备对所有的用户交互操作与姿态信息进行预处理和编码加密，通过5G或Wi-Fi网络传输给云端的数据计算服务进行深度加工，包括用户的语言指令含义识别、手势动作模式识别等。然后将处理后的交互操作指令发送给远程交互实施段进行实地执行。

从用户的使用角度看，“本地用户交互端”与传统增强现实头盔拥有相似的使用体验。但在远程增强现实交互系统中，“本地用户交互端”实际上是用户交互行为与“远程交互实施端”之间的桥梁。本地端需要配备动作同步捕捉设备来实时记录用户的头颈运动姿态并发送到远程执行端，从而实时调整远程端摄像装置的视角等姿态，打造身临其境的用户体验。

（二）“远程交互实施端”设计

从功能设计的角度看，“远程交互实施端”其实是用户的远程操作“代理”或“替身”。该子系统包括远程端信息处理设备、用户动作同步输出设备、交互操作的输出和反馈设备以及必要的运动系统四个部分。

1.远程端信息处理设备负责接收用户端的操作指令并发送给对应的动作执行模块，是任务目标环境现场的总控台，同时该设备还需对采集的图像、声音等信息进行编码、发送等处理。

2.用户动作同步输出设备的主体为云台装置，根据具体使用环境的空间大小、任务工具载荷、操作精度等要求，可以选配为舵机云台、无刷电机云台或液压平台等模块。云台的运动姿态与用户端动作捕捉的姿态实时保持一致，为了能够提供较高的运动匹配精度和身临其境的用户体验，在体积允许的情况下，云台的运动结构设计应当与人头部和颈部的关节运动关系相一致。传统两轴舵机云台只有一个靠前的旋转中心，而人的头颈运动至少可以概括为上下两个转动中心，因此用传统云台较难拟合操作者的实际头部运动，如图4。针对这一问题，增强现实交互系统应当采用图4右侧所示的上下串联式三轴云台，以同部对应操作者实际的头部运动轨迹。在空间狭小等环境或任务条件下，也可以使用单个三轴云台以减少设备体积。

3.交互操作输出和反馈设备负责记录目標现场的画面、声音等环境信息并执行用户对目标现场的实际操作。具体的，信息记录相关的功能需要配备模拟双眼视角差的双摄像头装置、立体声采集装置等，操作实施的功能根据实际问题的需要，可以配备机械臂、材料加工工具套件、安防工具套件、救援工具套件等。用户可以通过本地端对应的用户交互输入设备来远程控制这些工具套件的使用。

4.最后，为了给用户提供更自由的远程控制体验，根据具体的目标环境和使用需要条件，运动系统可以选配更换对应的运动模块，如四轴飞行器运动模块、轮式/履带行进模块、船舶漂浮运动模块、潜水运动模块等。出于安全和精准度等因素考虑，运动系统的远程操作功能应当采用按键、模拟摇杆、触屏、手势等方案，并且并入“本地用户交互端”的用户交互输入设备中。

相比传统增强现实设计思路，远程增强现实设计最主要的区别就在于增加了“远程交互实施端”这一系统要素。“远程交互实施端”的价值正在于它可以代替并部署在用户无法亲自到达的场景中，从而大幅扩展增强现实技术的应用范围。因此为了适应不同的应用场景条件和任务内容，“远程端”的交互操作和反馈设备与运动系统应当采用模块化的设计思路，对应陆上、水上、空中、狭小等场景条件，配备不同的运动模块，并针对不同的交互任务选配如机械臂、切割机、扫描探头等不同的交互操作模块。

四、远程增强现实交互系统的应用分析

增强现实技术在社会生活和经济生产领域中有很丰富的应用价值，使用者在面对真实环境中问题的同时，可以直观地在视觉对象上看到相关的简介、数据等信息。通过配置“远程交互实施端”，原先很多使用者较难身处其中的环境也可以实现增强现实交互。这使得远程增强现实交互设计在生产制造、旅游观光、救援安防、尤其是教育等领域具有广阔的应用前景。

1.在生产制造领域，远程增强现实设计可以让工作人员在安全的环境中，远程遥控处理危险环境或空间狭小条件下的工作。如狭小设备空间中的故障检修、高温高压或强辐射环境条件下的资源运输和装配工作。通过换装潜水或四轴飞行器等运动系统，远程增强现实设计还可以完成水下和空中的相关工作。通过为远程执行端配备自主运动的功能，操作员可以同时控制多台远程执行端，每台远程执行端在非人工遥控状态下可以在不同区域自主巡航或执行程序内的任务，在出现特殊情况或需要操作员做决策时提示操作员切换到对应的远程端来执行同步遥控，以提升工作效率。

2.在旅游观光领域，用户可以通过远程执行端实现远程遥控观光的视听体验。虽然这种方式有一定的体验局限，但可以减轻博物馆、名胜古迹等场所人员过于密集的问题。通过为远程执行端配备自动蔽障、自动巡航、自动返航等功能，提升管理效率，降低管理成本。同时这种在线游览的方式还可以降低用户的消费成本，让更多^可以参与其中，提升产业价值。与生产制造领域相同，远程控制的方式让用户可以在安全的环境中体验更多险绝的自然风光，扩展旅游体验和服务内容的同时，降低使用的安全风险和消费成本。

3.在救援安防领域，远程增强现实设计可以让工作人员在安全的位置对险情或监控区域进行远程遥控排查和监测。通过配备生命监测传感器、微光夜视仪等设备，辅助救援人员完成相关工作。与生产制造领域相同，操作人员可以同时控制多台远程执行端来完成搜救任务，提升搜救和安防的工作效率。

4.从增强现实技术的核心价值，也就是增强信息的获取与认知效率来说，教育是增强现实应用的重要领域。通过分离用户与环境的实际位置，远程增强现实交互系统可以在教学活动中发挥出很大的优势。学生身处家中或教室，就可以通过远程同步控制参与到任何一个真实环境的学习过程中。比如火山口、深林、地下、深海等较危险的环境，或是博物馆、实验室等人流量受限的场所，在传统教育模式中较难让大多数学生参与其中。通过远程增强现实交互，学生可以安全地观察和了解这些环境的知识内容。另—方面，由于省去了对学生的现场组织工作，使用增强现实技术可以降低教育资源的使用成本，使得更多人可以有机会参与其中，促进了教育机会均等和教育资源共享。从这些方面看，远程增强现实应用是促进教育多元化发展的有效手段。得益于上述技术优势，远程增强现实技术可以有效促进发现式学习的教学理念实践，通过对现实环境附加增强现实的引导信息来控制学习的路径，可以弥补传统发现式学习模式中较难控制学习目标和学习时效的问题。

最后，从更高的设计体验要求看，远程增强现实设计仍有需要发展完善的方面。目前增强现实技术的交互方式主要依靠视觉和听觉通道，而人的认知和经验往往需要多通道感官信息的输入才能有效建立。比如在学习材料相关知识的过程中，虽然增强现实技术可以让学生快速知道该材料有关的文本介绍、属性数据、产地、加工工艺等信息，但这种材料的软硬程度、气味、表面肌理等更多的体验内容却无法仅通过视听通道建立。对应这方的体验和需求，增强现实技术和设计仍需要研究和探索。

结论

远程增强现实交互系统可以实现用户对目标问题的远程实时操作，在旅游、教育、维修、救援等领域有广泛的应用空间。在5G通信技术的支持下，远程增强现实交互可以以极低的网络延迟传递数据。大幅提升操作和问题反馈的同步率，同时也扩展了系统的使用场景，对于没有配备Wi-Fi等高速网络的户外等场景也可以支持使用。

直接面向真实问题环境是增强现实产品的核心设计要素，相比预先编制的虚拟现实场景内容，增强现实产品需要对真实环境的诸多情景和事物进行识别，传统计算机技术较难解决此类问题。而人工智能技术在问题识别、解决方案推荐等方面的技术优势可以提供更全面的服务支持。目前人工智能技术在图像识别、声音识别、学习与生成规则模式等方面有了很大发展，人脸、表情、步态等内容的识别技术已较为普及。以智能化技术、5G通信、模块化设计理念为依托，远程增强现实交互系统有机会成为类似智能手机的通用硬件平台。通过配备模块化的交互功能，融合到社会发展需要的各个方面，为生活内容提供新体验、为经济发展提供新的机遇。