浅谈SLAM+AR眼镜在远程协助中的应用

李新春

（中国联合网络通信有限公司上海市分公司，上海 200082）

1 AR技术发展

AR（Augmented Reality，增强现实）是一种现实世界环境的交互式体验，现实中的使用者感知通过计算机虚拟生成的对象，有时跨越多种感官模式，包括视觉、听觉、触觉、体感和嗅觉。

增强现实技术通俗的讲就是将计算机生成的虚拟信息叠加到用户所处的现实空间中，它可以有效提高用户对于现实世界的感知能力，提高用户的体验感，并且通过语音、手势的输入让用户可以与虚拟对象进行互动，近年来在教育、医疗、工业、军事、文娱等方面展现出不俗的表现。在研究AR之前我们需要明确，怎样才算是AR。

（1）自身定位：指的是计算机根据彩色/红外/深度摄像头输入的数据进行分析，定位目标并将虚拟的物体渲染到现实中。（2）环境感知：可以增强虚拟物品在现实中的存在感，即通过阴影、环境反光、遮挡剔除等方式实现虚拟物体在现实中的遮挡和光影反射效果。（3）人机交互：即人类的声音、手势、表情等，作为计算机信息的输入进而控制虚拟物体做出相应的反馈。（4）自身定位所用到的技术被称为跟踪注册技术，而跟踪注册技术又分为以下几种：基于标志物的三维跟踪注册技术、视觉与传感器的跟踪注册技术,基于环境重建的跟踪注册技术SLAM。（5）基于标志物的三维跟踪注册技术：摄像机对预定义的标志物进行识别并获得标志物顶点信息，形的仿射不变性原理重建预定义标志物坐标到当前场景标志物坐标的位姿变化矩阵，来完成虚拟信息的跟踪注册。（6）视觉与传感器的跟踪注册技术:通过分析处理拍摄到的图像数据信息识别和定位真实场景环境，进而确定现实场景与虚拟信息之间的对应关系，再将视觉定位的信息与陀螺仪和加速度计信息深度融合，在无人机和手持移动设备上可以获得更好的跟踪注册效果。（7）基于同步定位与地图构建的注册技术SLAM：SLAM技术能够构建视觉效果更为真实的地图，从而针对当前视角渲染虚拟物体的叠加效果，使之更真实没有违和感。基于传感器进行分类又分为激光SLAM、视觉SLAM，激光SLAM采用2D或3D激光雷达，视觉SLAM也具有相似特点，它可以从环境中获取海量的、富于冗余的纹理信息，拥有辨识能力。

综上，SLAM的增强现实技术区别于传统的AR识别技术，不需要预定义的识别模板，直接进行环境的扫描识别。这样的优势在于在一些复杂的环境下，不需要识别图片也可以进行环境的定位，并且识别范围远大于传统的AR识别范围，在远程协助过程中可以为远程专家提供更加广阔的操作空间。

2 AR显示设备的发展

软件技术的发展以及硬件设备的升级换代，让AR应用从电脑应用变为智能手机应用，同时伴随着可穿戴设备的发展，智能眼镜又为AR的展示呈现提供了一条新的道路。

2.1 计算机屏幕显示设备

计算机屏幕显示是最为传统的展示方式，一般具有较高的分辨率，且体积较大。在增强现实应用中通过摄像头捕捉现实场景并将虚拟的物体渲染并叠加到现实场景中。通常用于大型的展示互动，3D模型渲染精度高，现场效果逼真，但是由于体积大，沉浸感比较低。

2.2 手持式移动显示设备

手持式移动显示设备是包含但不限于智能手机、Pad、小型显示器在内的允许用户手持的显示设备。与计算机显示设备相比，手持式移动显示设备一般体积较小、重量较轻，便于携带，但是不同的设备由于硬件的限制计算性能参差不齐，不同的厂家和设备所表现出来的性能有较大差异。相信随着硬件性能的提升，后续的多数新款智能设备将更广泛的支持增强现实应用。

2.3 头戴式显示设备

基于用户体验的考虑，不论是计算机显示还是手持终端都不能给用户很好的沉浸式融合体验，而通过头戴式智能显示设备则能较好的解决这个问题。

微软公司于2019年发布的第二代HoloLens增强现实设备，通过实景叠加的方式，增强用户体验。第二代HoloLens加入了眼球跟踪能力，可以精确地感知使用者在注视什么位置，实现更自然便捷的互动。优化语音识别和手势识别交互，相比其他独立的AR设备，HoloLens的定位、互动和运算能力又更强，加大了了FOV视野使得画幅更大，沉浸感更强。

Magic Leap公司发布了一款基于光场的头戴式增强现实设备Magic Leap One。这款设备利用外部摄像头和计算机视觉处理器实时追踪用户位置，同时在追踪过程中可以不断调整双眼的焦距，并将包含有深度信息的图像通过光场显示器显示出来。

HMT-1Z1是RealMax公司推出的一款获得ATEX Zone 1 /CSA C1-D1认证并通过中国PCEC、国际IECEx、北美NEC500认证的工业头戴平板电脑。基于安卓系统，支持30帧1080P高清视频以及1600万像素摄像头，支持蓝牙、Wi-Fi连接、GPS定位、9轴传感器，全程语音操控进行命令式操作支持多种语言，解放双手。

图1 Real Wear设备

随着硬件技术的发展，未来可穿戴设备将会更加普及，也将更加的轻便和智能，以此为基础的智能应用也会有更大想象空间。

3 AR智能眼镜的应用

智能手机已经基本上满足日常的生活和沟通需要，但是在一些特殊的行业，仍然对智能设备有巨大的需求，特别是能够解放双手的可穿戴设备。

（1）安防领域应用：安防行业一直是比较敏感的应用场景，经常会涉及到国家安全、个人信息等敏感信息。通过AR眼镜的方式，对于执法人员有更方便快捷的处理方式，比如车辆检查、人脸识别等。（2）应急救援中的应用：北京国际虚拟现实与增强现实博览会（VRSD）上，爱普生公司展示了其最新产品Moverio BT-350和BT-300和相应的特色案例：“美国某消防员培训项目”“日本某灾害预防应对系统”。在这些案例中，爱普生AR智能眼镜主要用于培训，可以将复杂的机器使用说明变得可视化，直接代替枯燥无味的纸质版使用说明书。（3）远程协同应用：远程会议最大的好处在于与远程协作者共享工作空间，而不是像传统的视频会议那样，只是参会者的面对面。配合AR眼镜可以实时反馈设备维修的细节，哪里出了问题以及相对应的处理方案，相对应的专家也不需要坐飞机或者各种交通工具往返于办公室和现场，这样既节省了资源又提高了效率。（4）远程视频医疗：AR智能眼镜的远程视频功能，在医疗行业同样发挥着重要的作用。在医生面对从未遇到过的病症束手无策时，他可以带上具有远程医疗视频功能的AR智能眼镜呼叫专家，专家在电脑屏幕上就可以看到乡村医生第一视角的病人景象，可以指导乡村医生进一步询问或检查病人病症，远程给出诊断结果。

4 以SLAM提升AR眼镜的应用

分析以上应用会发现，大多数远程协助应用只是基于音视频功能的开发和拓展，而真正用到AR的多以学习和培训为主。原因在于在远程协助过程中，不太可能进行基于识别图的AR定位和3D模型展示，一般需要进行远程协助的环境都比较特殊，比如地下室、手术室、汽修现场等，在这种情况下无法提供稳定的识别图定位，那么所谓的AR效果也就仅限于智能眼镜的屏幕显示了。

而基于SLAM的增强现实技术就可以做到这样的效果，让远程协助真正的实现AR呈现。通过SLAM快速扫描现场环境创建三维空间图，以此为基础，远程专家可以在被协助人员的视野范围内任何一个地点进行标注。

图2 SLAM方式远程协助

图3 SLAM方式远程教学

并且一旦标签标注完成，在一定范围内不管操作人员是转头还是移动，都不影响被标注点的位置和内容，大大提高了远程辅助的效率，远程专家可以在操作人员视野里进行持续性、有记录的操作而不仅仅是一般意义上的语音和短暂的屏幕图片展示。

在这种技术环境下，远程教学的时候，教师可以直接的在学生视频画面中进行标注和指导而不必担心标注的内容会消失或者位移。同理，在远程医疗的过程中，医疗专家可以在手术操作者的画面中书写手术顺序、标记手术位置、选择手术工具甚至可以标记切割的长度，而不用考虑操作者在转头的情况下忘记或者找不到之前的标记信息。

5 结语

随着硬件不断更新发展，未来AR智能眼镜将会有更强大的运算能力，而SLAM技术的发展也将消耗更少的资源但是提供更强的环境感知能力。实时环境扫描建图，可以让技术专家远程过程中的视野更为开阔；AR定位和标志，可以让技术专家拥有真实的现场处置的感觉，从而更好的进行远程辅助工作。