一种沉浸式体控机器人的设计方案与应用分析

1.阿迪思 2.姚皓 3.王金金

四川大学制造科学与工程学院

一种沉浸式体控机器人的设计方案与应用分析

1.阿迪思 2.姚皓 3.王金金

四川大学制造科学与工程学院

本项目运用VR技术和体感控制技术的基础和原理，将虚拟现实应用于机器人控制领域。提出立体沉浸式体感控制机器人的概念和技术路线：利用双目摄像头和VR显示设备构建立体沉浸式环境，利用光学姿态采集器和搭载在头部的姿态传感器构建体感控制系统。使操作者可以自由地选择观察视角，并使机械臂随操作者意图同步运动。特点在于交互性、动作性和自主性强。沉浸式体控机器人可以应用于多种领域，云服务器的接入，可以打破距离的限制，使机器人可以真正意义上代替用户进行远端的操作。

沉浸式技术 双目摄像头 体感控制 光学姿态捕捉 图像回传

引言

远程智能控制系统的研究始于DOS时代，但由于硬件水平限制，其发展始终不尽如人意，只停留在概念层次，而到了90年代，互联网的兴起才让这项技术开始逐渐走入大众生活。而在那个时期一起发展起来的，还有沉浸式虚拟现实技术，它能提供参与者完全沉浸的体验，使用户有一种置身于虚拟世界之中的感觉。由于两项技术都有极大优越性，各国科学家都在努力尝试将二者很好的结合起来，即在发展基于VR的远程体感控制系统上下了很多功夫。现在的智能机器人大多是依靠自身存储的复杂程序代码或者操作手柄，根据外部事件触发产生相应的执行动作来实现控制。但是大量的程序代码存储需要大的存储空间同时伴随而来的体积大、功耗大、速度慢、存在延时等问题都会降低机器人得控制精度，不易实现同步控制功能。另外在监测机器人领域，由于传输的二维视频画面对三维世界描述的巨大局限性，因此对复杂环境无法进行最真实的还原与反馈，操作者无法更加自由、方便和直接地控制机器人进行工作。设计一款具有人机交互、沉浸式体验与体感控制于一体机器人，使机器人具有代替人工操作和传统的机器人进行远程技术操作成为可能。

一、沉浸式体控机器人的设计方案

（一）立体沉浸式环境构建

1.图像采集--双目视觉系统设计。常用的双目立体视觉成像模型有平行双目成像模型和汇聚双目成像模型两种。两种模型都采用两个单目摄像头进行取景。所得的两幅有视差的图片在人大脑中叠加融合处理，就构成了有深度立体效果的画面。综合人眼获取图像的运作方式，汇聚双目成像模型更符合人眼的视觉习惯。为获得较好的立体成像效果，本系统选取了汇聚双目成像模型。

在头部和两眼都处于放松状态情况下，眼睛观察的视线在水平视线下约25度-35度，结合人在自然观察状态下视线的特点，为使用者在观察时具有最佳的舒适度，对摄像头的俯仰角进行调试，两摄像头在水平面下夹角为25度时最佳。

电子双目系统采用两个同品牌、内部参数基本一致的摄像头构成，两摄像头位于同一水平面，且夹角为25°，如图1所示。满足对沉浸式视频最优化的显示，最大程度的保证3D显示效果。

图1 双目摄像头

2.图像显示——VR设备。场景显示方式及设备是虚拟现实系统中人机交互的基本组成部分，按照显示方式分为头盔式显示、投影式、手持式和自由立体显示方式等，其中桌面式显示沉浸感不强，投影显示受到高价格、大场地等因素的限制，所以本系统将采用头戴式设备进行研究与改造。

本系统所用头盔式显示设备是款非常简单的3D眼镜，将手机安装于设备前方作为显示器,在该设备上安装上相应的陀螺仪姿态传感器并连接至单片机，配合相应的软件控制即可实现沉浸式体感控制陀螺仪传感器芯片可以实时检测使用者头部的位置和方向，并传输至单片机，单片机根据使用者头部位置和方向信息计算出人体当前姿态，从而控制摄像头移动到相应位置，显示当前视点下的场景，人体视点与电子双目的同步性和交互性让使用者产生强烈的沉浸感。

（二）电子双目控制

本控制系统主要由执行机构与传感环节两部分构成，其中传感环节由姿态传感器感知和获取人体头部运动信息并将该信息传输至单片机进行处理，单片机根据不同的姿态信号发送相关指令至执行机构，控制电子双目做出相应的运动，实现具有人机交互性的体感控制。

1.双目摄像头执行机构设计。对双目摄像头的控制通常是利用摄像头云台作为执行机构对摄像头进行水平和垂直的移动和控制。为了电子双目能够进行二维的水平和垂直运动，使操作者具有更好的体验本产品的人机交互功能。通过分析人体头部姿态的特征，由于人体头部的运动类似于一个二自由度的结构。因此选择二自由度云台对舵机进行控制，从而可以实现双目摄像头可以模仿操作者头部动作。

2.头部姿态采集——MPU6050加速度传感器。系统选择 MPU6050 模块来检测人体头部和手臂的姿态角度变化。姿态数据采集与传输系统的程序主要实现的功能包括采集人体姿态数据、姿态数据融合、数据传输。其系统软件功能框图如图2 所示。

图 2 系统软件功能框图

（1）采集人体姿态数据：采集人体头部运动过程中三轴加速度和角速度数据；（2）姿态数据融合：选择合适的融合方法处理采集到的人体姿态数据，以得到所需的姿态角；（3）数据传输：将融合后的姿态数据通过WIFI传输给控制电子双目系统的MCU处理器。

（三）机械臂控制系统的硬件设计

目前的体感控制越来越趋向于光学的姿态捕捉。虽然特质手套是目前最常用的体感控制方式，但是佩戴手套操作受限，并且传感器（如柔性传感器）存在一定的磨损与消耗，因此使用光学姿态采集器代替特质传感手套，光学传感器稳定，使机械臂控制更加自由、灵活。此外光学图像数据的处理，需要一个高性能的单片机给予支持，下面将针对硬件的结合做相应分析。

Leap Motion的主要原理是使用红外LED+灰阶Camera的方式采集数据，并生成3D数据。利用了物体对红外照射反射特性不同而形成光场，并利用相应的算法在其中检测特定的几何特征，可以比较准确地检测反射光场中的极点（如手指和物体尖端）和特定形状的大范围反射面（手掌）。它的功能主要就是集中在深度距离探测、指尖以及它的方向获取、目标跟踪。Leap Motion系统的硬件是双目立体视觉，可以在高跟踪帧率下工作。Leap Motion 软件分析在器件可视范围内的物体。它识别手、手指和工具，可以实时获取它们的位置、手势和动作。

Leap Motion由于使用了红外LED+灰阶Camera，成本较低；只处理手部的3D，相比较于现在Kinect需要生成全身的skeleton, 复杂的depth信息，Leap的运行效率自然也会高很多，对处理图形的DSP要求也不会特别高。

树莓派是一款基于ARM架构的微型电脑主板，以SD/MicroSD卡为内存硬盘，卡片主板周围有多个USB接口和一个10/100Mbps以太网接口，并具有蓝牙和WIFI功能，可连接键盘、鼠标和网线，同时拥有视频模拟信号的电视输出接口和HDMI高清视频输出接口，以上部件全部整合在一张仅比信用卡稍大的主板上，具备所有PC的基本功能。

通过使用Leap Motion的SDK，捕捉手势动作，通过编写的JAVA程序，将手部姿态数据解析为舵机控制信号。将此信息（角度值）无线传输至树莓派中，将舵机控制信号进行处理并发送至机械臂，实现控制。

图3 光学传感器控制原理图

（四）机械臂控制系统的硬件设计

体感控制的真正意义在于其通讯距离的远程化，在保证实时的图像信息稳定、有效的前提下，尽可能大地扩展传输距离可以提高机器人的可用性和拓展其应用前景。现阶段，环境基础设施完善的情况下，可以借助任何一个局域网，访问互联网，实现两局域网子机之间的信息交换，方便快捷，任何网络的地方就可以实现控制。沉浸式机器人的双向数据传输将以此为基础,总体传输示意图如图4所示。

图4 双向数据传输示意图

关于视频无线传输方案：

使用云端服务器，登录远程控制管理台控制服务器，实现所需功能。在带宽保证的条件下，由双目摄像头采集的视频信息可以通过服务器来进行访问显示。选择ffmepg+ffserver这种方式来实现视频传输功能，原因有两点。首先这种方式实现的视频传输有较好的流畅度，项目的目的便是摄像头监控并且对摄像头进行调整，所以对视频的延迟要求很严格。其次，mjpeg-streamer在通过网页访问摄像头的时候需要知道此时树莓派的IP，通过ffmepg+ffserver这种方式在实现过程中，将树莓派和客户端进行隔离，不再直接联系，树莓派通过服务器端就可以实时获取视频信息。

二、沉浸式体控机器人的应用前景分析

（一）机器人原理样机分析

沉浸式体控机器人运用VR技术和体感控制技术，具备人机交互性良好，动作性能优越，能耗低等特点。一方面，头部及手臂共七个自由度的运动实现几乎无延迟控制，另一方面，双目摄像头采集到的动态图像可以经无线方式实时传输至操作者眼前。在机器人端和操作者端网络条件良好时，图像清晰，延迟约0.5秒。

图5 成品概念图

（二）沉浸式体控机器人在危险环境下的应用

随着经济社会的发展，大量新工种不断涌现，其中不乏高危险性、伤害人体健康、人力无法实现的职业。比如核电站辐射量监测、电力铁塔检测、塔吊高空作业以及在有毒有害气体、低温或高温环境中的操作、巡检、采样、维修等等。因此发展能用于有毒有害环境下的远程体控机器人意义重大。

（1）远程体控机器人采用虚拟现实设备，使机器人图像采集部位紧随着人体头部运动而运动，大大提高了远程监控的清晰度和监控范围，实景传输效率非常高，使操作人员有身临其境的感觉，也提高了远程控制效率；（2）远程体控机器人能工作在条件苛刻的地方，如核辐射、高空、狭小空间、极端温度条件、有毒有害气体内等，使人员免受身体健康或生命安全的威胁；

（3）远程体控机器人能进行远距离的仿人同步操作，如巡检、侦查、采样、生产、维修等等，必要时还可以将人体在某一时间段内的动作数据记录下来，从而进行自发的重复运动，提高生产效率；

（4）目前现有的机器人工作行为大都比较单一，通常只能固定在某处完成预先设定的操作，应用范围较窄。而远程体控机器人可以实时地仿照人体手臂运动，从而免去了复杂的手臂运动设计分析和程序编写过程，使控制更加灵活可变。

三、结语

随着视觉技术和计算机科学的高速发展，具有交互性、自由化的沉浸式视觉系统成为未来多媒体视频技术的重要组成部分，具有极其广阔的应用前景。本项目利用立体沉浸技术和体感控制技术，创新性地将虚拟现实技术发展并应用于监测控制领域，提出远程三维立体沉浸式智能体感控制的概念与技术路线。使观察者可以自由地选择观察方向与视角，同时使机械臂随操作者动作同步运动。其特点在于交互性、动作性和自主性较强。沉浸式体控机器人能够实现远程沉浸式操作，并结合轮式、履带式等移动机器人或航拍机器人，以更直观、自由地体感控制方式，完成各类特定任务，使未来机器人工作更加安全、可靠和高效。

[1] Don Wilcher著∶ 翁恺 译.学ARDUINO玩转电子制作[M].北京∶人民邮电出版社.2013.

[2]程晨.Arduino开发实战指南[M].北京：机械工业出版社,2012.

[3]陈玉敏,谢玮,孟宪民.基于体感控制的智能车设计[J]. 现代电子技术,2016,(03)∶155-158.

[4]龚霖迪. 体感控制摄像机初识[J].中国公共安全,2014,(18)∶92-95.

[5]戴欢. 基于惯性动作捕捉的人体运动姿态研究[D].石家庄铁道大学,2012.

[6]郭伟,兰景婷. 三维动画及其运动捕捉技术[J].四川文理学院学报,2011,(05)∶97-99.

[7]周冬鑫.惯性运动捕捉前端设备研究与设计[D].浙江大学,2011.

[8]刘然. 基于计算机立体视觉的双目立体成像研究[D].重庆大学,2007.

[9]陈孟臻.基于MPU-6050陀螺——加速度仪三轴云台的研究[J].百色学院学报,2015,(03)∶126-131.