遥操作机器人的神经网络校正地图策略

张皓宇，刘晓伟，赵 彬，任 川

（1.辽宁省气象信息中心，辽宁 沈阳 110168；2.沈阳新松系统自动化股份有限公司，辽宁 沈阳 110168）

1 引言

"Tele"实际上来自于希腊语，其英文含义是“distant"，意味"遥远"，所以直观来看，人类用户和所被控制的机器人本体是有一定的物理距离的，这也是其遥操作的名字由来[1-2]。在某些情况下，比如对人类来说太危险的环境中需要灵巧和复杂的动作（矿难、战区、化学品泄漏、核事故、太空探索等），远程操作是一种更适合的控制方法。与大多数机器人设备一样，遥操作机器人系统通常是为特定的任务和明确的要求而设计的。

以往进行机器人操作时，人类操作员和机器人有时占据同一个区域，人与机器人不能远程分开。遥操作机器人系统将这一概念进行了颠覆，主要分为两个部分：本地站和远程站。本地站点包含人工操作员和支持系统与用户连接所需的所有元素，这些元素可以是操纵杆、监视器、键盘或其他输入/输出设备。远程站点包含机器人，支持传感器和控制元件，以及要操纵的环境。由于室外机器人在室外的环境极为复杂，导致导航算法出错概率的提升。在室外机器人的系统上加入遥操作的概念，可以帮助机器人在简单环境半自动导航，在复杂环境下进行辅助导航，从而提高系统的稳定性。遥操作室外机器人营运而生，遥操作机器人可以看作是承接全机械方式机器人和全智能式的中间对接者。

国内外学者对此进行了深入的研究：文献[3]提出了一种基于人机交互的3D 环境映射机器人导航方法。定义一些机器人控制手势，以便年龄较大的人或儿童可以轻松地用于指导机器人映射。室外移动机器人可以执行预期的导航路径，并使用RGB-D 传感器构建周围环境的3D 地图[3]。文献[4]提出了一种在远程机器人环境下的移动机器人局部路径规划的潜在场方法，给出了车辆模型和障碍物模型。并对轨迹生成算法进行了描述，提出了一种新的死锁避免方法和人机交互策略[4]。文献[5]提出了一种远程控制机器人，能够调查灾难情况和提出安全对策。它利用了一个静态网络的无源红外传感器节点通过多跳Zigbee 网络互连。传感器是运动敏感的，使用区域定位可以根据情况识别幸存者或入侵者的位置。同时，机器人通过Wi-fi 链路控制，将实时视频传输回基站[5]。

提出了一种利用全身传感捕捉装置实现地图定位和校正机器人遥操作的新系统，进行地图创建、机器人全局定位。这里的方法的新颖之处在于使用神经网络过程校准导航地图，从而消除了对机器人的显式建模的需要，以及信息捕捉数据和机器人执行器命令之间的关系。在不使用任何先验的分析或数学建模即可对定位的地图进行校正。该神经网络校正地图的方法其主要优点是具有稳定性和灵活性。

2 遥操作控制系统

远程操作类人机器人的早期方法是通过使用图形用户界面（GUI）、操纵杆、按钮和键盘来捕捉用户意图[6]。主流的遥操作方法有：通过使用特制的“驾驶舱”[7]，其系统特征是利用外骨骼机器人主手臂和力反馈对系统进行闭环控制。另一种方法是使用一个“木偶”系统，由一个小型的人形机器人木偶变体组成，由操作员操作[8-10]。鉴于此，设计了一种与以往的复合机器人不同，全部操作过程不需要机器人自动完成，需要人工的完成操作，这个是遥操作本质上与其它机器人的不同之处。

2.1 遥操作要素

遥操作定义：在一定距离上进行操作的过程。机器人遥操作有如下几个部分要素：（1）操作员；（2）机器人本体；（3）遥控台；（4）远程通信系统。

描述了一个基于神经网络地图校正的遥操作系统，它允许执行导航和远程操作探索任务。在操作中，可以将两种远程操作模式组合在一起。用户面对的都是由机器人摄像头拍摄的实时视频，并与增强现实项目相结合。在这种表现中，用户集中于一个目标区域，以导航或视觉探索。然后，在导航模式下，目标被转移到自主导航系统。自主导航系统驱动机器人到达目标位置，同时避免与激光扫描仪检测到的障碍物发生碰撞。执行远程场景的主动视觉探索，即形成一个基于共享控制的遥操作系统，大致上可分为如下几类应用情景：

①极端环境探索，诸如外太空与深海等场景：

②用于医疗领域，包括远程手术与微创手术：

③防恐防爆，包括火灾、拆弹等应用场景：

④远程气象勘测，进行数据同步：

2.2 遥操作系统设计

遥操作机器人系统，如图1 所示。通过训练机器人的前馈神经网络来远程操作机器人，以学习运动捕捉传感器数据与分配了每个神经网络的机器人执行器的位置信息之间的映射。为了在学习过程中收集数据，机器人通过一系列重复的成对同步动作来引导人类操作员，这些动作同时捕捉操作员的动作捕捉数据和机器人的执行器数据。执行一个数据预处理步骤，将绝对运动捕捉数据转换为相对旋转，使得运动映射函数学习的神经网络不受用户的位置或方向绝对坐标空间的影响。

图1 遥操作机器人系统Fig.1 Teleoperated Robot System

2.3 系统结构分层

由于机器学习、遥操作和机器人技术的进步，遥操作机器人系统正在变成现实。遥操作监控软件系统，如图2 所示。采用分核控制的方式。机器人技术为特定空间提供了一个物理实体，可以感知、探索、导航并与环境互动在应用方面打开了广泛的可能性。IV 型控制器采用分核控制的方式，将独立的功能模块绑定到单独的CPU 上，各独立模块间通过共享数据、系统文件及网络通讯等方式进行数据交互，实现功能的完全解耦[9-13]。

图2 遥操作监控软件系统Fig.2 Teleoperated Robot Monitoring Software System

机器人的传感器数据在整个重复运动过程中以每秒5 帧的速度记录下来。为了确保信息捕捉数据和机器人传感器数据日志同步，机器人以一个缓慢速度执行动作使得用户能够密切跟踪机器人的动作范例。与机器人传感器数据一样，动作捕捉数据以每秒5 帧的速度记录下来。在完成每个动作的最后重复之后，来自机器人传感器数据被合并到一个日志文件中，这个日志文件包含了匹配的机器人电机位置传感器数据和信息捕捉数据的时间序列。

3 神经网络的预测控制器

该架构在从控制器上使用受监督的在线学习神经网络在延迟的主控制器位置之间创建映射，神经网络动态估计器不需要针对从属或环境的线性模型。基于神经网络的预测控制器的框图，如图3 所示。因此，它可以应用于显示非线性动态行为的非结构化环境。

图3 神经网络的预测控制器的结构框图Fig.3 The Structure Block Diagram of the Neural Network Predictive Controller

3.1 神经网路调整方法

在神经网络架构图中，神经网络的算法步骤如下：

（1）η＞0，权重Wij和Wki以较小的随机值初始化。

（2）通过计算每个神经元在隐藏层的信号总和，计算线性激活neti。

（3）在输入层的每个神经元上（即从输入层到隐藏层）应用对数S 形函数。

（4）通过计算输出层每个神经元上信号的总和来计算线性激活netk。

（5）将量子Sigmoid 函数用作每个隐藏神经元的激活函数，即从隐藏层到输出层。

（6）计算输出层的误差信号项δk的数量。

（7）通过以下表达式更新隐藏层和输出层之间的权重：

（9）通过以下表达式更新输入层和隐藏层之间的权重。

（10）更新量子间隔：经过i 次迭代后，获得最小可能误差，然后将量子间隔增加非常小的量子间隔Δθ。

重复（10），直到误差δk降低到可接受的精度为止。

式中：θr—间隔；r—差值级；ns—梯度或激发级的数量；η—学习率；δk—输出层的误差比率；δi—隐藏层的错误率，其中ni表示输入层的输入，Oi和Ok分别表示隐藏层和输出层的输出，输入层和隐藏层之间的权重由Wij表示，隐藏层和输出层之间的权重由Wki表示，t 表示目标值。

3.2 环境学习

数据采集得到一系列数据集，其中包含机器人上每个电机的码盘值，以及机器人所处周围环境信息值。为了减少学习问题的复杂性，允许远程操作系统在不考虑用户位置和方向的情况下使用计算用户身体关节相对三维空间的旋转角度。这些“相对旋转”是通过比较运动信息捕捉服上的传感器对来实现的。相对旋转以如下公式表示：

然后将该矩阵的值转换为欧拉角（x、y、z），作为各神经网络的训练输入。神经网络学习是在线进行训练的，因此数据具有独立性，并且训练过程都完备。对训练后的神经网络的错误率进行分析。

4 地图定位和校正

地图反映了机器人周围的环境信息，定位和地图校正有益于机器人在室外执行任务同时用于本地精确导航。这种情况对在导航非常杂乱的环境尤为重要。

4.1 环境Voronoi 地图建立

复合机器人上搭载了一款全方位的视觉系统，用于视觉导航，它由一个向上看着球面镜1 的CCD 相机组成。相机安装在移动平台顶部，相机轴与移动平台旋转轴重合。一般情况下，环境中的三维线被投影为全方位图像中的曲线。然而，我们可以使用模型来纠正一些扭曲。在使用Voronoi 地图进行地图的创建，Voronoi 地图框架非常流行。在这里提供了一个映射代数的变体，其中所有操作都直接在Voronoi 地图上执行。Voronoi 地图解决方案在二维和三维中都是有效的，并且允许绕过必须使用映射代数执行的网格划分和重采样过程。

Voronoi 图的定义：对平面n 个离散点而言的，它把平面分为几个区，每个区包括一个点，该点所在的区是到该点距离最近点的集合。在各种分区方法中，最经常使用的骨架分区是在对象之间平均划分区域。骨架分区已用于许多地图综合应用程序中，包括河流系统分析，山脊和山谷提取，建筑群的聚集，附近道路的识别以及基础设施环境地图。假设P 是一离散点集合P1，P2，…，Pn∈P，定义P的V 图V（P）为：V（P）=｛V（P1），V（P1），…，V（Pn）｝其中Pi称为V图生成元。基于Voronoi 的地图创建是基于骨架划分而开发的。各个路段之间的空间由骨架等分，而相邻的骨架相互链接，形成了路段的Voronoi 图，如图4 所示。

图4 Voronoi 图Fig.4 Voronoi Diagram

4.2 特征跟踪和自主定位

利用鸟瞰图来追踪环境特征，从而估计机器人的位置/方向，或驱动机器人沿着给定的轨迹行驶。移动机器人实际的激光导航效果，如图5 所示。可以看到激光导航已经扫描到了周围环境，同时定位了自身位置。检测过程受更大的空间支持，而不是局部角检测滤波器，从而提高精度和稳定性。

图5 激光导航Fig.5 Laser Navigation

通过跟踪相应的边线来跟踪角点。利用局部光度量和几何准则，结合稳健的拟合过程，沿垂直方向搜索每个边缘段。在确定了新的转角位置后，估计了两个连续鸟瞰图之间的二维刚性转换，得到了相对于某些预定义坐标系统的机器人位置和方向。

从网络接收从属位置，速度和加速度，并使用梯度下降反向传播训练方法在线调整网络权重。在线神经网络在系统使用过程中迭代地调整网络收益。所使用的误差量度是力误差平方随时间的总和，即：

式中：μ—网络的学习率。其中α 和γ 分别调节最大学习速率和速率降低的速度，而μ0是最小学习速率，随着误差的减小，这种新颖的自适应学习率被构造为逐渐降低到逐渐降低的静态学习率。

5 实验

遥操作机器人从广义来讲像遥控车、月球车、人机共融的融合。仅仅需要执行人借助远程的遥控操作即可。力控制、导航和视觉等技术仅仅是遥操作的辅助技术。例如视觉技术大部分仅仅应用在遥操作初级阶段作为图像显示功能，用于操作人员检测和观察。以往的机器人技术对于机器人工作安全性和技术性依靠性较高，例如力控制、导航、视觉等技术。这些技术一旦有问题将导致机器人不能使用，甚至影响机器人销售和推广。遥操作由于是人进行远程遥控，全部安全性依靠通信和安全逻辑，对算法安全行要求不高。对遥操作机器人系统和地图导航校正算法了做了验证。

5.1 遥操作实验

利用训练好的神经网络权值对机器人进行实时控制。调查结果的视频可以在网上找到。显示了远程操作的机器人和测试系统的人类操作员，如图6 所示。在我们的实验中，用户尝试执行一些复杂的动作，遥控机器人停在停车位，在狭窄的路面上进行壁障等任务。

图6 实时远程操作机器人Fig.6 Real Time Teleoperated Robot

5.2 地图导航实验

为了对用户尝试的新运动的控制水平进行经验评估，我们针对不属于训练数据集的机器人运动测试了训练神经网络权值。采用遥操作运动平台在车间进行动态建图及导航。测试过程如下。

（1）首先选取定位点，通过远程终端操作创建地图。

地图说明：地图左侧为B3 楼3 楼大厅正门侧，地图右侧为电梯侧。左右全长约136m，上下宽约34m。

如图7（a）所示，地图创建完成后，手动遥控实验平台运动，并使用PC 端软件的地图显示功能实时监控实验平台运行，确认实验平台实际运行位置和地图上显示位置是否一致。

图7 实验平台创建的地图及选取的目标点Fig.7 The Map Created by the Experimental Platform and the Target Points Selected

（2）地图创建好后，选取5 个目标点，将5 个目标点通过PC端软件记录。

如图7（b）所示，手动运行实验平台，选取5 个位置点并通过PC 端软件记录，图中圆圈部分为此次测试时选取的定位点和其它5 个目标点。

地图说明：地图中间区域为实验教学楼。长约222m，宽约194m，如图8 所示。图中绿色部分为此次测试时机器人定位导航行走轨迹。如果地图范围扩大了，依靠地图校正策略该导航精度不会降低，作业精度为（±0.5）mm，停车精度，（±10）mm。导航精度为（±42）mm。

图8 教学楼导航实验Fig.8 Navigation Experiment of Teaching Building

（3）使用PC 端软件创建执行作业。

创建作业，使实验平台按照顺序从左向右依次运行，每到达一个点增加5s 延迟时间用来判断实验平台的停车精度。将此程序执行5 次，比较其中的变化。

6 结论与展望

利用机器学习建立了一个遥操作系统，这是一个非常通用的方法来建立直观和灵活的遥操作系统。遥操作的工作需要对现有技术进行整合，协议统一，把机器人模块当作是积木进行拼接。对于在人口稠密的环境中运行的移动机器人而言，对信息互动学习进而建模是了解环境和重现人们行为的关键。在这里引入了一个遥操作的软件框架来进行定位导航。在机器人导航过程中，建立基于Voronoi 的地图信息，可以根据几何尺寸以及更丰富的地理意义来改善骨架构造。神经网络学习是实现这一目标的一种有效的方法，利用神经网络来优化和校正机器人周围环境地图。这种方法的优点包括不依赖于特定机器人的建模，能适应个人用户的特性，并且使用带有环境捕捉传感器，机器人的系统只需做很少的工作即可完成任务。根据提议的一组客观和主观绩效指标对结果进行基准测试。这些算法可以通过适应度函数帮助生成全局优化道路选择结果。使用不同的运动信息捕捉输入设备和/或不同的机器人来测试系统的可行性。此外，不同道路之间的空间在一般化过程中也起着一定的作用，因此不应视为整个区域内完全均匀的区域。实验结果表明，该方法为实现机器人的遥操作提供了一种快速、有效、灵活的方法。