基于传感器融合技术的机器人远程控制系统设计

易艳丽

(成都东软学院 数字艺术与设计学院，成都 611844)

0 引言

近年来，机器人技术快速发展，新技术产品层出不穷[1-5]，机器人的智能化和自动化程度越来越高，为我们的生产和生活带来了极大的便利。同时，对于一些高危环境和特种作业环境中的工作已经由原来的人工逐渐向机器人开始转变。一方面，是因为一些特定场所内的工作内容属于高危工作，对现场作业人员的危害较高，需要设计符合现场作业的特种作业机器人，如：电力机器人、安防与救援机器人[6]、核工业机器人[7]、矿业机器人[8]、石油化工机器人等[9]；另一方面，由于作业场所环境的限制，人力无法参与到现场作业中，只能通过小型机器人来完成，如管道清理[10-12]、隧道救援[13-16]等。同时，随着工业自动化和智能制造的不断发展，机器人技术在生产与服务领域中得到越来越广泛的应用。然而，由于某些情况下现场操作环境的不可预测性和危险性，需要对机器人进行远程控制，以保障运行的安全性和效率性。传统的远程控制系统往往存在信号延迟、控制精度低等问题。因此，基于传感器融合技术的机器人远程控制系统逐渐成为研究的热点。

机器人的远程控制系统是机器人实现自主运动和任务完成的重要基础设施。然而，在传统的机器人控制系统中，通信、感知、决策等方面的问题仍然存在。因此，设计一种基于传感器融合技术的机器人远程控制系统具有十分重要的现实意义。针对上述存在的问题，设计具有远程控制功能的机器人至关重要，本文提出了一种基于传感器融合技术的机器人远程控制系统设计方法。该方法通过融合FMCE毫米波雷达和摄像机等多种传感器信息，提高机器人的感知能力和对目标物体的识别能力。同时，采用局域网通信保证机器人与PC端之间的实时互动和数据传输的稳定性。在远程控制过程中，本地PC端可以根据现场作业环境实时控制机器人移动，并且选择目标对象后让机器人生成行驶路径后自动跟踪目标对象，从而实现了机器人的自主导航和目标跟踪功能。路径跟踪控制器采用的是线性二次型调节器(LQR)，能够保证机器人的运动控制精度和稳定性。同时，在机器人终端采用多传感器融合技术实时传输现场视频并结合周围环境对机器人进行实时定位，在基于机器人终端多传感器融合的技术之上在远程桌面端设计远程控制控制系统，由人工在远程桌面端远程控制机器人完成现场的作业内容，可以降低现场作业环境对人力所造成的危害。

1 系统方案设计

传统的控制系统只能通过单一传感器来获取目标设备的状态信息，难以实现对复杂环境下的精准控制。因此，本论文旨在设计一种基于多传感器融合的远程控制系统，通过将不同类型的传感器数据进行融合分析，实现对远程设备或系统的高效控制。

本论文设计的多传感器融合的远程控制系统主要由以下组成部分构成：传感器(系统通过部署多个传感器节点，采集不同类型的传感器数据)、数据采集与处理模块(该模块主要负责采集传感器所得到的原始数据，并对其进行预处理和滤波，提高数据精度和减少误差)、数据融合模块(利用数据融合算法对来自不同传感器的数据进行整合和分析，以提高控制系统的可靠性和精度)、控制策略模块(根据系统需求，设计相应的控制策略)、远程通信模块：通过无线网络或互联网等手段，实现对远程设备的实时监控和控制。具体方案如图1所示。

图1 机器人远程控制系统结构图

图1中，安装与机器人端的毫米波雷达主要目的有两个，第一个是为了在远程控制机器人执行任务过程中实时监测周围环境是否在安全距离外出现障碍物，并进行报警，提示操作人员在远程控制机器人时注意周围障碍物的躲避；第二个目的是为了实时获取机器人执行任务过程中自身与周围障碍物之间的距离，将其与相机获得的数据进行融合，实现多传感器之间的融合，将二者时间与空间维度进行统一。

图1所示的多传感器融合的远程控制系统方案采用以下技术路线来实现：

1)传感器选型：根据系统需求选择适合的传感器类型；

2)数据采集与处理：采集传感器所得到的原始数据，并进行预处理和滤波，以提高数据精度和减少误差；

3)融合算法：利用数据融合算法对来自不同传感器的数据进行整合和分析，以提高控制系统的可靠性和精度。本论文采用的是卡尔曼滤波、粒子滤波、信息融合等算法；

4)控制策略：根据系统需求，设计相应的控制策略，本文基于最优控制理论采用线性二次型调节器(LQR)；

5)远程通信：通过无线网络或互联网等手段，实现对远程设备的实时监控和控制。本论文采用TCP/IP协议来实现远程通信。

本文设计出的系统中，机器人端部署的控制器环境是基于AMD的Ubuntu20.04 +ROS2，多传感器的融合算法与目标检测算法均采用基于ROS2话题通信的方式进行终端处理，将处理完成的数据通过局域网发送至上位机PC端；上位机PC端可通过页面内的操作按钮远程控制机器人进行移动与作业，也可以选择监控视频内的目标对象，让机器人自动实现对目标的精确跟踪，其中路径跟踪算法采用的是线性二次型调节器(LQR)。

2 多传感器融合设计

2.1 结构设计

机器人需要多个传感器来获取周围环境的信息并做出决策。多个摄像头和毫米波雷达可以提供各自独特的信息，因此将它们结合在一起可以提高机器人的感知能力和安全性。本文采用的一种多传感器设计方案是利用多个摄像头和多个毫米波雷达来实现高效的环境感知。

首先，在多传感器认知方面，该方案设计是一种将多个传感器结合在一起以获取更全面的信息的方法。在机器人感知领域中，多传感器设计已经得到了广泛的应用。其中，摄像头和雷达是最常用的传感器之一。摄像头可以提供图像信息，而雷达可以提供距离和速度等物理量信息。将这两种传感器结合在一起，就可以获得更全面、更准确的环境信息。其次，在多个摄像头设计方面，摄像头是非常重要的传感器之一，它可以提供丰富的图像信息。在多传感器设计中，我们可以使用多个摄像头来获取不同角度、不同视野的图像信息。这样可以提高车辆的识别能力和准确性，其中，在多个摄像头的设计中，需要考虑以下几个方面：视野范围：不同的摄像头可能有不同的视野范围。为了获取更全面的信息，可以选择不同视野的摄像头进行组合；图像分辨率：图像的分辨率决定了图像的清晰度，在多个摄像头的设计中，需要选择适当的分辨率以平衡清晰度和计算资源的消耗；摄像头数量：摄像头的数量应根据车辆的具体需求来确定，如果需要获取更多的信息，可以增加摄像头的数量。最后，在多个毫米波雷达设计方面，毫米波雷达是一种可以探测距离、速度和方向等物理量的传感器。与摄像头相比，毫米波雷达对光照等环境因素的干扰更小，在恶劣天气下也能提供可靠的数据。在多传感器设计中，我们可以使用多个毫米波雷达来获取更准确的距离和速度信息，其中，在多个毫米波雷达的设计中，需要考虑以下几个方面：覆盖范围：毫米波雷达的覆盖范围应根据车辆的需要来确定，如果需要获取更全面的信息，可以选择多个毫米波雷达进行组合；角度范围：毫米波雷达可以提供不同角度的信息，在多传感器设计中，需要选择适当的角度范围以平衡信息的准确性和计算资源的消耗；雷达数量：雷达的数量应根据车辆的具体需求来确定，如果需要获取更准确的信息，可以增加雷达的数量。

机器人终端超声波雷达与摄像头布置方案如图2所示。其中1与5分别为前向摄像头与后向摄像头，2、3、4、6分别为前向毫米波雷达、左侧毫米波雷达、后向毫米波雷达、左侧毫米波雷达，7为机器人终端控制器，该控制器采用的是基于AMD架构的Ubuntu20.04环境。

图2 机器人终端传感器布置方案

机器人作业过程中可利用前后左后四个方向实时对周围的障碍物进行预警并测量机器人与障碍物之间的距离，前后两个方向的摄像头可以在机器人前进或后退过程中实时监控前方障碍物信息。

2.2 数据处理

在机器人端布置毫米波雷达时采用77 GHz的FMCW雷达，利用式(1)计算机器人与障碍物之间的距离。其中，d为距离，c是光速(c=29 979 245 m/s)，f为频率，Tc为持续时间，B为带宽。

(1)

控制器端部署的目标检测算法采用DETR[17-19]，DETR是一种新型的目标检测算法，全称为Detection Transformer。作为一种基于Transformer模型的目标检测算法，DETR具有许多优点，如准确性高、速度快等。DETR算法采用了端到端的学习方式，可以直接对原始图像进行检测，无需预选建议框或者区域提取操作。整个算法分为两部分：encoder和decoder。encoder主要负责将输入图像转换为特征图，采用的是卷积神经网络，其中使用了ResNet作为主干网络。通过这样的方式，DETR将图像中的每一个像素都与相应的特征向量联系起来，从而得到一个全局的特征表示。decoder则主要负责将encoder输出的特征图转换为目标检测结果。在decoder中，DETR采用Transformer模型，将特征图中的每一个位置看作一个序列，然后使用自注意力机制(Self-Attention)来捕捉序列中的空间关系和语义信息。在DETR中，目标检测问题被转化为一个集合预测问题，即对于输入图像中所有可能存在的目标，预测出其类别和位置。由于采用了Transformer模型，DETR能够同时处理不同数量和不同大小的目标，且对于目标的排列顺序不敏感。在预测过程中，DETR使用了一个匈牙利算法来解决集合匹配问题，将预测结果与真实目标进行匹配，从而获得最终的检测结果。相比于传统的目标检测算法，DETR具有以下优点：

1)准确性高：DETR采用Transformer模型，能够捕捉到更多的上下文信息和语义信息，从而提高了检测的准确性。

2)速度快：由于DETR采用端到端学习的方式，取消了传统目标检测算法中繁琐的区域建议或者边界框预选工作，从而提高了检测速度。

3)可扩展性强：DETR能够处理不同数量和大小的目标，并且对于目标的排列顺序不敏感，具有很强的可扩展性。

4)无需调参：DETR采用端到端学习的方式，避免了传统目标检测算法中需要进行大量的超参数调整工作。

总之，DETR是一种新型的目标检测算法，其基于Transformer模型，具有准确性高、速度快、可扩展性强、无需调参等优点。因此，DETR在目标检测领域具有很大的应用前景，可以为实际应用提供更好的解决方案。同时，该算法在encoder阶段，将序列化数据送入encoder中，利用注意力机制提取数据中的特征；在decoder阶段输入N个随机初始化向量，每个object query关注数据的不同位置，经过decoder的解码，最终会生成N个向量，每个向量对应一个检测到的目标，最后将这N个向量输入到神经网络中，得到每个目标的类别和位置，机器人端的目标检测完成。该算法的优点主要在于生成的检测框数量大幅减少，与真实的检测框数量基本一致，且该算法不需要预先指定候选区域，不需要使用NMS去除重复目标框，算法流程十分简洁，非常适合部署在机器人终端控制器中。

FMCW雷达与摄像头的融合数据传输方式如图3所示。其中，FMCW雷达和摄像头分别通过串口和网线将数据发送至机器人端控制器。在终端控制器内首先通过时间同步算法对两种传感器的数据进行时间同步，然后利用多传感器融合算法对时空同步后的数据进行融合，最后利用已经训练好的CNN对融合后的数据进行处理，至此，机器人端的多传感器融合数据处理完成。

图3 多传感器融合数据传输流程图

3 远程控制系统设计

机器人远程控制系统是一种能够实现机器人在远距离范围内进行操作和控制的系统。该系统通常由客户端、服务器端和机器人三个部分组成。客户端主要负责与用户交互，接收用户指令并将其传输给服务器；服务器端负责接收用户指令，并将其传输给机器人；机器人则负责执行指令，完成任务。机器人远程控制系统的设计与开发需要考虑到多方面因素，包括系统架构、通信协议、安全性等。下面对这些因素进行详细说明：

1)系统架构：机器人远程控制系统的架构决定了其整体性能和可靠性。一般来说，机器人远程控制系统采用分布式结构，即将客户端、服务器端和机器人放置在不同的位置，并通过网络进行通信。此外，为了提高系统的稳定性和可靠性，还可以采用多层架构，将业务逻辑和数据处理分离开来。

2)通信协议：机器人远程控制系统的通信协议需要满足以下要求：快速、实时、可靠、安全。根据具体的应用场景和需求，可以选择不同的通信协议，如TCP/IP协议、UDP协议、HTTP协议等。另外，还需要对通信数据进行加密和压缩处理，以保证数据的安全性和传输效率。

3安全性：机器人远程控制系统的安全性是至关重要的。由于机器人的操作涉及到物理空间，一旦出现操作失误或非法入侵，可能会造成严重的后果。因此，在设计机器人远程控制系统时，需要采用一系列措施来保障其安全性，如身份认证、访问控制、数据加密等。

4)控制算法：机器人远程控制系统的控制算法决定了机器人的运动轨迹和姿态。常用的控制算法包括PID控制、模糊控制、神经网络控制等。针对具体场景和任务，可以选择不同的控制算法，并根据实际情况进行参数调整和优化。

总之，机器人远程控制系统是一种将机器人和远程操作技术相结合的系统，它通过高效的通信协议、可靠的系统架构、安全的数据传输和优秀的控制算法，实现了机器人在远程范围内的自由运动和操作。因此，机器人远程控制系统具有广泛的应用前景，在工业、医疗、军事等领域都有重要的作用。

综上所述，设计基于传感器融合技术的机器人远程控制系统如图4所示。其中，系统架构采用分布式架构；通信协议采用TCP/IP协议；控制算法采用线性二次型调节器(linear quadratic regulator)。远程控制系统主要具备两个功能：自动跟踪目标对象与远程遥控跟踪目标对象。其中，自动跟踪目标对象功能的实现是通过对机器人端通过局域网传回的具有目标类别与位置信息视频的观察，选择目标对象，然后在PC端后台运行机器人路径跟踪控制节点，实时计算机器人位姿的调整量，并将输出控制量通过局域网发送至机器人端控制机器人自动完成对所选目标的自动跟踪；远程跟踪目标对象功能相对简单，主要是通过报警信息以及前后两个摄像头实时观察周围工况，根据现场作业环境通过PC端远程控制机器人完成对目标的跟踪。

图4 机器人远程控制系统设计

远程控制系统设计中对目标对象的自动跟踪采用的是基于线性二次型调节器(LQR)的路径跟踪控制器设计方法。LQR路径跟踪控制器，是一种针对动态系统的控制器设计方法。LQR代表线性二次型调节器，该方法通过设计一个二次型性能指标，来优化系统的控制器，从而使得系统的输出能够按照期望的轨迹进行跟踪。LQR控制器的基本思想是，在保证系统稳定的前提下，尽可能地减小系统的误差，使得系统的输出能够快速、准确地跟踪给定的参考轨迹。LQR控制器利用状态反馈的方式来实现这一目标，即将系统的状态作为反馈信号，经过一定的加权和变换之后，输入到控制器中，从而影响系统的输出。具体来说，LQR控制器将系统的状态表示为一个向量，然后通过设计一个二次型性能指标，来评估系统的输出与参考轨迹之间的差距。这个性能指标通常包括两个部分：一个是系统状态与参考轨迹之间的误差项；另一个是系统输入的大小和变化率。通过对这个性能指标求导，并将其设置为零，可以得到一个线性矩阵方程，即Riccati方程。解出这个方程，就能得到一个理论上最优的状态反馈控制器。

LQR控制器的设计过程相对比较简单。首先需要确定系统的状态变量和输入变量；然后需要确定参考轨迹以及期望输出；接下来，通过数学模型建立系统的动态方程，并将其转化为状态空间形式。在此基础上，设计二次型性能指标，并求解Riccati方程，得到最优的状态反馈控制器。最后，将控制器与实际系统进行耦合，进行仿真试验或者实际应用。总体而言，LQR路径跟踪控制器是一种高效、准确且稳定的控制方法，其具有较好的理论分析和实际应用效果。

本文针对的是采用差速驱动的机器人，差速驱动也被称为双轮差速车，是一种常见的移动机器人底盘结构。差速驱动底盘通常由两侧驱动轮组成，通过控制两个驱动轮的转速差异来实现移动和转向。差速驱动的优点在于它简单、轻便、易于维护，并且在狭窄空间内具有较好的机动能力。此外，因为其具有良好的可编程性和灵活性，它已经被广泛应用于机器人技术中，如移动机器人、自主导航车和工业机器人等领域。

差速驱动的原理是：通过改变两个驱动轮的转速差异，来引起整个底盘的运动和转向。当两个驱动轮的转速相等时，底盘将直线行进；当两个驱动轮的转速不相等时，差速驱动底盘将旋转或曲线行进。在基本的差速驱动结构中，两个驱动轮之间的距离比较小，从而使得差速驱动底盘的转向半径非常小。这意味着，差速驱动底盘可以在狭窄的通道中自由穿梭，并且能够绕过其他物体。此外，差速驱动底盘还可以通过改变两个驱动轮的转速比例，实现前进、后退和旋转等复杂运动。然而，差速驱动也存在一些缺点。由于其设计结构限制了机器人的尺寸和驱动力，因此它不适用于大型机器人或需要承载重量的应用。此外，差速驱动底盘的悬挂轮通常比较小，因此在不平坦地形上行驶时，容易出现失控或打滑的情况。整体而言，差速驱动是一种优秀的移动机器人底盘结构，它具有简单、灵活和可编程性等优点，并被广泛应用于机器人技术领域。因此可假设存在一个虚拟导向轮，该导向轮可控制机器人的转向，其转动角度与左右两侧驱动轮转速之间的关系如式(2)所示：

δ=k·Δn=k·(nr-nl)

(2)

式(2)中的k为左右机器人左右两侧驱动轮差速比的权重系数，nr为右侧机器人驱动轮转速，nl为左侧机器人驱动轮转速。

现设计具备虚拟导向轮的机器人运动学模型如式(3)所示：

(3)

其中：v为机器人运动速度，φ为机器人航向角，l为机器人长度，δ为虚拟导向轮转动角度。将式(3)所示机器人运动学模型进行泰勒展开可获得雅可比矩阵，如式(4)所示：

(4)

将式(4)化解后得：

(5)

令：

将上述X、A、B分别代入式(5)得；

(6)

对式(6)中的状态转移函数进行离散化操作，得：

(7)

X(t)=A*X(t-1)+B*u

(8)

构建其最优性能代价函数如式(9)所示：

(9)

有状态反馈控制律可知：

u(t)=-K*X(t)

(10)

状态反馈增益矩阵的求解如式(11)所示：

K=-(BTPB+R)-1BTPA

(11)

其中：

矩阵P由黎卡提方程通过迭代求解法计算得到，如式(12)：

Pn=Q+ATPn-1A-

ATPn-1B(R+BTPn-1B)-1BTPn-1A

(12)

将式(12)中的Q与R进行初始化，假定：

当式(12)在迭代求解中满足max_cell(Pn)-max_cell(Pn-1)

最后，可将各个状态量带入式(11)获得状态增益矩阵K值，再将K值代入式(10)得机器人路径跟踪控制器输出控制量为：

(13)

4 仿真测试

图5 路径跟踪控制器仿真

由仿真结果可知，LQR路径跟踪控制器可以有效控制机器人运动轨迹。在本文所设计的LQR路径跟踪控制器中，我们采用了状态反馈方法，将机器人的位置、速度、加速度等状态信息作为反馈信号，并将其经过加权和变换后输入到控制器中，从而影响机器人的运动轨迹。仿真结果表明，LQR控制器能够使机器人沿着预定路径稳定地行进，且具有较好的精度和鲁棒性；LQR控制器具有较好的性能和效果。在仿真实验中，我们比较了LQR控制器和传统PID控制器的控制效果。结果表明，LQR控制器具有更快的响应速度和更小的稳态误差，且能够抑制机器人在转弯处的漂移现象。同时，LQR控制器还能够适应不同的工作环境和目标，根据需求进行灵活调整；LQR控制器的参数设计对系统控制效果有重要影响。在本文中，我们分别对不同的LQR控制器参数进行了仿真实验，并比较了其控制效果。结果表明，在合理的参数范围内，LQR控制器的性能和效果随着参数变化而变化。具体而言，当增大控制器的权重矩阵时，可以提高系统的灵敏度和响应速度；当减小控制器的权重矩阵时，则可以降低系统的干扰响应，提高其稳定性和鲁棒性。

综上所述，本文研究的基于LQR的路径跟踪控制器具有良好的性能和效果，能够有效地控制机器人运动轨迹、提高系统的精度和鲁棒性。同时，本文还分析了LQR控制器的参数对系统控制效果的影响，为实际应用提供了一定的参考和借鉴价值。可控制器机器人实现对目标路径的精确跟踪，证明该控制器有效。

利用LQR路径跟踪控制器可在远程PC端上位机中选择好目标对象后远程控制机器人对目标对象进行自动跟踪。

5 结束语

传感器融合技术在机器人远程控制系统中具有重要的应用价值。本文研究了基于传感器融合技术的机器人远程控制系统设计，并提出了一种基于传感器融合的机器人远程控制系统设计方法，采用机器人端的FMCW毫米波雷达与摄像机两种类型的传感器融合作为机器人端的数据源，在机器人端控制器完成对数据的时空融合后利用DETR对融合信息进行目标检测，最后将处理结果利用局域网发送至PC端上位机，PC端上位机可实现两个功能，第一个是根据周围环境对机器人进行实时远程控制，第二个也是本文最大创新内容，即通过对目标对象的选择，实现机器人对目标物的自动跟踪，该路径跟踪控制器采用的是线性二次型调节器(LQR)，在跟踪目标的过程中可对车辆的位姿进行实时调整。

同时，通过仿真测试验证了该系统的有效性。通过对本文所设计的机器人远程控制系统进行测试，得出如下结论：首先，传感器融合技术可以大幅提高机器人的操作精度和稳定性。在测试过程中，我们发现通过将多个传感器进行融合，可以显著降低机器人误差率，并且提高机器人的定位准确性和运动控制精度；其次，传感器融合技术可以增强机器人对复杂环境的适应能力。在测试过程中，我们模拟了多种不同的环境场景，包括光线较暗、存在障碍物等情况，通过传感器融合技术，机器人可以更好地感知周围环境，自主避障，并完成预设任务；最后，本文所设计的基于传感器融合技术的机器人远程控制系统具有良好的可靠性和实用性。该系统可以广泛应用于各种工业生产领域和服务领域，为人类提供更加便利、高效的机器人技术服务。因此，可以得出结论：基于传感器融合技术的机器人远程控制系统是一种有效的方法，可以提高机器人的操作精度和稳定性，增强机器人对复杂环境的适应能力，具有良好的可靠性和实用性。本文提出的基于传感器融合的机器人远程控制系统设计方法可广泛适用于特种场所作业机器人，减少对人力造成的危害，提高自动化作业程度。