基于多传感器融合的智能分拣搬运车

赵恩波 于家旺 王晓鹏 曲强

摘要：设计了一款能够自动识别和搬运货物的机器人，该装置主要利用点位图来确定货物的位置，通过路 径规划来寻找最短搬运路径。在运动过程中，采用编码器测量车轮转动的速度、陀螺仪二重积分测量小车 3 个方向的加速度、光流测量小车相对于环境的运动速度，最终通过卡尔曼滤波对这 3 个数据进行融合，实 现对该装置位置信息的实时获取。识别方面采用 TensorFlow 深度学习框架对识别的对象进行分类，该模型 利用卷积神经网络和注意力机制，提高了识别的准确性和速度。

关键词：多传感器融合；自动识别；卷积神经网络

中图分类号：TP242.2 文献标识码：A

0 引言

随着工业化和信息化的发展，智能分拣搬运车 在物流、制造、仓储等领域的应用越来越广泛。智 能分拣搬运车是一种能够自主识别、抓取、运输和 放置不同物品的机器人，其可以提高生产效率、降 低人力成本、减少人为错误和安全风险。智能分拣 搬运车的关键是将摄像机头、激光雷达、超声等感 应器的数据进行有效整合，从而准确地识别出周围 的环境及物体，并对其进行有效定位。本文基于机 器视觉技术，结合 OpenCV 视觉库和 TensorFlow 深度学习框架，设计并实现了视觉引导分拣搬运作 业解决方案 [1]。

1 产品结构、组成与基本功能

1.1 装置结构与组成

该装置是基于多传感器融合的智能分拣搬运 车，其组成结构为小车底盘、机械臂，货物分拣仓 机械机构如图 1 所示。

1.2 基本功能

1.2.1 已知货物位置情况下搬运分拣货物

智能分拣搬运车能够自主达到物品附近，对需 要搬运的物品进行拾取和搬运，完成之后，可以 自动回库等待下一次任务。智能分拣搬运车的车身 搭载串口 Wi-Fi 模块，可以使用语音控制其到某一 位置进行搬运。识别分拣过程中，若货物搬运结 束，可使用语音指挥分拣搬运车完成最后的任务并 回库。

1.2.2 自动避障功能

运动过程中智能分拣搬运车如果遇到一些障碍 物，会自动停止，并尝试绕过障碍物，以免车身与 障碍物发生碰撞。

2 产品设计

2.1 点位图识别

装置出发之前，有两种确定货物位置信息的 方案：一是为其提供货物点位图，其点位图不一 定为精准坐标，大致坐标即可；二是通过电脑麦 克风使用语音控制小车到货物附近，实现自动分 拣搬运。

智能分拣搬运车正上方搭载一个 OpenArt Mini 進行点位图识别，其旁边有 LED 灯带进行补 光，从而提高摄像头识别的准确率。代码逻辑为 搜索黑色矩形框，在矩形框内寻找黑色圆点，并 求出黑色圆点到直线的距离，最终求出各个点的 位置坐标。

2.2 路径规划与速度规划

采用深度体感摄像头三维 RGBD 相机，其不仅 可以传输视频，还能进行深度学习。如图 2 所示， 以识别车道线为例，首先使用摄像头拍摄一段车道 线的视频，然后通过 OpenCV 将视频每帧裁剪成一 张照片，从而形成图片数据库。

UNet 编码—解码网络结构可以有效提取图像的 特征信息 [2]，并利用这些特征信息构建高效的模 型。将原始图像以及相关的标记信息输入 UNet，以便更好地实现对图像的识别。UNet 是一种常用 于图像分割任务的深度学习架构，其第一个主要功 能是对数据进行特征抽象，而第二个主要功能是对 数据进行采集。通过神经网络训练得到的模型训练 效果图如图 3 所示。

2.3 多数据融合

2.3.1 编码器定位法

编码器定位法是一种常用的位置估计方法，主 要用于测量旋转或线性运动的位移和位置。这种设 备使用正交编码器，其基于传统的定位算法，但没 有考虑编码器的运行路径信息。因此，设备模拟精 确性不佳。当机器人处于静止状态并进行旋转运动 时，随着运行速率的增加，其精确性会下降。由于 麦克纳姆轮的特性，在实际应用过程中会出现打滑 的现象，从而造成定位不准，所以多传感器数据融合显得尤为重要。本文将探讨一种全新的、结合正 交编码器和惯性测量单元（inertial measurement unit， IMU）的机器人室内定位技术 [3]。

2.3.2 陀螺仪定位法

陀螺仪定位法是一种惯性导航方法，用于测量 和跟踪物体的角速度和角度变化，从而推测物体的 姿态和位置信息。本装置使用九轴陀螺仪，除了能 够测量角速度信息，还能够测量加速度等其他信 息。已知 3 个方向的加速度，便可对其进行二重积 分求位移距离。

2.3.3 卡尔曼滤波融合数据

基于已经获取的 3 个位移量，为了进一步提高 位移量估计精度，提出了数据驱动与卡尔曼滤波融 合的估计方法 [4]。只需通过卡尔曼滤波融合成更为 准确的数据，实现过程如下。

步骤1：设状态向量为 [x，y，u，v]。其中，x、 y 表示位置，u、v 表示速度。

步骤 2：设状态转移矩阵为 A，描述状态向量 的变化关系。

步骤 15：通过卡尔曼增益的方式，对预测的状态协方差矩阵进行有效的改变和调整。

其中，Pc 为修改后的状态协方差矩阵，I 为单位 矩阵。

步骤 16：重复执行步骤 8 ～ 15，融合每个时 间步的光流、编码器和陀螺仪数据，得到融合后的 位移和速度估计结果。

将数据采集之后换算成位移距离导入 MATLAB， 并对其数据进行融合。

2.4 货物分拣

智能分拣搬运车搭载一个可旋转的储物仓，为 了任务运行得更流畅，搬运货物均为卡片，储物 仓放置卡片较为便利，后续如需装载其他货物，可 以增加储物仓的面积。将所有货物收集到储物仓 中，便开始进入分类环节。本次任务设定 5 个分类 区，分别为整体区域的上、下、左、右和车载。储 物仓中搭载电磁铁，可以控制储物门的开关，一旦 到达分类区域，打开储物门即可将货物放到指定 区域。

3 结语

人工智能、物联网和“工业 4.0”的出现，引 发了一场颠覆性的变革，《中国制造 2025》的推出， 使得智能电子控制在物流行业的普及更加迅速，其 不仅改变了原有的搬运、分拣、装配过程 [5]，而且 还极大地提升了整个行业的效率和质量。多传感器 融合是一个复杂的问题，涉及传感器的选择、校 准、配准、数据融合、状态估计等多个方面，需要 综合考虑传感器的性能、成本、可靠性等因素。本 文旨在研究基于多传感器融合的智能分拣搬运车的 设计与实现，探索适用于不同场景和任务的多传感 器融合方案，提高智能分拣搬运车的感知和控制 能力。

参考文献

[1] 龙健宁 . 基于机器视觉的智能物流分拣搬运系统的研 究与应用 [D]. 广州：华南理工大学，2021.

[2] 刘惠中，邓富龙，刘茜茜，等 . 基于 Res-UNet 算 法的螺旋溜槽精矿带识别分割方法研究 [J]. 有色金属 （选矿部分），2024（2）：70-80.

[3] 胡天林，陈志伟，赵德博，等 . 基于编码器与惯性 测量单元的定位系统设计 [J]. 实验室研究与探索， 2022，41（5）：83-87，284.

[4] 李德俊 . 基于数据驱动与卡尔曼滤波融合的动力电 池 SOC 估计方法研究 [D]. 芜湖：安徽工程大学， 2023.

[5] 张林 . 基于 51 单片机的智能分拣搬送系统设计 [J]. 江苏通信，2021，37（4）：126-128.