基于单目视觉和模糊控制的叉车式AGV设计*

张向鸿， 杨海马， 李晓东， 刘 瑾, 方 刚， 丁大民

(1.上海理工大学 光电信息与计算机工程学院,上海 200093； 2.上海工程技术大学 电子电气工程学院,上海 201620；3.上海航天卫星应用有限公司,上海 200439)

0 引 言

近年来，随着各国经济的发展与世界贸易的兴起，物流产业配套技术也获得了巨大的进步，自动导引车(automatic guided vehicle,AGV)物流运输车作为物流环节重要组成，是现代仓储服务的关键部分之一，其具有工作效率高，可靠性好，自动化程度高等优点，在港口集装区和货场堆栈出栈等领域获得了广泛应用。

实现货物标识的自动识别与制定相应策略实现科学搬运是AGV系统的核心技术，采用视觉导引的方式可以方便快捷、科学高效的完成目标识别，同时也可以提升AGV在复杂工作环境下的适应性，对于相关技术的研究广阔的应用价值。陈显宝等人将图像算法引入AGV控制领域[1]，梁礼明等人将YOLOv3算法应用到AGV图像识别领域[2，3]，孔繁望、任彧对AGV的识别算法和路径规划进行改进[4，5]。

本文采用单目视觉算法进行目标识别，同时作为AGV的导航信号，实时导引AGV进行工作。在近距离失去图像信号时，利用激光雷达信号通过模糊控制算法精准定位，完成货物的插取和放置，根据上述研究思路设计的控制系统，可以快捷高效地运用于AGV的工作目标识别、精准插取和科学运输问题。

1 叉车式AGV结构介绍

1.1 五轮式叉车结构

现阶段在物流运输工作环境中，五轮式叉车的使用最为广泛，在驱动轮两侧添加万向轮后，使得叉车支撑能力增强，载重量提升，运行时状态平稳，平衡性能优异，同时五轮式叉车转弯半径小，因此适用于多种环境复杂的工作场景。此次所研究的五轮式叉车结构尺寸图如图1所示。

图1 五轮式叉车结构

1.2 运动姿态分析

五轮式叉车AGV由于驱动轮在车体后方的特殊构造，可以以左右前叉顶点连线的中点为圆心，以自身长度为半径原地旋转完成转向，但原地转向时不产生横向位移，无法改变车体横向位置。对于与车体姿态平行的目标先转向90°与目标垂直后，运动到与目标处于同一条直线的位置上，再次旋转90°回到初始角度，即可对准目标。在车体与目标的位置关系不能直接完成工作时，也可以通过上述方法调整车体姿态。

2 AGV导引控制系统设计

2.1 导引方式

本设计使用单目相机采用视觉导引方式控制AGV运动，方案硬件成本可控，软件算法价值高，通过单目相机实时获取现场图像，利用深度学习模型匹配现场环境中的目标，实时跟踪捕捉目标，控制叉车进行准确位移和货物取放，完成工作要求，该方式具有识别准确度高，应用环境广，定位精确的优点，工程应用前景广泛，具有良好的应用价值。

2.2 硬件组成

控制系统主要由三部分构成，即信息采集单元、决策运算单元和接收执行单元。信息采集单元选择单目相机采集图像信息，利用激光雷达测量AGV与目标之间的实际距离，车身安装超声波传感器防止碰撞和判断是否完成插取动作。运算决策单元选择工控机进行图像处理，同时接收激光雷达和超声波传感器的数据，制定适当的控制策略，控制AGV运动和工作。接收执行单元接收运算决策单元下发的控制指令，驱动AGV运动完成工作，控制电路与驱动电路之间选用继电器做隔离输出。

2.3 软件结构

为实现对AGV的完全控制保障测试安全，在完善自动控制功能基础上，保留手动控制功能，辅助调试工作进行。在实际工程应用中除了编写AGV的转弯程序、加减速程序和高速运行程序外，还需要编写制动程序、取放托盘工作程序和防碰撞安全程序[6,7]。

3 路径规划与目标插取

3.1 目标识别

本文所探讨的基于深度学习的托盘的目标识别是利用YOLOv5深度卷积神经网络模型，搭建基于PyTorch 深度学习框架下的多场景插盘目标检测实验环境，通过数据集制取，样本标注、模型训练、系统评估等步骤完成对复杂场景中的托盘目标识别和坐标定位。通过选取数据样本对检测模型进行验证，并根据训练结果不断改进，引入一些适用于托盘识别的优化方法和网络结构。

本文的图像检测部分利用YOLOv5深度学习目标检测算法对目标进行实时检测识别,其中YOLOv5网络模型结构，主要由以下三个主要组件组成：1)Backbone：在不同图像细粒度上聚合并形成图像特征的卷积神经网络；2)Neck：一系列混合和组合图像特征的网络层，并将图像特征传递到预测层；3)Head(检测)：对图像特征进行预测，生成边界框和预测类别。

识别模型学习数据集为现场获取的目标图像，数据集大小为1 500张，分辨率为1 280×720，数据集部分内容如图2所示。

图2 目标样本数据集

实验采用Labelimg对图像进行标注，对样本数据集进行分类，训练集、验证集和测试集按照0.8︰0.16︰0.04的比例进行划分。YOLOv5模型采用单阶段检测结构，其主要分为五个阶段：1)Input：图像输入端并且进行了数据处理，进行Mosaic、Cutout或矩阵训练操作；2)Backbone：提取出高中低层的特征，使用了CSP、Fcous、Leaky ReLU等；3)Neck：将各层次的特征进行融合提取出大中小的特征图；4)Head：进行最终检测部分，在特征图上应用锚定框，并生成带有类概率、对象得分和包围框的最终输出向量；5)Loss：计算预测结果与Ground truth的Loss，反向传播更新模型的参数。通过上述算法原理编写目标识别程序，对学习模型进行训练，直到识别准确率达到98 %后，将目标识别程序封装为模块使用。

将实验用托盘放置于AGV前方，实地测试目标识别准确率，识别效果如图3所示。经过测试，实验模型能够准确地对复杂场景的托盘目标进行高精度的分类识别与定位，识别准确率高于95 %，满足实验测试要求，相机视线被遮挡失去目标后，遮挡物离开视线过程中，工作目标遮挡部分小于50 %时可以重新识别捕捉目标，模型抗干扰性能强。

图3 目标识别效果

3.2 路径规划

当上位机通过图像信息识别到目标时，AGV需要运动到目标正前方1m固定位置，方便后续完成插取动作，此时AGV与目标位置之间的位置关系可以近似为一个直角三角形，运动路线有以下三种策略，如图4所示[8,9]。当目标位于AGV正前方时，近似简化为三角形的一条直角边。

图4 路径规划示意

3.3 目标插取

当AGV行进到理想插取位置时，视觉算法识别失去图像信息，同时在实验过程中，由于AGV没有与地面产生强关联，因此,AGV的实际运动轨迹与理论计算轨迹会产生一定量的偏差，此时需要通过激光雷达精准限位，完成近距离插取目标工作[10,11]。

模糊逻辑控制简称模糊控制，是以模糊集合论、模糊语言变量和模糊逻辑推理为基础的一种计算机数字控制技术，具有较好的鲁棒性、适应性和容错性，在本控制系统设计中可以将复杂的控制算法转化为简单的执行指令，控制AGV运动[12,13]。

将超声波传感器测得的距离值与判断是否完成插取的设定距离值进行比较，达到设定距离值，L0指示灯亮起插取完成，反之指示灯L0不亮AGV继续工作[14]。将激光雷达1和2测得的距离值进行比较，1大于2时指示灯L1亮起，AGV左转，反之L2亮起，AGV右转，若1和2的差值小于设定要求值，则L1和L2熄灭，AGV直行，运动关系如表1所示。

表1 传感器状态与运动关系

4 实验结果与分析

4.1 远距离接近测试

以AGV前叉端点正对托盘孔洞中点为基点，AGV中轴线与托盘中轴线夹角等于0°作为基准，评价AGV由原点位置运动到理想插取位置的误差。选取前方4 m、右方3 m处，作为测试位置放置目标，完成识别后，分别利用上述三种策略运动到理想插取位置，记录重复100次的距离值偏差和角度值偏差，结果如图5所示[15,16]。

图5 距离和角度偏差

根据测试结果，通过计算不同策略的距离值偏差和角度值偏差的均值与方差，分析距二者之间的影响关系，由于运动过程受到控制策略和系统延迟影响，距离值和角度值的偏差均为正值，通过路径1和路径2运动到指定位置时，距离值和角度值的偏差较为离散相关性弱，通过路径3运动时，偏差值相对收敛相关性强。同时在行进过程中实时记录运动速度值，通过积分计算距离值定位AGV位置，根据剩余行进距离调整接近速度，提高控制精度。

4.2 近距离插取测试

在AGV运动到目标正前方理想工作位置时，通过表1的控制方式，调整AGV完成插取工作，设置距离和角度的偏差值不同，记录插取阶段AGV调整的次数与完成调整所需时间，如表2所示。

表2 调整时间与预设偏差值关系

由表2分析偏差值与调整次数之间的关系，可以得到设置距离和角度的偏差值越小，调整次数越多;反之，调整次数减小。同时，调整次数与调整时间具有一定的正相关性，在满足实验条件的前提下，选定距离角度的偏差值分别为3 cm和5°。

4.3 整体实验测试

放置目标托盘在AGV前方4 m、右方3 m的位置，进行整体实验。当AGV进入自动工作状态时首先进入远距离识别阶段，根据单目相机采集的图像信息，通过目标识别捕获程序识别目标托盘，然后控制AGV运动到理想插取位置，此时AGV位于托盘正前方1 m处位置，控制程序切换为近距离插取阶段，在调整姿态正对托盘的过程中，修正距离值误差，直到距离和角度参数值满足误差要求时直行完成插取。

记录AGV插取目标托盘时距离值和角度值的偏差，采取路径1、路径2和路径3各自连续进行50次重复实验，记录实验结果，由小到大排序，分析所得到实验值与要求值的偏差程度，结果如图6所示。

图6 距离和角度误差

由图6可见，AGV在进行一次完整的插取实验中，最终的横向距离值误差与角度值误差在一定程度上正相关，距离偏差值越小，角度偏差值越小，距离偏差值越大，角度偏差值越大。由实验结果可见，实验要求的AGV距离值偏差范围为±3 cm，角度偏差范围为±5°，实验结果满足要求，兼顾运行时间和插取成功率，选取路径3进行实验时，距离和角度的偏差值较为收敛，保证了系统稳定性。

5 结 论

针对叉车式AGV的运动特点和单目视觉导引的优点，本文所设计的AGV控制系统，通过YOLOv5算法模型进行目标匹配识别，对传感器数据进行分析制定策略，利用模糊控制策略控制AGV运动，精准高效完成工作任务[17]。通过定位距离值和角度值的偏差评价工作是否成功及其精准度，未来应该考虑目标搭载货物时的精确识别，如何更好地利用传感器信息，优化路径规划时的运动控制，以及控制系统的迟滞带来的偏差如何修正，使其可以在实际的工程应用中，适应复杂的工作环境，高速高效完成工作任务[18]。