利用深度学习估算托盘方位坐标

2024-11-01 00:00:00豆憨群刘淼孙可唐海洋吴运学徐梓晨

科技资讯 2024年18期

摘要：在工程机械领域，需要应用信息通信技术和人工智能等智能技术，使用这些技术的工程机械数量也在不断增加。因此，利用深度学习来识别从托盘边界框中提取的像素坐标，并利用像素尺寸变化与托盘边界框坐标之间的比例关系以及通过摄像头深度识别的托盘孔来估算托盘坐标的方法，其结果表明托盘的相对坐标估算可以达到要求的精度。

关键词：叉车托盘深度学习托盘坐标

中图分类号：TP312

EstimationofPalletOrientationCoordinatesUsingDeepLearning

DOUHanqun1LIUMiao1*SUNKe1TANGHaiyang1WUYunxue1XUZichen1

SchoolofMechanicalandAutomotiveEngineering，ShanghaiUniversityofEngineeringScience，ShanghaiCity，201620China

Abstract：Inthefieldofconstructionmachinery，itisnecessarytoapplyintelligenttechnologiessuchasInformationCommunicationtechnologyandArtificialIntelligence，andthenumberofconstructionmachineryusingthistechnologyisincreasing.Therefore，itusesDeepLearningtoidentifythepixelcoordinatesextractedfromthepalletboundingboxandusesthemethodofestimatingpalletcoordinatesusingtheproportionalrelationshipbetweenpixelsizechangesandpalletboundingboxcoordinates，aswellasthetrayholesidentifiedbycameradepthrecognition，theresultsshowthattherelativecoordinateestimationofthepalletcanbeachievedwiththerequiredaccuracy.

KeyWords：Forklift;Pallet;DeepLearning;Palletcoordinate

在工业场所和物流仓库中运输货物和托盘的叉车需要多种技术才能实现无人驾驶。作为无人驾驶的关键技术之一，识别叉车相对位置的能力是一项重要的核心技术，研究人员正在积极开展利用模块化单个传感器和视觉传感器组成的分布式控制系统以及基于射频识别（RadioFrequencyIdentification，RFID）传感器的位置识别和进场轨迹生成来估计目标位置的研究。检测装载货物的托盘的位置和方向，便于插入货叉进行货物搬运，是无人叉车非常重要的功能。

本研究利用深度学习的监督学习方法构建了一个物体检测器，用于基于图片来检测托盘位置并计算托盘坐标，这是无人驾驶叉车基于自主性的技术之一，研究利用监督学习器识别托盘并估算托盘在图片上的坐标[1]。

1托盘检测系统

1.1深度学习物体检测算法的环境

利用标签图像在电脑上进行了深度学习，实验硬件环境为英特尔酷睿i7-9750H处理器，英伟达GTX1650显卡，16G内存；软件环境为Win10系统，Python3.7，所使用的深度学习框架为PyTorch。

1.2深度学习物体检测算法

YOLO物体检测算法用于识别托盘和托盘孔中心。YOLO是一种深度神经网络算法，采用监督学习算法，基于卷积神经网络（ConvolutionalNeuralNetwork，CNN）结构，可预测单张图像中物体的类型和位置。YOLO算法由卷积层（ConvolutionalLayer）和全连接层（Fully-ConnectedLayer）组成，网络结构如图1所示。本研究采用YOLO算法是因为它具有简单、快速的特点，在卷积层中提取图像中的特征，在全连接层中定位检测对象的边界框位置并进行分类，这是网络的最终输出。

1.3验证托盘数据集

为进一步研究做准备，本文中收集的用于识别托盘中心的图像数据集的例子如图2所示方式进行采集，即将托盘放在某一位置后，在各个采样点将连接在电脑上的相机拍摄的图像分成若干帧，生成有标记的图像数据集，用于监督学习。采集的图像在整个图像个数中，按照60%的室内和40%的室外的比例收集图像。收集到的数据集的图像总数为1000张，其中600张室内训练数据和400张室外训练数据用于训练托盘孔学习器[2]。

学习未知物的标签被分为0类，代表托盘的中心；1类，代表托盘的前部；2类，代表托盘的孔。将托盘的每个部分分为三类进行监督学习的优势在于，在识别托盘时可以提取每个物体的类型和位置坐标。为了验证训练模型的性能，通过得出平均精度（mAP）来评估模型的准确性，这是物体识别研究中常用的性能指标。深度学习模型使用了Yolov5s模型，该模型被称为YOLO模型中最轻的模型，通过在训练和验证数据集上迭代200次，获得了约88%的平均精确度[3]。

2托盘坐标估算

2.1单摄像头的距离估算

无人叉车或AGV中托盘的检测和定位是物流操作和材料处理中的一个重要问题。

使用摄像头估算物体距离有两种方法：基于三维摄像头的距离估算和基于二维摄像头的距离估算。基于三维立体相机的距离估算存在硬件成本高、处理时间长的缺点，因为距离估算算法复杂。因此，近年来人们积极研究2D单摄像头，通过降低硬件配置成本和使用快速处理速度来实时估计汽车和货物等物体的距离。

本研究中，二维摄像机检测到的YOLO物体边界框的像素大小随距离的变化情况，即当采样摄像头接近托盘时的变化情况。采样从3m距离接近托盘时检测到的边界框坐标，可以发现像素大小随着摄像头与物体之间距离的增加而成正比增加。这表明可以利用距离与物体像素大小之间的比例关系来估算距离，即使用一个比例公式来估算距离，该公式使用的关系是：深度学习识别的物体的方框大小与其距离成线性比例[4]。

实验是在摄像头靠近距离托盘300cm处开始估算距离的，实验结果如表1所示。从表1中可以看出，当托盘距离小于或等于110cm或大于250cm时，摄像头的距离估计误差会增大。

2.2托盘坐标估算

一般来说，在物流工作环境中，估算托盘的坐标是非常重要的，不仅可以估算托盘与叉车的距离，还可以估算托盘的接近角，以便正确地进入和拾取货物的货叉。在本文中，使用了根据托盘在摄像头获取的图片上的位置，并通过关系式来估算角度的方法[5]。

实验从摄像头估算托盘接近角度的示意图，图3所示显示了摄像头与托盘前方的夹角θ，实验展示了托盘位于摄像头左侧和右侧时如何估算角度。以摄像机获取的图像底部中心（h2，v2）到托盘底部中心（h1，v1）的距离L为斜边得到一个三角形，并利用托盘中心到屏幕底部（h3，v3）的垂线Y计算出接近方位角，如公式1所示[6]。

在实验中，摄像机被放置在X轴的原点，托盘朝向前方，如图4所示，然后相对于摄像机的行进方向，托盘分别在2.0m、1.5m和1.0m处向左和向右水平移动50cm、测量托盘在实际空间中的角度和利用深度学习识别坐标和估算的角度（x，y，θ）。

从图5可看出，在2m和1.5m处，对托盘方位角度的估算是准确的；而在1.0m处，由于镜头畸变，托盘离屏幕越来越近，估算角度的误差也越来越大。

从图5的结果可以确认，深度学习识别的托盘图片提取的坐标可以估算托盘位置的角度。另外，通过角度估算，还可以确认托盘位置坐标（X，Y），如图6所示。

图6和图7中的结果表明，根据托盘的实际位置，当托盘位于摄像机的左侧和右侧时，角度和距离估算值相似。

因此，实验结果表明，托盘接近方位角θ的估算平均误差为20%，接近角的估算最小误差为10%。即，将接近角估算方法应用于无人驾驶叉车，在静态条件下估算托盘的接近方位角是可行的。

3结语

在工程机械领域，无人叉车或AGV中托盘的检测和定位是物流操作和材料处理中的一个重要问题。这就需要应用信息和通信技术以及人工智能等智能技术。在本研究中，利用深度学习预测托盘孔的中心。本研究的主要结果如下。

（1）将托盘的每个部分分为3类，利用深度学习进行CNN神经网络训练，从摄像头图像中检测托盘和托盘孔。

（2）计算了从托盘底部中心到托盘孔中心的距离，发现预测中心的误差在±5mm以内，这取决于与托盘的接近距离。

（3）使用深度学习来识别托盘边界框，并提取像素坐标，进而估算出距离和接近方位角，可知估算托盘坐标的方法可行。

参考文献

[1]王少韩.基于YOLOv5和树莓派的火灾识别研究[J].农业装备与车辆工程.2022，60（8）：115-118.