基于移动目标检测和目标追踪的全局视觉AGV的定位算法

刘泽平 刘明兴 麻方达 李晓帆 姚明杰 符朝兴

摘要：针对目前全局视觉定位算法无法对外形变化较大的自动导引运输车（Automated Guided Vehicle，AGV）进行定位的问题，提出了一种基于移动目标检测和目标追踪的定位方式。选用基于高斯混合模型的背景建模法进行移动AGV检测，当初始选择框太大时采用显著性目标检测方式进一步提高精度，将移动目标检测与目标追踪相结合完成了AGV的定位。实验结果表明，本文设计的定位算法满足实际定位需求，可应用于车间物流AGV。

关键词：AGV;定位;移动目标检测;目标追踪;全局视觉

中图分类号：TP249         文獻标志码：A

针对全局视觉定位算法大都需要提前采集机器人外观信息，如，利用模板匹配的方式对机器人定位，并利用椭圆区域检测进一步提高速度和准确率[1];基于混合高斯模型，对泊车缓冲区中的动态物体进行了有效检测[2];采用Camshift组合SIFT定位为移动机器人设置一个标准模板，Camshift算法计算机器人坐标，SIFT机器人计算与模板之间的角度确定机器人位姿，并针对SIFT特征点速度慢的情况使用BRISK特征进行改进[3]; 通过识别AGV顶部两个色标和图像坐标系与世界坐标系的两个参考点，计算机器人在实验平台位姿，从而完成定位[4];针对单目视觉全局定位算法复杂，提出一种识别标定板的双目视觉全局定位方法，考虑了双目相机与移动机器人距离影响精度和准确的情况，并对定位方案进行了实验验证[5];或通过在机器人上设置的三个标记点与目的地组成三角形的边长和夹角控制速度和方向，这种基于匹配和标记的方法采集方便但定位结果受光照、环境和机器人外形建议影响放大[6]。利用基于深度学习的图像分割方式实现了鱼类的实时位姿识别[7];利用YOLO目标检测结果初始化跟踪区域，提出了融合深度学习目标提取方法的均值漂移跟踪改进算法来实现对AGV的定位[8];利用支持向量机（JVM）模型预测区域内AGV的再识别以及对长短期记忆（LSTM）网络的预测结果进行校正，达到对目标的持续追踪效果，这种基于深度学习目标检测的方法定位准确，但是需要提前采集大量素材进行训练[9]。因车间AGV可能在上方承载不同物料，导致AGV外形经常变化且标记物易被遮挡，此时无法采用基于匹配和标记的定位算法，并且训练基于深度学习的检测模型需要更多的素材，这在车间实际生产中不易实现。因此本文采用基于移动目标检测的方式对AGV进行定位，设计一种不需提前训练检测模型就可定位未知外形AGV的算法，通过移动目标识别算法确定AGV初始位置，利用目标追踪等方式不断定位行进中的AGV，并实时矫正位置。

1 AGV定位方法选用

1.1 移动目标检测

本文选用基于背景差分法的移动目标检测方式[10]。常用的背景模型建立方法有GMM（Gaussian Mixture Modeling）[11]、KNN（K-nearest neigbours）[12]、VIBE（visual background extractor）[13]等，本文选取常用的基于高斯混合模型的方法检测运动的AGV。高斯混合模型通过多个高斯概率分布函数线性组合来表示像素在时域概率分布模型，分布模型为

P（xti，j）=∑Nk=1ωtk·Gxti，j，μtk，（σtk）2（1）

其中，xti，j代表i，j位置的像素点x在t时刻的像素值，ωtk为t时刻第k个高斯分布的加权系数，且∑Nk=1ωtk=1，Gxti，j，μtk，（σtk）2表示t时刻期望值为μtk，标准差为（σtk）2，表达式为

Gxti，j，μtk，（σtk）2=12πσtke-（xti，j-μtk）22（σtk）2（2）

将每个像素点x与此时刻的背景模型进行比较，当像素点与第k个高斯模型匹配时，像素为背景，否则为移动目标，并与一个新的分布替换模型中权重最小分布

xti，j-μt-1k≤2.5×（σt-1k）（3）

权重更新公式为

ωt+1k=（1-α）ωtk+α×Dtk（4）

其中，α称为更新因子，Dtk当匹配成功时为1，否则为0。当匹配成功后，模型更新参数为

μt+1k=（1-ρ）μtk+ρ×xti，j

（σt+1k）2=（1-ρ）（σtk）2+ρ×（xti，j-μtk）2（5）

ρ≈αωtk

1.2 目标追踪

本文对几种常用跟踪方法进行测试，结果如表1所示。其中除KCF、MOSSE、MIL外都有追踪目标丢失现象，MOSSE速度最快，KCF是在MOSSE算法基础上采用HOG多通道特征和高斯核函数改善跟踪效果，速度偏慢，但更精确。本文方法是在移动目标检测确定AGV初始位置后，再依靠目标追踪定位，在考虑速度的情况下，精度应尽可能的高，因此本文采用KCF算法进行目标追踪。

KCF相关滤波操作计算了两个信号在某个特定特征空间的相似度，其相似度越高相关响应值越高[14]。KCF算法是将CSK算法由像素特征这种单特征通道拓展为多特征通道HOG特征，利用循环矩阵在频域里可对角化的性质将矩阵转化为向量点乘运算，使得跟踪速度大大提高，同时设计了多类特征融入该算法的通道模式[15]。

（1）线性回归模型。通过最小化岭回归损失来学习追踪线性回归函数f（z）=ωTz，训练样本集为（xi，yi）

argminω∑ifxi-yi2+λω2（6）

其中，xi与yi为第i个训练样本及其对应的回归目标，ω为预测模型权重系数矩阵，λ为正则化项的权重。该问题具有封闭解

ω=（XTX+λI）-1XTy（7）

其中，矩阵X的每行是一个样本xi，I是单位矩阵。为了加速计算将训练样本集转换到复数域，则该预测模型为

ω=（XHX+λI）-1XHy（8）

其中，XH=（X*）T，X*是X的复共轭矩阵。

（2）非线性回归模型。线性回归函数f（z）=ωTz权重系数利用核技巧映射到非线性的高维空间φ（x）求解，即w=∑iαiφ（xi），φT（x）φ（x′）=k（xi，xj），f（z）=wTz=∑ni=1αik（z，xi），从而优化变量α而不是w。核技巧的岭回归的解为

α=（K+λI）-1y（9）

其中，K为核矩阵，α是系数αi形成的向量。用K=C（kxx）循环矩阵带入式（9）中，得样本图像z的检测响应计算公式为

f（z）∧=kxz∧⊙α∧（10）

其中，最大响应值对应的坐标就是目标位置。

2 AGV定位流程设计

通过移动目标检测定位AGV，确定移动物体为目标AGV并标记其初始位置选择框，从而后续帧可进行目标追踪定位。为提高检测速度和精度，本文基于图像下采样减少背景信息，去除噪点检测目标。AGV定位流程如图1所示。

2.1 图像下采样

通过对图像下采样降低其分辨率，可将图像中噪点过滤掉，虽然丢失了一部分细节信息，但大部分整体特征依旧保留。首先对上一层图像进行高斯模糊，然后去除所有偶数行和列，即可得到下采样图像，如图2所示。该方法输出图像为原图四分之一，不仅减少了细节噪声，而且对于高分辨率图像可以提高程序运行速度。

2.2 移动AGV检测

在下采样图像上利用高斯混合模型背景建模法进行移动目标检测，然后将选择框位置投影到原图像上。为了多个AGV工作时能够准确选择目标AGV，每次AGV到达一个目的地停止后，将该地址记录到数据库中，下次该位置AGV启动时，调用该位置P，将检测到的运动区域中心与点P计算距离，如果距离小于阈值T，则认为该区域位于P点附近，为AGV部分区域。

AGV在拍摄图像中代表的面积可能会改变，但AGV一定会有一个最小面积，提前设定AGV最小面积为Smin，防止选择框过小情况出现。在数据库中每次停车时记录小车位姿，可以有效缩小目标AGV搜索范围。本文设定AGV在像素坐标系下最小面积为Smin=28 000像素，初始选择框坐标扩大两倍，在原图像上检测结果如图3所示，选择框位置正确。

本文方法在大多数光照变化不剧烈的情况下可以准确定位，但是由于背景减除法本身原理限制，在光照变化剧烈或相机抖动明显时，出现图4选择框位置具有较大偏差的情况，为提高定位准确度，通过显著性目标检测进一步实验提高检测精度。

2.3 显著性目标检测

AGV移动时，检测出的目标位置移动区域经常比AGV實际区域大，运动框选区域内可能存在部分其他物体，影响定位精度，但该区域面积已相对较小，运动框选区域内最显著的目标为AGV，其余多是背景或小目标，因此在进行移动目标检测后可以使用显著性目标检测获取位置。显著性目标检测的目的是从图像中识别出最明显的物体，本文使用几种常用的传统显著性目标检测和基于深度学习的显著性目标检测效果如图5所示。

由图5可见，SaliencyFineGrained方法[16]和SpectralResidual方法作为传统方法检测效果不如基于深度学习的F3Net方法好。F3Net主要由交叉特征模块（CFM）和通过最小化新像素位置感知损失（PPA）训练的级联反馈解码器（CFD）组成，来解决不同卷积层的接受域不同，生成的特征存在较大差异可能导致次优解的问题，检测一张图像需要14.26 ms[17]。采用显著性目标检测后，对比图5（a）、（b）可知，目标检测精度会提高，但由于应用显著性目标检测会降低程序运行速度，故实际应用时可根据车间环境选择是否采用显著性目标检测。

2.4 基于目标追踪的定位

通过移动目标检测算法可以得到在原图像和下采样图像上的AGV中心点和形态，为了定位速度更快，后续帧采用目标追踪进行定位，效果如图6所示。追踪一段时间后需再次利用移动目标检测定位AGV，因此通过下采样图像中心点坐标放大对应的下采样倍数，作为原图像AGV中心点坐标，将下采样图像上的追踪结果投影到原图像上。该方法速度快，但存在一定误差。

3 实验验证

对本文设计的AGV定位算法进行定位精度和定位速度实验，检验新算法能否满足实际应用要求。

3.1 环境搭建

本文定位系统主要分为图像采集模块、AGV、PC上位机三部分。本文实验所使用的摄像头为海康威视DS-IPC-T12-I，焦距为4 mm，分辨率为19 201 080，摄像头拍摄的模拟实验场景如图7所示。可见图像存在较大的畸变，产生定位误差，因此对摄像头去畸变。本文使用张正友摄像机标定法结合OpenCV对摄像头进行标定，矫正后模拟场地如图8所示。

为实验AGV定位精度，需要计算每个像素点代表的实际距离，因此选取图9中的A、B、C、D共4个点。经测量AB，BD，DC，CA四条线段的实际长度为1 100 mm。4个点的像素坐标数据见表2，计算得单位像素的宽度对应实际距离2.3 mm。

3.2 误差校正

由于摄像头投影关系的影响，当AGV行驶至边缘时，在图像上测量的中心点与实际中心点位置像素坐标会不一致，需要进行误差校正。AGV高度为29 cm，在行驶路径上任取6个点，实际坐标点与采集像素坐标点误差如表3所示。由表可知x轴方向误差近似保持不变，平均误差为9.17像素。测量结果y坐标yc和y轴方向误差拟合结果如图10所示，误差δ的拟合公式见式（11）。

δ=-0.08715yc+95.8（11）

控制AGV从（514，1344）沿直线行驶至（490，628），将本文算法测得的路径坐标校正结果为

x=xc+9.17y=yc+δ （12）

其中，（x，y）为校正后坐标，（xc，yc）为算法测得定位坐标。

3.3 定位精度及速度测定

本文的基于移动目标检测的定位方式主要由检测移动目标、目标追踪两部分构成，因此将实验分为检测移动目标精度实验和目标追踪算法定位精度实验。

3.3.1 检测移动目标精度实验 本文对移动目标精度实验采用交并比IOU进行评价，IOU为检测框与原图片中的标记框的重合程度，计算方法即检测结果与实际结果的交集与并集之比

IOU=DetectionResult∩GroundTruthDetectionResult∪GroundTruth（13）

在同一段视频上分别采用MOG（Mixture of Gaussians，GMM的一种实现算法）、KNN实验，实验结果如表4所示。图11中a表示MOG算法检测框，b表示KNN算法检测框，c表示真实框。实验证明MOG背景减除法可以有效选择出运动AGV，时间满足要求。

3.3.2 目标追踪算法定位精度实验 本文应用KCF算法对AGV定位结果进行追踪，AGV行进速度为0.15 m/s，使用本文方法检测速度为28.56 fps，对KCF进行定位精度分析，定位精度见表5，追踪过程路径结果如图12所示。

4 结论

针对AGV不易做标记、负载后拍摄到的外形变化较大的情况，本文基于移动目标检测和目标追踪，设计了一套车间AGV定位流程。为提高定位速度及检测效果，引入图像金字塔模型，在下采样图像上进行移动目标检测。针对选择区域过大的情况利用显著性目标检测进一步提高定位精度，将检测结果作为AGV初始选择框，结合目标追踪实现AGV定位。通过定位精度和定位速度的实验测定，证明本文算法可以满足定位要求。

参考文献

[1]张枭.C/S全局视觉仿生机器鱼并行跟踪定位控制系统的设计与实现[D].北京：中国地质大学（北京），2016.

[2]宁志雄.泊车AGV的车辆位姿检测系统设计[D].哈尔滨：哈尔滨工业大学，2019.

[3]黄瑞民.基于视觉的移动机器人全局定位算法设计与实现[D].秦皇岛：燕山大学，2017.

[4]樊帮正.室内移动机器人定位技术研究[D].成都：电子科技大学，2017.

[5]李鹏，张洋洋.室内移动机器人双目视觉全局定位[J].激光与光电子学进展，2020，57（4）：254-261.

[6]DONMEZ E，KOCAMAZ A F，DIRIK M. A vision-based real-time mobile robot controller design based on gaussian function for indoor environment[J].Arabian Journal for Science and Engineering， 2018，43（12）： 7127-7142.

[7]萬元芳.基于深度学习的在线多机器鱼位姿识别系统开发[D].北京：北京化工大学，2018.

[8]陆玮.基于全局视觉与自主视觉的复杂场景重建与目标跟踪[D].上海：上海工程技术大学，2020.

[9]段晓磊，刘翔，陈强， 等.基于粒子滤波与LSTM网络对未标记AGV的追踪方法[J].传感器与微系统，2020，39（2）：37-39+43.

[10] 康彬.面向智能监控的目标检测、追踪及图像融合算法研究[D].南京：南京邮电大学，2015.

[11] ZIVKOVIC Z. Improved adaptive Gaussian mixture model for background subtraction[C]// 17th International Conference on Pattern Recognition， Cambridge，2004： 28-31.

[12] ZIVKOVIC Z， VAN DER HEIJDEN F. Efficient adaptive density estimation per image pixel for the task of background subtraction[J].Pattern Recognition Letters， 2006，27（7）： 773-780.

[13] BARNICH O， VAN DROOGENBROECK M. ViBe： A universal background subtraction algorithm for video sequences[J].IEEE Transactions on Image Process， 2011，20（6）： 1709-1724.

[14] 魏建.相关滤波架构下鲁棒视觉跟踪算法研究[D].南京：南京邮电大学，2019.

[15] HENRIQUES J F， CASEIRO R， MARTINS P， et al. High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015，37（3）： 583-596.

[16] MONTABONE S， SOTO A. Human detection using a mobile platform and novel features derived from a visual saliency mechanism[J].Image and Vision Computing， 2010，28（3）： 391-402.

[17] WEI J， WANG S H， HUANG Q M. F（3）Net：Fusion， feedback and focus for salient object detection[C]//34th AAAI Conference On Artificial Intelligence， 2020： 12321-12328.

A Positioning Algorithm for Global Vision Guided AGV Based on

Moving Target and Target Tracking

LIU Ze-ping， LIU Ming-xing， MA Fang-da， LI Xiao-fan，

YAO Ming-jie， FU Chao-xing

（School of Mechanical and Electrical Engineering， Qingdao University， Qingdao 266071， China）

Abstract：

AGV with large shape changes cannot be located by the current global vision positioning algorithm. A positioning method was proposed by moving tcrget detection and target tracking. The background modeling method based on Gaussian mixture model was used to detect the moving AGV. Salient target detection was used to further improve the accuracy when the initial selection box was too large. Then the moving target detection and target tracking was combined to complete the positioning of AGV. Experimental results show that the proposed algorithm can meet the actual positioning requirements and can be applied to AGV of workshop logistics.

Keywords：

AGV;location;moving target detection;target tracking;global vision

收稿日期：2021-07-17

通信作者：

符朝興，男，博士，副教授，主要研究方向为人工智能和机械振动。E-mail：cx_f@163.com

1734501186337