万伟 刘子龙
摘 要:为解决激光传感器等避障装置难以解决爆炸性危险环境下的防爆问题,提出一种基于机器视觉的AGV小车避障解决方案。磁导航AGV小车在工作中路径相对固定,主要针对来回走动的工人进行检测,进而实现减速或制动。为实现高精确度下实时检测,采用改进HOG算法,结合线性支持向量机实现更快和更可靠的分类。实验证明,该方法识别率达到92.84%,漏检率4%,其准确度和实时性基本满足危险环境下的行人检测要求。
关键词:AGV; 行人检测; HOG; 线性支持向量机; 危险环境
DOI:10. 11907/rjdk. 191617
中图分类号:TP311.5 文献标识码:A 文章编号:1672-7800(2020)003-0006-04
Research on AGV Vehicle Obstacle Avoidance Based on Improved HOG Algorithm
WAN Wei, LIU Zi-long
(School of Optical Electrical and Computer Engineering,University of Shanghai for Science and Technology, Shanghai 200093, China)
Abstract: In order to solve the problem of explosion-proof in the explosion-hazard environment, a machine vision-based AGV trolley obstacle avoidance solution is proposed. The magnetic navigation AGV trolley has a relatively fixed path during work, and is mainly used for detecting and moving around the working path to realize deceleration or braking. To ensure real-time detection with high accuracy, the improved directional gradient histogram (HOG) algorithm and linear support vector machine (LSVM) are used to achieve faster and more reliable classification. The experiment proves that the recognition rate of the method reaches 92.84%, and the missed detection rate is 4%. Its accuracy and real-time performance can basically meet the pedestrian detection in industrial hazardous environment.
Key Words: AGV; pedestrian detection; HOG; Linear support vector machine; dangerous environment
0 引言
AGV(Automated Guided Vehicle)是装备有电磁或光学等自动导引装置,能够沿规定的导引路径行驶,具有安全保护和移载功能的运输车[1]。AGV小车由于其灵活性和大负载能力越来越多地应用于工业场所。通用型AGV小车避障手段有超声波传感器、红外传感器和激光雷达等,这些传感器多属于光辐射和电磁波射频源[2]。2017年5月,《自动导引车(AGV)在危险生产环境应用的安全规范》标准启动会在中国科学院沈阳自动化研究所召开,意味着应用于爆炸性危险环境下的特种AGV将逐步实现标准化、规范化。
AGV小车主要由车载控制器、驱动系统、导航系统和避障系统等几大部分组成[3]。控制、驱动等几个部分可以通过隔爆型、增安型、本质安全型等防爆方式解决防爆问题。文献[4-5]通过超声波传感器实现AGV小车的避障模块设计,Zoltan Rozsa等[6]采用的激光雷达避障系统是通用型AGV小车最常见的避障方式。此外还有采用红外传感器[7]实现的避障系统。本文采用深度学习算法,结合计算机视觉识别摄像头采集的障碍物从而实现避障。AGV小车作为搬运机器人,其工作路径较为固定,工作场景单一,相对于无人驾驶所需的道路行人检测而言其复杂性较低。但由于AGV的大负载特性导致刹车距离较长,需要避免紧急停车情况,因此在避障过程中速度识别尤为重要。
随着深度学习,特别是卷积神经网络(CNN)的发展,在计算机视觉应用中,分类和物体识别准确性实现了质的飞跃[8]。图形处理单元(GPU)的发展显著促进了机器视觉的发展,通过并行计算克服了高运算量实时处理问题。此外,云计算的发展使诸如视频流分析之类的大运算量处理可以上传至云端服务器,这些有利于在实时视频处理时使用更多的深度学习算法。
1 相关工作
行人检测包含特征提取和分类两个基本步骤。首先需要对原始图像进行处理去除噪声,并提取最符合人类属性的特征用于模型训练,然后在分类器中进行分类。Dalal等[9]最先提出使用HOG算法和SVM分类器方法,在当时取得了巨大成功;Luca Maggiani等[10]使用具有L1归一化和SVM分类的HOG-DOT算法,將识别率提高到94.9%,但是误检率也随之提高;文献[11-12]采用了HOG-LBP方法提高准确度,通过梯度直方图和局部直方图提取更精确的特征。事实上,HOG算法与其它算法结合,在提升准确性的同时使算法的复杂度变得越来越高[13]。基于GPU加速的神经网络[14]在识别速度上得到巨大提升,但是传统的计算机和嵌入式设备难以满足硬件要求,在AGV小车上应用十分困难。因此,需要在识别率和识别速度之间找到一个最优解。考虑到高精度和高检测速度要求,使用HOG算法可获得行人的最佳特征,借助LSVM可轻松准确地对行人的线性可分数据集进行分类。
2 算法与实现
本文设计的检测系统首先使用方向梯度直方图(HOG)算法对经过预处理的图像进行特征提取,再通过线性支持向量机(LSVM)对特征进行分类[15],图1为系统流程。
本文使用INRIA数据集进行分析,该数据集为128×64的数据格式。由于只考虑边缘方向梯度大小,因此不需要RGB彩色图像,通过預处理将RGB图像转换为灰度图[16]。
2.1 方向梯度直方图(HOG)
行人检测系统的特征提取使用HOG算法[17]。HOG算法假设一个对象可以根据其边缘方向和大小来表征,在图像的小矩形区域处理图像,使算法不受光度或几何变换影响,只要人处于直立状态就可避免运动造成的影响。因此,该算法适用于精确的行人检测。
2.1.1 梯度计算
通过梯度计算对图像进行边缘检测,计算图像在[x]和[y]方向上的梯度。考虑到对精度和速度的要求,使用一维微分掩模。通过式(1)和式(2)分别计算[x]和[y]方向的梯度[Mx]、[My],与原始图像[I]进行卷积。
2.1.2 梯度幅值和角度
使用前面获得的[Gx]和[Gy],通过式(3)和式(4)计算梯度幅度[G(x,y)]和角度[θ]。
2.1.3 直方图计算
如图2所示,输入图像分割为单元化的小矩形区域,其中每个单元由8×8个像素组成,然后计算每个单元的直方图。直方图通常定义为一个元素数组,其中每个元素表示数据集中一系列值的出现频率。对于每个像素,计算9个区间的直方图。将0°-180°的角度均分为每个区间20°。在单元格中,与每个像素对应的大小添加到其角度对应的区间中。
为了获得更高的精确度,使用双线性插值而不是直接将幅度离散化至每个区间[18]。对单元格中的每个像素进行双线性插值到其对应的区间和其最近的邻域中。对单元格中的所有像素执行此操作,就得到一个单元格的直方图。再将图像分成若干块,每个块由2×2个单元格组成,每个块与前一个块重叠50%[19]。通过连接每个单元的9个区间直方图形成每个块的直方图。因此,每个块具有36维特征向量。
2.1.4 归一化
归一化是影响检测精度的关键步骤。通过对比度归一化减少光照、阴影的影响,降低全局亮度的灵敏度。使用L2-norm归一化提高可靠性和精度。如式(5)所示,用v表示归一化特征向量,[vk]为第k个块的特征向量,[ε]是一个常数,用来避免出现分母为零的情况。
图3为HOG算法提取的梯度特征。
2.2 线性支持向量机(LSVM)
Hilton Bristow等[20]证实了LSVM是最适合HOG算法的分类器之一。如图4所示,LSVM将图像分为行人类和非行人类。为了方便表述,将行人作为正类,非行人作为负类,检测行人的过程就简化为寻找这两个类之间的超平面,最接近超平面的数据点即为支持向量。
超平面由法向量定义,或者由权向量[w]和偏差[b]定义。当支持向量确定,这些参数就可通过SVM算法确定。为简化运算,行人和非行人图像的类标签分别取+1和-1。下面算法描述了3个支持向量,即假设s1为行人图像,其余两幅为非行人图像,再由此推广至n个支持向量[21]。
LSVM训练过程:
增广支持向量:将每个训练图像的支持向量或特征集增广为1,作为偏置输入;
通过式(6)确定[αi]:
对于LSVM,映射函数([φ])是恒等函数,通过式(7)计算常数[αi]和[si]:
确定权向量[w]和偏差[b]:
超平面上所有点都满足方程[wT*x+b=0]。因此,对于任意图像的特征向量[x],如果[fx]为正,那么就判定为行人图像,否则为非行人。
3 实验与分析
3.1 实验
在INRIA数据集上验证本文算法,数据集信息如表1所示。
训练阶段,在训练集上实施HOG算法,然后实施LSVM学习算法,以确定权重向量[w]和偏差[b]。INRIA数据集中有3 327张图像的训练集可用于训练LSVM。实验环境为Intel Core i7-8750H,python3.7,openCV3.3.1,通过线性内核(linear kernel)和SMO(Sequential Minimal Optimization)优化算法确定支持向量。
通过线性分类器对测试集中的数据进行分类。为了便于观察实验结果,通过非极大值抑制[22](Non-maximum suppression,NMS)去除冗余的识别框。实验结果表明该方法识别准确率达到92.84%,识别速度为0.56s,见表2。
3.2 漏检情况分析
分析漏检的测试图片发现,由于HOG算法特性,多数漏检情况如图5所示,图片中行人躯干大部分被其它已检测出的行人遮挡,或图像前景已经检测到行人,背景中出现的行人被漏检。根据实际应用背景,当前景中检测到行人时,AGV小车即会采取制动措施减速或停车。图5所示的情况不会对背景中的行人造成危险,满足设计要求。
4 结语
本文在INRIA行人数据集上应用改进的HOG算法实现了较高精度和识别速度,实验结果表明算法基本满足AGV小车对行人实时检测需求。但本文使用的数据集均为站立的行人,下一步工作将针对实际应用场景下不同姿态的人物以及可能出现的其它障碍物进行数据采集并研究,测试该模型在嵌入式设备上的运行性能,以进一步提高检测系统的可靠性。未来特种AGV小车将逐步标准化,本文研究具有一定的前瞻性,有较好的应用前景。
参考文献:
[1]王雅蕾,黄莉. 物流设施与设备[M]. 重庆:重庆大学出版社,2012.
[2]刘俊畅,芦利斌,谭力宁. 基于Arduino的自动避障技术实现[J]. 信息技术,2014(12):170-172.
[3]董玉德,陈光超,杨先龙,等. 基于姿态分析的自导引小车控制器的设计[J]. 汽车工程学报,2016(3):168-175.
[4]杨芳沛,李伟光,郑少华,等. 基于超声波传感器的AGV避障模块设计与实现[J]. 电子设计工程,2015(22):56-60.
[5]张雷,孙禾,夏士旸,等. AGV避障系统的设计与实现[J]. 辽宁科技学院学报,2018(6):26-31.
[6]ZOLTAN ROZSA, TAMAS SZIRANYI. Obstacle prediction for automated guided vehicles based on point clouds measured by a tilted lidar sensor[J]. IEEE Transactions on Intelligent Transportation Systems, 2018(6): 2708-2720.
[7]刘震,刘志君. AGV避障技术的改进[J]. 辽宁科技学院学报,2017(5):7-8.
[8]高琦煜,芮挺,沙卫平,等. 基于边缘信息增强的CNN行人检测算法[J]. 江苏科技信息,2017(25):30-32.
[9]DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]. 2005 International Conference Computer Vision and Pattern Recognition, 2005: 886-893.
[10]LUCA MAGGIANI,CEDRIC BOURRASSET. Bio-inspired heterogeneous architecture for real-time pedestrian detection applications[J]. Journal of Real-Time Image Processing,2016(4):210-218.
[11]ZHANG J G, HUANG K Q. Boosted local structured HOG-LBP for object localization[C]. Computer Vision and Pattern Recognition (CVPR), IEEE Conference 2011.
[12]CAMPMANY V, SILVA S, ESPINOSA A, et al. GPU-based pedestrian detection for autonomous driving[J]. Procedia Computer Science, 2016(5):581-589.
[13]WU S, ROBERT LAGANIèRE, PIERRE PAYEUR. Improving pedestrian detection with selective gradient self-similarity feature[J]. Pattern Recognition, 2015, 48(8): 2364-2376.
[14]TAKUYA FUKAGAI,KYOSUKE MAEDA, SATOSHI TANABE, et al. Speed-up of object detection neural network with GPU[C]. IEEE International Conference on Image Processing, 2018.
[15]李勇泽,陈磊. 训练样本数量对HOG-SVM目标检测算法的影响[J]. 现代计算机,2018(19):24-27.
[16]龚声蓉,刘纯平,王强. 数字图像处理与分析 [M].第2版.北京:清华大学出版社,2006.
[17]HASIN REHANA. Bangla handwritten digit classification and recognition using SVM algorithm with HOG features[C]. International Conference on Electrical Information and Communication Technology (EICT), 2017.
[18]YAO Q,CHEN G T,WANG Z,et al. Automated detection and identification of white-backed planthoppers in paddy fields using image processing[J]. Journal of Integrative Agriculture,2017(7): 1547-1557.
[19]鮑振华. 基于草图局部不变矩特征的图像检索[D]. 西安: 西北大学,2017.
[20]HILTON BRISTOW,SIMON LUCEY. Why do linear SVMs trained on HOG features perform so well[J]. Computer Science,2014(6):123-129.
[21]王彩玲,詹松,荆晓远. 基于图像显著特征的非重叠视域行人再识别[J]. 南京邮电大学学报:自然科学版,2016(3):106-111.
[22]陈金辉,叶西宁. 行人检测中非极大值抑制算法的改进[J]. 华东理工大学学报:自然科学版,2015(3):371-378.
(责任编辑:杜能钢)
收稿日期:2019-04-28
基金项目:国家自然科学基金项目(61603255)
作者简介:万伟(1993-),男,上海理工大学光电信息与计算机工程学院硕士研究生,研究方向为控制科学与控制理论、机器学习、图像处理;刘子龙(1972-),男,博士,上海理工大学光电信息与计算机工程学院副教授、硕士生导师,研究方向为控制科学与控制理论、嵌入式系统、机器人控制。