基于场景语义信息分析的AGV视觉导航技术研究

焦科杰，陈 颖，丁 尧*

（1.南京熊猫信息产业有限公司，江苏南京 210000；2.南京大学金陵学院，江苏南京 210000）

0 引言

自动导航车（Automated Guided Vehicle，AGV），又称无人搬运车，是一种装备有光学、电磁、激光等自动导向装置的自动导引小车，并可以按照中央控制系统规定的导引路径和作业要求，精确地沿着规定路线自动行驶并在任意位置停靠，同时具有安全保护功能、移载功能等功能的运输车［1］。AGV可以广泛地应用在自动化立体仓库、商业服务行业以及柔性装配系统的物料传送系统等场所，在现代工业自动化物流系统中起着不可或缺的关键设备的作用。它在物流系统中主要负责重要材料的运输，并根据控制系统对运输部分的要求，将各个部分有效连接在一起，形成一个有机整体，具有非常高的柔性，可完成装载、卸载、牵引和升降等作业要求。

随着AGV应用场景的不断扩展，复杂度也呈几何状增长，为了使其更加智能化，通过引入视觉技术来增加其智能化。即通过视觉传感器，模拟人眼的视觉效果，利用图像处理技术从图像中提取所需的信息，来为AGV的导航提供参数。

本文在融合AGV控制和图像处理等领域的技术，提出了基于路径和场景语义信息的导航模型。该模型通过分析场景的语义信息，来完成对当下场景路径的选择，提高了AGV导航的自主性。

1 设计思路

AGV视觉导航系统主要通过视觉传感器感知周边环境，特别是导航线路的监测，视觉AGV的系统主要分为两个部分，分别为硬件部分和软件部分。硬件部分由PC机、I/O板、CCD图像采集、V-AGV等组成；软件部分主要由计算机系统软件、系统开发平台等组成。系统可再分为主端电脑（Host Computer）图像采集卡（Frame Grabber）与影像处理器、影像摄影机、CCT镜头、显微镜头照明设备、Halogen光、LED光源、高周波荧光灯源、闪光灯源、其他特殊光源、影像显示器、LCD、机构及控制系统、PLC、PC-Base控制器、精密桌台、伺服运动机台［2］。其结构如图1所示。

图1 AGV视觉系统结构示意

视觉导航有两种导航方式，分别是结构化路径导航和非结构化路径导航［3］。在现场环境下，为提高导航精度，多采用结构化视觉导航的方式，即通过在地面设定路径引导线，通过对引导线的识别来实现导航信息的采集。同时利用OCR技术，来对场景中的字符语义进行提取，为导航的路径选择提供参考。

2 视觉AGV系统设计

2.1 AGV驱动模型

目前，AGV常见的驱动方式有很多种，要建立自动导引小车的运动模型，第一件事就是要确定驱动方式，然后再对其进行运动学分析，最后完成运动模型建立。本文以两轮差动式独立驱动的方式构建一个AGV模型，这种方式把驱动轮安置在AGV小车后面，使其达到轴向平衡，并通过两轮间的差速，实现AGV的转向姿态调整。

对于上述AGV模型的运动状态做出模型假设：首先，车为刚性小车。其次，小车在运动过程中要做到水平行驶；轮子上的假设为左右两轮受力一样，且有足够的摩擦系数使其不会相对地面打滑。最后，在理想状态下，即不计空气阻力影响。其运动状态如图2所示。

图2 两轮差动式独立驱动AGV运动示意

图2 中L为驱动轮轮距，R为转弯半径，Vl和Vr分别为轮子线速度，车体中轴线与路径中心线之间的夹角为θ，AGV的行进速度为Vm可通过式（1）计算，旋转角度ω由式2计算。

经过t时刻，AGV路线与中心线产生的位移偏差为eμ如式3所示。

当ω比较小时，可以将式2简化成式4所示。

式中eθ为经过t时刻后AGV的角度偏差，Δθ表示中心线的曲率变化对ω的影响。对式3也做如式5所示变换。式5中，Δμ表示中心线的曲率变化对μ的影响。

从式4和式5中可以看出，影响AGV运行姿态的主要参数为左轮和右轮的速度差ΔV，ΔV=Vl-Vr。

2.2 基于Hough变换的引导线特征提取

通过图像处理技术对引导线的特征提取，可以分为ROI区域提取、图像灰度化处理、阈值处理、边缘检测和霍夫变换［4］。

传统的AGV视觉巡线导航，多是将摄像头垂直于地面来进行图像采集，这种方式信息采集量单一，本文将摄像头前置并向下有一个倾斜的角度，在采集引导线图像信息的同时，还可以采集场景中的其他图像信息。这种情况下的图像采集信息如图3所示。

图3 AGV前置摄像头采集图像信息

这种情况下图像的上半部分为大量的冗余信息，为了提高处理效率，将图像的下半部分作为ROI区域保留，抛弃上半部分图像数据。根据所采用的视觉传感器不同，为了进一步减少冗余数据，需要将图像灰度化，同时通过中值滤波抑制在图像采集过程中的噪声，通过灰度形态学消除图像中细小的噪点。通过OTSU算法，得到合适的阈值，对得到的灰度图像进行二值化，并利用canny算子提取边缘，得到引导线的边缘信息［5］。

霍夫变换作为一种经典图像变换手段，可以将图像信息中的几何形状分离出来。在视觉巡线导航中，多通过霍夫变换提取导航线的参数特征，为导航提供依据。

以直线检测为例，可以将直线理解成若干个离散点的集合，每个离散的点可以表示如式6所示。

式中（x，y）为笛卡尔坐标系下的点的坐标，r为点（x，y）到原点的距离，α为r与X轴之间的夹角。霍夫变换的直线检测可以简单地理解为将每个像素P（x，y）转换到（r，α）上进行累计，当出现波峰时，就说明有直线存在，并将该波峰所对应的（r，α）作为AGV的导航参数，输出给AGV控制器。

2.3 场景的语义信息提取定位与分析

所谓的场景语义信息，是指场景中的字符信息，由于在做线路规划是，对于路径的标识，多通过文字进行以方便施工人员操作，因此路径场景中的语义信息识别，可以转换到对场景中印刷字体的识别。目前，OCR技术主要应用于字符识别，特别是对印刷字体的识别率较高［6］。ORC本质上是通过光学仪器对检测体中的字符进行光暗检测，从而得到其图形，然后依据字符形状，应用字符识别的原理，将普通的形状翻译成文本文档的过程［7］。字符识别一般有以下几个流程：图像输入、预处理、二值化、噪声去除、矫正、切割、识别。

字符分割首先要找出字符的边缘，再利用投影的方法进行分割。笔者将图片中的字符假设为水平排列，并对图片进行从上往下的方式扫描，若发现扫描过程中的黑白点（即0和1）有较为频繁的变化且符合要求，那么我们就会对字符位置进行初步的判定。

文字识别一般有两种方式：第一模板匹配法。将文字和本字符图片的像素点进行一一对应的对照匹配，计算文字和字符模板的相似性，取相似性大的为识别结果。第二种，几何特征提取法。文字的一些特征点，如定点、交叉点、倾斜、直线等。依据这些特征的逻辑关系来进行字符的识别。

3 系统实验

AGV视觉导航系统如图4所示。

图4 AGV视觉导航系统示意

本文在实验室环境下，构建了一个简易的导航环境，用于测试在引导线分叉情况下，通过提取分析场景语义信息，实现自主选择路径的可行性（见图3）。

通过不同灰度级来区分路径引导线和场景字符，以方便提取。在当前场景下，AGV需要选择E方向的引导路线来实现自主导航，同时规避掉B方向的引导线。

首先，通过对图像的预处理并二值化；然后，通过canny算子得出图5的边缘信息。

随后对场景中的字符信息进行提取，在实验室环境下，本文采用了不同的灰度级区分将路径和字符分开，本次阈值设置分别为112和142，可以有效地将路径和字符分割，分割后的定位结果如图6所示。

由于选择的是路径E，因此以E的定位点对图7所示路径图像信息进行分割，得到的选择后路径信息如图7所示。

图5 霍夫变换后的路径信息

图6 字符提取与定位结果

图7 选择后的路径信息

根据图7得到的路径信息，AGV只需要判读一条引导线信息，从而避免了引导线信息冗余导致的无法导航，实现自主导航。

在图7所示的情况下，分析引导线的斜率参数，从而驱动AGV旋转和移动，使得引导线垂直与视场底边并居中，最终实现AGV的巡线导航。

4 结语

为了提高AGV导航的自主性，本文提出了基于视场语义信息分析的路径选择方法，即在路径有分叉歧义的环境下，通过提取路径附近的字符信息，与预先的导航路线进行匹配选择，当匹配时，根据字符的位置对场景进行分割，保留需要的路径引导信息，从而实现AGV的自主导航。