采摘机器人自动识别系统研究——基于英文字母多元信息标签

王 霄

(黄河科技学院，郑州 450063)

0 引言

随着计算机智能控制、图像处理及人工智能等技术的飞跃式发展，集成视觉传感器和图像采集卡的自动识别系统被广泛应用于目标识别和图像特征分析等领域。本文将图像处理技术应用于水果选择性采摘中，首先通过人眼对水果成熟度进行判断并贴上标签，然后由采摘机器人自动识别系统根据标签上的等级区别进行采摘，实现了英语字母多元信息识别与水果分级采摘功能。

1 图像预处理

英文字母等多元信息的自动识别是图像处理的一项新技术应用。如今，英文字母广泛应用于信息标签、车牌号、指示牌等标示，通过对英文字母多元信息的识别，能够提高对目标对象嵌套的视觉识别和追踪能力。高效的英文识别在机器人导向、logo设计等领域的应用前景比较宽广。英文字母的图像通过视觉传感器CCD采集获取，但在图像获取的过程中，由于天气、拍摄角度或者标识牌被污迹遮挡等原因，会影响字符的识别。因此，在字符图像被获取之后，需要进行一系列的预处理工作，如灰度化、二值化及边缘检测等。预处理作为字符识别的第1个阶段，其效果直接决定后续的字符分割和字符识别的成功率。

图像预处理主要包括英文字母的图像导入、颜色分割、灰度化、二值化和边缘检测等步骤，流程如图1所示。

图1 图像预处理流程图

1.1 英文字母的图像导入

在常见的论述中，图形和图像是对物体形态的两种不同的描述，其存储结构和表示方法差别很大。图形是目标对象一种矢量结构的描述方式，而图像则是一种栅格结构的描述方式。采摘机器人图像信息获取的目的是对获取的信息进行深入的研究，获取更多的描述信息，为后续的判断决策做准备。英文字母的图像包括BMP和JPG两种，由于本文研究采用OpenCV手段加载图像，因此对两种图像都可以识别，所以两个种格式都能进行后期的识别操作。

1.2 颜色分割

在进行图像处理中，有一个环节是图像灰度化，而进行灰度化必须提前做好颜色分割准备。对图像进行颜色分割，需要先建立颜色坐标系。本文采用LAB颜色模型进行分割，该模型分布均匀，具有很强的实用性。LAB颜色坐标如图2所示。

图2中，LAB颜色空间是在颜色中蓝黄不可同时存在的基础上建立的。其中，L为颜色的明度值；A为颜色的红、绿值；B为颜色黄、蓝值。

图像进行色彩分割时，通常需要将LAB转化为LCH颜色模型。其中，LCH颜色模型如图3所示。

图2 LAB颜色坐标图

图3 LCH颜色模型

在LCH颜色模型中，L为明度值，C为饱和度值，H为色调角度值。

RGB转化为LAB较为复杂，其公式表达式为

(1)

采摘机器人对目标对象图像进行采集，然后通过LAB的颜色分割，可以得出对象的灰度化初始值和空间坐标信息。

1.3 灰度化

颜色有黑白和彩色两种。黑白指颜色中，只有黑白之分，没有其他色彩。在RGB和LCH两种颜色模型中，如果R/G/B三者值相等，或者L/C/H相等，表示其是黑白色。其中，R/G/B相等(L/C/H相等)称为灰度值。彩色和黑白色之间能够通过颜色分割算法进行转化，彩色转换为黑白称为灰度化过程，而黑白转向彩色称为伪彩色过程。

从上面的叙述可知：灰度化处理实质上是将RGB等值化的处理过程，其处理方法有最大值、平均值和加权平均值3种。本文采用加权平均值进行图像灰度化处理。

根据颜色分割重要性和指标给R、G、B的应权值进行赋值，并使三者加权平均，即

R=G=B=WR·R+WG·G+WB·B

(2)

其中，WR、WG、WB为三者的颜色权值。三者去不同的权值便可以得到对应的灰度图像。加权平均值灰度化处理方法，对英语字符的亮度处理明显，且不会对对原图信息造成损失。

1.4 二值化

图像二值化处理的技术手段有直方图、最大熵阈值及OTSU法等。为使图像二值化效果更明显，灰度直方图独立性更强。本文采用最大熵阈值进行二值化算法，使得图像灰度值各类熵值最大。其算法描述如下：

设P点为灰度值分割阈值点，L0，L1，L2，…，Ln是灰度值等级的概率等级，将其分为两端，则

(3)

图像二值化后的熵为

H(S)=EA+EB

(4)

(5)

二值化分割发热最佳阈值为

H0=argmax(H(S))

(6)

最大熵阈值二值化处理效果如图4所示。

图4 最大熵阈值二值化处理效果图

maximum entropy threshold

1.5 边缘检测

边缘检测算法中应用比较多的是Rebort、Prewitt和Sobel等，这些算法主要是通过图像像素值判断英文字母的边缘。本文采用线密度算法对字符图像边缘进行检测。算法描述如下：

1)一般英文字母的宽度大约为8-10个像素点，假设(i,j)是边缘点，那么分别向其左右取N个像素点，如图5所示。

2)计算(i,j)两侧的边缘点密度值，即

(7)

其中，E(k)是与(i,j)相差k个像素点的值，则

(8)

2 英文字母的分割与识别

英文字母的分割与识别是采摘机器人根据信息标签进行采摘作业的基本，是最重要的环节之一。本文研究的英文字母识别算法是针对独立字符进行识别，因此字符分割和定位就显得尤为重要。

2.1 英文字母的分割

本文采用连通域法对英文字母进行字符分割，主要步骤如下：①对图像进行二值化；②将图像的边框去除掉；③提出相关区域的连通域；④根据积累的经验对字符区域进行筛选判断；⑤对字符区域进行准确定位；⑥对于字符区域进行归一化处理；⑦对字符进行二值化分割；⑧输出分割后的字符。英文字母分割流程如图6所示。

2.2 英文字母的识别

经过前一节英文字母的分割操作，待识别的英文字母图像已成为独立的字符个体，此时可以采用SVM向量集对字符的特征模型集进行训练，然后将特征提取和特征模型集进行对比判断，识别出字符，最后进行输出。字符识别示意如图7所示。

图6 英文字母分割流程图

图7 字符识别示意图

3 英文字母自动识别系统

英文字母自动识别系统是采摘机器人对目标对象进行采摘的重要手段。首先技术人员人眼判断并对需要采摘的对象贴上标签，然后由自动识别系统通过CCD传感器获取图像信息，再根据标签上的等级区别进行采摘，并分等级进行摆放。

3.1 英文字母自动识别系统硬件的设计

采摘机器人作业过程中，需要对信息标签上的英文字母信息进行快速判别处理，然后控制采摘机器人灵巧手进行采摘作业。针对以上要求，本文设计了以Exynos4412(Cortex-A9)为核心的硬件平台，能够进行实时信息标签识别、控制灵巧手的采摘作业及采摘状态的实时显示。该硬件平台主要包括CCD视觉传感器、CD-ROW光驱、图像采集卡、Exynos4412处理器、图像处理软件、CD-ROM、硬盘存储设备、机械臂和灵巧手等设备模块。该硬件平台的系统框架图如图8所示。

图8 系统框架图

3.2 英文字母自动识别系统软件的设计

硬件部分是英文字母自动识别系统正常运作的平台，而硬件部分的运行必须依靠底层软件进行驱动。英文字母自动识别系统软件设计如图9所示。

图9 英文字母自动识别系统软件设计

system of English alphabet

为了使Exynos4412处理器正常运行，首先必须要有平台的引导软甲Bootloader，然后根据Linux 源码生成可以在硬件平台运行的Kernel，最后采用Buzybox工具ramdisk 文件系统映象文件。将3个文件采用网络挂载的方式烧写到开发板上，才能让整个平台正常的运行。

其中，Linux Kernel的移植包括下面几个部分：

1)修改内核顶层目录下的 Makefile，将交叉编译工具改为ARM平台的arm-none-linux- gnueabi-gcc。

2)修改Driver/net文件配置，进行DM9000网卡驱动的移植。

3)修改Driver/Device/usb.c文件配置，进行USB 驱动的移植。

4)配置内核，进行如下配置。

make menuconfig

[*] Networking support ————>

Networking options ————>

<*> Packet socket

<*> Unix domain sockets

[*] TCP/IP networking

[*] IP: kernel level autoconfiguration

Device Drivers ————>

[*] Network device support ————>

[*] Ethernet driver support (NEW) ————>

<*> DM9000 support

File systems ————>

5)编译内核和设备树。

$ make uImage

$ make dtbs

4 测试结果与分析

为了验证该采摘机器人英文字母自动识别系统的应用性能，进行了实际的采摘仿真测试分析。实验中，利用QT 5.7搭建仿真平台，运行 Qt需要的图像视觉识别函数接口，编译和加载可视化的界面程序。该实验仿真识别结果如图10所示。

图10 实验仿真识别结果

由图10可以看出：采摘机器人英文字母自动识别系统从原始图像、到处理后的图像、再到结果的输出都比较准确，识别率达到了100%。实验结果表明：该系统可以准确识别信息便签上的英文字母，并将信息提炼出来，用与采摘机器人进行采摘判断，能满足选择采摘作业要求，具有广泛的应用前景。

5 结论

本文首先对图像预处理中颜色分割、灰度化、二值化、边缘检测等步骤进行介绍与分析，进而对英文字母的分割与识别算法进行研究，最后设计了英文字母自动识别系统的硬件平台和软件移植，实现了英语字母多元信息标签自动识别的功能，为采摘机器人的选择采摘提供了便利。测试结果表明：该系统可以准确识别信息便签上的英文字母，并将信息提炼出来，用于采摘机器人进行采摘判断。