基于DSP和ARM的苹果分类机器人智能控制系统

毕 玉,杨智勇

(重庆工程职业技术学院,重庆 402260)

0 引言

目前,随着生活水平的提高,市场对高品质苹果的需求越来越大,苹果分级在农业中的呼声也越来越高。目前,手动进行苹果分级的效率非常低,劳动强度大且非常容易出错,而苹果分类机器人不仅加快了分类效率,还能极大程度地减少错误率。为此,基于DSP和ARM,结合图像处理技术,设计了一套苹果分类机器人智能控制系统,能够实现对苹果的自动分级。

1 苹果分类机器人

本文研究的苹果分类机器人平台示意如图1所示。苹果分类机器人智能控制系统主要由苹果运输、分类和图像处理模块等组成。用于控制苹果在传送带上的运输、图像采集及在传输带尾端进行分级包装等。系统采用视觉图像处理技术,对获得的苹果图像进行分析,然后判断苹果是有瑕疵的还是无瑕疵的、成熟的还是未成熟的。

图1 苹果分类机器人平台示意图

1.1 苹果分类机器人处理系统

苹果分类机器人处理系统包括传输带、环形光源、DSP+ARM控制器、直流减速电机、LM293D电机驱动器、UART接口、镜头和工业相机。其中,工业相机采用帧率为43Hz的大恒 MER-132-43GC系列相机,分辨率为1 292×964像素,支持连续图像采集和外部信号触发图像采集多种模式。镜头选择的是computar百万像素定焦镜头M1214-MP2。环形光源采用 LED 按圆周排列,发出的光线向内汇聚。

苹果分类机器人处理系统覆盖着一个木箱,环形光源安装在盒子内。苹果被放置在传输带上,传输带在直流减速电机的驱动下移动;当苹果进入工业相机的拍摄区域内时,苹果会停在固定相机的位置,通过延迟来捕获苹果的图像;工业相机拍摄后,通过USB端口发送到DSP+ARM控制器,苹果图像会作为图像处理模块的输入进行进一步分析;一旦图像被确定分类等级后,控制系统会发送控制信号给分类器,以便将苹果移动到相应等级的包装箱中。

1.2 图像处理模块

图像处理模块分析所获取苹果的图像流程如下:

1)图像预处理。由工业相机捕获的苹果图像存在一定的噪声和镜面反射因素,会降低图像质量,且无法为后续分析处理提供准确的信息。因此,采用中值滤波器抑制图像的噪声和镜面反射。

2)图像分割。该阶段主要目的是从图像中提取苹果区域。工作时,采用大律法Otsu将图像进行区域二值化,将图像划分为背景和苹果两个区域;如果苹果上存在与背景高度相似的图像,则表明苹果区域存在瑕疵,为了提取番茄的完整区域,将该区域改为值1的像素填充。

3)特征提取和选择。为了检测苹果是否存在瑕疵,可以提取单个Red(R),Green(G)和Blue(B)通道的颜色统计和颜色纹理特征。

(1)颜色统计特征:从每个颜色通道中提取以下统计特征,结果包含9种颜色统计特征。

色彩为

(1)

标准色差为

(2)

偏度为

(3)

(2)颜色纹理特征:使用图像的灰度级共生矩阵(GLCM)从每个颜色通道提取4个纹理特征。GLCM的元素表示概率密度函数Pij的值,其计算具有一定强度值(i,j),为沿着分离方向θ和距离d的像素对出现的次数。本文主要考虑像素间距离为1和角度方向分别为0°、45°、90°、135°的情况。采用GLCM方法提取的特征如下:

对比度为

(4)

关联性为

(5)

能量为

(6)

同质性为

(7)

苹果的成熟度与其颜色密切相关,因此从苹果图像中提取颜色特征可以将其分类为成熟或未成熟。提取苹果图像的R、G和B值,并根据以下等式计算它们的平均值。基于实验的经验值选择阈值,并将平均值R与阈值进行比较,若其大于阈值,则该苹果已经成熟,则认为其是未成熟的。

(8)

(9)

(10)

其中,MR为红色层的平均值,MG为绿色层的平均值,MB为蓝色层的平均值,R 、G 、B分别为红、绿、蓝三色的像素。本文从待分类的苹果图像中提取包括9种颜色统计和12种颜色纹理的21个特征值。为了提高苹果分类精度,采用顺序前向选择SFS(sequential forward selection)方法从原始特征向量中选择最佳特征集。SFS是一种贪婪的搜索算法,其从空集开始且若增加所选目标函数的值,将最优的单个特征顺序地添加到子集中,用以提取的“最佳”特征集。

4)分类。在前一步骤中提取的特征会被送到多层神经网络,如图2所示。

图2 苹果分类的人工神经网络

该神经网络由一组互连的神经元组成,用来将输入特征映射到输出,其采用N层输入,h层隐藏和1层输出的神经元方式,实现三层前馈神经网络,直接可以得出待测苹果有无瑕疵。

2 苹果分类机器人智能控制系统

2.1 智能控制系统整体框架设计

苹果分类机器人智能控制系统采用DSP和ARM双核处理器的设计:DSP具有超强数据处理能力和高运行速度,能够高效地完成对视频图像信号的解码和分析;ARM处理器则拥有强大的内部资源和丰富的外围接口,能够实现分类机器人的人机交互控制功能。

DSP平台采用德州仪器公司生产的TMS320DM642处理器,该芯片主频高达600MHz,SDRAM为4M×64位,支持标准PAL或NTSC制模拟视频输入,核心采用C6416型数字信号处理器,具有非常强大的阵列处理能力。ARM平台采用Samsung公司的S3C6410处理器,芯片采用ARM11架构,最高主频可达到6667MHz,DDR内存为128MB,NAND Flash为256MB,支持USB2.0、LCD控制器、I2C接口等;芯片内嵌图像加速、JPEG及多媒体编解码等,是一款高性能、低功耗、低成本的处理器。苹果分类机器人智能控制系统整体框架设计如图3所示。

图3 苹果分类机器人智能控制系统整体框架

2.2 DSP和ARM通信接口设计

在苹果分类机器人智能控制系统中,DSP和ARM两个处理器分工明确:DSP作为从处理器,主要负责视频图像的编解码和信息分析;ARM主处理器则主要负责和DSP的通信、调用接口驱动、海量视频图像信息的存储和发送。DSP和ARM之间的通信接口主要采用HPI接口,该接口不需要额外外围硬件,适用于DSP与其他CPU之间的通信。

1)HPI接口简介。HPI是美国Texas Instruments专门为DSP与其他CPU之间的通信设计的16/32 bit的并行接口。在本文中,DSP充当从机的角色,提供1个给用户自行配置的HPI接口;ARM为主机,可以通过HPI接口访问DSP内部的所有存储空间,实现对DSP从机的控制,完成二者之间资源的交换。TMS320DM642的HPI接口由HPIAW、HPIAR、HPID和HPIC、HPI_TRCTL等5个寄存器控制。其寄存器描述如表1所示。

表1 HPI接口寄存器描述

2)DSP和ARM通信接口设计。S3C6410通过IO口对TMS320DM642 HPI接口的HPIAW、HPIAR、HPID和HPIC 4个寄存器进行控制,分别实现两个处理器之间的握手中断、锁存单元地址和数据传输。其中,S3C6410的DATA[15-0]和DSP的HD[15-0]一一连接,用于二者的数据交换。ARM和DSP通过HPI交换数据的过程中,DSP为从机态;当其处理完成后,给ARM发出一个中断,ARM会从DSP读取数据。对于主处理器ARM而言,DSP是一片外接的具有图像处理能力的存储器,其间硬件连接如图4所示。

3 实验结果与分析

通过建立MatLab仿真平台,对苹果的瑕疵区域与正常区域进行模型对比,不仅可以直观地反映出苹果的瑕疵程度,还能对其瑕疵程度进行一定的数据化分析。实验中,MatLab仿真平台发送信号给ARM控制器,由其控制苹果和传输带一起移动;当把苹果移动到工业相机拍摄的位置,工业相机获取图像信息;然后,ARM处理器将图像信息发送给DAP进行分割、特征提取和分类。如果待检测的苹果有瑕疵,则传输带相应地移动并将苹果放入专门包装有瑕疵苹果的箱子中;若待测苹果是成熟的,系统会自动分析苹果的成熟度,并根据分析结果将成熟或未成熟的苹果移至各自的箱中。

图4 DSP和ARM之间的硬件连接

为了验证系统的有效性和可行性,对680个苹果果实进行了自动分类实验。成熟和非成熟的都是非瑕疵苹果,系统分类结果如表2和表3所示。

表2 瑕疵与非瑕疵的分析结果

表3 成熟与未成熟的分析结果

由表2和表3可以看出:基于DSP和ARM的苹果分类机器人智能控制系统,能够采用颜色统计和纹理特征成功地区分有瑕疵和无瑕疵,准确率达到100%;系统可以使用图像的R、G、B值将无瑕疵的苹果分类为成熟或未成熟,准确率达到了96.47%。

本文研究的苹果分级系统,主要是根据苹果的颜色或质地上决定苹果的质量。因此,为了确定将苹果分类为有瑕疵/无瑕疵的不同特征的有效性,特将两者的性能进行比较,对比结果如如图5所示。

图5 不同特征对有无瑕疵分类的影响

由图5可以看出:仅采用颜色统计对苹果有无瑕疵进行分类的准确率为70%;仅采用纹理特征对苹果有无瑕疵进行分类的准确率为78%;而同时采用两个特征时准确率可以达到100%,说明颜色统计和纹理特征的组合改善了系统的性能。

4 结论

设计了基于DSP和ARM的苹果分类机器人智能控制系统,利用DSP处理器的图像处理算法、ARM的通信控制、神经网络与MatLab模型相结合的方式,从不同的角度对果实进行有效的分析处理,能够较好地判断出果实的成熟度及瑕疵程度。实验中,该系统将苹果分类为有瑕疵/无瑕疵和成熟/未成熟,准确度分别为100%和96.47%,证实了系统的有效性和可行性。