机器视觉成熟度检测的苹果色选分拣机设计

王丽娟 陈浩然 季石军 刘志刚

(南通科技职业学院机电与交通工程学院，江苏 南通 226007)

引言

随着我国社会经济的快速发展以及人民消费水平的不断提高，人们对水果制品的需求和品质都提出了更高的要求，这种现象在我国近年果制品市场不断扩大的趋势上有所体现。根据联合国及农业组织数据，自2019年起我国的水果产量及种植面积位居世界第1，远远超过第2名，同时我国的水果消费量也位居第1，但我国的人均水果消费量却很低。根据大量的市场调研后发现，水果的产值是由产后处理以及产后加工创造而来。如何对水果进行快速以及准确的分拣在水果的加工过程中尤为重要。事实上，我国大部分的果制品加工厂往往通过人工分拣来进行水果好坏的分拣以及成熟度的分级，在实践过程中面临以下问题：人力检测费时费力，效率低下，无法满足规模化的流水线生产需求；工人的拿捏触碰容易损伤水果导致损耗；工人的主观性判断和测量方法差异难以保证检测结果的一致性和准确性，分拣的品质参差不齐，也难以保障后续产品的品质。

本文所研究的基于机器视觉成熟度检测的苹果色选分拣机，在无损状态下快速准确识别水果成熟度的同时，能够利用传输装置与分拣装置完成水果的一次分拣，切实解决水果经营企业、水果后处理企业在水果成熟度检测过程中所面临的成熟度检测正确率低、人工费时费力、水果易磕碰损伤等难题。促进我国的水果采后处理技术的进步，加速我国农业实现现代化和智能化。

1 国内外研究现状

目前果品内在品质无损检测的方法主要有以下几大类：基于光学特性的分析法、基于电化学特性的分析法、基于声学特性的分析法、基于力学特性的分析法、基于机器视觉的分析法和其它成熟度无损检测法[1]。在光谱特性分析方面，Sofu[2]等利用近红外光谱法分析检测鳄梨的成熟度，通过偏最小二乘回归模型预测鳄梨果肉含油率、干物质和水分含量，相对分析误差分别为2.00和2.13。在声学检测方面，Mizrach[3]利用声学脉冲响应评估苹果质量，建立PLS模型，波长数据与苹果硬度相关系数为0.83，研究结果显示,西瓜成熟度与声波传播频率为二阶函数关系。在水果的电学特性上，Murat[4]通过电学特性法测定球状水果密度分布，用电容来衡量水果体积，天平称量其质量，计算出密度，实验结果表明，密度为0.94～0.97g·cm-3西瓜成熟度很高而且内部没有空洞。Tong[5]使用配套有顶空采样系统的电子鼻检测富士苹果不同时间采摘的含糖量，证明电子鼻技术结合人工神经网络和多元分析算法能够实现对苹果成熟度的有效判别。

国内对水果的成熟度智能检测设备的研究同样不在少数。如，张索非[6]提出了一种根据检测苹果受到敲击后所发出声音的频谱特性对果品品质评价和分类的无损检测方法。实验结果表明，长时间存放的苹果受敲击发声的频谱峰值逐渐减小，质量小的苹果受敲击发声的发声基频更低。姚永波[7]测量甜瓜的介电特性，采用主成分分析法提取特征向量(介电参数和介电损耗)，建立甜瓜糖度遗传优化BP神经网络预测模型，模型预测均方根误差为0.873，能够满足甜瓜样本内部糖度数据的预测。徐赛[8]等提出了一种基于电子鼻技术的果园荔枝成熟阶段检测方法，用电子鼻采集样品数据，建立与果实可溶性固形物的预测模型，训练集的回判正确率均为100%。韩东海等用560nm左右波长的紫外线照射柑橘，发现柑橘最成熟部位荧光强度达到峰值。饶秀勤、应义斌[10]提出了一种利用HSI模型判断水果表面颜色的分级方法，该方法在HSI颜色空间提取H分量面积加权直方图的前2个分量进行分析，对脐橙进行分级处理处理的结果表明，总的分级误差仅为1.18%。周水琴等[11]采用核磁共振成像设备扫描得到新疆库尔勒香梨中部冠状面图像，使用MATLAB软件完成图像分割和中值滤波，以提取香梨褐变特征。王敏[12]以三星公司的S3C2440作为数据处理器，Linux作为操作系统，完成苹果硬度的便携式近红外光谱仪开发。应义斌[13]从3种不同视角下采集橄榄内果皮图像，使用判别分析和神经网络2种分类技术分别进行分类测试，均获得良好的分类效果。

成熟度智能检测设备具有将人工智能与现代信息处理技术相结合的优点，功能多、信息量大，是今后水果成熟度检测和内在品质检测的重要检测手段，但也存在亟待解决的问题。系统造价高，结构复杂，难以做到性能与成本的平衡；识别准确率的问题，在查阅的文献中发现，目前的研究文献中均未给出明确的目标识别准确率的定义，且不同文献中准确率数据也不尽相同，所以试验的可重复性有待商榷；我国果农多为个体经营户，针对复杂的监测设备接受程度不高，普遍适用性问题也不可忽视。

2 设计介绍与工作原理

2.1 总体设计介绍

基于机器视觉成熟度检测的苹果色选分拣机如图1所示，由装置主体和传输装置、分拣设备及机器视觉检测系统组成。装置主体和传输装置由支撑立柱、传输带及可前后活动的推板结构所构成。分拣设备为分拣槽、分拣口、存储箱、活动板所构成。机器视觉检测系统包括计算机和相机，相机与计算机通信连接。

图1 色选分拣机结构示意图注：1.装置主体；2.分拣设备；3.主体前支撑立柱；4.相机;5.主体后支撑立柱；6.推板结构；7.传输带；8.传输装置支撑立柱。

基于机器视觉成熟度检测的苹果色选分拣机的传输与检测步骤：工作人员在使用装置时，可先通过传输带输送水果；装置主体顶部的高清摄像头对传输带上的水果进行拍照，识别成熟度；推动电机启动，带动伸缩杆进行延伸，同时也带动正面推动板进行活动，将判定为成熟的水果推出传输带外，使水果掉落至分拣机构的分拣槽；分拣槽呈倾斜状，不同大小的水果通过不同大小的分拣口，掉落下方分拣设备内部的存储箱内，较为便捷地依据成熟度等级及果型大小对水果进行分拣。

本装置通过相机拍照，对色度进行检测，进而判别成熟度等级，并通过传输带和自动分拣机构达到自动化的效果，提高水果成熟度检测的准确性、一致性、高效性及实现流水线生产需求。

2.2 装置主体及传输装置的设计

装置主体提供相机支撑、传输通道与推板结构功能。由左右支撑立柱、顶板及推板结构所组成，两立柱间为传输通道，供传输带通过。传输装置由左右支撑立柱与传输带构成，为水果流水线传输提供解决途径。

关键部件推板结构如图2所示，推板结构经由连接板固定在装置主体的前支撑立柱上，连接板的右侧固定连接推动电机，推动电机固定连接伸缩杆，伸缩杆固定连接支撑板，电机与计算机通信相连。当水果被判定为成熟后，启动推动电机，带动伸缩杆进行延伸，同时也带动正面推动板进行活动，将成熟的水果推出传输带外，进而掉落分拣设备内。

图2 推板结构示意图注：1.连接板；2.推动电机；3.伸缩杆；4.推动板。

2.3 机器视觉检测系统

2.3.1 结构设计

机器视觉检测系统包括计算机与相机，相机与计算机通信连接。相机安装固定在装置主体顶端，对准水果设置，计算机为DELL OPTIPLEX 3020，内存为4GB，1TB硬盘。相机选择Openmv h7 Ca智能摄像头，500万高清像素。

因研究进度，目前仅制作机器视觉检测系统样机，如图3所示。

图3 机器视觉检测系统示意图

2.3.2 颜色特征的提取

通过检测相机的拍照，对水果成熟度进行色度检测，采用的颜色模型即为RGB颜色模型，以苹果为例。

确定红色为苹果样本的主色。读取苹果样本的一次照片作为实验图像，如图4(fig.1)；读取背景照片作为背景图像，如图4(fig.2)；删除实验图像中的背景图像，得到处理图像如图4(fig.3)；将处理图像二值化得到图4(fig.4)，二值化阈值在0.04～0.15，本研究中二值化阈值以0.1为例；为减小二值化图像的背景噪音和光干扰，采用中值滤波，以减少干扰，并增强二值化的图像；采用imfill函数填补取反后的二值化图像图4(fig.4)；采用bwboundaries函数寻找二值化图像的图形边界；从图形边界中取出图像的内部边界，并保存当前的图像，如图4(fig.5)所示；将实验图像图4(fig.1)按照RGB模型，提取出所有R通道的颜色信息，保存当前图像为实验图像R通道图像，如图4(fig.6)；采用find函数，选择内部边界图像图4(fig.5)的所有背景区域的像素位置，然后将寻得的地址映射到实验图像R通道图像图4(fig.6)中，并将其背景填充为黑色；采用reshape函数重构图内部边界图像图4(fig.5)的颜色信息，分别提取出R、G、B通道的颜色强度序列，分别计算颜色强度均值Rm1、Gm1、Bm1(其中，颜色强度均值Rm1、Gm1、Bm1通过mean函数获得。

图4 图像处理过程图

获取颜色强度均值Rm、Gm、Bm后，根据公式计算苹果的平均红色强度占比，计算公式：

Ra=Rm/(Rm+Gm+Bm)

(1)

2.3.3 成熟度预测模型

基于机器视觉的苹果成熟度无损检测技术本质上就是利用其表面的颜色信息与苹果成熟度的相关性，本文通过描述苹果果实的表面颜色信息，预测可溶性固形物T。根据GB/T 10651-2008，如果T>11%，则说明该苹果是成熟的，否则判定为不成熟。

根据上述的机器视觉设备，提取水果的红色强度均值Rm，作为输入集；根据国家的农业标准GB/T10651-2008，测定苹果的可溶性固形物含量，作为输出集；采用自适应的神经网络智能算法，训练合适的预测模型。

根据红色强度占比，对成熟的苹果进行分级，标准:Ra<0.45不成熟；0.45≤Ra≤0.5三级成熟；0.5

2.4 分拣装置的设计

分拣装置结构示意图如图5所示，由分拣槽、分拣口、存储箱、活动板及挡板构成，其中分拣槽、分拣口及存储箱均设置有柔性保护垫包裹保护。工作人员在使用装置时，经传输和检测机构后被判定为成熟的水果由推板结构推至分拣装置，进而使水果掉落分拣槽内部的分拣口，分拣槽呈倾斜状，不同大小的水果通过不同大小的分拣口掉落至下方的存储箱内，较为便捷地对不同大小的水果进行分拣。优选的，工作人员也可通过活动板将包装箱放置于存储箱内，节约打包时间，提高生产效率。

图5 分拣装置示意图注：1.分拣槽；2.分拣口；3.储存箱；4.活动板；5.活动铰链；6.分拣挡板。

3 实验结果与分析

本文共收集了250个苹果作为实验样本，并利用PHS-3C数显台式酸度计与陆恒生物CNT数显糖度计测定了所有样本的固酸比，即实验得可溶性固溶物含量，用于验证本研究所涉及的基于机器视觉的成熟度检测方法的正确性，实验装置如图6、图7所示。

图6 PHS-3C数显台式酸度计试验设备及实验图

图7 陆恒生物CNT数显糖度计试验设备及实验图

任选250个苹果样本中的10组图像作为校验样本，其余240个实验样本作为训练样本，选择随机，具有足够的代表性。对10个校验样本利用前文所创建的成熟度监测模型进行成熟度判断，成熟度预测模型处理结果如表1所示。由表1可知，设计的自适应神经网络成熟度预测模型具有相当高的准确性，误差范围可控制在±0.2%以内。

表1 成熟度预测模型处理结果

4 结论

本文所设计的基于机器视觉成熟度检测的苹果色选分拣机通过传送带进行输送达到自动化的效果，体积小，操作简单，实用性强；保护水果，提升品质；价格低廉，易于推广。

苹果的成熟度与外表皮颜色信息具有一定的关联性，可利用机器视觉测定苹果果实的表皮颜色信息来进行成熟度判定，提高水果成熟度检测的一致性、准确性与正确率。这种方法不仅可用于苹果后处理中的分级，也可用于苹果采收期的成熟度预判，防止误采。

利用机器视觉与自适应神经网络来训练成熟度判定模型，通过描述苹果果实的表面颜色信息，预测可溶性固形物T，从而进行成熟度判定。判定准确率较高，由检测样本显示，误差范围可控制在±0.2%以内。根据苹果红色强度占比，对成熟的苹果进行分级，Ra<0.45不成熟；0.45≤Ra≤0.5三级成熟；0.5

5 长远构思及待开发功能

目前仅制作了机器视觉检测系统样机，后期将对主体装置、传输装置及分拣装置进行打样，以期验证流水化作业需求。