基于机器视觉的火龙果自动分级系统设计

陈林琳,姜大庆,黄 菊,刘永华

(1.南通科技职业学院,江苏 南通 226007;2.江苏农林职业技术学院,江苏 句容 211121)

0 引言

我国作为农业大国,水果的产量占世界总产量的6%,然而水果的出口价格却远远低于国外同类水果[1-2]。通过分析发现,我国水果产后处理比例和水平较低,导致出售的水果质量良莠不齐,加上产品包装过于简陋,水果产品很难进入高端市场。近年来,火龙果由于其具有美容保健的功效而在我国兴起,但作为亚热带水果,在我国栽培时间比较短,种植面积较少,供需差距较大,其果实不易保存,容易出现烂果、皱皮、失水和变软等现象,因此对火龙果进行产后处理,分级出售显得尤为重要。

水果的产后处理是进入市场的必要环节,主要包括水果的清洗、打蜡、分级及商品包装等。目前,水果清洗、打蜡等环节的技术已经非常成熟,但分级技术仍比较落后。水果的分级标准主要包括内部指标和外部指标两方面: 内部指标可以通过水果的内部缺陷、甜度、酸度等指标进行描述;外部标准可以通过水果表面是否有损伤及色泽等进行描述。通过内部和外部指标对水果进行分级定价,为消费者购买水果提供了方便,也可以将品质较高的水果进行包装以提高附加值,进行外贸出口。火龙果具有果大肉多、不易保存、易失水和皱皮的特点,可以根据其直径、色泽及果肉水分多少进行分级。

目前,我国对水果主要通过机械化设备进行分级,针对的是外部指标,即大小和质量的分级,分级效果较差,分级效率较低。针对水果的外部缺陷识别和水果的内部指标,如水果的内部缺陷、甜度等进行的研究较少。机器视觉系统是一种通过机器视觉代替人工目测的一种设备,通过将产品转换成图像,并将图像信号传递给图像处理系统对其进行分析,检测结果客观并具有可重复性,具有检测结果准确、检测效率高的特点[3]。因此,可以将机器视觉系统应用在水果自动分级系统上对火龙果进行自动分级。

1 设计思路

1.1 设计原理

通过参考国家标准和火龙果的产地标准,将白肉火龙果主要分为3个等级,如表1所示。由表1可以看出:火龙果的分级主要通过果径、果形是否有缺陷和色泽度进行分级,因此火龙果的自动分级系统主要从以上3个方面进行考虑。

表1 火龙果分级要求

1.2 系统流程

火龙果自动分级系统主要由以下4部分组成,即水果传送机构、光照与摄像系统、机器视觉系统和分级系统,分级流程如图1所示。该系统基本工作原理:火龙果经由水果传送机构连续不断地传送至光照与摄像系统,摄像头对水果进行图像采集;解码后的图像数据包括水果的直径、缺陷和色泽等数据传送给DSP图像处理器,将图像识别的结果与预定的结果进行对比后得出火龙果的等级,将分级结果和水果的位置信息一并传送给系统分级机构,分级机构将火龙果落入对应等级的料槽内。

图1 火龙果自动分级系统流程图

根据火龙果果实较大及表面有较多页状鳞片的特征,传送机构采用无底果杯式传送方式[4-5],如图2(a)所示。无底果杯等间距的排列在传送带上,每个无底果杯上面放一个火龙果,水果和无底果杯随着传送带运送进入光照箱内,拍摄并采集图像。为保证火龙果表面特征都可以被采集到,在无底果杯的上下都设置摄像头,侧面的图像通过与平面呈45°夹角的平面镜输出获得,如图2(b)所示。

(a)

(b)

通过以上设置方式,1次拍摄即可以获得4幅图像。为了便于图像后期处理,需要使水果和传送机构的色差较大,因此将传送装置和拍照背景定为黑色。

DSP处理器具有运算效率和精度高的特点,因此采用DSP处理器对图像进行处理。摄像系统拍摄的图片传入DSP处理器,其内部芯片将图像信号转为数字信号并进行算法处理;处理完成后,将结果通过芯片转换成火龙果的等级信息,并与位置信息一起传递给分级系统,火龙果分级完成。

2 分级方法

2.1 缺陷识别

火龙果的缺陷识别通过给定阀值的方法进行。由于火龙果为近似圆形,因此拍摄时其表面灰度差基本相近,如果表面存在缺陷,则出现较大的灰度差。通过规定灰度差的阈值,当超过该阈值时,有缺陷存在;没有超过该阈值,则没有缺陷。

假设火龙果为一个标准球体,无底果杯与镜头平行,坐标系远点为镜头中心位置,Z轴与镜头平面垂直,X轴为无底果杯即水果运动方向,Y轴垂直于XOZ面,则火龙果曲面可以定义为

式中r—火龙果半径;

Zˊ—火龙果中心到镜头中心距离。

由于在火龙果的直径范围内光线的角度变化很小,因此照射到火龙果表面的光线可以看做均匀的平行光线,同时球体还具有朗伯散射表面特性,即球体表面反射强度与观察位置无关。因此,反射光强,球体灰度的曲面方程为

当照射到火龙果表面的光强度均匀时,ρI(x,y)值为一个常数,因此灰度值只与x、y和z值有关系。

E为标准球面的灰度值,E0为火龙果表面的灰度值,可以通过试验确定火龙果表面和标准球面的灰度差值的阀值F1,若(E-E0)F1,则为缺陷点。

对于火龙果还应考虑到其顶部的果梗部分,先有叶片的凸出,再到中间部分凹陷,且内陷较深;火龙果表面的花萼部分有叶片凸出,且凸出部分较多。根据灰度曲面方程可知,当其他条件不变时,果梗处图像灰度碎其他结构凸出而加深,随其内陷也呈现内陷形式,花萼部分灰度也随着叶子的凸出而凸出。不管是果梗还是花萼,其灰度变化与球体灰度相比均有明显变化,且其灰度变化远大于缺陷部分的灰度变化。因此,可以通过实验确定果梗和花萼出灰度阀值F2,若(E-E0)>F2,则为果梗或者花萼,最终确定火龙果缺陷识别方法为

若(E-E0)F2,为花萼或果梗处。

在分级过程中,若检测到火龙果表面有缺陷点,则直接由分级系统将结果和该火龙果位置信息传送给分级机构,由分级机构将其送入有缺陷槽。

2.2 果径分级

水果的大小是水果分级的重要指标之一,一般将果径定义为最大横切面的直径。火龙果的果径分级要求如表2所示。

表2 火龙果果径分级要求

火龙果在传输过程中,其轴向不是确定的,需要先确定其果轴方向,在与果轴垂直方向的最大火龙果直径即为果径,本文通过火龙果轴向对称的特征确定火龙果的轴向[4-5]。为了得到精确的火龙果的直径,需要对采集的4张火龙果图片进行处理,即将每张图片都按此方法进行果径的计算,平均值就是火龙果的真实果径数值。

首先,确定火龙果的形心(x0,y0),对火龙果边界进行积分[6],则

以形心(x0,y0)为圆心,将火龙果平均分为n(偶数)等份,奇数边界序列为r(i),偶数边界序列为r(j),则有

当M取得最小值Mmin时,此时对应的半径方向确定为火龙果的轴方向。垂直于轴方向测量火龙果的直径,最大长度lmax为火龙果的果径。

2.3 颜色分级

除了表面缺陷和果径,火龙果的颜色也是火龙果的重要特征之一,反映着火龙果的成熟度、果实是否新鲜即果肉的含糖量等特征,因此颜色也作为火龙果分级的特征之一。

通常由CCD摄像机采集到的图像为RGB(R:红;G:蓝;B:绿)模型,但是对于机器来说,一般适用于HIS(H:色度;S:饱和度;I:亮度)模型。因此,需要将采集到的RGB模型图片转换为HIS模式。由于光照与摄像系统的光强与亮度保持不变,因此S(饱和度)和I(亮度)值恒定不变,可以不予考虑,只需要考虑H(色度)。对于火龙果来说,其表面颜色只有果皮的红色和叶片的绿色,因此G(蓝)为0。

RGB转换为HIS色度的公式[7]为

通过对火龙果的4幅图像进行计算得出火龙果每个部分的色度值,进而得到整个火龙果的色度直方图。通过对各等级的火龙果分析得出了每个等级的火龙果颜色分布直方图。由于火龙果的色度均在10°～90°范围内,将其每10°范围内的色度取平均值,各等级火龙果色度分布如图3所示。由图3可以看出:一等火龙果的色度峰值出现在10°～30°,二等火龙果的色度峰值出现在30°～50°,三等火龙果的色度峰值出现在50°～70°,若峰值出现在70°以上,则说明火龙果没有成熟或者发育不好。

图3 各等级火龙果色度直方图

3 实验结果分析

为验证水果分级系统的可操作性,取50个不同等级的火龙果分别通过人工和系统进行分级测试,结果如表3所示。

表3 系统分级和人工分级结果对比

由表3可以看出:系统分级效率远高于人工分级,但是分级结果有差别,共有3个火龙果分级结果不同,通过对这3个火龙果进行二次人工分级鉴别,发现系统分级结果正确。经分析原因得出:人工分级工作量大、分级时间长,导致对于色度的混淆以及对于缺陷的疏漏。

4 结论

基于机器视觉技术设计了火龙果的自动分级系统,该系统主要由水果传送机构、光照与摄像系统及机器视觉系统和分级系统组成。其中,光照与摄像系统采用CCD摄像机和DSP处理器进行图像处理,对火龙果的缺陷检测、大小和色度进行分级。试验结果表明:基于机器视觉的火龙果分级系统可以高效率、高准确度地对火龙果进行分级。