视觉轮廓识别在大枣分拣系统中的应用

张 晓,陈鸿俊

(四川水利职业技术学院,成都 611231)

0 引言

大枣以其甘甜的口感和丰富的营养价值,深受人们的喜爱[1],在我国种植面积广大。随着城镇化进程的推进和人口老龄化的来临,农村青壮年劳动力的数量越来越少[2],而大枣采摘后的分拣工作,是大枣生产的最后环节,直接影响着果农的收入。大枣分拣过程繁琐,分拣标准因人而异,需要的劳动量巨大,是实现自动化的重要课题。目前,主流的大枣分拣系统分为纯机械结构和图像分析分拣系统[3]:纯机械结构采用震荡筛原理[4],通过震荡作用,实现大枣的分离,具有可靠性及效率高的特点,但由于其为开环控制系统,分拣效果差,且会产生震动和噪音污染;图像分析分拣系统采用CCD摄像头采集大枣图像信息,由于大枣以红色为主,目前大多采集R通道强度进行分析,忽略G和B通道强度[5],同时将大枣图像轮廓面积作为评价大枣品质的标准,没有考虑大枣形状,评价标准不完善[6-7]。为此,以图像分析分拣系统为基础,综合R、G、B三通道强度,以提高图像信息的提取率;提取大枣轮廓曲线,进行椭圆拟合,引入形状、体积和质量对大枣品质进行评价,提高了评价标准的科学性。以四川三台地区某枣园的大枣作为样本进行试验,结果表明:本系统分拣精度高,系统运转稳定,具有一定推广价值。

1 系统结构

系统机械结构如图1所示,主要分为3部分:①大枣的运输系统由带轮和传送带构成,将大枣输送到图像采集区和分拣机构,为大枣的向前运动提高动力。②图像采集系统包括CCD摄像头、LED光源和遮光箱。遮光箱将外界杂散光屏蔽,形成黑室,LED光源提供CCD摄像头所需亮度,CCD摄像头将采集到的数据传输给控制系统进行分析。③大枣分拣系统主要包括挡板/分拣容器和步进电机。其中,挡板将传输带送来的大枣挡住,落到分拣器中,分拣器为圆筒形容器,以圆筒轴心为基准,将其分为3部分,即将大枣按照质量好坏分成3个档次。步进电机接受控制系统输出信号,对驱动分拣器进行驱动。系统工作过程如下:检测系统对大枣进行检测,将数据传送至控制系统进行分析处理,根据处理结果,对步进电机进行控制,达到对大枣进行分拣的目的。

系统逻辑结构包括控制系统、图像分析系统和品质分析系统3部分,如图2所示。工作时,CCD相机将检测得到的大枣图像传入控制系统,控制系统将数据输入图像分析系统,经历图像采集、降噪、边界分析和边界曲线拟合后,输出大枣轮廓拟合椭圆的长轴半径a和短轴半径b;a、b进入品质分析系统,计算大枣体积,检测体积成梯度分布的大枣质量,进行拟合,求得大枣质量,最后输出大枣体积V和质量m;大枣品质参数传回控制系统,控制传输带与分拣器驱动电机,实现对于大枣的分类,不同品质大枣落到相应的容器内。

1.带轮 2.控制系统 3.CCD摄像头 4.LED光源 5.遮光箱

图2 系统逻辑框图

2 图像处理系统

图像处理是整个分拣系统的核心,包括图像采集、图像降噪、边界分析计算和轮廓曲线拟合4部分。刚采摘的大枣不一定是纯红色,要充分考虑3个通道的强度;图像降噪既要解决局部噪声,又要解决整体噪声;边界轮廓计算要同时考量算法迭代次数和准确程度;轮廓曲线拟合要考量模型曲线和大枣轮廓线的误差。

2.1 图像采集

CCD相机输出图片为RGB颜色模型,即每个像素点输出为三色模型中各通道的强度值(R、G、B);通过调整三者所占比例,产生不同的颜色,即每个像素点输出的颜色F为

F=aR+mG+cB

(1)

其中,a、m、c为颜色配比系数。

CCD相机的感光部件呈矩阵分布,当相机对传输带上的大枣进行拍照时,大枣的图像信息就会在坐标为(i,j)像素点上生成相应强度的三通道强度(Rij,Gij,Bij),而后在系统时钟和驱动电压的作用下将三通道强度(Rij,Gij,Bij)输出。利用本系统对单个大枣进行拍照,R、G、B通道的强度如图3所示。其中,R通道强度图片最高,这是因为大枣本身以红色为主,但在左侧枣的短轴边界处不清;G通道强度在右侧短轴边界和右上边界处不清晰,如图3(b)所示;B通道的强度在左上方边界处和右下方边界处模糊,如图3(c)所示。由于大枣体积分析需要求解图像中大枣轮廓线,虽然R通道图片最清晰,但仍有轮廓线模糊的情况,同时3个通道轮廓线模糊的位置均不相同。为了得到大枣良好的轮廓图像,需要综合考量三通道的强度值,因此定义I为式(2),其强度如图3(d)所示。轮廓线集合的三通道的优点,清晰度强于三通道中任何一单组,达到了互补的效果。

(2)

图3 图像通道强度

2.2 图像降噪

图像的噪声主要分为两类:①局部像素噪声异常,如某一局部像素的灰度和周围8个像素灰度相差很大;②整体噪声,即所有像素点均含有的噪声成分。由于每一个像素上包含以上两种噪声,因此降噪过程为:①局部噪声,采用中值降噪法[8];②整体噪声,采用高斯滤波器[9]进行降噪。

局部突变噪声主要是由于系统检测异常产生的,采用中值滤波法进行抑制,方法是将每一像素点的灰度值设置为该点邻域内的所有像素点灰度值的中值。本文设置邻域w大小为3×3,其输出为

fn(x,y)=med{f(x-k,y-l),(k,l∈w)}

(3)

整体噪声是由检测方法和环境中杂散光造成的。存在于整体所有像素中,噪声出现的机会及强度均等,即服从正态分布。因此,采用高斯滤波去除噪声,结果如式(4)所示。

(4)

2.3 大枣边界算法

大枣边界是衡量其质量的关键性能指标,通过图像分析大枣的大小和质量都是以确定其边界为基础的。边界特点是两边的像素点的灰度变化剧烈,可通过求解像素点梯度的方法实现。当像素点的梯度G大于阀值时,认为该像素即为边界像素。本系统采用Canny 边缘检测卷积因子[10],如式(5)所示。

(5)

梯度求解过程如下:

1)计算关于x、y的偏导数,即

Gx(x,y)=F(x,y)·gx
Gy(x,y)=F(x,y)·gy

(6)

2)计算梯度大小,即

(7)

3)计算梯度方向,即

(8)

寻找边缘像素坐标过程如下:①初始化像素坐标P(i,j),得到其灰度大小f(x,y);②对其进行降噪处理,输出结果为F(x,y);③利用卷积因子求解偏导数Gx(x,y)和Gy(x,y);④计算梯度大小G(x,y),并与阀值比较,大于阀值时坐标P(i,j)即为边界点,小于阀值时沿梯度方向θ(x,y),寻找下一个坐标点,找到所有满足条件的像素点,轮廓线也就确定下来。大枣轮廓曲线如图4所示。

图4 大枣轮廓曲线

2.4 大枣轮廓曲线拟合

大枣轮廓曲线形状和椭圆形相近,因此以椭圆方程对大枣轮廓进行拟合。以轮廓曲线几何中心为原点建立直角坐标系,已知标准椭圆方程为

x2+Axy+Jy2+Kx+My+D=0

(9)

现将轮廓线上像素点坐标(xi,yi)带入椭圆方程,会产生误差ΔFi。现将轮廓线上的所有N个像素坐标带入式(9),计算所有误差的平方和,如式(10)所示。

(10)

(11)

设系数矩阵为A,结果向量为C,未知系数向量为P,采用最小二乘法进行拟合,则系数向量P为

P=(ATA)-1ATC

(12)

根据椭圆方程长短半轴和系数关系,计算椭圆长半轴a和短半轴b,即

(13)

3 大枣品相分析

大枣质量分析主要包括两方面:①大枣形状圆润,形状饱满为上等品,即大枣图像处理后轮廓线越逼近饱满椭圆,同时体积越大,品质越好;②单个大枣的质量越大,品质越好。基于以上评价标准,以四川省三台地区某枣园大枣为样品,对其品相进行了分析。

3.1 体积分析

通过对大枣轮廓曲线拟合,得到了大枣轮廓的椭圆方程,并求得其长短半轴,由于大枣在短轴方向上比较圆润,截面图接近圆形,认为两个短轴大小相等,均为b。椭球体积为

(14)

现对三台地区大枣样品进行统计,其体积分布与出现几率如图5所示。大枣体积分为3部分:①10～15cm3,该部分体积较小,形状较差,占整体样本的25.6%;②15～21cm3,该部分体积较大,形状较好,占整体样本的57.7%; ③21～24cm3,该部分体积大,形状好,但数量较少,占整体样本的16.7%。通过上述分析可知,大枣在体积上的分布基本上符合正态分析,且主要集中在15～21cm3区间;体积较小的占比25.6%;体积大、品相优异的占比最小。

图5 大枣体积分布

3.2 质量分析

大枣的单体质量是衡量大枣品质的重要因素,现探究体积与大枣质量之间的关系。取体积成梯度分布的大枣作为样品,分别检测其质量,其分布如图6所示。对其进行线性拟合,设大枣体积为x,质量为y,结果如式(14)所示。其线性相关系数R2=0.94,证明大枣的质量与体积具有较高的线性相关性,因此大枣的质量分布与大枣体积分布趋势相同,服从正态分布。

图6 大枣质量与体积关系

斜率是大枣的平均密度,为0.774g/cm3。这是由于同一片枣园接受的阳光、水分等因素是相同的,且成长周期相近,因此其密度也相近。造成拟合关系截距为1.464 92的原因是枣核的存在,其具有特殊性,对于单个大枣,枣核同果肉的密度不同,对于不同大枣,枣核大小不同。

y=0.77376x+1.46492

(14)

4 结论

为了实现自动化的大枣筛选分类、降低果农劳动强度,应用视觉检测原理,设计了大枣分拣类机构和品质检测分析系统。大枣分拣机构主要包括大枣上料机构和分类筛选机构,品质检测分析系统包括控制系统,图像处理系统和大枣品质分析系统。图像处理系统完成以下工作:首先,采用中值降噪和高斯降噪的方法对图像数据进行降噪处理;其次,采用Canny边缘检测卷积因子,计算大枣轮廓边界;最后,采用椭圆一般表达式进行拟合,计算椭圆的半长轴a和半短轴b,并将其输出到品质分析系统。品质分析系统主要完成以下工作:①以椭圆的半长轴a和半短轴b,计算大枣轮廓体积。对四川三台地区某枣园的大枣体积进行采样统计,发现大枣体积符合正态分布,15～21cm3体积区间的大枣,占整体样本达到57.7%。②检测体积呈梯度分布的大枣质量,并进行线性拟合,决定系数R2达到0.94,线性良好。拟合结果斜率为大枣平均密度,产生截距的原因为枣核与果肉密度差异很大,不同大枣之间枣核大小不同。本系统机械结构简单,检测元件采用成熟的CCD摄像头,成本低廉、可靠性高,适于广大农村枣园一线使用。