基于机器视觉的香蕉果肉缺陷预测方法

张 铮 熊盛辉 王孙强 胡凌辉

(湖北工业大学机械工程学院，湖北 武汉 430068)

由于多种果蔬在成熟后果肉较软，在采集、运输过程中极易损伤果肉，果肉发生物理损伤后极易导致变质。对果肉缺陷检测的传统方法一般采用肉眼对表皮的纹理颜色进行判别，但该方法主观性强且误差较大。机器视觉与图像处理作为一种无损检测方法[1]，对果蔬的纹理、颜色、大小、形状具有较高效率的检测识别。杨涛等[2]根据HSV颜色模型与图像投影面积法对草莓的质量进行评估，在采用加权法计算质量与形状评级分对草莓等级进行精准划分，其准确率高达90%。项辉宇等[3]采用基于Halcon的图像处理方法，依据RGB颜色模型，利用模板匹配法，实现对苹果的缺陷检测以及颜色识别。李国进等[4]提出了一种基于计算机视觉技术和极限学习机神经网络对芒果品质的分级方法。李江波[5]以脐橙为研究对象，采用RGB成像技术、荧光高光谱技术和可见近高光谱技术对脐橙常见缺陷的检测方法进行了探讨。对于果蔬的视觉检测已成为机器视觉领域的重要研究内容。

目前基于视觉的香蕉成熟度分析与缺陷检测已有一定的研究。胡孟晗等[6]以青香蕉为研究对象，利用计算机视觉对香蕉在成熟过程中的果皮颜色和纹理进行检测，结果表明在香蕉成熟期的第6阶段前的果皮状况可用R、B均值的变化进行描述，第6阶段后的果皮状况可用共生矩阵的均匀度和对比度进行描述。赵文锋等[7]以Matlab图像处理技术为基础，分割出香蕉图像并进行图像处理，最后根据香蕉果皮色素组成对香蕉成熟度进行检测分级。综上，多数研究者都是基于视觉对香蕉表皮进行检测识别，而没有进一步对香蕉内部果肉的品质缺陷进行预测分析。研究拟利用机器视觉技术获取香蕉表皮与果肉图像，经图像处理后，获取有关缺陷的相关信息，将获取到的信息通过函数拟合进行分析比对，以期在不剥开香蕉皮情况下对香蕉内部果肉缺陷进行快速、准确的等级划分。

1 基于机器视觉的图像特征参数分析

1.1 图像识别的材料与仪器

香蕉样本来自农副产品市场，在购置香蕉中随机挑选40个果皮有不同程度黑斑的香蕉，其中20个作为训练样本，另外20个作为预测样本。

利用机器视觉技术对图像进行采集，机器视觉系统组成如图1所示。采用型号为MV-CH089-10UC海康威视工业相机，获取图像像素为4 096×2 160，帧率为32 Hz，曝光时间为1/100 s，信噪比38 dB，对相机闪光灯选择禁用状态。相机镜头25mmZX-SF2520C，垂直位于样品正上方40 cm处。光源采用ZX-LA7000环形光源，功率为10 W。对20个训练样本分别在4个不同方向进行图像采集，采集到的一对典型香蕉表皮与果肉图像如图2所示。

图1 机器视觉系统组成

图2 采集的原始图像

1.2 基于机器视觉的图像处理

由于采集到的原始图像黄色成分大于其他成分，黄色RGB值分布为225，225，0，因此通过强调红色与绿色成分、抑制蓝色成分的方法将原始图像转化为灰度图像。具体方法如式(1)所示。

(1)

式中：

R、G、B——点(x，y)在原始图像中红、绿、蓝的值；

pixel——点(x，y)处理结果后在灰度图像中的灰度值；

K——灰度图像对比值，可根据不同光照条件来取值。

将得到的灰度图像进行平滑处理(或去噪声)，采用均值滤波算法，用3×3的领域模板对灰度图像进行卷积运算，去除尖锐噪声，如图3所示。

图3 灰度图像与滤波效果图

采用双阀值二值化[8-9]处理方法，根据式(2)对图像进行二值化处理，将果皮图像、果肉图像、果皮黑斑、果肉缺陷进行提取。

(2)

式中：

g(x，y)——处理后的图像在点(x，y)处的灰度值；

f(x，y)——处理前的图像在点(x，y)处的灰度值；

t1、t2——双阀值。

将图像分割后，为减少后续特征参数与计算的误差，对图像分割区域进行形态学分析[10-11]。腐蚀与膨胀是形态学处理的基础，为避免香蕉茎对香蕉果皮的特征参数提取造成干扰，且考虑到香蕉在成熟后会有少量黑色素形成黑斑(这些小黑斑并不表示香蕉果肉会有缺陷)，需对香蕉果皮图像以及果皮黑斑图像根据式(3)进行腐蚀运算：通过结构元素对二值图像中的每一个像素点进行扫描，扫描过程中将结构元素与被覆盖的像素点做“与”计算，如果计算结果均为1，则该图像像素值为1，否则该值为0。图像最后处理结果如图4所示。

图4 图像处理效果图

(fΘb)(s,t)=min{f(s+x,t+y)+b(x,y)(s+x,t+y)∈Df,(x,y)∈Db}，

(3)

式中：

f(x，y)——输入图像；

b(x，y)——结构元素。

1.3 图像特征参数的提取与计算

试验中图像面积通过像素点的总和来表示。对20个训练样本通过图像采集、图像处理后，提取其中各图像像素点数量，并将4个不同方向的图像像素点数进行相加，进行相加后的值分别作为香蕉的果皮总面积、果肉总面积、果皮黑斑总面积与果肉缺陷总面积，通过提取出来的果皮与果肉特征参数计算出训练样本香蕉的黑斑度与缺陷度，见表1。其中香蕉果皮黑斑度通过果皮的黑斑面积与果皮的整体面积之比来表示，香蕉缺陷度通过果肉的缺陷面积与果肉的整体面积之比来表示，缺陷度越大，表示香蕉果肉损伤越严重。根据农业部行业标准(NY/T 3193—2018)对香蕉等级规格的分类，可得出不同缺陷度范围香蕉果肉等级的划分，见表2。

表1 训练样本中香蕉图像像素点的统计、计算与等级划分

表2 香蕉果肉等级缺陷度统计范围

2 果肉缺陷预测模型

2.1 果肉缺陷预测的数学模型

(4)

式中：

a0，a1，a2，a3——多项式系数。

求出a0，a1，a2，a3，拟合出多项式：

(5)

原始函数图形与拟合函数如图5所示。由图5可知，原始图像与拟合图像差距较小。为了进一步精确评估原始函数图形与拟合函数的差距，继续对拟合函数进行残差分析：

图5 训练样本函数图像与拟合函数图像

(6)

式中：

ei——第i个观测值残差；

yi——第i个观测值；

训练样本残差图如图6所示。由图6可知：训练样本残差分布在值域[-1.0×10-3，1.5×10-3]，残差值分布区间较小，整体拟合范围也呈现出均匀扩散状态，训练样本残差值与其变量黑斑度不相关且相邻残差不具有自相关性(当前残差值无法预测到下一个残差值)。分析可知此拟合函数模型较为准确。

图6 训练样本残差图

2.2 果肉缺陷预测的准确率分析

根据1.2节的图像处理与1.3节的特征参数提取计算，将采集到的预测样本通过拟合函数进行缺陷度的预测，根据预测结果对香蕉进行等级划分，如表3所示。

表3 预测样本数据

将预测样本进行等级划分并计算出准确率，见表4。由表4可知：通过预测模型对香蕉等级划分，总准确率达到88.9%，其整体分类准确性较高。分别对每个等级预测准确率分析可知，一等品的预测准确率为91.7%，二等品的预测准确率为100.0%，三等品的预测准确率为75.0%，三等品的预测准确率低于一等品与二等品，这是因为三等品香蕉果皮的黑斑分布较广且较为密集，在进行图像处理时对果皮黑斑像素提取产生误差，造成试验数据的线性度较差，从而对预测的准确率造成一定的影响。

表4 预测样本等级划分准确率

以相同的20个预测样本为研究对象，基于文献[7]中对香蕉成熟度分析的研究，将图像处理后的香蕉，提取出香蕉果皮色素直接对香蕉进行等级划分，计算出总准确率为82.5%，对比由果肉缺陷的预测值进行等级划分，其准确率低了6.4%。在缺少对香蕉果肉缺陷的预测情况下，无法对香蕉果肉进行一个良好的评估，从而导致等级划分的准确率较低。

3 结论

(1) 基于机器视觉对香蕉果皮表面进行图像处理，提取训练样本中香蕉果皮与果肉的表面特征参数，计算出果皮的黑斑度与果肉的缺陷度；将黑斑度作为函数输入，缺陷度作为函数输出，根据多项式拟合寻找出数据的最佳函数匹配，建立预测模型。

(2) 通过匹配结果进行残差分析，残差图中各点分布具有恒定均匀扩散性，残差与变量黑斑度不具有相关性且相邻残差之间不具有自相关性，该拟合函数可以对香蕉果肉的缺陷度进行准确的预测判断。通过果肉缺陷的预测值，对香蕉果肉品质进行等级划分，避免了人工选择的主观性。基于文献[7]中对香蕉成熟度分析的研究，仅提取果皮色素直接对香蕉进行等级划分，试验基于香蕉内部果肉的缺陷预测值，其等级划分更为精准高效，将总准确率提高了6.4%，达到88.9%。

(3) 后续研究中，可进一步结合香蕉果皮表面其他特征参数，如纹理特征反映的方向性、规则性、粗糙度等特征类型，进行权重分布分析，进一步提高对果肉缺陷程度的精准预测。