基于机器视觉的红提串无损检测及分级

施 行，王巧华,2,*，顾 伟，王贤波，高 升

（1.华中农业大学工学院，湖北 武汉 430070；2.农业农村部长江中下游农业装备重点实验室，湖北 武汉 430070）

葡萄被誉为世界四大水果之首，其种植面积和年生产总量始终处于世界水果生产的前列[1-2]。随着经济发展和市场的扩大，消费者对葡萄品质的要求越来越高[3-4]，因此我国葡萄产业需逐渐从数量型向质量型转变[5-6]。其中红提葡萄以其果穗、果粒大，营养丰富深受人们的喜爱[7-9]。由于不同生长期的红提串紧实度关系到品质及产量预测，其越来越受到人们的关注。紧实度是基于穗状水果的果粒分布密度、果粒之间的挤压程度、果粒可摇动程度、果穗表面的孔隙、穗茎梗杆的可见度的定性描述。

针对葡萄的外部品质研究，李俊伟等[10]运用机器视觉对红提单粒葡萄的质量和果径进行了预测和分级，其分级准确率超过85%；陈英等[11]通过计算果穗直径和形状参数，基于计算机视觉技术设计了葡萄分级检测系统；曾庆兵等[12]提出基于数学形态学的重叠葡萄果实直径测量方法；Liu等[13]通过检测葡萄颜色和纹理信息，检测果园葡萄产量，模型准确率达到87%；Zeng Qingbing等[14]通过机器视觉动态测量了葡萄果实直径，此系统可达到7 μm的可重复精度，为更精确检测植物的生理异常指标提供了一项检测手段。

以上国内外研究主要集中在检测葡萄果径、葡萄果串体积、葡萄颜色、纹理和果实直径的指标分级上，鲜见葡萄紧实度方面的研究。本实验选取能间接反映红提紧实度的果梗面积、果粒数等特征参数，建立红提紧实度的分级无损模型，以期为穗状水果品质的视觉检测及分级技术提供参考。

1 材料与方法

1.1 材料

新鲜红提样本，于2020年8月14日到8月27日之间（湖北省武汉市江夏区小宛葡萄园）采摘，分3 次完成，3 次采摘质量分别为20.953、32.873、36.779 kg。为保证实验样本的可靠性，在每株红提植株上层与下层各采集1 串，共采集了65 株红提植株的130 串新鲜红提，将新鲜红提按采摘的顺序编号。

1.2 仪器与设备

菲利浦三基色环形荧光灯管T5型（功率32 W、外径245 mm、内径235 mm、3 300～5 000 K色温范围）中国上海晰诺飞投资有限公司；RI15060-W型环形近红外光源（11 W、外径190 mm、内径180 mm，光谱波段范围如下：红色475～675 nm、绿色475～625nm、蓝色375～725 nm） 中国广东欧普特科技股份有限公司；AD130GE双通道工业摄像机（分辨率1 024×768、帧率30 fps，可同时提供可见光RGB通道（波长400～700 nm），近红外（near-infrared spectroscopy，NIR）通道（波长750～900 nm）） 丹麦JAI公司。本实验所需摄相头支架、菲利浦三基色环形荧光灯管、欧普特RI15060-W型环形近红外光源、传动链及红提挂钩按图1所示组装。

图1 单个窗口结构示意图Fig.1 Schematic diagram of a single window structure

满足摄像机的光谱采集范围，选择环形光源能保证红提串果粒表面中心产生唯一可见的亮点，方便实现后期对红提果粒位置的定位。实验中拍摄红提4 个方向（前、后、左、右）的图片。

1.3 方法

1.3.1 图像采集

如图1所示，搭建好单个窗口，将光源以摄像机镜头为中心进行固定（保证光线的均匀分布），通过调整镇流器调节三基色环形荧光灯管亮度，运用光源控制器调节近红外光源的亮度，调节摄像头焦距以便拍摄效果达到最佳状态。图片的拍摄背景皆为白色。

通过夹钩将红提悬挂于传动链下，到达拍摄位置时进行拍摄，获取红提串的0°、90°、180°及270°共4 个角度的图像。

1.3.2 图像处理及特征参数提取

由于每串红提拍摄的图片有4 个视角，对图片进行特征参数提取时，分别提取4 张图片的特征并均值化处理。

1.3.2.1 果梗面积提取

红提葡萄果实大且质地较硬，紧实度较高的红提果粒之间相互紧靠，暴露在外的果梗面积相对较少。紧实度较低的红提果粒之间由于其果粒的松散，连接果粒与果粒之间的绿色果梗暴露在外的面积相对较多，因此可将果梗面积作为紧实度的衡量指标之一。

为有效提取红提果梗区域，需将红提从背景中提取出来，由于RGB图像果串区域与背景颜色有明显区别，故选择RGB图像作为原始图像进行果梗的提取。

如图2a所示，新鲜红提的果梗呈现绿色，而红提果粒部分则显示为暗红色，以此为依据进行果梗的提取得到图2b。

图2 红提的原始RGB（a）、原始近红外（b）图像Fig.2 Original RGB (a) and NIR (b) images of Red Globe grapes

由于G分量在RGB空间中的占比较大，本研究通过实验发现使用RGB图像分割法[15-17]效果显著，通过对比提取的R、G、B彩色图像分量及归一化后的r、g、b分量，发现使用GB混合色差法能得到较为理想的目标果梗区域，通过GB的色差运算可得到图3a，此时红提果梗区域与背景差异足够明显，经过Otsu阈值算法自动选取出最佳阈值，将灰度图转化为二值图，分离出果梗图像，经观察发现果梗图像中包含许多不属于果梗的小阈值干扰，运用腐蚀膨胀处理运算，除去多余干扰和扩大果梗区域，最终效果如图3b所示，通过比较图3a、b，发现图3b中提取的果梗面积有部分的缺失，为了解决这一问题，通过RG的色差运算得到图3c，经过与图3a相同的操作，得到图3d，对比图3b与图3d，发现两张图片中果梗完整度互补如图3e所示，图中亮白色果梗为两图片共有区域，灰白色果梗为两图片互补区域。进行整合后得到最终红提果梗区域如图3f所示，有效除去干扰。

图3 红提果梗的提取GB色差运算（a）、二值化分离果梗（b）、RG色差运算（c）、二值化分离果梗（d）、果梗互补（e）、果梗（f）的结果Fig.3 Extraction results of GB color difference (a), binary separation of fruit stems (b), RG color difference (c), binary separation of fruit stems (d),complementary fruit stems (e), and fruit stems (f) for Red Globe grapes

1.3.2.2 红提果粒定位

经过大量实际观察与分析，紧实度越高的红提串，由于其果粒之间相互挤压，拍摄后的红提图片在其果串轮廓内可见的果粒个数也越多。反之，紧实度越低的红提由于果粒之间空隙大，拍摄得到的红提果串轮廓内包含的果粒个数少，因此本实验将红提果粒个数与果串面积之比作为红提紧实度的又一衡量指标。

红提果串面积的提取比较简单，提取红提图片的R、G、B彩色分量，归一化后选出果串区域与背景差异最大的图片，二值化后即可得到红提的果串面积大小。为提取红提的果粒个数，则需对红提的果粒进行定位。

近红外图像上红提串的果梗区域亮度较高，在提取果粒中心的操作过程中会造成较大误差，因此需将红提果梗去除，1.3.2.1节中已经完成了果梗区域的提取，只需将提取的果梗区域二值化，取反后与红提的原始近红外图片做乘法运算即可得到去除果梗的效果图，效果图见图4a。可以发现此方法去除果梗区域效果显著，极少几颗葡萄表面存在极小黑点，对后面果粒中心的提取无影响。

图4 红提近红外去果梗（a）、形态学重构（b）、粒心连通域提取（c）、去除干扰（d）、果粒定位（e）图Fig.4 Near-infrared images of Red Globe grapes: removal of fruit stem (a), morphological reconstruction (b), fruit core connected domain extraction (c), interference removal (d), and fruit location (e)

将腐蚀后的图4a作为标记，记为J，以图4a作为掩码记为I，完成形态学修饰，经过腐蚀、膨胀、图像取反和多次形态学修饰得到重构后的图像如图4b所示。

由于一串红提中有很多果粒，找出每粒红提中心，则须将每粒红提分割开，这里采用标记分水岭分割算法，经过对比，使用roberts算子处理图4b构建计算模板，构建开运算结构元素，对图4b进行腐蚀处理，将腐蚀后的结果作为标记，求补后膨胀处理，最后对腐蚀、膨胀的结果进行重建求补即可大致分离出每粒红提中心亮度较高部分的连通域如图4c所示。

观察发现其中的白色规则豆粒状白点为每粒葡萄的中心亮点区，但图4c中同时存在不规则大面积的连通区域，其原因为灯光照射在背景上的不均匀反射，由图4b可知，灯光在图片的中下区域反光较为强烈，同时在拍摄时悬挂葡萄的顶部装置区域同样也引起光源的较强反射。由于采集图片的背景一致，光源的不均匀反射情况相同，因此本图像处理过程中采用自动删除大面积对象的方法，由于每个规则白色豆粒小点的像素介于300～800之间，因此将大于800 像素的连通域删除，得到分布合理的红提果粒中心连通域区域，如图4d所示。通过获取图4d中每个连通域的属性，得到每粒红提果粒的中心，使用红星标注在原始灰度图像中，如图4e所示。1.3.2.3 红提质心定位

红提果粒与红提质心距离之和与果粒个数之比是本实验确立的红提紧实度的重要衡量指标之一。因为红提紧实度越高，红提果粒之间的距离越小，每粒果粒与红提质心的距离也越小，而同时红提越紧实，红提果粒个数越多，此比值也越小。反之，红提紧实度越低每粒果粒与红提质心的距离之和越大，红提果粒个数越多，比值也越大。

对红提质心进行定位。先在去果梗后的红提灰度图片上进行图像的区域边界提取。由于每串红提紧实度的不同，其果梗若暴露面积较小，在边界提取时整串红提果粒区域为一整个连通域，如图5a所示（凹陷区域为果梗去除后区域。图5a、c红色标记点为每粒红提果粒中心点，图5a蓝色标记点为去除果梗后果实区域质心）。如图5b所示，若红提果梗暴露面积过大，暴露的果梗有可能将部分区域的红提果粒隔离开。如图5c所示，对红提进行边界提取后将产生以浅蓝、黄和深蓝色区域所示的连通域。若根据多个连通域寻找红提串质心将会造成多区域质心的情况，且每个连通域均产生各自的质心（不同连通域质心以黑色小点表示），这在后期提取各果粒与质心的距离之和的特征时将造成干扰，为避免这种情况，本研究保留连通域中的最大区域，如图5c中的浅蓝色区域，舍弃黄色和深蓝色区域标记的通区域以保证质心的唯一性。

图5 红提的紧实果串粒心（a）、疏松果串（b）、疏松果串粒心（c）的质心定位图Fig.5 Centroid positioning diagrams for compact bunches (a), loose bunches (b), and fruits in loose bunches

假设每粒红提果粒与红提质心的距离之和为S，则其计算方法如式（1）、（2）所示：

式中：Meva（i）表示第i粒红提中心与质心距离；s（i, 2）、s（i, 1）分别表示第i粒红提位置的横、纵坐标；x、y表示质心横、纵坐标；初始值S0为0，得到每粒果粒坐标位置后S值逐渐累积增大。

2 结果与分析

2.1 紧实度的评判标准

查阅我国现有的国家、行业和地方标准，根据DB 65/T 4298—2020《新疆鲜食葡萄果品质量分级标准》[18]、DB 65/T 2832—2007《红地球葡萄分级标准》[19]发现对果穗紧实度一般以紧实、较紧实和疏松等词定性描述，没有葡萄紧实度的量化指标。根据国际葡萄与葡萄酒组织（International Organization of Vine and Wine，OIV）对葡萄果穗的紧实度的规定[20]，专业人员根据果穗上果粒的分布密度、果粒之间的挤压程度、果粒可摇动性、果穗表面的空隙、穗茎梗干的可见度等方面进行综合评估，给出果穗紧实度分值如下：1 分为最疏松、5 分为较紧实，9 分为最紧实[21]。

本实验将1～3 分归为疏松类别，4～6 分归为较紧实类别，7～9 分归为紧实类别。若果穗中存在大孔洞，颗粒与颗粒之间存在很大间隙，果梗暴露在外的面积大则属于疏松类别。若果穗紧密，果粒之间相互挤压，排列密致，果粒失去原有形状，果穗表面无任何空隙，果梗无外露则属于紧实类别。属于较紧实类别的果穗在疏松与紧实之间。3 类果穗紧实效度果如图6所示。

图6 紧实（a）、较紧实（b）、疏松（c）红提串的效果图Fig.6 Images of very compact (a), compact (b) and loose (c) Red Globe grape bunches

本实验组织10 名专业葡萄园技术人员对红提果穗紧实度进行评价，评判结果作为视觉检测分级模型的对照标准。评价过程分3 步：1）技术人员熟悉2007年OIV发布的相关葡萄紧实度分类规则；2）技术人员对同一批红提进行紧实度得分评判（评分1～9 分）；3）取评判得分平均值作为每串红提最后的得分，1～3 分之间则判定此串红提紧实度为疏松（图6c），4～6 分之间则判定为较紧实（图6b），7～9 分之间则判定为紧实（图6a）。

2.2 紧实度的判别模型

本实验共提取18 组与红提相关的特征，为简化数据量加快模型的运算速率，将这18 组特征数据进行主成分分析，提取排名前5的特征数据（贡献率较高的5 个特征为果粒个数、果梗面积、红提G分量二阶矩、红提果粒与红提质心距离之和与果粒个数之比、果串面积），以之建立模型。

2.2.1 基于线性判别分析的紧实度分类模型

线性判别式分析是一种有效的特征抽取方法[22-23]。常规线性判别模型一般针对2 分类问题，旨在找到一条直线将数据分割开[24-25]，引入到3 分类问题时，基本思路相同，只需引入全局散度矩阵即可。红提串图像降维分类预测效果如图7所示。

图7 线性判别式分析3 分类散点图Fig.7 LDA three-category scattering plot

由图7可知，分布区域区分明显，而较紧实个体与疏松个体的分布有混合情况发生，错判个体主要存在于较紧实部分的红色点，疏松部分的橙色点次之，紧实部分蓝色点错判最少，判断的总体准确率83.1%。

以上3 种类别建模的受试者工作特征（receiver operating characteristic，ROC）曲线及对应的曲线下面积（area under curve，AUC）如图8所示，建立模型的效果可以通过AUC的值判断，一般AUC值越大，表示建立模型效果越好[26-27]。图8中ROC曲线，横轴为假正率（false positive rate，FPR），即实际为负但被错误预测为正与实际为负的比例）；纵轴为真正率（true positive rate，TPR），即实际为正且被正确预测为正与实际为正的比例。AUC即为ROC曲线下的面积[28-29]。被分类为紧实模型的AUC值为0.98（图8a），被分类为较紧实模型的AUC值为0.88（图8b），被分类为疏松模型的AUC值为0.96（图8c），因此此模型具有良好效果。

图8 线性判别式分析模型的紧实（a）、较紧实（b）、疏松（c）红提串ROC曲线Fig.8 ROC curves of the LDA model for (a) very compact, (b)compact and (c) loose Red Globe grape bunches

2.2.2 基于集成学习算法的紧实度分类模型

集成学习算法是集合多个不同的算法和模型创建集成学习器[30-32]。本实验主要集成决策树分类器，K近邻（Knearest neighbors，KNN）分类器对数据进行分类，将130 组数据中的100 组作为实验组，剩余30 组数据作为验证组选择Boosting框架的集成学习算法对数据进行建模。分类效果如图9、10所示。

图9 Boosting 3 分类散点图Fig.9 Boosting three-category scattering plot

如图9所示，红提分类效果相较于线性判别模型的效果更好，因为蓝色紧实点与橙色和红色点分布于不同区域，与线性判别不同的是较紧实的红色点更加集中于区域中部，且错判个体有所减少，其总体的分类准确率达到89.2%。

模型对分类为紧实的样本的AUC的值为1.00（图10a），而分类为较紧实和疏松的样本的AUC的值也达到0.94（图10b）和0.99（图10c），因此建立模型的效果显著。

图10 集成学习算法模型的紧实（a）、较紧实（b）、疏松（c）红提串ROC曲线Fig.10 ROC curves of the ILA model for very compact (a), compact (b)and loose (c) Red Globe grape bunches

2.2.3 基于支持向量机的紧实度分类模型

支持向量机是一类按监督学习方式对数据进行二元分类的广义线性分类器，可较好地解决小样本、非线性、高维度、局部极小点等问题[33-35]。基于支持向量机的紧实度分类效果如图11所示。

图11 支持向量机3 分类散点图Fig.11 SVM three-category scattering plot

从图11可知，3 种类别的数据点相较于前面两种模型数据的集中度更高，红色点比较集中于蓝色点与橙色点之间，模型判别的错误率也有所下降，紧实类别的错判率为0，而较紧实和疏松类别的错判率也大幅下降。

从图12可知，支持向量机模型的显著性效果也十分优越，分类为紧实、较紧实和疏松的红提样本的AUC值均不低于0.97，由图11可知，总体分类的准确率为94.6%。

图12 支持向量机模型的紧实（a）、较紧实（b）、疏松（c）红提串ROC曲线Fig.12 ROC curves of the SVM model for very compact (a),compacted (b) and loose (c) Red Globe grape bunches

2.2.4 模型比较与分析

表1包含3 种建模方式得到红提3 分类的具体预测结果，正确率用以评估模型的预测质量，召回率用以评估模型预测的完整度，其比例越大，说明建模质量越高，对比3 类模型，线性判别分析用时最短，但模型的总体正确率最低，只达到83.1%的正确率。

表1 3 种建模方法分类结果比较Table 1 Comparison of classification results of three modeling methods

集成学习算法的准确率相对有所提升，达到89.2%，且其相比于线性判别分析模型的紧实、疏松类的召回率有较大提升，说明集成学习算法建模的完整度高于线性判别分析，但其训练时间为8.312 4 s，用时过长，这是其最大的不足。

支持向量机建模效果为最佳模型，召回率均高于85%，其中紧实与较紧实的召回率达到97.96%及96.23%，模型的完整度高，其总体分类准确率为94.6%，分类效果同样十分理想，且其训练的时间为2.096 7 s，用时比线性建模略多，但比集成学习算法训练用时少很多。因此综合比较3 种建模方式，支持向量机模型为3 种模型中最优模型。

3 结 论

本实验运用一体化图像采集设备对红提串多方位拍摄，提取红提果梗的面积参数、红提果粒与红提质心的距离之和等特征参数，通过线性判别分析、集成学习算法和支持向量机3 种方法建立红提串紧实度的不同判别模型，支持向量机的模型正确率达到94.6%。本实验所得的紧实度的分类量化标准及理想预测质量的模型，可为红提紧实度分类的标准化提供参考。