基于深度学习的蓝莓成熟度预测

李竹 牟昌红 嵇康轩 王波

摘要  蓝莓果实成熟度的人工分级技术效率低、准确性有限，不能滿足市场需求。为了提高蓝莓成熟度检测的准确性，提出了一种基于深度学习的蓝莓成熟度预测方法，从而预测出不同成熟阶段的蓝莓果实。针对7个不同成熟阶段的蓝莓果实，利用VGG 16神经网络，提取果皮颜色特征建立模型。结果表明，该方法对不同成熟阶段蓝莓果实的预测准确率分别达到了97.65%、93.94%、97.02%、100%、80.56%、83.62%、95.21%。该方法建立的模型对蓝莓成熟度的预测较为精细，覆盖了从盛花期50 d开始至完全成熟全过程，充分利用深度学习网络的分类能力，提高了对蓝莓果实成熟度的预测，为实现蓝莓果实无损检测技术提供理论依据。

关键词  蓝莓；成熟度检测；深度学习；VGG 16

中图分类号  S 126   文献标识码  A   文章编号  0517-6611（2023）05-0232-05

doi： 10.3969/j.issn.0517-6611.2023.05.053

开放科学（资源服务）标识码（OSID）：

Prediction of Blueberry Maturity Based on Deep Learning

LI Zhu1，MOU Chang-hong2，JI Kang-xuan1 et al

（1.College of Architecture，Soochow University，Suzhou，Jiangsu 215000;2.Chinese Academy of Forestry Sciences，Beijing  100000）

Abstract  The artificial grading technology of blueberry fruit maturity is low in efficiency and limited in accuracy，which can not meet the market demand.In order to improve the accuracy of blueberry maturity detection，a blueberry maturity prediction method based on deep learning was proposed，which could predict blueberry fruits at different ripening stages.VGG 16 neural network was used to extract peel color characteristics of 7 blueberry fruits at different ripening stages to establish models.The results showed that the prediction accuracy of blueberry fruits in different ripening stages reached 97.65%，93.94%，97.02%，100%，80.56%，83.62% and 95.21%，respectively.The model established had a relatively fine prediction of blueberry maturity，covering the whole process from 50 d of flowering to full maturity.The classification ability of deep learning network was fully utilized to improve the prediction of blueberry fruit maturity，providing theoretical basis for the realization of non-destructive testing technology of blueberry fruit.

Key words  Blueberries;Maturity detection;Deep learning;VGG 16

蓝莓为杜鹃花科越橘属植物，果实中含有大量的花青素和类黄酮等物质，具有增强人体免疫力、防止心血管疾病、延缓衰老等功效。随着生活水平的提高，人们对蓝莓消费需求不断增加，如何快速识别蓝莓成熟度，以适应运输、保鲜、口感等要求成为亟须解决的问题。蓝莓果实小，个体差异小，人工采摘难度大且效率较低，难以对不同成熟阶段的蓝莓进行准确分级［1］。因此，开发高效、无损、经济的成熟度检测方法，不仅能够提高对蓝莓果实的分级，满足蓝莓生产的需要，也为蓝莓采摘机器人的研制提供了理论依据。

果皮颜色是衡量果实成熟度的重要指标之一。在蓝莓成熟过程中，果实内源激素和可溶性糖含量增加，叶绿素分解速度加快，合成受阻，叶绿素和类胡萝卜素含量降低，花青素不断积累，颜色会相应地发生变化，从最初的绿色，逐步转变为红色，最后呈蓝色［2］。因此，根据果皮颜色预测蓝莓成熟度是一种可行的方式。目前，通过果皮颜色预测果实成熟度主要借助光特性无损检测技术和计算机视觉无损检测技术。光特性无损检测技术包括高光谱图像检测技术、近红外光谱技术等。例如，李丽丽等［3］利用高光谱图像信息对未熟、半熟、成熟和过熟的李果实进行分析，比较不同彩色图像模型中的颜色特征值，建立了RGB-HSV-PLS 成熟度预测模型。张静等［4］通过近红外光谱技术，对葡萄成熟度和果实品 质进行预测。计算机视觉无损检测技术主要利用典型视觉技术、机器学习技术、深度神经网络等，如岳有军等［5］改进级联卷积神经网络，成功将番茄成熟度预测率提高2百分点；贺付亮等［6］建立视觉显著性和脉冲耦合神经网络，改善成熟桑葚识别困难的问题。在针对蓝莓成熟度检测方面，国外起步较早，对预测模型的研究较为深入，如Tan等［7］应用HOG特征与颜色特征对同一区域内不同成熟度蓝莓进行识别与计数，对成熟果实预测率达到96.0%；Ni等［8］使用计算机图像分割方法对蓝莓图像进行处理，提高蓝莓预测过程中目标检测的准确率。这些研究侧重于对小体积实验对象的目标检测上，即如何更好地改善识别模型。国内这一领域的相关研究尚未形成完整的框架，对蓝莓成熟度的研究多局限于未熟、半熟、成熟3种成熟状态，不能对整个成熟过程进行全面把控。马淏等［9］利用高光谱成像技术对成熟、近成熟、未成熟蓝莓进行识别，正确率分别达到了96.1%、94.7%、 91.2%。王立舒等［10］建立YOLOv4-Tiny模型，结合卷积注意力模块，对成熟蓝莓的预测准确率高达97.3%。但也有研究表明，从果皮颜色判断果实成熟度虽然可行，但在成熟后期，果皮颜色变化不明显，成熟程度更多体现在果实个体大小上，因此不能仅从果皮颜色判断果实成熟度。

近5年的研究显示，深度学习在果实成熟度检测中的应用越来越多。深度学习是一种特殊的机器学习，能够通过学习在输入的数据中寻找规律，对未知数据进行预测。这一技术在图像识别、风险预测、自然语言处理等领域取得了很多成果，常用的模型有VGGNet、GoogleNet、Xception、MobileNet、ShuffleNet、GhostNet、AsymmNet等。其中，VGGNet作为卷积神经网络中经典的图像分类模型，在图像识别领域具有很大潜力。通过深度学习，可以有效减少主观因素对果实分级的影响，这在百香果［11］、刺梨［12］、枸杞［13］、番茄［14］等果实上都已被证明。但目前，针对蓝莓的深度学习案例较少。因此，为了更高效地识别蓝莓成熟度，笔者基于深度学习，利用VGG 16神经网络将蓝莓的成熟阶段进一步细分为7个阶段，从盛花期50 d开始，每10 d采样1次，直至果实完全成熟，共采样7次，检测蓝莓果实在7个不同成熟阶段的表皮颜色，建立蓝莓成熟度预测模型，测量和分析各阶段果实的纵横比与鲜重，旨在解决蓝莓果实成熟度难以人眼识别的问题，提高蓝莓分级的准确性。

1 材料与方法

1.1 样本采集

供试品种为梯夫蓝，由苏州御湖园农业科技有限公司提供。随机挑选长势一致且健康的5年生蓝莓植株，于盛花期50 d后开始采样，依据成熟度依次分为7个阶段，直至果实完全成熟。每10 d采样1次，分东、南、西、北4个方向随机采集，每次采样150颗，共采样7次。图1为7种成熟阶段的蓝莓样本图像。

1.2 外部指标测定    将采摘后的蓝莓果实冷藏保存并迅速运回实验室进行相关指标的测定。果实鲜重用千分之一天平称量，果实纵径和横径用游标卡尺进行测量，并计算果形指数（纵径/横径）。

1.3 数据采集

蓝莓图像采集在自然光照条件下，用EOS 550D相机在蓝莓果实1 m左右拍摄，图像分辨率为5 481×3 456，以.jpeg格式保存。为增加数据集丰富度，使网络能够适应更多的场景，数据集包含不同遮挡程度和光照条件下的蓝莓图像，同时对蓝莓图像进行旋转、缩放、镜像等多角度处理。图像样本共3 000幅，其中轻微遮挡图像样本1 800幅，重度遮挡图像样本450幅，逆光图像样本750幅。按8 ∶ 2比例隨机分为训练集和测试集，数据分布如表1所示。

1.4 图像预处理与蓝莓识别

预处理的主要目的是让计算机更快、更精准地识别出图像中的蓝莓主体，便于后续的神经网络训练。如图2所示，从上到下分别代表不同成熟度，从左到右分别代表原始图、蓝莓位置的掩码图像、蓝莓样本区域图、最终样本图。

观察和初步识别结果显示，在蓝莓的7个成熟阶段中，第1阶段蓝莓果实偏绿，与背景色较为相近，在计算机识别过程中，通常会和背景树枝、树叶一同被识别，准确率较低。因此，在图像预处理时，将7个成熟阶段分为2部分，阶段1为一部分，阶段2～7为一部分，分别进行检测。

首先将颜色空间从RGB转换到HSV，通过色度（Hue）更快地将蓝莓果实区域识别出来。同时在HSV颜色空间下，可以减少光照对图片的影响，有利于排除干扰因素对识别准确率的影响。 通过色度选出除了绿色之外的所有颜色，即将成熟阶段2～7的蓝莓筛选出来，因为只有第1阶段的蓝莓呈现出绿色，而这一特征也可以被神经网络学习到，因此可以将阶段1的蓝莓图像筛选出来。选出蓝莓主体后，通过模糊图像，对图像进行降噪处理，得到蓝莓位置的掩码图像。

通过观察蓝莓位置掩码图片，可以发现图中残留一些叶片或枝干的边缘，蓝莓的中心区域不太完整，为了弥补上述缺陷，分别进行图像的腐蚀与膨胀操作。图像腐蚀可以消除细小的边缘地带，如树叶边缘，图像膨胀可以将部分小区域填充完整，从而得到一个较为完整的蓝莓区域，经过这一步处理后，得到蓝莓样本区域图。最后使用边缘识别算法，选出其中面积最大的区域作为目标蓝莓区域，将这部分裁剪下来作为后续的神经网络输入。

1.5 VGG 16网络

VGG 16共有16层，包括13个卷积层，5个池化层，3个全连接层，不包括激活层。对输入图像的默认大小是224×224×3，其网络结构如图3所示。

由图3可知，conv为卷积层，使用3×3的卷积核、长度为1的卷积步长进行局部特征提取，公式如下：

y=z（W*Matrix+Bias）

式中，y为卷积层输出结果，W为卷积核，Matrix为灰度图矩阵，*为卷积运算，Bias为偏置值。

maxpooling为最大池化层，大小为2×2，对卷积操作后提取的特征信息进一步提取，进行降维处理，降低计算难度，公式如下：

fpooling=MAX（Xm，n，Xm+1，n，Xm，n+1，Xm+1，n+1）（0≤n≤N，0≤m≤M）

式中，M为输入图像二维向量的长，N为输入图像二维向量的宽。

FC为完全连接层，对数据集进行分类。使用交叉熵损失作为损失函数，公式如下：

L=-［ylogy′+（1-y）log（1-y′）］

式中，y为真实标签值（正类值为1，负类值为0），y’是预测的概率值（y∈（0，1））。

模型的使用过程为：经64个卷积核的卷积处理2次，后进入池化层pooling；再经128个卷积核的卷积处理2次，后进入池化层pooling；再经256个卷积核的卷积处理3次，后进入池化层pooling；再经512个卷积核的卷积处理3次，后进池化层pooling，该过程重复2次。完成后，连接3层全连接层。

2 结果与分析

2.1 蓝莓果实外部指标比较

2.1.1    不同成熟阶段果形指数。由图4可知，蓝莓果实的果形指数整体上呈初期波动大、中后期平缓的趋势。阶段1～4期间波动较大，从0.825下降至0.688，后上升至0.803，最后下降，纵横比最高达到0.825，最低为0.667，最高值约为最低值的1.2倍。阶段4～7期间，纵横比趋于稳定，纵横比平均值约为0.700，最低值0.667，最高值0.733，均在平均值附近波动。

2.1.2    各成熟阶段果实鲜重。由图5可知，随着蓝莓果实成熟度不断增加，果实鲜重不断增加，各阶段间差异显著。在成熟阶段1时鲜重最低，为0.506 g。阶段2～4果实鲜重增速最快，果实鲜重由0.644 g增加至1.017 g，后增速放缓。阶段5～6增速最低，果实鲜重由1.129 g增加至1.222 g。至阶段7完全成熟时果实鲜重达到1.376 g，约为阶段1的2.7倍。

2.2 不同成熟阶段蓝莓果实识别准确率比较

使用预训练好的VGG-16网络作为基本结构。修改其中的分类层，根据成熟度分级需求，分为1～7共7个类别，使用交叉熵误差函数进行训练。在图像预处理步骤中得到的3 000张蓝莓图像，根据8 ∶ 2的比例划分出训练集和测试集，在Google Colab提供的计算平台上进行训练，迭代次数为100。得到7个成熟阶段蓝莓果实预测准确率。

从表2可以看出，成熟阶段1正确识别个数166个，误识别个数4个，识别准确率为97.65%，比平均准确率高约4百分点，准确率较高，该阶段果实颜色为绿色。成熟阶段2正确识别个数155个，误识别个数10个，识别准确率为93.94%，在各成熟階段识别准确率中属于平均水平，该阶段果实颜色由绿色向白色转变。成熟阶段3正确识别个数163个，误识别个数5个，识别准确率为97.02%，准确率较高，略低于成熟阶段1，该阶段果实颜色呈淡粉色。成熟阶段4正确识别个数173个，误识别个数0，识别准确率高达100%，是预测准确率最高的一个成熟阶段，该阶段果实颜色较为均匀，为红色。成熟阶段5正确识别个数145个，误识别个数35个，识别准确率仅为80.56%，是识别准确率最低的一个阶段，该阶段果实开始变紫。成熟阶段6正确识别个数148个，误识别个数29个，识别准确率为83.62%，识别准确率较低，果实颜色由紫色向蓝色转变。成熟阶段7正确识别个数159个，误识别个数8个，识别准确率为95.21%，预测准确率较高。成熟阶段7即为完全成熟阶段，果实转变为蓝色，且逐步加深形成深蓝色。

3 讨论

在该研究中，成熟阶段1的识别准确率达到97.65%，这主要是因为在目标检测阶段将阶段1和阶段2～7分开识别的原因。类似研究中，Liu等［15］利用Cr-Cb颜色空间识别柚子成熟度，其中未成熟绿果的识别效果明显低于其他果实识别效果。对绿果识别准确率低主要因为绿果与环境颜色相似，计算机在识别过程中，常会出现将背景物体一同识别为蓝莓的现象，甚至有时会直接将环境中其他因素识别为果实，而没有检测到果实的真实位置。当果实被遮挡后，识别难度加大，效果更加不理想。Tan等［7］建立的模型能够很好地对果实进行识别与计数，但该方法对被遮挡果实无法有效识别，识别速度较慢。因此，如何降低环境的干扰，增加绿果的检测精度是建立完善的蓝莓果实成熟度预测体系的一大难题。尤其是在果实成熟阶段果皮颜色会多次呈现绿色时，如何更好地将各绿果阶段区分开、将绿果与背景区分开还需要进一步探讨。

成熟阶段4的测试蓝莓共173个，正确识别个数173个，识别准确为100%。在该研究的多次试验中，成熟阶段4的预测准确率均为100%，较为稳定。但在类似文章中鲜少出现100%的预测率，如李丽丽等［3］对李果实成熟度的研究，其预测准确率在同类文章中属于较高水平，为98.4%，未达到100%。100%准确率意味着该模型可以精准预测该成熟阶段蓝莓果实。综合各成熟阶段蓝莓图像特征和识别精度，可以看出系统对该成熟阶段预测准确率较高的原因可能有以下2个原因：一是该成熟阶段的蓝莓果实色泽均匀，呈现为红色，系统对果实的识别没有其他颜色的干扰，因此目标检测精度高、机器学习的效果较好；二是该阶段果实和其他成熟阶段果实颜色差距较明显，因此能够准确将该分类下的蓝莓果实定位到相应的组别中。

成熟阶段5和6的识别准确率相近，分别为80.56%和83.62%，均没有超过85.00%，识别准确率较低。这说明机器在学习过程中，对这2个阶段蓝莓果实的特征把握有待提高。这可能存在以下2个原因：①成熟阶段5和6的蓝莓果实颜色较为接近，没有特别明显的差异特征，因此2个阶段的识别准确率均偏低。②成熟阶段5～6期间，随着蓝莓果实的不断成熟，果实纵横比有所下降，由0.707降至0.683，果实出现膨大，这与邵姁等［16］研究中布吉里特蓝莓的纵横比变化趋势类似，在果实即将完全成熟时，纵横比会出现略微下降的现象，最终上升达到稳定。阶段5和6间的果实鲜重有显著差异，增加了0.093 g，说明该时期内，果实外观差异逐步由颜色间的差异转变为果实个体体量间的差异。果实颜色变化幅度减小，鲜重增加，纵横比下降，果实形状更加饱满。

4 结论

通过计算机深度学习技术，基于蓝莓果实颜色特征，对果实成熟度进行预测，不仅将果实成熟阶段细分为7个阶段，覆盖了盛花期后果实颜色变化的全过程，同时辅以果实外部形态变化及鲜重加以分析。在图像预处理阶段，为了提高计算机对绿色果实的识别准确率，将整个成熟阶段分为两部分提取颜色特征。结果表明，该模型对各阶段蓝莓果实成熟度预测准确率达到97.65%、93.94%、97.02%、100%、80.56%、83.62%、95.21%。该结果较为满意，尤其对成熟阶段1、3、4、7的预测准确率较高，基本能够满足生产需求。

参考文献

［1］  MU C H，YUAN Z B，OUYANG X Q，et al.Non-destructive detection of blueberry skin pigments and intrinsic fruit qualities based on deep learning［J］.Journal of the science of food and agriculture，2021，101（8）：3165-3175.

［2］ 刘娟，周长富，龚碧涯，等.8个蓝莓品种果实成熟规律和品质研究［J］.湖南农业科学，2021（1）：15-19.

［3］ 李丽丽，王斌，张学豪，等.基于高光谱图像信息的李果实成熟度判别［J］.现代食品科技，2017，33（12）：228-232，144.

［4］ 张静，徐阳，姜彦武，等.近红外光谱技术在葡萄及其制品品质检测中的应用研究进展［J］.光谱学与光谱分析，2021，41（12）：3653-3659.

［5］ 岳有军，孙碧玉，王红君，等.基于级联卷积神经网络的番茄果实目标检测［J］.科学技术与工程，2021，21（6）：2387-2391.

［6］ 贺付亮，郭永彩，高潮，等.基于视觉显著性和脉冲耦合神经网络的成熟桑葚图像分割［J］.农业工程学报，2017，33（6）：148-155.

［7］ TAN K Z，LEE W S，GAN H，et al.Recognising blueberry fruit of different maturity using histogram oriented gradients and colour features in outdoor scenes［J］.Biosystems engineering，2018，176：59-72.

［8］ NI X P，LI C Y，JIANG H Y，et al.Deep learning image segmentation and extraction of blueberry fruit traits associated with harvestability and yield［J］.Horticulture research，2020，7（1）：1399-1412.

［9］ 马淏，张开，金鑫，等.基于高光谱成像技术的蓝莓果实成熟度识别研究［J］.中国农业科技导报，2020，22（2）：80-90.

［10］  王立舒，秦銘霞，雷洁雅，等.基于改进YOLOv4-Tiny的蓝莓成熟度识别方法［J］.农业工程学报，2021，37（18）：170-178.

［11］ 唐熔钗，伍锡如.基于改进YOLO-V3网络的百香果实时检测［J］.广西师范大学学报（自然科学版），2020，38（6）：32-39.

［12］ 闫建伟，赵源，张乐伟，等.改进Faster-RCNN自然环境下识别刺梨果实［J］.农业工程学报，2019，35（18）：143-150.

［13］ 朱永宁，周望，杨洋，等.基于Faster R-CNN的枸杞开花期与果实成熟期识别技术［J］.中国农业气象，2020，41（10）：668-677.

［14］ 刘芳，刘玉坤，林森，等.基于改进型YOLO的复杂环境下番茄果实快速识别方法［J］.农业机械学报，2020，51（6）：229-237.

［15］ LIU T H，EHSANI R，TOUDESHKI A，et al.Identifying immature and mature pomelo fruits in trees by elliptical model fitting in the Cr-Cb color space［J］.Precision agriculture，2019，20（1）：138-156.

［16］ 邵姁，李永强，张真真，等.基于色度分析的蓝莓果实采收标准研究［J］.浙江师范大学学报（自然科学版），2016，39（1）：65-69.