基于卷积神经网络的图像处理技术在蓝莓种植中的应用进展

吴立东 夏金安* 朱元宏 陈晨 乔克成 曹福深 潘俊杰

（1 上海工程技术大学数理与统计学院，上海 201620；2 上海青浦现代农业园区发展有限公司，上海 201702）*为通信作者

蓝莓是一种高效的经济作物，在我国多地均有种植，我国蓝莓年产量可达4.74×105t，是当前全球蓝莓鲜果产量最大的国家[1]。近年来，虽然我国在传统农业方面开始了智能化升级与更新，但是蓝莓产业的信息化应用不多，这在一定程度上限制了蓝莓产业的发展与蓝莓产品国际市场竞争力的提升[2]，故亟须探索科学有效的蓝莓产业升级途径。

在信息化领域，20 世纪60 年代，HUBEL 等[3]从动物实验中获得灵感，初步创建了视觉皮层的地图，但在随后的几十年，均未实现技术突破，直到LECUN 等[4]将BP 算法应用于神经网络的训练，才获得了第一个真正意义上的卷积神经网络（convolutional neural network，CNN）。早期的卷积神经网络的识别效果较差，网络训练复杂，直到KRIZHEVSKY 等[5]首次提出使用Alexnet 网络进行模型训练，这大幅改善了网络表达能力。目前，卷积神经网络已成为社会各界的研究热点，且已广泛运用至农作物图像识别领域。因此，为实现我国蓝莓产业的高产、高效发展，将卷积神经网络与机器视觉相结合是蓝莓产业技术升级的一个重要方向。在此背景下，笔者基于卷积神经网络模型的优化，针对蓝莓不同生长阶段，拟系统阐述卷积神经网络模型在蓝莓图像领域的研究进展与应用现状，并在探讨不同技术间差异与共性的同时，论述卷积神经网络在蓝莓产业应用的难题与挑战，以期为进一步利用宏观成像平台测量蓝莓成熟度提供参考。

1 卷积神经网络在蓝莓生长阶段的应用

近年来，随着信息化技术的不断发展，卷积神经网络因其识别精度高等优点受到了越来越多的关注。卷积神经网络结构主要包含输入层、卷积层（又称滤波器）、池化层和全连通层，见图1。通过添加多个卷积层和池化层，可加快运算并使检测的特征更突出。

1.1 在草莓叶片病虫害防治中的应用

在蓝莓整个生长阶段，叶片病虫害是影响蓝莓产量和品质的重要因素之一[6]，在一定程度上制约了蓝莓产业的发展。据统计，受病虫害的影响，全球蓝莓减产30%左右，部分地区减产甚至高达70%[7]，其中，蓝莓花叶病的发生尤为严重，可造成蓝莓减产15%以上[8]。因此，及时发现草莓叶片病虫害并判断出病虫害种类，对保护蓝莓生长和控制病虫害传播至关重要。目前，国内外利用卷积神经网络处理叶片病虫害图像已取得较多的研究成果，但是在蓝莓领域，卷积神经网络模型的应用并不多。分析其原因是，在蓝莓领域，卷积神经网络模型容易受到较多因素的影响，且卷积神经网络模型在实际环境中的泛化能力较差。

为促进卷积神经网络模型在蓝莓叶片病虫害防治中的应用，研究者进行了相关研究：针对传统图像识别在复杂环境中定位不准确、空间复杂度高等问题，WANG 等[9]提出构建一个三线性卷积神经网络模型，使用3 个CNN 流，其中一个用于实现图像识别中的区域检测任务，另外两个分别用于实现作物识别和病害特征提取任务；同时，将区域检测和特征提取相结合，增强模型的泛化能力，测试准确率达84.11%。QU 等[10]使用MobileNet V1 结合多尺度特征提取（MSFE）模块，改进了通道注意机制的特征滤波模块FFM，改善了模型分类能力，测试准确率为99.33%，比MobileNet V1 的测试准确率提高了3.17%。Francis等[11]提出一种具有4个卷积层和2 个全连接层的小型卷积神经网络，该小型卷积神经网络在训练过程中取得了可靠的识别精度，为构建集成化模型提供了思路。随着深度卷积神经网络的不断发展，研究人员根据识别阶段的不同，将算法分为两类，一类是基于候选框的双阶段目标检测算法[12]，如Faster R-CNN、R-CNN、R-FCN等，能够提取目标的高维特征，这类算法虽然精度较高，但是速度较慢，适用于高精度的农作物病害检测；另一类是基于回归的单阶段目标检测算法[13]，如YOLO、SSD 等，这类算法虽然速度快，但是精度较低，不适合复杂背景的图像。迁移学习是蓝莓叶片病害图像识别的重要方法，该网络模型依托大数据集作为载体，通过预训练后，可实现同类图像的高精度分类[14]。谢圣桥等[15]基于迁移学习和数据增强技术，在ResNet 50 模型的基础上，使用亮度变换、旋转、添加高斯噪声等手段，扩充数据集，避免模型过拟合，试验的识别准确率均在96%以上，实现了叶部病害图像的精准分类。综合以上研究结果可看出，随着卷积神经网络的发展，其训练结构越来越复杂，其精确性和效率也越来越好。因此，在卷积神经网络模型在蓝莓叶片病虫害防治的实际应用过程中，可根据实际需求选择合适的卷积神经网络结构，在满足各项检测指标的同时，提高模型速度与精度。同时，运用迁移学习能对现有的卷积神经网络进行进一步的结构优化，改善预训练的参数问题，从而提升现有技术对特定问题的处理能力。

1.2 在蓝莓果园杂草监测中的应用

蓝莓果园的杂草监测是发展智能化果园的新方向。研究发现，蓝莓是多年生根茎植物，故蓝莓不可耕作和轮作[16-17]，再加上蓝莓果园的人工除草成本高昂，故为保障蓝莓的健康生长，蓝莓果园需实施水肥药智能化管理，实现智能化点对点喷洒农药除杂。相关调查表明，有211种杂草可在蓝莓田中生长，杂草种类包括多年生草本蕨类（89 种）、多年生木本类（50 种）、一年生阔叶杂草（24 种）、多年生禾本科杂草（20 种）以及其他种类。

为促进卷积神经网络模型在蓝莓果园杂草监测中的应用，研究者进行了相关研究：ESAU 等[18]研究开发了一种基于绿色分割的斑点识别系统，用来检测蓝莓田地中的杂草，并应用于农用化学品喷雾器，实现了精准施药，与普通喷雾器相比，添加该系统的喷雾器可减少44.5%的农药用量，但是该系统的缺点是无法区分同一种颜色的不同杂草。HENNESSY 等[19]在T.J.ESAU 等的基础上，采用YOLOv3 微型卷积神经网络对蓝莓果园拍摄的两种杂草图像进行了训练，通过优化相机和目标的检测精度，使拍摄的图像产生的F1 分数高达0.97，从而优化了小目标检测性能，这对低功耗的杂草目标检测具有一定的参考价值。MATHIEU 等[20]提出了一种新的除草策略，该方法通过在多光谱无人机图像上集成多分辨率分割，将蓝莓果园分为具有相似光谱特征的片段，并对表现最好的片段进行分类和测试，结果显示，两个调查区域的Kappa 系数值分别为0.90 和0.94，总体准确率分别为95%和97%；同时，MATHIEU 等将航空图像与粒状除草剂喷洒器结合，为蓝莓果园的智能建设提供了新方法。综合以上研究结果可看出，集成多分辨率分割方法有助于去除背景、检测复杂的杂草目标；同时，将其集成到广泛运用的农业设备导航系统中，可在更大范围内改进蓝莓果园杂草检测处理流程的同时，进一步改善蓝莓生长环境，提高蓝莓品质。

1.3 在蓝莓果实成熟度识别中的应用

蓝莓果实成熟高峰期只有短短几天，随着果实的成熟，浆果会从绿色变为粉色，再变为红色，最后变成蓝色或黑色[21]。在机械化采摘时，蓝莓果实成熟度的测定是收获的关键步骤，采收过熟的蓝莓果实会增加浆果软化的风险，然而传统的目视判断往往费时费力。

为促进卷积神经网络模型在蓝莓果实成熟度识别中的应用，研究者进行了相关研究：古文君[22]运用RGB、HSV、Lab 模型提取颜色特征值，分别构建了PLS、BP、SVM 分类模型，判别分析蓝莓果实成熟度，其中，根据RGB 颜色特征建立的BP 分类判别模型的性能最好，综合判别准确率为78.89%。针对蓝莓果实成熟度难以识别的问题，朱旭等[23]通过改进Faster R-CNN 算法，设计了一个可对不同成熟度的蓝莓果实进行精准识别分类的模型，该模型采用WOA 算法优化训练参数后，可将原始图像的特征进行提取，并将特征图与RPN 网络以及目标区域的池化网络进行共享，实现了蓝莓图像背景的有效消除，对蓝莓果实的成熟度识别准确率达94.67%，比DPM 算法高20.00% 左右，Faster R-CNN 模型结构及蓝莓果实的识别过程见图2。王立舒等[24]采用一种带有注意力模块的目标检测网络（I-YOLOv4-Tiny），有效解决了蓝莓果实图像背景复杂等问题，即在YOLOv4-Tiny 的特征金字塔中加入卷积注意力模块后，根据每个通道的特征进行权重分配，从而加强了网络结构深层信息的传递，I-YOLOv4-Tiny 在遮挡与光照不均等复杂场景中，平均精度达96.24%，平均检测时间为5.723 MS，满足了蓝莓果实成熟度识别的精度与速度需求。针对蓝莓果实目标较小、识别难度较大等问题，CRAIG 等[25]基于深入学习卷积神经网络模型，开发了6 个用于检测蓝莓果实成熟期的网络模型（即YOLOv3 、YOLOv3-SPP、YOLOv3-Tiny、YOLOv4、YOLOv4-Small、YOLOv4-Tiny），并设计了3 类模型（绿色浆果、红色浆果、蓝色浆果）的浆果识别系统，测试结果见表1。由表1 可看出，YOLOv4和YOLOv4-Small 的检测效果最佳，其mAP50 分别为79.79%和79.53%，但是，所有网络模型中与红色浆果相关的均得到较低的分数。为提高模型的可靠性，CRAIG 等随后将红色和绿色合并为一个类别（未成熟的浆果），结果表明，未成熟浆果的mAP50 优于单独分析3 类模型的浆果，合并后的2类模型测试结果见表2。比较表1和表2的结果可看出，用YOLOv4 训练的2 类模型的准确性和精确度表现较好，其中，3 类模型（绿色浆果、红色浆果、蓝色浆果）的mAP50 为79.79%，2 类模型（成熟浆果、未成熟浆果）的mAP50 为88.12%，说明2类模型在mAP50 方面有较大改善。该研究结果为部署蓝莓成熟度相关检测软件提供了基础。

图2 Faster R-CNN 模型结构及蓝莓果实的识别过程

表1 3 类YOLO 模型mAP50 的平均精度统计

表2 2 类YOLO 模型mAP50 的平均精度统计

2 结论与讨论

近年来，在蓝莓的叶片病虫害识别、果园杂草监测和果实成熟度识别等领域，利用卷积神经网络进行了技术革新，且卷积神经网络与蓝莓产业发展有较高的契合度。但是，目前在上述领域中基于卷积神经网络的相关研究仍面临较多的困难和挑战。

针对图像检测的重要研究领域需构建更大的数据集、更合理的样本预处理方式以及更有效的数据增强策略，笔者通过对比文中部分分类模型的优缺点，认为可从以下3 个方面探讨解决思路：（1）组建公共开源的大型样本数据集供研究人员使用，弥补图像资源不足等问题。（2）训练更科学的非线性函数神经网络，优化相关预处理方式使训练的模型更具代表性。（3）从有限的资源中提取更多信息，实现小样本的数据增强策略。

虽然卷积神经网络在蓝莓图像相关领域的优势与挑战并存，但是这并不影响卷积神经网络在该领域的进一步应用与发展。笔者通过对比文中不同模型的优缺点，提出以下建议：（1）数据增强。已有的研究表明，图像识别所需的数据集并不完整，在缺乏所需的大数据集情况下，数据增强可大幅改善模型的识别能力。传统的数据增强方式一般是对图像进行平移、裁剪以及翻转等处理，现阶段由于缺乏病害区域的图像自动生成技术，故大多采用迁移学习等方式人工生成更多的训练图像，从而增强复杂背景下模型的泛化能力。（2）图像分割。图片背景、光照、遮挡等因素严重影响了图像的准确识别，而传统的机器视觉无法从复杂的背景下提取到所需的图像特征，若能设计出一个可靠的图像分割技术来分割背景与目标，就能解决因背景相近无法识别的问题，从而有效提高模型的识别精度。（3）算法精度。算法精度越高，越能识别出无法注意到的细微差异。目前，大多研究是通过迁移学习、增加层数以及增加训练轮次来增强模型的学习能力，然而减少图片的颜色通道也可达到同样的效果，若模型中的颜色是次要因素，可以考虑通过HSV 和Lab 来提高算法精度。（4）相似特征。当需要识别的图像特征在视觉上高度相似时，可通过对图像的纹理、形状和空间关系等特征进行识别，并采用直方图等方式进行对比，例如利用平均哈希算法(aHash)和感知哈希算法(pHash)，可以有效地对相似特征进行区分。但是，目前这种相似特征的识别过程在蓝莓产业还未见报道。

3 结束语

随着信息化时代的到来，计算机的应用范围越来越广泛，就目前来说，结合卷积神经网络的图像处理技术在农业信息化发展过程中取得了较大突破，大大提高了蓝莓产业的经济效益。为促进卷积神经网络在蓝莓产业的进一步应用，需实施以下措施：（1）快速定位植株病害的范围。未来可建设更多的蓝莓研究基地，弥补现阶段卷积神经网络技术在该产业的应用数据集匮乏的难题，做到快速定位病害植株的区域，并探索出更多高效的数据处理方法，实现在育种、补给以及运输等领域的突破，从而实现全产业的技术革新。（2）实现产业链信息的智能化融合管理。目前的图像处理功能单一、模块间信息不互通，下一步的研究可以综合其他智能技术进行全产业领域多源信息融合，提升模型的综合能力。（3）兼顾软硬件的协调发展，实现设备的集成化和小型化应用。云端的大数据集训练和评估，测试图像中数据的视角、规模、清晰度、尺寸、相机属性配置等均需要更强大的计算资源，故如能尝试全数据链融合，将对设备的小型集成化产生重大影响。