基于预训练CNN模型深度特征融合的苹果叶片病害检测

摘要 探讨了采用预训练的卷积神经网络（CNN）模型，如GoogLeNet、VGGNet和EfficientNet，作为特征提取器对苹果叶片病害检测准确率的影响。通过结合这3个CNN模型导出的深度特征，实现了深度学习特征的组合，使用提取的深度特征训练了支持向量机（SVM）分类器。结果表明，所有CNN模型都能以显著的准确率使用深度特征提取并检测出苹果叶片病害，整体分类准确率达到了99.42%。此外，该研究还提出了一种基于改进深度学习的方法，通过结合3个CNN模型的深度特征，进一步提高了预测性能。该方法在苹果叶片病害检测中表现出色，并有望应用于其他植物叶片的病害检测。该研究为植物病害的自动识别提供了一种有效的方法，有助于农业生产的智能化和精准化。

关键词 苹果叶片病害；卷积神经网络；深度特征提取；支持向量机；病害检测

中图分类号 S-058 文献标识码 A 文章编号 0517-6611（2024）23-0216-04

doi：10.3969/j.issn.0517-6611.2024.23.047

Detection of Enhanced Apple Leaf Disease Using Fused Deep Features from Pre-trained CNNs

ZHANG Zheng-feng， GAO Feng

（Xuzhou Vocational College of Bioengineering， Xuzhou， Jiangsu 221006）

Abstract A comprehensive examination of the application of pre-trained Convolutional Neural Networks （CNNs） was discussed， such as GoogLeNet， VGGNet and EfficientNet in detecting apple leaf diseases and pests. By addressing the limitations and gaps in existing research， we focused on enhancing detection accuracy by leveraging deep features extracted from these CNN models. The methodology involved the fusion of deep features obtained from the final fully connected layers of the CNNs， followed by the training of a Support Vector Machine （SVM） classifier. Results showed that all the CNN models demonstrated significant accuracy in detecting apple leaf diseases using deep feature extraction， achieving an overall classification accuracy of 99.42%. Furthermore， an improved deep learning approach was introduced which combined the deep features from the three CNN models， further boosting predictive performance. The methodology exhibited promising results in apple leaf disease detection and had potential applications in detecting diseases in other plant leaves. This research contributed to the development of automated and precise plant disease identification techniques， paving the way for intelligent and targeted agricultural production.

Key words Apple leaf diseases;Convolutional Neural Networks （CNNs）;Deep feature extraction;Support Vector Machine （SVM）;Disease detection

基金项目 中国高校产学研创新基金项目“基于VR的互联网-红色旅游应用研究-以淮海战役烈士纪念塔园林景区为例”（2022IT061）。

作者简介 张正风（1980—），男，江苏徐州人，副教授，硕士，从事软件工程和软测量技术研究。*通信作者，副教授，硕士，从事动物繁殖和遗传育种研究。

收稿日期 2024-04-03

苹果作为全球公认的种植最广泛的水果之一，因其营养价值和产量高而受到人们的喜爱，但是苹果同样不能免受病害的普遍影响，这对农业产量和质量构成了重大威胁［1］。尽管植物保护专家采用了传统的视觉检查方法来检查植物病害，但这种方法既耗时又往往不准确［2］。在蓬勃发展的精准农业领域，对能够提供速度和准确性的计算机辅助病害检测系统的需求越来越高。

在利用基于传统机器学习技术的研究中，苹果叶片病害的识别已取得了重大进展，如支持向量机、随机森林、BP神经网络、主成分分析等。邹永杰等［3］对苹果叶片图像的定向梯度直方图和局部二元化图形进行特征提取，同时使用SVM分类器对其进行分类，其准确率达到98.49%。研究人员使用改进的均值漂移Mean-Shift 算法对3种常见苹果叶片病害病斑进行分割［4］，并提取病斑图像的4个颜色特征和7个基于和差直方图的特征作为分类特征，通过计算欧式距离进行分类，准确率可达96%。然而，传统机器学习模型的成功严重依赖于所选特征和必要的分割，这往往限制了最佳分类结果。

在利用基于机器学习技术的研究中，苹果叶片病害的识别已取得了重大进展。“深度学习”描述了一种能够在多个处理层上学习输入表示的模型［5］。与传统机器学习技术不同，深度学习促进了直接数据分析，消除了对特征提取的需求。深度学习在植物病害识别中的应用已得到广泛研究。丁睿柔［5］针对苹果叶片病害，改进了ResNet18网络，通过添加通道与空间注意力机制以及特征图随机裁剪分支，优化了网络性能。龙阳等［6］针对苹果叶片病害在复杂环境下出现的多尺度病斑识别和定位不准确等难题，并提高对小目标病害特征的识别能力，提出了一种基于改进YOLO的苹果叶片病害检测算法。研究人员提出了基于改进Faster R-CNN的苹果叶片病害识别方法，能够在实际场景中进行无损测量识别，平均精度均值达到86.2%［7］。

鉴于此，笔者探讨了采用预训练的卷积神经网络（CNN）模型，如GoogLeNet、VGGNet和EfficientNet［8］作为特征提取器对苹果叶片病害检测准确率的影响。通过结合这3个CNN模型导出的深度特征，实现了深度学习特征的组合，使用提取的深度特征训练了支持向量机（SVM）分类器。

1 图像数据集与研究方法

该研究数据取自已公开的AppleLeaf9数据集，该数据集是从PlantVillage、ATLDSD、PPCD 2020 和PPCD 2021 中融合得到的［9］。这个数据集汇集了不同来源的图像，使得所提出的算法能够识别出更多种类的苹果叶部病害，尤其是在野外环境下也能表现出色，增强了模型在应对环境变化时的鲁棒性。数据集中经过人工筛选的图片数据包括链格孢叶斑病408张、褐斑病381张、蛙眼叶斑病360张、灰斑病339张、花叶病371张、白粉病410张、锈病361张、黑星病370张，共计8种病害3 000张图片，图片尺寸为256×256像素，所有图片均为JPEG格式。图1展示了该集合中的一些代表性的健康和患病苹果叶片图像。

该研究中CNN架构（如GoogLeNet、VGGNet和EfficientNet）的输入图像分辨率都为224×224像素，并且所有图像都缩放到相应的尺寸。使用的所有模型都通过留出验证技术（hold-out validation）进行了头对头（head to head）比较。数据集已按照训练集与测试集4∶1的比例进行了划分。所有模型都使用相同的一组准备图像和测试图像。表1列出了数据集的分类、病害名称、按分类划分的样本大小以及用于训练和测试的总图像数量。

1.1 特征提取与模型融合策略

卷积神经网络（CNN）的目的是在最小化人工特征工程的情况下自动从数据中学习有用的表示。CNN框架主要由2部分组成。第1部分包括卷积层、应用非线性激活函数和池化层，它们共同工作以从输入数据中提取有用的特征表示［10］。第2部分由全连接层和Softmax层组成，负责将提取的特征映射到具体的类别标记上。

卷积层的滤波器能够揭示数据内部的空间联系，这是其强大之处。由于滤波器权重是共享的，因此可以实现更高效的过滤。当输入数据中存在大量相同的特征实例时，学习过程不会受到影响。卷积操作的结果是加权和，随后通过激活层消除线性依赖［11t1h6tTHwkZnmOUKAyeoZIA==］。该研究选择使用线性整流单元（ReLU）作为激活函数，而不是双曲正切或Sigmoid等其他函数。ReLU函数将负值置为0，从而生成特征图。接下来，对数据进行池化处理以进一步减小其尺寸，可以选择最大池化或平均池化。卷积操作的次数由多个超参数决定，如输入大小、滤波器大小、步长和填充等。最后，数据被传递到全连接层，该层的作用是整合之前学到的特征。根据设计需求，可能存在1个或多个全连接层。最后一层全连接层将数据传递给Softmax层，Softmax层会计算出所有特征对应各个类别的概率，从而构建模型的预测结果。最终全连接层的输出数量与输入数据中的类别数量相等。

迁移学习是指使用与所研究问题类似任务训练过的模型的过程［12］。在这一过程中，深度特征提取器会采用一个已经训练好的CNN模型，并直接应用其默认参数（即权重），而不做任何额外的调整。随后，针对新引入的分类任务，采用支持向量机（SVM）等分类算法进行处理。这种方法的核心在于，利用预先训练好的CNN架构来为新的问题域提取有效特征。

GoogLeNet以其独特的Inception模块而广受赞誉，该模块通过多尺度卷积核的组合提升了网络的表达能力，并在减少参数数量的同时保持了出色的性能［13］。VGGNet则以其深度堆叠的小卷积核而著称，这种设计使得网络能够提取到丰富的特征信息，为图像识别等任务提供了强大的支持。而EfficientNet则通过一种全新的复合缩放方法，均衡地调整网络的深度、宽度和分辨率，实现了在保持高性能的同时，大幅降低了模型的计算成本。这3个网络结构各具特色，均为深度学习领域的经典之作，对后续研究产生了深远的影响。

1.2 支持向量机

为了利用深度特征提取所收集的数据，必须在该数据上训练分类器算法。报告显示，SVM分类器在多种农业图像分类问题上表现优异［14］。该研究采用了Vapnik提出的支持向量机（SVM）分类器。

使用支持向量机（SVM）解决分类问题的第一步是找到一个最优超平面，这个超平面能够最大化地将2类数据分隔开。在数学上，这个最优超平面可以通过求解一个二次优化问题来得到［15］。具体来说，给定一个训练数据集{（xi，yi）}ni=1，其中xi∈Rd是数据点，yi∈{-1，1}是对应的标签，SVM试图找到一个超平面wTx+b=0（其中w∈Rd是法向量，b∈R是截距），使得该超平面能够最大化地分隔两类数据。

这个优化问题可以表示为：

minw，b12‖w‖2（1）

S.T.yi（wT+b）≥1，i=1，2，…，n（2）

式中，‖w‖2=wTw是法向量的二范数，用于度量超平面的“间隔”或“边距”。约束条件yi（wTxi+b）≥1确保每个数据点都被正确地分类，并且距离超平面至少有一定的距离（这里是1，但可以通过缩放w和b来调整）。

这个优化问题是一个凸二次规划问题，可以使用各种优化算法（如拉格朗日乘子法、SMO算法等）来求解。求解完成后，得到的最优w和b就确定了最优超平面，从而可以用于对新数据进行分类。

1.3 研究方法

该研究采用深度特征提取方法对苹果叶片病害进行识别。该方法是一种迁移学习策略，利用预训练的卷积神经网络（CNN）模型提取特征。深度特征是从相应的全连接层中提取：VGGNet的FC8、EfficientNet的Head层和GoogLeNet的Loss-3，并提供了深度特征［16］。此外，还提出了一种使用深度学习的方法，将3个CNN模型中的每个模型的1 000个深度特征进行组合，以提高预测性能。在训练阶段，SVM分类器受益于获得的深度特征。SVM没有自定义设置；所有参数都保留其默认值。试验中使用了i5-8550U CPU、16GB RAM、2GB GPU和240SDD。所有试验均在MATLAB 2019b环境中运行。

该数据集包含足够数量的图像，可使用留出验证技术对模型进行1∶1比较。数据集被分成2个相等的部分：第1部分用于训练，第2部分用于测试［17］。在比较模型时，使用了准确度ACCURACY指标。真正（TP）、假负（FN）、假正（FP）以及真负（TN）均从混淆矩阵中获得，并用于计算这些性能指标。以下是模型比较中使用的性能指标的数学表达式：

ACCURACY=TP+TNTP+FN+FP+TN（3）

图3展示了深度学习算法的准确度性能比较。VGGNet的准确度从99.06%开始，最大识别准确度为99.22%。GoogLeNet的准确度从98.99%开始，最大达到99.31%。EfficientNet模型的准确度最小为99.15%，最大为99.29%。由于结合了深度特征和高效的训练、测试技术，提出的模型最大准确度为99.27%，最小为99.41%。

结果表明，从具有更多层的CNN模型中提取深度特征需要更多时间。尽管系统在评估案例中表现良好，但在少数情况下确实遇到了问题，这可能是未来研究的主题。由于样本稀缺，一些具有高模式变化的类别经常与其他类别混淆，导致假阳性或平均准确度降低。

2 讨论

该研究对早期采用相关数据集的研究成果与联合深度特征及支持向量机（SVM）的方法进行了全面对比。在对比过程中，综合考量了多种关键因素，涵盖现有方法论、作物种类、应用方式、分类数量以及整体准确率［18］。经过详尽的分析与比较，结果清晰地揭示出联合深度特征与SVM的方法在各方面均表现出更为优越的性能。

在讨论苹果叶片病害检测的相关研究时，发现数据集的构成和试验设置对结果具有显著影响。首先，就类别总数而言，不同的研究可能涉及不同数量的病害类型。例如，在研究中，处理了包括健康叶片在内的多种病害类型，如苹果黑星病、灰斑病等共计8类。这种多样性使得模型能够更全面地学习并识别各种病害特征。

其次，数据集的规模和划分方式对模型的训练效果至关重要［19］。试验采用了包含数千张苹果叶片图像的大型数据集，并将其划分为训练集、验证集和测试集。具体而言，使用了7 712张图像进行训练，1 928张图像进行验证以及80张图像进行测试。这种划分方式确保了模型能够在充足的数据上进行训练，并在独立的测试集上评估其性能，从而提供更可靠的结果。

通过采用预训练的CNN模型并结合深度特征融合方法，研究在苹果叶片病害检测方面取得了显著成果。结果表明，模型在测试集上达到了较高的准确率，能够有效识别各种病害类型。这一成功得益于预训练模型强大的特征提取能力以及深度特征融合策略对模型性能的进一步提升［20］。

3 结论

该研究致力于探究深度特征提取在识别苹果叶片病害方面的潜力。为实现该目标，采用了广为人知的预训练卷积神经网络（CNN）模型，如GoogLeNet、VGGNet和EfficientNet。从这些CNN模型的最终全连接层中提取了共计1 000个深度特征，以增强支持向量机（SVM）分类器的性能［21］。通过融合来自3个CNN模型的深度特征，开发了一种深度学习技术，该技术显著提高了预测准确性。文献和试验结果表明，虽然单独使用每个CNN模型的深度特征可以获得良好的分类效果，但结合多个模型的信息能够取得更优结果。这归因于不同CNN模型拓扑结构揭示了不同的判别特征集。该研究的最终目标是准确识别苹果叶片病害，并提供针对性的农药喷洒建议，同时相较于其他CNN算法，提升分类性能。

参考文献

［1］ 陈学森，韩明玉，苏桂林，等.当今世界苹果产业发展趋势及我国苹果产业优质高效发展意见［J］.果树学报，2010，27（4）：598-604.

［2］ 王树桐，王亚南，曹克强.近年我国重要苹果病害发生概况及研究进展［J］.植物保护，2018，44（5）：13-25，50.

［3］ 邹永杰，张永军，秦永彬，等.应用于番茄病虫害检测的HOG特征与LBP特征的结合［J］.南京师范大学学报（工程技术版），2019，19（3）：21-28.

［4］ 李柯泉，陈燕，刘佳晨，等.基于深度学习的目标检测算法综述［J］.计算机工程，2022，48（7）：1-12.

［5］ 丁睿柔.基于卷积神经网络的苹果叶部病害识别与分割研究［D］.泰安：山东农业大学，2022：30-40.

［6］ 龙阳，肖小玲.基于多注意力机制的苹果叶部病害检测方法［J］.江苏农业科学，2023，51（23）：178-186.

［7］ 刘斌，徐皓玮，李承泽，等.基于快照集成卷积神经网络的苹果叶部病害程度识别［J］.农业机械学报，2022，53（6）：286-294.

［8］ AL-HIARY H，BANI-AHMAD S，REYALAT M，et al.Fast and accurate detection and classification of plant diseases［J］.International journal of computer applications，2011，17（1）：31-38.

［9］ 邵明月，张建华，冯全，等.深度学习在植物叶部病害检测与识别的研究进展［J］.智慧农业，2022，4（1）：29-46.

［10］ 党满意，孟庆魁，谷芳，等.基于机器视觉的马铃薯晚疫病快速识别［J］.农业工程学报，2020，36（2）：193-200.

［11］ AGARWAL M，SINGH A，ARJARIA S，et al.ToLeD：Tomato leaf disease detection using convolution neural network［J］.Procedia computer science，2020，167：293-301.

［12］ 郭文娟，冯全，李相周.基于农作物病害检测与识别的卷积神经网络模型研究进展［J］.中国农机化学报，2022，43（10）：157-166.

［13］ 徐岸峰，黄学彬，王波．改进 GoogLeNet 的自然场景图像多标记分类仿真［J/OL］.计算机仿真，2024-01-23［2024-03-17］.https：//link.cnki.net/urlid/11.3724.TP.20240122.1111.002.

［14］ 李红光，于若男，丁文锐.基于深度学习的小目标检测研究进展［J］.航空学报，2021，42（7）：100-118.

［15］ 薛卫，程润华，康亚龙，等.基于GC-Cascade R-CNN的梨叶病斑计数方法［J］.农业机械学报，2022，53（5）：237-245.

［16］ 李就好，林乐坚，田凯，等.改进Faster R-CNN的田间苦瓜叶部病害检测［J］.农业工程学报，2020，36（12）：179-185.

［17］ ZHONG Y，ZHAO M.Research on deep learning in apple leaf disease recognition［J］.Computers and electronics in agriculture，2020，168：1-6.

［18］ FERENTINOS K P.Deep learning models for plant disease detection and diagnosis［J］.Computers and electronics in agriculture，2018，145：311-318.

［19］ 陈聪，于啸，宫琪.基于改进残差网络的苹果叶片病害识别研究［J］.河南农业科学，2023，52（4）：152-161.

［20］ 张云龙，齐国红，张晴晴.基于SVM的复杂环境下苹果图像的分割［J］.智能计算机与应用，2017，7（1）：14-16，21.

［21］ GEETHARAMANI G，ARUN PANDIAN A.Identification of plant leaf diseases using a nine-layer deep convolutional neural network［J］.Computers & electrical engineering，2019，76：323-338.