耦合全局与局部特征的苹果叶部病害识别模型

李大湘，曾小通，刘 颖

耦合全局与局部特征的苹果叶部病害识别模型

李大湘，曾小通，刘 颖

（西安邮电大学通信与信息工程学院，西安 710121）

为充分利用苹果叶部病害图像类间差异小且类内差异大的特点，该研究基于全局与局部特征的交互式耦合对特征提取方法进行了优化，设计出一种苹果叶部病害识别模型。首先，在全局特征提取分支设计了一个注意力融合模块，以融合通道和空间上的信息而增强卷积提取到的特征图，并由增强后的特征图生成全局特征以及注意力激活图；然后，在局部特征提取分支，利用注意力激活图的引导，设计了一个裁剪模块对原图像进行裁剪，以得到可能包含病害信息的图像块且嵌入生成局部特征；最后，通过设计多头交叉注意力特征耦合模块，实现全局特征和局部特征的双向交叉耦合。基于苹果病害图像数据集的试验结果表明，将全局与局部特征进行交互耦合能有效提升模型对苹果叶部病害图像的特征提取能力，其识别准确率可达到98.23%，且较之单纯的局部或全局特征提取分支，准确率分别提高了3.39与4.61个百分点，所提模型可用于实现自然场景下的苹果叶部病害自动识别。

计算机视觉；苹果叶；病害；图像识别；交叉注意力特征耦合；卷积神经网络

0 引 言

2020年，中国苹果产量达到了4 407万t，已经成为世界最大的苹果生产国与消费国，其生产和消费规模均占全球50%以上[1]。苹果树在种植过程中常见的病害主要有斑点落叶病、褐斑病、花叶病、灰斑病与锈病等，而传统的苹果叶部病害识别主要是依靠具有专业知识的病虫害专家或有经验的农民[2]。基于人工的识别方法耗时耗力，且无法满足现代农业大规模生产的需求[3]。苹果树病害的发生往往表现在根茎、果实以及叶片等区域，而叶部病害由于其发生频率高，且具有特征明显、数据易采集与易处理等特点，叶部病变症状成为判断苹果病害类型的重要依据之一[4]。所以，基于计算机视觉技术研究面向苹果叶部的病害识别算法，是确保苹果高效生产且可持续发展的一个重要方式，在智慧农业中具有重要意义[5]。

近年来，许多学者利用机器学习技术设计各种病虫害智能识别算法[6]，谭峰等[7]通过计算叶片的色度值，同时建立多层后向传播神经网络，运用区域标记法对病斑的特征参数进行计算，最终识别率可达到92.1%；宋双[8]基于支持向量机利用一对一投票策略设计出分类模型，该方法实现了对3种苹果叶面病害的有效识别；陈丽等[9]对田间玉米叶病害图像进行分割和特征提取，最后采用概率神经网络进行病害识别，识别率达到90.4%。尽管这些机器学习方法在特定病害识别上取得了理想的识别精度，但这些方法的精度在很大程度上依赖于提取的颜色、纹理与形状等特征，由于同种病害在不同发病阶段病症差异明显，且多种病害又可能表现出相似的病理特点，这些原因不但导致传统方法特征层次关系设计困难，而且当面向复杂任务时，存在因特征具有局限性而导致算法泛化能力弱等问题[10]。

针对上述问题，以卷积神经网络（Convolutional Neural Networks，CNN）为代表的深度学习方法被引入植物病害检测与识别，因其具有特征提取能力强、适应性好与性能上限高的优势[11]，且较之上述传统机器学习方法，其识别精度也得到显著提高。例如：在AlexNet网络的基础上，孙俊等[12]对其批归一化层与池化层进行改进，在14种植物26类病害图像中实现了99.56%的平均识别准确率，郭小清等[13]对其局部响应归一化层、全连接层与不同尺度卷积核进行改进，设计了一种多尺度番茄病害识别模型，平均识别准确率达到92.7%；王春山等[14]通过分解大卷积核进行群卷积操作，设计了一种轻量级的多尺度残差病害识别模型，在7种真实环境病害图像数据中取得了93.05%的准确率；甘雨等[15]通过引入坐标注意力机制与Adam优化算法，改进了EfficientNet主体结构而提高其泛化能力，在大规模作物害虫数据集IP102上的识别准确率达到69.45%；刘阳等[16]对轻量级卷积神经网络SqueezeNet进行改进，在PlantVillage数据集中的平均识别准确率达到98.13%；许景辉等[17]面向小样本复杂田间背景下的玉米病害识别问题，设计了一种改进VGG-16网络，实现了对玉米大斑病叶、锈病叶病害图像95.33%的平均识别准确率。

基于CNN的叶部病害识别方法虽然取得了较大进展，能够实现较高识别准确率，但苹果叶部病害图像具有类间差异小、类内差异大的特点，为了能够同时获取苹果叶部病害图像的细粒度与粗粒度特征从而提高识别准确率，现有方法主要是在经典CNN网络中采用多尺度卷积核[13-14]或嵌入注意力模块[15]，对苹果叶部病害图像进行多尺度特征提取或定位特征所在区域。这些方法一定程度上提高了模型的识别准确率，但由于未充分考虑苹果叶部图像全局与局部特征之间的联系，因此对提升模型的特征提取和语义表达能力作用有限，其识别准确率仍有提升空间。针对这些问题，本研究充分利用苹果叶部病害图像类间差异小且类内差异大的特点，将苹果叶部病害图像全局与局部特征相联系，设计了一种全局和局部特征交互耦合(Global and Patch Features Interactively Coupling, GPF-IC)模型，对现有CNN模型的特征提取能力进行优化以得到更高识别准确率。

1 试验数据与方法

1.1 试验数据

为了检验所提模型的识别性能，选用包含5种常见苹果叶部的病害图像集进行试验。该图像集由西北农林科技大学制作，分别采集于西北农林科技大学白水苹果试验站、洛川苹果试验站、庆城苹果试验站，即在苹果的不同生长期及天气（雨后，阴天、晴天）条件下，使用ABM-500GE/BB-500GE彩色数码相机和手机，拍摄距离为10～15 cm，拍摄了常见且对苹果生长影响大的斑点落叶病、灰斑病、褐斑病、花叶病、锈病和健康叶片的彩色图像共计2 545张，图像分辨率为 2 448×3 264，部分叶部病害样图如图1所示。

图1 苹果叶部病害图像示例

为了保证模型的学习效果，避免因训练数据不足导致过拟合，同时构建自然条件下的病害识别场景，使模型能够更加适应恶劣条件下的工作环境，增强模型的鲁棒性，所以使用Python中的工具库OpenCV对原始数据集进行以下3种数据增强操作：1）随机光照增强和减弱：模拟果园在自然环境下不同的光照条件；2）上下左右翻转：模拟识别设备的不同拍摄角度；3）高斯模糊：模拟拍摄到的含噪声图像。最终获得样本数量充足且分布均衡的苹果叶部病害图像数据集，包含6类叶部图像共30 540张，详细信息如表1所示。

1.2 试验设置

所有试验都是在Nvidia TITAN显卡上进行实现，且在Linux+python3.8的开发环境中，安装了PyTorch1.6深度学习工具箱，配合具有GPU加速的CUDA 10.1环境，用于模型的训练与测试。

试验过程中对苹果叶部病害数据集按8∶2随机划分为训练集和测试集，分别用于模型的训练与测试。全局特征提取分支采用经Plant Village开源数据库预先训练过的ResNet18进行微调。在每次试验的训练与测试过程中，批处理大小（batch size）设置为32，迭代（epoch）设置为600，采用随机梯度下降法（Stochastic Gradient Descent，SGD）训练模型，学习率设置为0.001，输入图像分辨率均调整为224像素×224像素×3通道。

1.3 模型评价指标

2 模型构建

为充分利用苹果叶部病害图像“类间差异小且类内差异大”的特点，本研究针对当前研究未充分考虑全局与局部特征之间的联系而存在的不足，设计了一个GPF-IC高精度苹果叶部病害识别模型，如图2所示。该模型主要由三大部分组成，即：全局特征提取分支、局部特征提取分支与特征交互耦合模块。具体来说，通过在全局与局部特征提取分支分别引入注意力融合（Attention Fusion，AF）模块、注意力激活图生成（Attention Activation Maps Generation，AAMG）模块和裁剪模块，并经多头交叉注意力耦合（Multi-Head Cross-Attention Coupling，MHCAC）模块对两个分支的特征进行交互融合，以增强模型的多粒度特征提取能力而提升识别准确率。

注：IMGn为第n张训练图像，为卷积得到的特征图，为修正后的特征图，1×1表示卷积核尺寸，为线性投影矩阵，为全局类别特征，为全局特征信息，为第n张训练图像裁剪得到的第j个子图像块，为局部类别特征，为局部特征信息。

2.1 全局特征提取分支

2.1.1 注意力融合模块

在全局特征提取分支中，为了使CNN卷积操作更加关注特征图的重要通道及病斑区域，在SENet[18]与CBAM[19]的启发下，如图3所示，设计了一个AF模块，并将其嵌入到ResNet18网络的第五个卷积模块之后，以在特征提取过程中融合通道和空间信息而提高该分支的全局特征提取能力。

图3 注意力融合模块

Fig.3 Attention Fusion(AF) module

在通道注意力子模块中：首先，使用平均池化和全局最大池化分别获取特征图在空间维度上的压缩信息；然后，分别将这两种压缩信息送入共享权值的全连接层中，处理结果相加之后而得到通道注意力图F∈1×1×C，其过程可用式（3）表示。

2.1.2 全局特征生成

2.2 局部特征提取分支

2.2.1 注意力激活图生成模块

2.2.2 裁剪模块

通过观察注意力激活图，可发现：激活响应值高的区域往往分布在图像中的病害区域，由此可认为激活图的响应值越高，则该区域所含的病理信息量也越大，其属于病害目标区域的可能性就越大。所以，基于注意力激活图与非极大值抑制（Non-Maximum Suppression，NMS）方法，设计了一个图像裁剪模块，以从原图像中挑选出响应值最高的若干个图像子块，用于图像的局部特征提取。

2.3 多头交叉注意力耦合模块

为了增加全局与局部特征之间的联系，从而增强模型对苹果叶部病害图像的特征表达能力，以提升模型分类性能，受CrossViT[21]融合不同尺度Transformer编码器的启发，通过叠加个多头交叉注意力编码器，设计了一个MHCAC模块，以对全局和局部特征提取分支提取到的特征进行交互藕合，最后再经过一个多层感知机分类头可得到病害识别结果。

图4 一次单向交叉注意力特征耦合过程

Fig.4 A one-way cross-attention features coupling process

3 结果与分析

3.1 对比试验

为了验证所提GPF-IC模型的有效性，本研究采用的对照组网络分为经典CNN模型，即ResNet18、ResNet50等，以及近年来用于苹果叶部病害识别的先进模型。试验过程中，所有的CNN网络均在 Plant Village数据集上完成预训练，然后将参数迁移到苹果叶部病害识别任务之中，比对试验结果如表2所示。

表2 不同模型的对比试验

由表2中的数据可知，在识别准确率方面，所提GPF-IC模型均优于ResNet50、VGG-INCEP与DBNet等其他各种先进方法；在模型大小方面，除了轻型的ResNet18网络之外（模型大小增加了约38%，但识别准确率提高了5.4个百分点），GPF-IC的模型大小明显少于其他模型。因此，所提GPF-IC模型在实现高准确率病害识别的同时，也兼顾了模型的参数量和复杂度，使模型更适合部署于硬件受限的农业物联网终端设备。

同时，也将GPF-IC模型应用到苹果叶部病理数据集中的测试集上，得到的混淆矩阵如图5所示。在混淆矩阵中，主对角线的数字表示预测正确的图像数量，其他位置的数字表示预测错误的图像数量。

注：0为健康苹果叶，1为苹果锈病，2为苹果灰斑病，3为苹果花叶病，4为苹果褐斑病，5为苹果斑点落叶病；主对角线数字为预测正确图像数量，其余数字为预测错误图像数量。

3.2 可视化分析

注：激活图色条权重越大表示模块越关注该区域。

3.3 消融试验

为了探究GPF-IC模型各个模块及分支是如何影响模型性能的，设计了如下8种消融试验，即：1）试验Ⅰ：仅采用ResNet-18网络对图像进行识别；2）试验Ⅱ：在试验Ⅰ的基础上增加AF模块，引入了通道与空间注意力机制；3）试验Ⅲ：在试验Ⅱ的基础上增加裁剪模块，增加了局部特征提取分支；4）试验Ⅳ：在试验Ⅲ的基础上增加MHCAC模块，对全局与局部特征实施交互耦合；5）试验Ⅴ～Ⅷ：均在试验Ⅳ的基础上，将图像裁剪模块的子图数量分别设置为6、8、12与16，以探讨该参数对模型性能的影响，消融试验结果如表3所示。

从表3所示的试验结果可知，试验Ⅱ的识别准确率比试验Ⅰ提升了0.79个百分点，证明在ResNet18基础上加入AF模块，即通过融合通道和空间注意力，可以增强全局特征提取分支的特征表示能力，一定程度上提升了识别准确率；试验Ⅲ的识别准确率较之试验Ⅱ提升了1.22个百分点，证明在注意力激活图的引导下局部特征提取分支，对于提升模型的识别准确率也是有效的；试验Ⅳ通过加入MHCAC模块，较之试验Ⅲ准确率又提高了2.73个百分点，则说明本文设计的MHCAC模块，即对提取的全局特征与局部特征进行双向交叉耦合，确实能增强模型对病害特征的表示能力。试验Ⅳ～Ⅷ将图像裁剪模块的子图数量分别设置为4、6、8、12与16，多次试验结果证明：当图像块数量为6时，即当来自局部特征提取分支的信息数为6时，模型实现最佳性能，相比试验Ⅲ中单纯的局部特征提取分支和试验Ⅱ中单纯的全局特征提取分支，识别准确率分别提高了3.39与4.61个百分点，当图像块数量超过6时，模型不但具有更多的计算量，且在病害识别任务上的识别准确率也难以提升。综上所述，GPF-IC模型所设计的AF模块、AAMG模块、裁剪模块与MHCAC模块，能够有效地增强网络对图像的细粒度特征提取与表达能力，提高整个模型的识别准确率，在智慧农业中具有广阔应用前景。

表3 苹果叶部病害图像数据集上的消融试验

注：√表示试验中采用了该模块，×表示试验中未采用该模块，MHCAC为多头交叉注意力耦合模块。

Note: √means the module was used in the experiment, × means the module was not used in the experiment, MHCAC represents the multi-head cross-attention coupling module.

4 结 论

本研究面向自然场景中的苹果叶部病害识别问题，针对当前研究无法充分联系全局与局部特征的不足，设计了一个基于全局与局部特征交互耦合的病害识别模型，其特点包括：

1）提出了全局特征提取分支，通过引入注意力融合模块，使病害识别准确率提升0.79个百分点；

2）提出了局部特征提取分支，且引入裁剪模块实施局部特征提取，模型准确率提升了1.22个百分点；

3）提出多头交叉注意力耦合模块，使模型能够耦合来自不同分支的特征，增强模型的特征提取和表达能力，使识别准确率提升了3.39个百分点，从而取得了98.23%的最高识别准确率。

综上所述，GPF-IC模型中设计的全局与局部特征提取分支，可有效优化对病害图像的粗粒度和细粒度特征提取能力，且MHCAC模块能够进一步增强模型的特征表达能力，所提GPF-IC模型识别准确率均优于ResNet50、VGG-INCEP与DBNet等其他各种先进方法，在实现高识别准确率的同时，也保持了较少的参数量，可用于自然场景中，根据苹果叶部图像对斑点落叶病、褐斑病、花叶病、灰斑病与锈病等5种常见病害实施自动精准识别。

[1] 中华人民共和国国家统计局. 中国统计年鉴[M]. 北京：中国统计出版社，2021.

[2] Khan M A, Lali M I U, Sharif M, et al. An optimized method for segmentation and classification of apple diseases based on strong correlation and genetic algorithm based feature selection[J]. IEEE Access, 2019, 7: 46261-46277.

[3] Singh V, Misra A K. Detection of plant leaf diseases using image segmentation and soft computing techniques[J]. Information Processing in Agriculture, 2017, 4(1): 41-49.

[4] 王云露，吴杰芳，兰鹏，等. 基于改进Faster R-CNN的苹果叶部病害识别方法[J]. 林业工程学报，2022，7(1)：153-159.

Wang Yunlu, Wu Jiefang, Lan Peng, et al. Apple disease identification using improved Faster R-CNN[J]. Journal of Forestry Engineering, 2022, 7(1): 153-159. (in Chinese with English abstract)

[5] 邵明月，张建华，冯全，等. 深度学习在植物叶部病害检测与识别的研究进展[J]. 智慧农业(中英文)，2022，4(1)：29-46.

Shao Mingyue, Zhang Jianhua, Feng Quan, et al. Research progress of deep learning in detection and recognition of plant leaf diseases[J]. Smart Agriculture, 2022, 4(1): 29-46. (in Chinese with English abstract)

[6] Tian Y W, Li T L, Li C H, et al. Method for recognition of grape disease based on support vector machine[J]. Trans. Chin. Soc. Agric. Eng, 2007, 23(6): 175-180.

[7] 谭峰，马晓丹. 基于叶片的植物病虫害识别方法[J]. 农机化研究，2009，31(6)：41-43.

Tan Feng, Ma Xiaodan. The method of recognition of damage by disease and insect based on laminae[J]. Journal of Agricultural Mechanization Research, 2009, 31(6): 41-43. (in Chinese with English abstract)

[8] 宋双. 黄土高原苹果叶面病害图像识别方法研究[D]. 杨凌：西北农林科技大学，2017.

Song Shuang. Image Recognition Method of Apple Leaf Diseases on Loess Plateau[D]. Yangling: Northwest Agriculture and Forestry University, 2017. (in Chinese with English abstract)

[9] 陈丽，王兰英. 概率神经网络在玉米叶部病害识别中的应用[J]. 农机化研究，2011，33(6)：145-148.

Chen Li, Wang Lanying. Research on application of probability neural network in maize leaf disease ldentification[J]. Journal of Agricultural Mechanization Research, 2011, 33(6): 145-148. (in Chinese with English abstract)

[10] 岑海燕，朱月明，孙大伟，等. 深度学习在植物表型研究中的应用现状与展望[J]. 农业工程学报，2020，36(9)：1-16.

Cen Haiyan, Zhu Yueming, Sun Dawei, et al. Current status and future perspective of the application of deep learning in plant phenotype research[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(9): 1-16. (in Chinese with English abstract)

[11] Zhang Q, Liu Y, Gong C, et al. Applications of deep learning for dense scenes analysis in agriculture: A review[J]. Sensors, 2020, 20(5): 1520.

[12] 孙俊，谭文军，毛罕平，等. 基于改进卷积神经网络的多种植物叶片病害识别[J]. 农业工程学报，2017，33(19)：209-215.

Sun Jun, Tan Wenjun, Mao Hanping, et al. Recognition of multiple plant leaf diseases based on improved convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(19): 209-215. (in Chinese with English abstract)

[13] 郭小清，范涛杰，舒欣. 基于改进Multi-Scale AlexNet的番茄叶部病害图像识别[J]. 农业工程学报，2019，35(13)：162-169.

Guo Xiaoqing, Fan Taojie, Shu Xin. Tomato leaf diseases recognition based on improved Multi-Scale AlexNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 162-169. (in Chinese with English abstract)

[14] 王春山，周冀，吴华瑞，等. 改进Multi-scale ResNet的蔬菜叶部病害识别[J]. 农业工程学报，2020，36(20)：209-217.

Wang Chunshan, Zhou Ji, Wu Huarui, et al. Identification of vegetable leaf diseases based on improved Multi-scale ResNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(20): 209-217. (in Chinese with English abstract)

[15] 甘雨，郭庆文，王春桃，等. 基于改进EfficientNet模型的作物害虫识别[J]. 农业工程学报，2022，38(1)：203-211.

Gan Yu, Guo Qingwen, Wang Chuntao, et al. Recognizing crop pests using an improved EfficientNet model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(1): 203-211. (in Chinese with English abstract)

[16] 刘阳，高国琴. 采用改进的SqueezeNet模型识别多类叶片病害[J]. 农业工程学报，2021，37(2)：187-195.

Liu Yang, Gao Guoqin. Identification of multiple leaf diseases using improved SqueezeNet model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(2): 187-195. (in Chinese with English abstract)

[17] 许景辉，邵明烨，王一琛，等. 基于迁移学习的卷积神经网络玉米病害图像识别[J]. 农业机械学报，2020，51(2)：230-236，253.

Xu Jinghui, Shao Mingye, Wang Yichen, et al. Recognition of corn leaf spot and rust based on transfer learning with convolutional neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(2): 230-236, 253. (in Chinese with English abstract)

[18] Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 7132-7141.

[19] Woo S, Park J, Lee J Y, et al. Cbam: Convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 3-19.

[20] Wei X S, Luo J H, Wu J, et al. Selective convolutional descriptor aggregation for fine-grained image retrieval[J]. IEEE Transactions on Image Processing, 2017, 26(6): 2868-2881.

[21] Chen C F R, Fan Q, Panda R. Crossvit: Cross-attention multi-scale vision transformer for image classification[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 357-366.

[22] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 770-778.

[23] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems, 2012, 25: 1097-1105.

[24] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. (2014-12-19)[2022-04-26]. https://arxiv.org/abs/1409.1556.

[25] Luo Y, Sun J, Shen J, et al. Apple leaf disease recognition and sub-class categorization based on improved multi-scale feature fusion network[J]. IEEE Access, 2021, 9: 95517-95527.

[26] Jiang P, Chen Y, Liu B, et al. Real-time detection of apple leaf diseases using deep learning approach based on improved convolutional neural networks[J]. IEEE Access, 2019, 7: 59069-59080.

[27] 陆仲达，张春达，张佳奇，等. 双分支网络的苹果叶部病害识别[J]. 计算机科学与探索，2022，16(4)：917-926.

Lu Zhongda, Zhang Chunda, Zhang Jiaqi, et al. Identification of apple leaf disease based on dual branch network[J]. Journal of Frontiers of Computer Science and Technology, 2022, 16(4): 917-926. (in Chinese with English abstract)

Apple leaf disease identification model by coupling global and patch features

Li Daxiang, Zeng Xiaotong, Liu Ying

(,,710121,)

Apples in China accounts for more than 50% of the global production and consumption at present. However, the quantity and quality of apples have been threaten by the various diseases, such as alternaria boltch, brown spot, mosaic disease, gray spot, and rust. The CNN-based methods can be expected to recognize the crop leaf disease for the high recognition rates. But, there is still lacking on the recognition accuracy, due mainly to the lack of linkage between global and patch features of disease images in the general disease recognition models. In this study, a disease recognition model was proposed using the patch and global features interactively coupling model (GPF-IC). The main characteristics were also addressed for the small inter-class and large intra-class differences in the apple leaf disease images under natural conditions. Firstly, an attention fusion module was designed in the global feature extraction branch. The convolutionally extracted feature maps were then enhanced to fuse the information on the channels and spaces. The global features and attention activation maps were generated from the enhanced feature maps. Secondly, a cropping module was designed to crop the original image using the attention activation maps. The blocks of images were obtained with the disease information in the patch feature extraction branch, particularly with the patch features. Thirdly, the multi-head cross-attention feature coupling module was designed to realize the bi-directional cross-coupling of patch and global features. As such, the recognition accuracy was improved to enhance the representation capability of fine-grained features of disease images. Finally, three operations of data enhancement were used to evaluate the learning effect of the model for the less overfitting, due to the insufficient training data. A total of 30 540 disease images of six types of apple leaves were obtained with the sufficient number of samples and balanced distribution. The improved model was included as follows. 1) The global feature extraction branch was proposed to promote the disease recognition accuracy by 0.79 percentage points using the attention fusion module. 2) A patch feature extraction branch and a cropping module were introduced to implement the local feature extraction. The model accuracy was then improved by 1.22 percentage points than before. 3) A multi-head cross-attention coupling module was proposed to couple the features from the different branches for the feature extraction and expression capability of the model. The recognition accuracy was improved by 3.39 percentage points, which was the highest recognition accuracy of 98.23%. The experiment demonstrated that the feature extraction can effectively exclude the non-target noises to locate the most discriminative region using the global feature extraction branch. The patch feature extraction branch was efficiently acquired the patch information using the image block embedding. The feature coupling module was realized the interactive coupling of global and patch tokens for the better fine-grained feature representation using multi-headed cross-attention. The GPF-IC was achieved in the 98.23% recognition accuracy of apple leaf disease. The finding can provide a technical support for the automatic recognition of apple leaf diseases in natural scenes.

computer vision; apple tree leaf; disease; image recognition; cross-attention features coupling; convolutional neural networks

10.11975/j.issn.1002-6819.2022.16.023

TP391.4；S431.9

A

1002-6819(2022)-16-0207-08

李大湘，曾小通，刘颖. 耦合全局与局部特征的苹果叶部病害识别模型[J]. 农业工程学报，2022，38(16)：207-214.doi：10.11975/j.issn.1002-6819.2022.16.023 http://www.tcsae.org

Li Daxiang, Zeng Xiaotong, Liu Ying. Apple leaf disease identification model by coupling global and patch features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(16): 207-214. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.16.023 http://www.tcsae.org

2022-05-26

2022-07-16

国家自然科学基金项目（62071379）；陕西省自然科学基金项目（2017KW-013）

李大湘，博士，副教授，硕士生导师，研究方向为遥感图像分类、目标检测与跟踪、医学图像识别、多实例学习和深度学习等。Email：www_ldx@163.com