基于改进空间残差收缩网络模型的农作物病虫害识别

刘晓锋,高丽梅

基于改进空间残差收缩网络模型的农作物病虫害识别

刘晓锋1,高丽梅2*

1. 天津职业技术师范大学汽车与交通学院, 天津 300222 2. 天津市交通科学研究院, 天津 300074

为了提高农作物病虫害识别的精度，本文将3D-CNN和2D-CNN与空间残差网络相结合，软阈值化作为非线性层嵌入空间残差网络以消除病虫害图像不重要的图像特征，提出一种基于空间残差收缩网络的农作物病虫害识别模型。与3D-CNN和ResNet相比，基于空间残差收缩网络的农作物病虫害识别模型具有更高的精度和鲁棒性，总体分类精度为99.41%，增强了图像特征与病虫害类别的关系，可以识别多种农作物病虫害图像。

空间残差收缩网络; 农作物病虫害; 图像识别

病虫害问题对农作物的产量、质量影响很大，对农作物病虫害进行高精度的识别，并采取相关措施予以治理，对发展农业生产具有重要的现实意义。传统的病虫害图像处理算法存在泛化能力差，特征提取效率低，精度不高等问题。随着大数据、机器学习等技术方法的出现与发展，神经网络、支持向量机和贝叶斯等方法已应用于农作物病虫害识别分类研究。传统的机器学习算法主要适合于小样本分类识别，然而，农作物病虫害图像识别往往需要大量的数据，考虑不同的农作物生长场景和相关因素的影响。深度学习算法可以基于大数据样本，自动提取图像特征，利用图像特征信息，进行目标检测与分类。近年来，很多研究将深度学习算法应用于农作物病虫害识别并取得了较好的效果，例如宋余庆等[1]提出了多层次增强高效空间金字塔卷积深度学习模型，通过融合不同层次的特征信息，10种农作物的61种病虫害识别精度最高达到了88.4%。孙俊等[2]提出了一种改进的卷积神经网络(convolutional neural network，CNN)的植物叶片病虫害识别模型，将批归一化与全局池化引入CNN模型，结果表明改进的CNN模型具有较高的识别准确率和较强的鲁棒性。胡志伟等[3]结合注意力机制和残差，构建了新的卷积神经网络，对5种番茄病害进行识别，平均识别准确率为88.2%。

深度残差网络作为CNN的一个新颖的变种网络，采用了恒等路径来优化参数。在深度残差网络中，梯度不仅逐层地反向传播，而且通过恒等路径直接传递到前面的网络层。由于其出色的参数优化能力，近几年深度残差网络多被应用于故障诊断。2020年Zhao MH等[4]提出了一种新型深度学习模型-深度残差收缩网络，提高了从强噪声信号中学习特征的能力，并取得了较高的故障诊断准确率。

为提高农业病虫害识别的精度，本文提出一种基于改进空间残差收缩网络的农作物病虫害识别模型，并将卷积层从一般的2D卷积层改为3D卷积层与2D卷积层的组合。模型包括卷积层、改进的线性单元激活函数、批处理标准化、全局均值池化等。卷积层包含3个3D-CNN和1个2D-CNN，3D-CNN与2D-CNN混合模型降低网络的复杂性，不仅有效地减少了混合噪声，而且提取农作物病虫害特征，提高识别分类的精度。

1 实验方法

1.1 空间残差网络模型

空间残差网络是对近年来常用的深度残差网络模型的改进。本文网络的卷积层采用3D卷积层和2D卷积层的组合，对深度残差网络进行了进一步的修改。网络采用两层残差学习单元，网络输入为大小为11×11×5的连续立方数据块，随后用大小为9×9×3的卷积核对每个立方体数据进行卷积，采用3D卷积层可以同时采集时间与空间上的信息。如图1所示，空间残差网络结构使用了9×9×3、7×7×3、5×5×3的3D卷积层和3×3的2D卷积层，同时使用两层残差学习单元，包括输出8个特征图和16个特征图的3D残差单元、输出32个特征图和64个特征图的2D残差单元。网络输出端包括一个全局的均值池化层、256个神经元全连接层(Fully connected layers，FC)，采用Softmax函数进行分类。为了避免过拟合现象，模型采用了包括BN(Batch normalization)[5]、Dropout[6]和激活函数[7,8]在内的正则化策略。

图 1 空间残差网络结构

1.2 空间残差收缩网络模型

空间残差收缩网络(Spatial residual shrinkage network, SRSN)则是将软阈值化与空间残差网络相结合。在许多信号降噪算法中，软阈值化通常被作为重要的一步。软阈值化是将阈值低于某个特定值的信号设置为0。传统的阈值设置由领域内专家进行调试获得，这种方法没有学习能力、效率较低。因此，深度学习提供了解决此问题的新方法，将软阈值化与深度残差网络相结合，进行自动学习和调整，消除噪声信息，建立图像特征识别效果好的深度残差收缩网络。作为对深度残差网络的改进，深度残差收缩网络将软阈值(非线性变换层)插入到残差学习单元中，转换公式为[9]：

式(1)中，x为输入特征，y为图像输出特征，τ为正数阈值。图像特征计算后，如特征绝对值小于τ时，将该特征取值为0，绝对值大于正数阈值的图像特征则向中心收缩。本文将软阈值化与上述空间残差网络进行结合，形成空间残差收缩网络模型，如图2所示。

该模块中，将图2的残差学习单元输出的绝对值，进行全局平均池化(Global average pooling，GAP)，得到与上一层卷积核数量相同的空间向量，再将向量输入到两层全连接网络当中，使用Sigmoid函数，对缩放参数进行归一化，正数阈值的计算方法为：τ=ɑ×avg{g,} (2)

其中，τ为特征图第个通道的阈值，、为特征图的宽度、高度。特征图阈值等于缩放参数乘以的平均值，当该阈值大于特征的最大绝对值时，将软阈值的输出设置为0。通过嵌入收缩网络，空间残差网络的残差模块运用非线性变换，学习判别图像特征，消除噪声信息，实现端到端的学习。

2 基于SRSN模型的病虫害识别

2.1 算法流程

本研究采用空间残差收缩网络深度学习方法，开展农作物病虫害的图像分类研究。首先，输入农作物病虫害图像数据集，对农作物病虫害图像数据进行重采样预处理(避免样本不平衡所带来的过拟合等问题)；然后，运用构建的SRSN模型对农作物病虫害图像进行训练，提取农作物病虫害图像的多层次图像信息特征；最后，运用Softmax函数识别农作物图像的病虫害种类。基于SRSN模型的病虫害识别流程如图3所示。

图3 基于SRSN模型的病虫害识别流程图

2.2 数据预处理

农作物病虫害数据集中的病虫害种类较多，并且样本种类分布不均匀，有的种类多则几千幅图像，少则几乎没有，存在较为严重的样本不平衡问题[10]。为了解决样本不平衡问题，本研究对农作物病虫害数据集进行样本重采样处理，剔除样本数量过少的病虫害样本类别，对部分样本数量较少的类别进行升采样[1]，农作物病虫害数据集重采样预处理算法如图4所示。

图 4 重采样预处理

3 实验结果与分析

本文的实验环境配置如下：操作系统为Win10、Inter core i5-1135G7处理器、16 G内存、NVIDIA MX330-2G，硬盘500 G，采用TensorFlow深度学习平台进行实验。

3.1 实验数据

Plant Village数据库(www.plantvillage.org)是面向所有用户开放的数据库[11]，该数据主要用来进行农作物病虫害诊断，数据库中有54303张农作物叶片图像数据，包含14种农作物共38个类别的患病叶片与健康叶片，Plant Village数据集中的部分叶片如图5所示。选取其中14个类别的图像进行扩充，合计18432张进行训练、测试验证。

图 5 部分Plant Village叶片图

3.2 分类结果与分析

3.2.1 空间维度对分类结果的影响在空间残差收缩网络网络中，输入图像尺寸的大小往往也会影响最后的分类精度。尺寸过大导致卷积参数量过大，增加计算的复杂度。尺寸过小，可提取的特征量不足而导致分类结果较差。分类指标采用Kappa系数、总体分类精度OA，以及平均分类精度AA[12]，不同空间维数大小的分类精度和训练时间如表1所示。由表1可知，随着空间维度大小的增加，SRSN模型的各分类精度指标和训练时间会相应的增加，并且随着空间维度大小的增加，SRSN模型的参数量也会增加，使得SRSN模型的训练时间不断增加。综合考虑参数量以及计算复杂度，本研究选取11×11的输入尺寸。

表 1 不同空间维度大小的分类结果

3.2.2 不同模型分类结果对比本文采用的方法是对深度残差网络模型（ResNet）的改进，所以将本文的实验结果分别与CNN模型[13]、ResNet模型[14]进行对比。CNN方法使用的是目前已有的3D-CNN方法，ResNet则是利用残差结构的3D-CNN结合2D-CNN，参数设置与本文一致。数据集的初始测试集、训练集按40%、60%的比例划分，训练集主要用于建立SRSN模型，测试集主要用于验证SRSN模型的效果，另外将占总样本60%的训练集再按照70%、30%的比例分为为训练集、验证集。由表2可知，本文方法在OA、AA和Kappa系数上均高于其他两种方法，总体分类精度达到了99.41 %。

表 2 不同方法的分类精度

3.2.3 鲁棒性对比分析为了评价模型的鲁棒性，选择每个农作物病虫害类别的查准率(precision)、查全率(recall)以及查准率和查全率加权平均分数(1i)3个评价指标[15]来衡量不同方法之间的鲁棒性优劣。

公式(3)～公式(5)中，n表示类别预测为第类的样本数量，n表示类别预测为第类的样本数量，n表示样本类别的总数量。

本文方法与ResNet模型和3D-CNN模型的鲁棒性对比分析结果如表3所示。

表3 不同方法的鲁棒性分析结果

由表3可知，本文方法的平均查准率、平均查全率和加权平均分数分别为97.62%、98.37%和97.99%，优于3D-CNN的59.54%、61.12%和60.32%以及ResNet模型的95.96%、96.26%和96.11%。通过对比分析可知，本文方法的农作物病虫害识别方法性能最好，对图像处理具有较好的鲁棒性，其原因主要在于本文采用了全局池化的方法，增强了图像特征与病虫害类别的关系。

4 结论

本文提出了基于深度学习的空间残差收缩网络模型，进行作物病虫害图像识别，总体分类精度达到99.41%，与3D-CNN和ResNet相比，本文方法的鲁棒性更好。本文提出的模型，经过深度学习训练以后，无需提取农作物图像病虫害的特定特征，易于使用，可为农作物的病虫害识别与预防，提供积极的技术支撑。

[1] 宋余庆,谢熹,刘哲,等.基于多层EESP深度学习模型的农作物病虫害识别方法[J].农业机械学报,2020,51(8):196-202

[2] 孙俊,谭文军,毛罕平,等.基于改进卷积神经网络的多种植物叶片病害识别[J].农业工程学报,2017,33(19):209-215

[3] 胡志伟,杨华,黄济民,等.基于注意力残差机制的细粒度番茄病害识别[J].华南农业大学学报,2019,40(6):124-132

[4] Zhao MH, Zhong SS, Fu XY,. Deep residual shrinkage networks for fault diagnosis [J]. IEEE Transactions on Industrial Informatics, 2020,16(7):4681-4690

[5] Loffe S, Szegedy C. Batch normalization: accelerating deep network training by reducing internal covariate shift [C]. Proceedings of the 32ndInternational Conference on Machine Learning, 2015: 448-456.

[6] Srivastava N, Hinton G, Krizhevsky A,. Dropout: a simple way to prevent neural networks from overfitting [J]. Journal of Machine Learning Research, 2014,15(1):1929-1958

[7] Zuo Z, Shuai B, Wang G,. Learning contextual dependence with convolutional hierarchical recurrent neural networks [J]. IEEE Transactions on Image Processing, 2016,25(7):2983-2996

[8] Zhong ZL, Li J, Luo ZM,. Spectral-spatial residual network for hyperspectral image classification: a 3-D deep learning framework [J]. IEEE Transactions on Geoscience and Remote Sensing, 2018,56(2):847-858

[9] Lecun Y, Bottou L, Bengio Y,. Gradient-based learning applied to document recognition [J]. Proceedings of the IEEE, 1998,86(11):2278-2324

[10] 曹鹏.不均衡数据分类方法的研究[D].沈阳:东北大学,2014

[11] Plant Village数据集[EB/OL].https://tensorflow.google.cn/datasets/catalog/plant_village.2021-12-15

[12] 李冠东,张春菊,高飞,等.双卷积池化结构的3D-CNN高光谱遥感影像分类方法[J].中国图象图形学报,2019,24(4):639-654

[13] Roy S, Krishna G, Dubey S,. HybridSN: exploring 3-D-2-D CNN feature hierarchy for hyperspectral image classification [J]. IEEE Geoscience and Remote Sensing Letters, 2020,17(2):277-281

[14] Lei HJ, Tao H, Huang WF,Cross-modal transfer learning for HEp-2 cell classification based on deep residual network [C]. Proceedings of the 2017 IEEE International Symposium on Multimedia, 2017:465-468

[15] 陈娟,陈良勇,王生生,等.基于改进残差网络的园林害虫图像识别[J].农业机械学报,2019,50(5):187-196

The Recognition for Crop Pests and Diseases Based on the Improved Residual Shrinkage Network

LIU Xiao-feng1, GAO Li-mei2*

1.300222,2.300074,

In order to improve the precision of crop pests and diseases recognition, 3D-CNN and 2D-CNN are combined with spatial residual shrinkage network (SRSN). As a non-linear layer embedded in SRSN, soft thresholding is used to eliminate the unimportant image features of crop pests and diseases. Compared with 3D-CNN and ResNet, the proposed SRSN model has higher accuracy and robustness, and the overall recognition accuracy is 99.41%. Moreover, the proposed model enhances the relationship between image features and crop pests and diseases recognition, which can be used to recognize different crop pests and diseases for images.

Spatial residual shrinkage network; crop pests and diseases; image recognition

S126

A

1000-2324(2022)02-0259-06

10.3969/j.issn.1000-2324.2022.02.012

2021-08-12

2021-09-24

刘晓锋(1981-),男,博士,副教授,研究方向:智能信息处理、农业信息工程. E-mail:335351859@qq.com

Author for correspondence. E-mail:gaolimei022@163.com