基于轻量型残差网络的自然场景水稻害虫识别

鲍文霞，吴德钊，胡根生，梁 栋，王 年，杨先军

基于轻量型残差网络的自然场景水稻害虫识别

鲍文霞1，吴德钊1，胡根生1，梁 栋1，王 年1※，杨先军2

（1. 安徽大学农业生态大数据分析与应用技术国家地方联合工程研究中心，合肥 230601；2. 中国科学院合肥物质科学研究院，合肥 230031）

准确识别水稻害虫对水稻及时采取防护和治理具有重要意义。该研究以自然场景中水稻害虫图像为研究对象，针对水稻害虫图像的颜色纹理与背景相近以及同类害虫个体间形态差异较大等特点，设计了一个由特征提取、全局优化以及局部优化模块构成的轻量型残差网络（Light Weight Residual Network，LW-ResNet）用于水稻害虫识别。在特征提取模块通过增加卷积层数以及分支数对残差块进行改进，有效提取自然场景中水稻害虫图像的深层全局特征并使用全局优化模块进行优化；局部优化模块通过设计轻量型注意力子模块关注害虫的局部判别性特征。LW-ResNet网络在特征提取模块减少了残差块的数量，在注意力子模块中采用深度可分离卷积减少了浮点运算量，从而实现了模型的轻量化。试验结果表明，所设计的LW-ResNet网络在13类水稻害虫图像的测试数据集上达到了92.5%的识别准确率，高于VGG16、ResNet、AlexNet等经典卷积神经网络模型，并且LW-ResNet网络的参数量仅为1.62×106个，浮点运算量仅为0.34×109次，低于MobileNetV3轻量级卷积神经网络模型。该研究成果可用于移动端水稻害虫的自动识别。

农作物；模型；图像识别；水稻害虫；注意力机制；深度可分离卷积

0 引 言

害虫的准确识别对于农作物的保护和管理至关重要[1]，一旦农作物被害虫感染，必须采取及时有效的措施防止害虫传播[2]，自然场景中害虫不同生长时期形态纹理等变化较大[3]，借助于专家的专业知识或农民的经验等传统识别方法存在效率低、成本大、易受视觉主观性影响等问题，无法满足现代农业生产中实际需求[4-6]。

随着计算机技术的发展，研究人员开始使用机器学习和图像处理的方法识别作物病虫害。Liu 等[7]通过提取小麦蚜虫的方向梯度直方图（Histogram of Oriented Gradient，HOG）特征并送入支持向量机中去训练，在简单背景下实现了小麦蚜虫的自动识别和计数，平均精度可达到75.8%。Hafiz等[8]提取害虫的颜色直方图和形状特征送入贝叶斯网络中去分类，在简单背景下实现了4 类小样本害虫的有效识别。这些基于传统机器学习的方法通过人工的方式设计病虫害图像的颜色、纹理、边缘梯度等特征，然而在水稻害虫图像中，害虫的颜色和纹理与水稻茎、秆、叶片等背景的颜色和纹理相似，因此这些方法在对于自然场景中的害虫容易产生误识别。

近年来，随着AlexNet[9]、VGG[10]以及ResNet[11]等深度卷积神经网络卷积神经网络（Convolutional Neural network，CNN）模型的提出，目标识别效果取得明显改善[12]，借助深度学习技术对病虫害识别可以更好地满足农业发展需要。鲍文霞等[13]利用多路卷积神经网络识别小麦赤霉病，精度可达98%以上。孔建磊等[14]基于多流融合网络（Multi-stream Gaussian Probability Fusion Network，MPFN）对181类水稻害虫图像进行细粒度识别，既有效区分了类间微小差异，又可容忍类内差异干扰，取得了93.18%的准确率。Li等[15]结合多种预处理方法去除害虫的自然背景，利用微调的GoogleNet网络模型识别10类农作物害虫，相比ResNet-101模型准确率提高6.22%。Liu 等[16]通过全局区域对比方法计算显著性图，进而定位到稻田环境下的害虫目标，通过深度卷积神经网络（Deep Convolutional Neural Network，DCNN）对12类稻田害虫进行识别，取得了95.1%的平均准确率。Nanni 等[17]提出一种基于显著性方法和卷积神经网络融合的自动分类器对10类害虫进行识别，取得了92.43%的识别精度。基于CNN的方法通过提取农作物病虫害图像的深层特征，在一定程度上提高了病虫害的识别准确率，但水稻害虫在不同的生长时期形态差异较大，并且不同类害虫形态纹理等相近，因此，为了能够准确识别水稻害虫，需要在深层特征基础上进一步利用视觉注意力机制选择对识别目标更关键的信息。深度学习中的注意力机制从本质上和人类的选择性视觉注意力机制类似，能够以无监督的方式来自动定位目标判别性区域[18-20]，例如，SE-Net[18]中使用多层感知机（Multi Layer Perceptron，MLP），通过压缩和激励操作对特征图进行全局信息集成和自适应校准。卷积块注意力模块（Convolutional Block Attention Module，CBAM）[19]利用空间和通道的特征相关性来提高CNN的性能。Non-local[20]是一种自注意力机制的泛化形式，利用其对长范围的依赖，提升视频识别的性能。Zeng等[21]把Non-local模块插入到CNN中获取局部区域信息来提升模型识别农作物叶片病害的性能，但是通过引入额外的网络结构，模型在训练和推理阶段需要较高的计算量和参数量。王美华等[22]把改进的CBAM注意力机制嵌入到MoblieNet-V2、LeNet等CNN中对病虫害进行细粒度识别，使得CNN的准确率都有一定的提升。

针对自然场景中水稻害虫图像在颜色纹理上与背景相近、同类害虫受生长时期以及拍摄角度等影响形态差异较大、以及现有卷积神经网络模型参数量大等问题，本研究提出一种轻量型残差网络用于自然场景水稻害虫的识别，以期提高自然场景中水稻害虫识别准确率的同时减小模型的参数量和浮点运算量，以满足现代农业生产中实际需求。

1 试验数据和方法

1.1 数据获取

本研究收集的水稻害虫数据主要从佐治亚州大学等机构设立的网址（https://www.insectimages.org/index.cfm）下载，经过对害虫数据的整理，该原始数据集包含常见的13种水稻害虫，总共1 413幅图像，其中部分害虫图像存在颜色纹理与背景较相近以及同类害虫在形态、视角等方面差异较大等特点。由于该数据集水稻害虫图像尺寸不统一，为方便之后的试验，对图像进行统一裁剪并调整为224像素×224像素×3通道。

1.2 算法流程

自然场景中水稻害虫识别的算法流程包括：1）数据光照预处理。将水稻害虫图像变换到HSV空间，对分量进行Gamma变换[23]增强图像的对比度；2）数据扩充并按约9∶1比例划分为训练集和测试集；3）LW-ResNet模型构建。LW-ResNet模型由特征提取、全局优化以及局部优化模块构成，在特征提取模块通过叠加5个改进残差块获取水稻害虫图像的深层全局特征，全局优化模块中通过1个卷积层对深层全局特征进一步进行优化，局部优化模块中引入轻量型注意力子模块，轻量型注意力子模块中主要由深度可分离卷积、全局平均池化和全局最大池化构成，突出水稻害虫的局部关键特征；4）在训练阶段，利用水稻害虫训练集数据联合全局优化模块和局部优化模块的损失函数共同优化网络模型；5）在测试阶段，为了降低浮点运算量，将去除LW-ResNet中全局优化模块的模型输出作为水稻害虫识别结果。

1.2.1 数据光照预处理

由于光照强度的变化，图像中水稻害虫特征与害虫原有的特征呈现出差异，进而影响卷积神经网络对水稻害虫特征提取效果。为了缓解光照变化造成的负面影响，对水稻害虫图像使用Gamma变换进行预处理。Gamma变换定义为

V=Vgamma（1）

式中V、V以及gamma分别表示已转换的灰度数据、原始灰度数据以及校正系数。

Gamma变换只能实现灰度图像增强，但在RGB颜色空间图像中，每个像素样本是一个包含、和这3个通道的特征向量。因0≤V≤1，0≤V≤1，直接把RGB颜色空间图像作为Gamma变换的输入将会改变图像原有的像素特征，故先把RGB颜色空间图像转换到HSV颜色空间中，因其分量表示色彩明亮程度，范围从0到1，归一化后作为原始数据V；然后进行Gamma变换得到V，作为已转换的分量；最后再把HSV空间图像映射回RGB空间图像。V的均值和方差反映了图像的亮暗程度[24]，gamma根据图像亮暗程度在0.2～2.2范围内取值对图像进行变换。

1.2.2 数据扩充

为了保证数据样本的均衡性，本研究采用不同比例对不同类别水稻害虫图像进行扩充，对于水稻害虫图像差异大的类别扩充的数量多一些，而对于害虫图像差异小一些的类别扩充的数量少一些。最终训练集图像数据总共有4 380幅图像，测试集有492幅图像，扩充后的害虫种类和数目如表1所示。

表1 水稻害虫数据分布

1.2.3 基于LW-ResNet的水稻害虫识别模型

在深度学习中，深度CNN是很难训练的，因为存在梯度消失和爆炸的问题，于是He等[11]提出了残差块结构，通过跳跃连接的方式可以从网络中某一层获取激活，然后迅速反馈给另外一层，甚至是神经网络的更深层。利用残差块搭建的经典残差网络有ResNet-18、ResNet-34等。但是原始残差块分支数少，特征提取和表达能力有限，需要多个残差块叠加才能提取图像的深层信息。Ren等[25]验证了在残差块的基础上通过增加分支数和卷积层数可以增强特征的提取和表达能力。因此，为了准确识别自然场景中水稻害虫并且减小模型的参数，本研究通过改进残差网络和引入注意力机制设计了一个轻量型残差网络模型LW-ResNet，其结构如图2所示。该模型包含特征提取模块、全局优化模块和局部优化模块3部分。特征提取模块主要由改进残差块搭建，改进残差块采用多分支结构用于获取自然场景中水稻害虫图像的深层全局特征，同时降低网络的深度；全局优化模块中通过卷积层优化深层全局特征，然后经过全局平均池化层、全连接层以及损失函数优化；局部优化模块中使用轻量型注意力子模块以无监督的形式学习目标的局部判别性特征，轻量型注意力子模块中对特征进行聚集和扩张操作，有助于保留特征的空间位置信息，然后经过全局平均池化层、全连接层，损失函数后输出类别概率。

1）特征提取模块

为了提升水稻害虫图像特征提取的能力，本研究通过添加分支和卷积层的方式对原始残差块进行改进，如图3所示，改进后的残差块有3个分支，并且每个分支特征提取能力不同。特征图首先经过1×1的卷积层进行升维操作，特征通道数增大2倍，随后被划分为2组相同通道的特征，其中1组特征被送入卷积核大小为3×3的3个卷积层捕捉特征的长距离关系依赖，增强了特征提取能力，同时相比于感受野更大的卷积核，降低了卷积层参数量，与另1组特征融合增强了特征的多尺度表达能力，因逐像素相加操作倾向于改变特征，为了不破坏特征表达，对最左边分支中使用了卷积核大小为3×3的卷积层。因此改进残差块相比原始残差块特征学习能力更强。

注：Conv代表卷积操作；2个整数的乘积代表卷积核大小，BN代表批处理归一化，ReLu代表激活函数，并在分支内部使用BN-ReLu-Conv的卷积顺序以减少梯度消失[25]。U表示逐像素相乘，⊕表示逐像素相加，©表示特征融合。

为了提取自然场中水稻害虫深层全局特征的同时让模型尽可能的轻量，本研究主要使用5个改进残差块搭建特征提取模块，结构如图4所示。224×224（像素）尺寸的输入图像进入第一个卷积层后，尺寸变为112×112，通道变为8，然后依次进入改进残差块和最大池化层，特征通道数依次增大2倍，尺寸依次缩小二分之一，最后输出的深层全局特征图尺寸为7×7，通道数为256。

2）局部优化模块

由于水稻害虫图像的颜色纹理与背景相近，获取的深层全局特征存在一定的特征冗余，并且同类害虫不同个体间形态差异大，会影响模型识别性能。注意力机制是一种能够强化重要信息和抑制不重要信息的方法，故在局部优化模块中采用了轻量型注意力子模块获取局部判别性特征。本研究设计的轻量型注意力子模块如图5所示。

为了让轻量型注意力子模块在训练和推理阶段以较小的计算量和参数量获取到自然场景中水稻害虫的局部判别性特征。注意力子模块中使用深度可分离卷积，其由深度卷积和点卷积两部分组成。深度卷积减少了通道范围内的冗余度，打破了输入与输出特征之间的完全连接模式，深层全局特征图首先经过卷积核大小为1×1的深度卷积，生成了特征图，如公式（2 ）所示。

式中1×1表示卷积核大小为1×1的深度卷积，深层全局特征图经过深度卷积后，生成优化后的深层全局特征图特征图的不同通道特征之间缺少通信，会降低网络的特征提取能力，点卷积有效利用了不同通道在相同空间位置上信息的相关性，如公式（3）所示。

注：Softmax和Expand分别代表激活函数和扩张函数。代表输出的局部判别性特征。

3）损失函数

全局优化模块和局部优化模块使用的都是交叉熵损失函数，如下所示：

模型最终联合全局优化模块的L值和局部优化模块的L值优化网络模型，实现网络模型的快速收敛。

2 试验环境与评价指标

本研究采用准确率（Accuracy）、精度（Precision）以及召回率（Recall）[27]指标来衡量LW-ResNet模型的识别性能，为了更好地评价本研究LW-ResNet模型和使用的轻量型注意力机制模型的开销，通过参数量和浮点运算量[27]指标与其他注意力机制和卷积神经网络进行对比，参数量和浮点运算量常用来衡量算法和模型的复杂度[28]。

3 结果与分析

3.1 改进残差块数量对模型性能的影响

为了验证特征提取模块中改进残差块数量和轻量型注意力子模块对LW-ResNet模型识别性能的影响，在不添加和添加轻量型注意力子模块两种条件下，分别采用不同数量的改进残差块进行水稻害虫识别试验，对比识别结果如表2所示。

表2 不同残差块数量验证试验结果

通过表2可以得出，在相同试验条件下，5个改进残差块搭建特征提取模块取得的识别结果优于4个和6个的情形，因此为了保证模型识别性能的同时，模型更轻量，选取具有5个改进残差块的残差网络。并且当嵌入轻量型注意力子模块后，模型的识别结果在准确度、精度以及召回率上都有明显提升。

Grad-Cam[29]技术能够以热力图的方式呈现图像中每个位置与所属类别的相似程度，热力图色条值越大越相似。图6给出了大稻缘蝽、稻棘缘蝽以及稻纵卷叶螟中的3幅图像及其类激活特征热力图。由于特征提取模块是由改进残差块搭建的，其特征提取和表达能力更强，可以看出，第一个残差块更关注于背景区域特征，随着改进残差块的叠加逐渐关注害虫目标区域。从深层全局特征可以看出，由于特征提取模块越深层的特征越与全局信息相关，所以深层全局特征经过轻量型注意力子模块后可以更好地学习全局信息，以便于定位到局部判别性特征，但对于自然场景中的水稻害虫，深层全局特征可能缺少目标的整体结构特征，经过轻量型注意力模块后，不能很好地生成的局部判别性特征，将需要后续全局优化模块进行优化。

3.2 注意力机制模块对模型性能的影响

为了进一步验证本研究设计的轻量型注意力机制子模块的优势，在相同的试验条件下，在设计的网络模型LW-ResNet中，将所设计的轻量型注意力机制子模块替换成超轻量型注意力机制模型ULSAM[28]以及CBAM、BAM[30]、Non-local 这3种经典的注意力机制模型进行对比试验。得到网络模型的识别结果和各注意力机制的参数数量和浮点运算量，如表3所示。

从表3可以看出，与其他注意力机制对比，本研究的注意力机制和ULSAM的参数量和浮点运算量最低，性能最好。其中ULSAM是超轻量级注意力机制，当分支数=4时，使用ULSAM性能反而降低，是因为对于自然场景中水稻害虫数据，其多尺度、多频率特点会让网络关注到自然场景，对识别结果会产生消极影响。本研究使用的轻量型注意力机制与ULSAM（=1）相比，通过基于通道的平均池化和最大池化融合操作，在保证性能的同时，比ULSAM的开销更低。

3.3 全局优化模块对模型性能的影响

为了验证全局优化模块对LW-ResNet模型性能的影响，在不添加和添加全局优化模块两种条件下，分别对 LW-ResNet模型进行水稻害虫识别试验，对比识别结果如表4所示。

表3 不同注意力机制性能验证试验结果

注：代表ULSAM注意力机制的分支数。FLOPs代表浮点运算数。

Note:represents the branch number of ULSAM attention mechanism. FLOPs represents floating point operations.

表4 全局优化模块性能验证试验结果

从表4可知，本研究LW-ResNet模型利用全局优化模块和局部优化模块的损失函数共同优化网络模型时的识别结果优于去除全局优化模块的识别结果。引入全局优化模块后，深层全局特征和局部判别性特征的热力图如图7所示，图7a为黑尾叶蝉、稻棘缘春以及大稻缘蝽3类水稻害虫的图像，图7b和图7c分别是对应的深层全局特征和局部判别性特征，从图可以看出对于不同场景中的水稻害虫，深层全局特征都有一定全局结构特征，有助于局部优化模块学习到水稻害虫的局部判别性特征，缓解因同类害虫之间的形态差异导致的误判，进一步提升了模型识别性能。

3.4 与其他模型性能的对比

为进一步验证所设计的模型识别自然场景中水稻害虫的效果，在相同的试验条件下，利用本研究构建的水稻害虫图像数据集，将所设计的LW-ResNet模型与VGG-16、ResNet-34、ResNet-18、AlexNet这4种经典卷积神经网络以及轻量型网络MobileNetV3（small）[31]进行对比识别试验，识别结果和模型的复杂度分别如表5所示。

表5 不同CNN参数量和浮点运算数对比

从表5可以看出，不同层数、不同结构的CNN对水稻害虫的识别效果不一样，本研究LW-ResNet的识别准确率要高于其他模型的准确率。VGG-16模型识别准确率仅次于本研究的模型，但因其全连接层存在大量的参数，浮点运算量过大，从表中可以看出，该模型参数量和浮点运算量是最大的，不利于移动端的应用。MobileNetV3（small）轻量型卷积神经网络的参数量和浮点运算量不仅略多于本研究的LW-ResNet模型，而且因其网络结构是通过逆残差结构搭建，相比于本研究的改进残差块特征提取和表达能力有限，使得准确率相比与LW-ResNet模型低了4.8个百分点。总的来说，本研究LW-ResNet模型在保证模型性能的同时，参数量和浮点运算量不仅低于其他常用CNN，也低于轻量型卷积神经网络，因此该模型可应用于移动端的水稻害虫识别。

3.5 不同类别水稻害虫识别结果

为了分析LW-ResNet模型对不同类别水稻害虫识别的效果，图8给了LW-ResNet模型在测试集上识别结果的混淆矩阵，采用标准化矩阵和非标准化矩阵来表示。标准化混淆矩阵对角线代表着每类的准确率，如图8a所示；非标准化混淆矩阵对角线代表着每类被正确分类的数量，如图8b所示。标签0到12分别代表着13类水稻害虫，它们具体是：0（稻赤斑沫蝉）、1（二化螟）、2（大稻缘蝽）、3（稻纵卷叶螟）、4（稻铁甲）、5（二星蝽）、6（灰飞虱）、7（稻棘缘蝽）、8（黑尾叶蝉）、9（稻绿蝽）、10（稻黑蝽）、11（大螟）、12（白背飞虱）。

试验结果表明，LW-ResNet模型在大部分水稻害虫上都取得了比较好的识别结果（例如白背飞虱、稻纵卷叶螟、稻黑蝽等），而标签2（大稻缘蝽）、标签8（黑尾叶蝉）以及标签7（稻棘缘春）的识别准确率稍低，是因为这3类害虫在图像背景、形态以及拍摄视觉等方面差异都较大，相对其他类别害虫图像更难识别并且大稻缘蝽与稻棘缘蝽在纹理和形态上非常相近，因此易互相被误识别。黑尾叶蝉除了形态上差异较大并且颜色和纹理与背景很相似，因此较其他类别图像识别率稍低。

4 结 论

本研究根据自然场景中水稻害虫图像的特点，设计了一个LW-ResNet模型用于水稻害虫的识别。该模型通过对残差块进行改进并设计轻量型注意力子模块，从而获取水稻害虫图像深层全局特征和局部判别性特征，提高模型的识别性能同时减少参数量。通过对13类水稻害虫图像进行对比试验，LW-ResNet模型取得了92.5%的识别准确度，优于VGG-16、ResNet-34以及AlexNet等经典卷积神经网络；模型参数量为1.62×106、浮点运算量为0.34×109，低于轻量型卷积神经网络MobileNetV3（small）。研究结果可以应用到水稻害虫智能识别系统中。在今后的研究中，将针对水稻害虫扩大其种类，以及水稻害虫的类间相似性、类内差异性等问题，进一步优化模型，以提高对自然场景中水稻害虫识别的适用性。

[1] Bao W X, Qiu X, Liang D, et al. Recognition insect images at the order level based on elliptic metric learning[J]. American Society of Agricultural and Biological Engineers, 2021, 37(1): 163-170.

[2] 鲍文霞，邱翔，胡根生，等. 基于椭圆型度量学习空间变换的水稻虫害识别[J]. 华南理工大学学报，2020，48(10)：136-144.

Bao Wenxia, Qiu Xiang, Hu Gensheng, et al. Rice pest identification based on elliptic metric learning space transformation[J]. Journal of South China University of Technology, 2020, 48(10): 136-144. (in Chinese with English abstract)

[3] Jensen H G, Jacobsen L B, Pedersen S M, et al. Socioecomomic impact of widespread adoption of precision farming and controlled traffic in Denmark[J]. Precision Agriculture, 2012, 13(6): 661-677.

[4] Lim S, Kim S, Park S, et al. Development of Application for Forest Insect Classification using CNN[C]. //2018 15thInternational Conference on Control, Automation, Robotics and Vision (ICARCV). Singapore: IEEE, 2018.

[5] 边柯橙，杨海军，路永华，等. 深度学习在农业病虫害检测识别中的应用综述[J]. 软件导刊. 2021，20(3)：26-33.

Bian Kecheng, Yang Haijun, Lu Yonghua, et al. Overview of the application of deep learning in the detection and identification of pests and diseases in agriculture[J]. Software Guide. 2021, 20(3): 26-33. (in Chinese with English abstract)

[6] 田杰，韩冬，胡秋霞，等. 基于PCA和高斯混合模型的小麦病害彩色图像分割[J]. 农业机械学报，2014，45(7)：267-271.

Tian Jie, Han Dong, Hu Qiuxia, et al. Color image segmentation of wheat diseases based on PCA and Gaussian mixture model[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(7): 267-271. (in Chinese with English abstract)

[7] Liu T, Chen W, Wu W, et al. Detection of aphids in wheat fields using a computer vision technique[J]. Biosystems Engineering, 2016, 141(2): 82-93.

[8] Hafiz G A U, Qaisar A, Fatima G. Insect classfication using image processing and bayesian network[J]. Journal of Entomology and Zoology Studies, 2017, 5(6): 1079-1082.

[9] Krizhevsky A, Sutskever I, Hinton G. ImageNet classification with deep convolutional neural networks[J]. Advances in neural information processing systems, 2012, 25(2): 84-90.

[10] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. Computer Science, 2014, 18(2): 1409-1556.

[11] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]. // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE Computer Society, 2016.

[12] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(1): 436-444.

[13] 鲍文霞，孙庆，胡根生，等. 基于多路卷积神经网络的大田小麦赤霉病图像识别[J]. 农业工程学报，2020，36(11)：174-181.

Bao Wenxia, Sun Qing, Hu Gensheng, et al. Field wheat head blight image recognition based on multi-channel convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transaction of the CSAE), 2020, 36(11): 174-181. (in Chinese with English abstract)

[14] 孔建磊，金学波，陶治，等. 基于多流高斯概率融合网络的病虫害细粒度识别[J]. 农业工程学报，2020，36(13)：148-157.

Kong Jianlei, Jin Xuebo, Tao Zhi, et al. Fine-grained recognition of pests and diseases based on multi-stream Gaussian probability fusion network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transaction of the CSAE), 2020, 36(13): 148-157. (in Chinese with English abstract)

[15] Li Y, Wang H, Dang L M, et al. Crop pest recognition in natural scenes using convolutional neural networks[J]. Computers and Electronics in Agriculture, 2020, 169(1): 302-310.

[16] Liu Z, Gao J, Yang G, et al. Localization and classification of paddy field pests using a saliency map and deep convolutional neural network[J]. Scientific Reports(Sci Rep), 2016, 6(1): 1-9.

[17] Nanni L, Maguolo G, Pancino F. Insect pest image detection and recognition based on bio-inspired methods[J]. Ecological Informatics, 2020, 57(1): 2-14.

[18] Jie H, Li S, Gang S, et al. Squeeze-and-Excitation Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 42(8): 2011-2023.

[19] Woo S, Park J, Lee J Y, et al. CBAM: Convolutional block attention module[C]. European Conference on Computer Vision, Munich, Germany: Springer, 2018.

[20] Wang X, Girshick R, Gupta A, et al. Non-local neural networks[J]. Computer Science, 2017, 1711(2): 7794-7803.

[21] Zeng W, Li M. Crop leaf disease recognition based on Self-Attention convolutional neural network[J]. Computers and Electronics in Agriculture, 2020, 172(1): 4-14.

[22] 王美华，吴振鑫，周祖光. 基于注意力改进CBAM的农作物病虫害细粒度识别研究[J]. 农业机械学报，2021，52(4)：239-247.

Wang Meihua, Wu Zhenxin, Zhou Zuguang. Research on fine-grained recognition of agricultural diseases and insect pests based on improved CBAM of attention[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(4): 239-247. (in Chinese with English abstract)

[23] Gonzalez, R C, Woods. Digital image processing[J]. Beijing: Electronic Industry Press, 2005: 175-207.

[24] 陆涛. 基于统计特征分类耦合自适应Gamma校正的图像增强算法[J]. 电子测量与仪器学报，2020，34(6)：154-162.

Lu Tao. Image enhancement algorithm based on statistical feature classification coupled with adaptive Gamma correction[J]. Journal of Electronic Measurement and Instrument, 2020, 34(6): 154-162. (in Chinese with English abstract)

[25] Ren F, Liu W, Wu G. Feature reuse residual networks for insect pest recognition[J]. IEEE Access, 2019, 7(1): 122758-122768.

[26] Loshchilov I, Hutter F. SGDR: Stochastic gradient descent with warm restarts[C]. Toulon, France: OpenReview.net, 2016.

[27] 周志华. 机器学习[M]，北京：清华大学出版社，2016：230-245.

[28] Saini R, Jha N K, Das B, et al. ULSAM: Ultra-lightweight subspace attention module for compact convolutional neural networks[C]. IEEE Winter Conference on Applications of Computer Vision (WACV). Snowmass. CO. USA, IEEE, 2020, 12(4): 1616-1625.

[29] Selvaraju R R, Cogswell M, Das A, et al. Grad-CAM: Visual Explanations from deep networks via gradient-based localization[J]. International Journal of Computer Vision, 2020, 128(2): 336-359.

[30] Park J, Woo S, Lee J Y, et al. BAM: Bottleneck attention module[C]. Newcastle, UK:British Machine Vision Conference (BMVA). 2018.

[31] Howard A, Sandler M, Chen B, et al. Searching for MobileNetV3[C]. Seoul, Korea (South): IEEE. 2019.

Rice pest identification in natural scene based on lightweight residual network

Bao Wenxia1, Wu Dezhao1, Hu Gensheng1, Liang Dong1,Wang Nian1※, Yang Xianjun2

(1.-,,230601,; 2.,,230031,)

Accurate identification of rice pests is of great significance for timely protection and management of rice. However, the rice pests are similar with the background in the color and texture, and the morphology of the pests varies greatly during different growth stages. Therefore, it is difficult to accurately identify the rice pests in natural scenes. In this paper, the Light Weight Residual Network (LW-ResNet) composed of feature extraction, global optimization and local optimization modules was designed to improve the ability to identify rice pests in natural scene images. Firstly, in order to reduce the influence of complex background and enhance the feature extraction and expression capabilities of the residual network, the residual block is improved to constitute the feature extraction module. The improved residual block increases the number of convolutional layers and branches of the original residual block, which can effectively extract the deep global features of rice pest images. Secondly, the deep global features are further optimized through the convolutional layers in the global optimization module. Finally, in order to obtain the local discriminative characteristics of rice pest images to distinguish the morphological differences between similar pests, the lightweight attention sub-module constitutes the local optimization module. The light weight attention sub-module uses depth separable convolution to reduce the redundancy of channel features and realize the aggregation of different channel characteristics, so it can highlight the local key features of rice pests. Because the improvement of the residual block in the feature extraction module reduces the number of residual blocks, and the use of deep separable convolution in the attention sub-module and the channel-based global average pooling and global maximum pooling encoding operations reduce floating point operations, the LW-ResNet network has achieved lighter weight. In the HSV space, Gamma transform is used to preprocess the v component of rice pest images and then proceed to the data expansion. After the expansion, there are 4 380 images in the training set and 492 images in the test set. In order to verify the rationality and effectiveness of the method in this paper, in the training phase, the cosine learning rate decay strategy was used to train the network model. By analyzing the number of the improved residual blocks in the feature extraction module, the lightweight attention sub-module in the local optimization module, and the global optimization module, the rationality of the method in this paper was verified. In the testing phase, the LW-ResNet network model achieves a identification accuracy of 92.5% on the test data set of 13 types of rice pest images. The identification accuracy of the LW-ResNet network model is higher than that of classic convolutional neural network models such as VGG16, ResNet, and AlexNet. The parameter amount of the LW-ResNet model is 1.62×106, and the amount of floating-point operations is 0.34×109. The number of parameters and floating-point operations of the LW-ResNet model are both lower than those of MobileNetV3, which verified the effectiveness of the method in this paper. The LW-ResNet network model has achieved light weight and a good identification effect, so it can be used for rice pest identification on the mobile terminal.

crops; models; image identification; rice pest; attention mechanism; deep separable convolution

鲍文霞，吴德钊，胡根生，等. 基于轻量型残差网络的自然场景水稻害虫识别[J]. 农业工程学报，2021，37(16)：145-152.doi：10.11975/j.issn.1002-6819.2021.16.018 http://www.tcsae.org

Bao Wenxia, Wu Dezhao, Hu Gensheng, et al. Rice pest identification in natural scene based on lightweight residual network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(16): 145-152. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.16.018 http://www.tcsae.org

2021-06-19

2021-08-13

国家自然科学基金（41771463；61672032）

鲍文霞，副教授，硕士生导师，研究方向为农业与生态视觉分析与模式识别。Email：bwxia@ahu.edu.cn

王年，教授，博士生导师，研究方向为农业大数据分析。Email：wn_xlb@ahu.edu.cn

10.11975/j.issn.1002-6819.2021.16.018

TP；S24

A

1002-6819(2021)-16-0145-08