基于卷积神经网络的白背飞虱识别方法

刘德营 王家亮 林相泽 陈 京 於海明

(南京农业大学工学院， 南京 210031)

0 引言

白背飞虱属于远距离迁飞性害虫，是水稻主要害虫之一[1-2]。白背飞虱通过针一样的刺吸式口器吸食稻茎汁液，消耗稻株的养分，使水稻倒伏枯死、千粒重下降和空秕粒增加，造成水稻严重减产[3-4]。在农业生产中，为减少和防治水稻病虫害的发生，对水稻病虫害进行有效防治，首先需要对害虫的种类进行识别。传统的人工识别方法存在费时费力、效率低下、危害工作人员健康等问题[5]。为解决上述问题,近年来，利用昆虫雷达[6]、光谱[7]、声音[8]以及机器视觉技术[9-11]进行害虫识别和监测的研究受到重点关注。其中，利用机器视觉技术进行昆虫识别具有分类计数准确、智能化程度高等优点，已成为病虫害自动监控与识别技术的研究重点[12-13]。毛文华等[14]通过对草地蝗虫头数信息的提取，提出基于机器视觉的蝗虫识别方法，获得了80%的识别率。胡永强等[15]将颜色、形状、纹理特征与稀疏表示相融合来识别5种油菜害虫，平均识别率达到80.7%。李文勇等[11]通过害虫姿态轮廓来识别果树靶标害虫，识别率达到86.7%。上述研究均获得了较好的识别效果，但仍有提升空间。

本研究利用经过改进的自制昆虫图像采集装置，采集田间自然状态下稻飞虱图像，提出一种基于卷积神经网络的白背飞虱自动识别方法并进行试验研究，为将来针对白背飞虱引发的虫害开发自动监控和预测系统提供技术基础。

1 样本采集

1.1 图像采集装置

为了更加方便地获取田间自然状态下的白背飞虱图像，改造了野外环境昆虫图像自动采集装置[16]，如图1所示。改进后的装置与原装置相比：使用PLC作为整个系统的控制核心。通过PLC控制伺服驱动器来控制2个电动机，从而调节拍摄装置在xz平面的位置，在电动机工作的同时，PLC发出脉冲，控制相机拍照,使得整个系统更加适合在野外进行作业，提高了系统的稳定性。扩大采集工作台的面积，使得一个采集周期内，可获得更多的昆虫图像。选用MER- 500- 7UC式数字相机，该型号相机与计算机以USB2.0相连，避免了安装图像采集卡和驱动等繁琐步骤，且分辨率更高，拍摄的昆虫图像更加清晰，便于后续对图像进行处理。

图1 图像采集系统实物图Fig.1 Physical map of image acquisition system1.旋转手柄 2.幕布 3.拍摄光源 4.镜头 5.相机 6.支撑台架 7.纵向电动机 8、9.滚珠丝杠 10.横向电动机 11.底座

1.2 昆虫图像采集

采集地点为南京农业大学江浦农场，属亚热带季风气候，图像采集时间为2016年6—10月。野外实验现场如图2所示。采用上海亚东照明生产的160 W自镇流荧光高压汞灯作为诱虫光源，放置在采集装置工作台的前上方，昆虫受到灯光吸引不断附着于工作台的白色幕布上。调节镜头和幕布间的距离(实验中设置为50 cm)，将相机设置为自动曝光模式和白平衡模式，像素设置为最大的500万像素(2 592像素×1 944像素)，镜头光圈设置为F8.0，调整环形光源的光源强度使所拍摄的背景像素RGB值在200左右。

每次实验采集2或3组图像，每组195幅。所采集到的昆虫图像主要为白背飞虱，也包括蠼螋、叶蝉、长蝽、蚂蚁等其他昆虫，采集效果如图3所示。

图2 野外实验现场图Fig.2 Scene of field experiment

图3 采集到的昆虫图像Fig.3 Collected insect images

2 基于卷积神经网络的图像处理和分类

2.1 卷积神经网络结构设计

卷积神经网络(Convolutional neural network, CNN)是深度学习中一个重要的概念[17-21]，它是一种人工神经网络，在多层神经网络的基础上发展而来，专为识别二维图像设计。该方法只需对原始图像进行一些简单的归一化处理(即像素设置为0～1之间)就能学习到其不变性特征。利用卷积运算提取目标不同层次的特征，并在神经网络的训练过程中自动调节网络参数，产生最适合的分类特征，避免了传统识别方法中复杂的预处理过程。

卷积神经网络每层的每个神经元的输入都和前一层的局部感知域相连，提取该域的特征后对特征图进行池化操作，可降低分辨率，减少冗余特征，使网络的训练和学习变得更容易。

基于卷积神经网络的白背飞虱图像分类设计方案如图4所示，采集到野外昆虫图像后，提取其中有用的昆虫信息，对其进行归一化处理。在图像样本中取1/2作为训练样本，取1/4作为测试样本，对训练样本进行卷积和池化操作，根据反向传播算法和梯度下降原则不断更新参数，得出训练后的网络模型，再利用SoftMax回归模型将获取的特征全连接到输出，得出分类结果，统计识别正确率。

图6 实验样本图像Fig.6 Experimental sample images

图4 图像分类方案框图Fig.4 Diagram of image classification scheme

图5 图像处理卷积神经网络设计图Fig.5 Design diagram of image processing convolutional neural network

本设计利用Matlab (R2010b)和GitHub上一个开源的深度学习工具箱[22]，按照文献[23]所使用的经典CNN结构LeNet- 5，利用5×5的卷积核对归一化后的输入图像做卷积操作。本文所设计的用于昆虫图像分类的卷积神经网络的结构如图5所示，由1个输入层、1个输出层和中间的隐藏层组成，其中隐藏层又分为2个卷积层、2个池化层和1个单层感知SoftMax分类器。

2.2 昆虫图像处理和分类

在采集到的昆虫图像中，为了获得干净、独立的昆虫样本图像，剔除原图中存在多只害虫粘连情况的部分，单独截取600幅白背飞虱图像作为正样本，600幅非白背飞虱图像作为负样本，共计1 200幅实验样本。为减少计算机处理工作量，将所有样本尺寸统一取为30像素×30像素。部分样本如图6所示。

利用自行设计的卷积神经网络分类器对实验样本进行处理。其中，输入层为经过简单归一化处理的昆虫图像。中间的隐藏层主要由负责特征提取的2个卷积层和负责特征压缩的2个池化层相互交替组成。第2个池化层后连接一个SoftMax分类器，用于将压缩好的特征映射到输出层。

2.2.1输入层

输入层即为经过简单归一化处理的昆虫图像：将事先提取的30像素×30像素的昆虫图像统一缩放到60像素×60像素，并将所有像素值归一化为0～1之间的数字(将原像素值除以255)。

2.2.2卷积层C1

卷积层负责特征提取，其中卷积层C1有1个输入图像和6个输出图像(即特征图)，每个输出图像都是输入图像与待训练的5×5卷积核运算得到的，故输出图像为56像素×56像素。C1层可训练的参数有156个，即6个卷积核参数和6个偏置项，C1层与输入图像之间的连接数共有489 216个。

2.2.3池化层S2

池化层负责特征压缩。文中2个池化层的池化操作均采用平均池化方法，即选取规定邻域内特征点的平均值来参与后续的训练。

池化层S2有6个特征图，这些特征图的每个像素值都与C1中相对应特征图的2×2大小的不重叠邻域相连接，所以S2层每个特征图为28像素×28像素。这一层每个特征图对应一个可训练的参数和偏置，所以共有12个可训练的参数。S2层的每个像素都和C1层中的2×2个像素连接，此外还与1个偏置连接，所以这两层之间共有23 520个连接。

2.2.4卷积层C3

卷积层C3有12个特征图，同样是通过5×5的卷积核作用于S2层，故特征图为24像素×24像素。S2层的6个特征图每个都要和一个卷积核作卷积运算，得到C3层的12个特征图，所以这里一共有72个卷积核，每个卷积核上都有一个偏置，所以这两层之间有1 078 272个连接。

2.2.5池化层S4

池化层S4之后连接一个SoftMax分类器，用于将压缩好的特征映射到输出层。S4层中对前一层的特征图进行了3×3的池化操作，得到了12个8像素×8像素的特征图，共有24个可训练的参数，S4层和C3层之间有7 680个连接。

2.2.6SoftMax分类器

经过训练，最后只剩下768个神经元，由最后的SoftMax分类器将其拼合成一个列向量，全连接到输出层，计算出属于每个输出的概率。

2.2.7输出层

输出层直接输出分类结果。由于在本识别任务中，识别种类只有白背飞虱和非白背飞虱两种，所以只有2个输出，比较2个输出的概率，将特征归类为概率较大的一个。

3 结果与分析

3.1 图像样本采集

利用改进的昆虫图像采集系统，自动采集2 000多幅昆虫图像。采集效果如图3所示，所采集的图像清晰度好、质量高，表明改进后的昆虫图像采集系统具有良好的性能，可以在野外自然环境下，自动获取高质量的昆虫图像，满足昆虫检测的实际生产需要。

3.2 分类过程及结果

在正负样本中随机选取1/2，即300幅白背飞虱，300幅非白背飞虱作为训练样本。随机选取剩余样本的1/2作为测试样本，另外的1/2作为交叉验证的原始数据来使用。实验时，先初始化卷积神经网络并将图像进行归一化处理，将图像的灰度转换为0～1之间的数字，通过对训练样本的学习不断更新网络参数，将达到最大迭代次数作为训练停止的条件。其中，迭代一次所花费的时间与样本数量成正比。

以迭代4 000次为例，将学习批次设置为10，即每次要学习10个样本，共学习60次，每次学习结束后，对训练样本做一次分类，根据分类结果将误差反向传播到各个层，自动更新卷积核参数和偏置，不断自动调整，直到达到最大学习次数4 000次。每学习并分类一次后，得到一个分类训练正确率。训练集迭代次数与分类正确率如图7所示。经过4 000次迭代结束后得到一个训练模型，此模型对训练样本的分类正确率为96.17%。

图7 迭代次数和正确率的关系Fig.7 Relationship between number of iterations and accuracy

训练结束后，利用训练好的网络模型对测试集样本进行测试，将每个样本的预测结果和样本的实际分类对比，取二者差的绝对值为纵坐标(共有两种结果：0和1，其中0表示分类正确，1表示分类错误)，样本编号为横坐标，即得出分类错误样本，如图8所示。迭代4 000次所得的网络分类模型对测试集的预测正确率为94.14%。

按照上述方法试验了不同迭代次数对分类正确率的影响。结合图7可知，迭代次数在2 500次以内，训练集的分类正确率随着迭代次数的增加而增加，迭代次数超过2 500次以后，正确率几乎固定不变，2 600次及之后均为最高的96.17%。而测试集分类正确率在3 000次的时候最高，且之后不变，达到了94.14%，分类结果见表1。从表1可以看出，迭代2 500次后系统训练正确率基本保持不变，为了更好地训练且不引起过度训练，本文采取4 000次作为学习迭代停止条件符合实际需求。

图8 测试结果 Fig.8 Test results

迭代次数训练正确率测试正确率10078.5776.0050089.0087.57100092.4391.57150095.2993.71200095.8692.43250096.1094.13300096.1794.14350096.1794.14400096.1794.14

为了验证此分类方法的可靠性，对模型进行进一步交叉验证。将之前剩余的1/4的未曾使用过的图像样本，即150幅白背飞虱和150幅非白背飞虱中的2/3作为训练集对模型参数进行训练，然后利用训练后的网络模型，对剩余的1/3进行测试，从而验证训练集的分类正确率。交叉验证所得出的分类正确率见表2。可以看出两次分类结果较为相似，迭代次数超过2 500之后，训练正确率保持不变，达到了95.50%。测试集分类正确率在3 500和4 000次时最高，为93.50%。

表2 交叉验证的分类正确率Tab.2 Classification accuracy of cross validation %

对两次分类的误差加以分析，将相同迭代次数的第2次训练和测试的正确率与第1次比较，训练误差平均值为1.03%，测试误差平均值为1.20%。为了更好表现分类模型的可靠性，求两组数据的均方误差(标准误差)。不同迭代次数的训练均方误差为1.74%，测试均方误差为2.93%，表明训练后的分类模型可靠，可以达到对白背飞虱准确分类的目的。

4 结论

(1)改进后的野外环境昆虫图像自动采集装置，可以快速获取高清晰度、高标准的白背飞虱图像，提高了算法的适应性与准确性。

(2)利用基于卷积神经网络的白背飞虱自动识别方法，可以实现对白背飞虱的自动正确识别，识别的正确率达94%以上。

(3)所提出的基于卷积神经网络的白背飞虱自动识别方法，避免了传统识别方法中复杂的图像预处理过程，提高了算法的适应性与鲁棒性。

1 何忠全，陈德西，封传红,等.水稻主要害虫发生区划研究[J]. 西南农业学报，2014，27(5)：1937-1944.

HE Zhongquan，CHEN Dexi，FENG Chuanhong，et al. Study on occurrence regionalization of rice major pests[J]. Southwest China Journal of Agricultural Sciences，2014，27(5)：1937-1944. (in Chinese)

2 吕进，祝增荣，娄永根,等. 稻飞虱灾变和治理研究透析[J]. 应用昆虫学报, 2013，50(3)：565-574.

LÜ Jin，ZHU Zengrong，LOU Yonggen，et al. Review of research into outbreaks and management of rice planthoppers[J]. Chinese Journal of Applied Entomology，2013，50(3)：565-574. (in Chinese)

3 唐小艳，李正跃，陈斌.水稻白背飞虱的综合防治[J]. 湖南农业科学, 2009(8)：70-73.

TANG Xiaoyan，LI Zhengyue，CHEN Bin. Integrated control ofSogatellafurciferaon rice[J]. Hunan Agricultural Sciences，2009(8)：70-73. (in Chinese)

4 沈君辉，尚金梅，刘光杰.中国的白背飞虱研究概况[J]. 中国水稻科学，2003，17(增刊)：7-22.

SHEN Junhui，SHANG Jinmei，LIU Guangjie. Management of the whitebacked planthopper,Sogatellafurciferain China: a mini-review[J]. Chinese Journal of Rice Science，2003，17(Supp.)：7-22. (in Chinese)

5 YAO Q，XIAN D X，LIU Q J，et al. Automated counting of rice planthoppers in paddy fields based on image processing[J]. Journal of Integrative Agriculture,2014，13(8):1736-1745.

6 桂连友，黄秀琴，李传仁.昆虫谐波雷达的发展和利用[J]. 应用昆虫学报, 2011，48(3)：732-738.

GUI Lianyou， HUANG Xiuqin，LI Chuanren. The development and the use of insect harmonic radar[J]. Chinese Journal of Applied Entomology，2011，48(3)：732-738. (in Chinese)

7 朱与波.稻纵卷叶螟危害水稻的高光谱监测方法研究[D]. 南京：南京农业大学，2012.

ZHU Yubo. Hyper spectral monitoring the damage of rice by rice leaf folder cnaphalocrocis medinalis güenée[D]. Nanjing: Nanjing Agricultural University，2012. (in Chinese)

8 韦雪青，温俊宝，赵源吉,等.害虫声音监测技术研究进展[J]. 林业科学,2010，46(5)：147-154.

WEI Xueqing，WEN Junbao，ZHAO Yuanji，et al. Review on monitoring technology of the insect acoustic[J]. Scientia Silvae Sinicae，2010，46(5)：147-154. (in Chinese)

9 田冉，陈梅香，董大明,等.红外传感器与机器视觉融合的果树害虫识别及计数方法[J]. 农业工程学报，2016，32(20)：195-201.

TIAN Ran，CHEN Meixiang,，DONG Daming，et al. Identification and counting method of orchard pests based on fusion method of infrared sensor and machine vision[J]. Transactions of the CSAE, 2016,32(20): 195-201. (in Chinese)

10 JIANG J A，TSENG C L，LU Fuming，et al. A GSM-based remote wireless automatic monitoring system for field information: a case study for ecological monitoring of the oriental fruit fly,Bactroceradorsalis(Hendel) [J].Computers and Electronics in Agriculture，2008,62(2):243-259.

11 李文勇，陈梅香，李明,等.基于姿态描述的果园靶标害虫自动识别方法[J/OL].农业机械学报，2014，45(11)：54-59.http:∥www.jcsam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20141109&journal_id=jcsam.DOI:10.6041/j.issn.1000-1298.2014.11.009.

LI Wenyong，CHEN Meixiang，LI Ming，et al. Orchard pest automated identification method based on posture description[J/OL]. Transactions of the Chinese Society for Agricultural Machinery，2014，45(11)：54-59. (in Chinese)

12 毛罕平，张红涛.储粮害虫图像识别的研究进展及展望[J].农业机械学报，2008，39(4)：175-179.

MAO Hanping，ZHANG Hongtao. Research progress and prospect for image recognition of stored-grain pests[J].Transactions of the Chinese Society for Agricultural Machinery，2008，39(4)：176-179. (in Chinese)

13 韩瑞珍，何勇. 基于计算机视觉的大田害虫远程自动识别系统[J]. 农业工程学报，2013，29(2)：156-162.

HAN Ruizhen， HE Yong. Remote automatic identification system of field pests based on computer vision[J]. Transactions of the CSAE，2013，29(2)：156-162. (in Chinese)

14 毛文华，郑永军，张银桥，等.基于机器视觉的草地蝗虫识别方法[J]. 农业工程学报，2008，24(11):155-158.

MAO Wenhua，ZHENG Yongjun，ZHANG Yinqiao，et al． Grasshopper detection method based on machine vision[J]. Transactions of the CSAE，2008，24(11) : 155-158. (in Chinese)

15 胡永强，宋良图，张洁，等.基于稀疏表示的多特征融合害虫图像识别[J]. 模式识别与人工智能,2014,27(11):985-992.

HU Yongqiang，SONG Liangtu，ZHANG Jie，et al. Pest image recognition of multi-feature fusion based on sparse representation[J]. Pattern Recognition and Artificial Intelligence，2014，27(11)：985-992. (in Chinese)

16 刘德营，丁为民，陈坤杰.野外环境昆虫图像自动采集装置[J].农业机械学报，2011，42(6)：184-187,173.

LIU Deying，DING Weimin，CHEN Kunjie. Automatic acquisition system for insects images in field environment[J].Transactions of the Chinese Society for Agricultural Machinery，2011，42(6)：184-187,173. (in Chinese)

17 卢宏涛，张秦川. 深度卷积神经网络在计算机视觉中的应用研究综述[J].数据采集与处理，2016(1)：1-17.

LU Hongtao，ZHANG Qinchuan. Applications of deep convolutional neural network in computer vision[J]. Journal of Data Acquisition and Processing, 2016(1)：1-17. (in Chinese)

18 孙志军，薛磊，许阳明，等.深度学习研究综述[J].计算机应用研究，2012，29(8)：2806-2810.

SUN Zhijun，XUE Lei，XU Yangming， et al. Overview of deep learning[J]. Application Research of Computers,2012,29(8)：2806-2810. (in Chinese)

19 杨斌，钟金英.卷积神经网络的研究进展综述[J].南华大学学报：自然科学版，2016，30(3)：66-72.

YANG Bin，ZHONG Jinying. Review of convolution neural network[J]. Journal of University of South China：Science and Technology, 2016，30(3)：66-72. (in Chinese)

20 胡正平，陈俊岭，王蒙,等.卷积神经网络分类模型在模式识别中的新进展[J].燕山大学学报，2015,39(4):283-291.

HU Zhengping，CHEN Junling，WANG Meng，et al. Recent progress on convolutional neural network in pattern recognition[J]. Journal of Yanshan University，2015，39(4):283-291. (in Chinese)

21 高震宇，王安，刘勇，等.基于卷积神经网络的鲜茶叶智能分选系统研究[J/OL].农业机械学报，2017，48(7)：53-58. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20170707&journal_id=jcsam. DOI:10.6041/j.issn.1000-1298.2017.07.007.

GAO Zhenyu，WANG An，LIU Yong，et al.Intelligent fresh-tea-leaves sorting system research based on convolution neural network[J/OL].Transactions of the Chinese Society for Agricultural Machinery,2017,48(7):53-58. (in Chinese)

22 Deep Learn Toolbox[EB/OL].[2014- 01- 12]. https:∥github.com/rasmusbergpalm/DeepLearnToolbox.

23 LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.