基于图像处理的玉米害虫种类识别系统研究

石新丽赵墨然李海川温志达

(1.泊头市气象局，河北 沧州 061001;2.河北科技大学信息科学与工程学院，河北 石家庄 050000;3.河北省沧州市气象局,河北 沧州 061001;4.沧州天祥防雷检测有限公司,河北 沧州 061001)

玉米是许多国家非常重要的粮食作物，遍布范围广泛。随着玉米种植面积的不断扩大，害虫的威胁也在一步步提升，农作物害虫的出现不仅与农作物生长环境有关，还与复杂多变的气象条件因素有关，当气象条件发生变化时，农作物的生长环境受到影响，就会有利于害虫的繁殖。

目前，在我国的农业生产过程中，农药仍然是防治病虫害的主要手段。农药的使用可以挽回农产品产量的损失，而害虫是影响农产品产量的一个重要因素[1]。农作物害虫识别包含3个方面，主要是害虫图像分割、特征提取和害虫识别[2]。以往依靠专业农业人员和种植经验来识别害虫，这种方法不仅费时费力，而且识别效率较低，更适合小面积的种植区域。随着图像识别技术的发展，近年研究学者们提出了很多虫害识别系统[3]。2016年，吴翔[4]通过卷积神经网络模型实现了10种螟蛾科类害虫的识别，其卷积神经网络害虫识别模型共计5层，最终识别的准确度约76.7%。2018年,有研究学者通过对ResNet-101进行改进实现了对二化螟、玉米螟、中华稻蝗等常见害虫的识别，不仅提高了准确率，还能实现在移动端的图像数据识别[5]。

本文主要采用图像处理和模式识别的方法来进行农作物害虫的检测与识别，先对图像进行预处理可以更利于后面图像识别部分。深度学习目标检测的方法可以检测识别出玉米中的害虫，为以后精准施药的研究奠定基础，防止大面积农药的喷洒造成环境污染，也避免了农药的浪费。

1 系统整体结构

目前，玉米害虫的种类非常多，由于玉米种植的地理位置、温湿度和环境气候不同，一些玉米害虫的生活特性各有不同，对玉米的危害程度也各不相同。以玉米害虫为主要的研究对象，采用图像处理方法实现对害虫的目标检测与识别，为精准施药做准备，在很多领域都应用了图像识别技术，尤其在农业领域，图像识别技术的出现可以替代人工识别来去除害虫，减少灾害时间。该方法的整体结构如图1所示。

图1 系统整体结构框图

图像采集部分，使用工业相机的摄像头拍摄图片，其是一种基于光电效应原理的摄像头，这种相机还可以在一些机器视觉软件上进行图像处理。传感器是相机的一个重要组成部分，COMS影像传感器有着较高的灵敏度，可以连续触发。此外，设置的USB接口可以连接树莓派，而且可接受多种编程语言，适应范围更广。需对原始图像进行预处理和均衡操作，包括图像滤波、彩色图像灰度化、二值化等操作，即图像预处理模块。模型训练模块就是利用深度学习目标检测方法，对样本集进行训练，目标检测的方法有很多种，其可以在一张图片中检测到目标，定位目标的位置，还可以对目标进行识别。害虫识别模块主要是对用户导入的玉米害虫图像进行检测识别。

2 害虫图像预处理

图像预处理过程主要是为了消除由于环境造成的干扰和噪音，突出人们感兴趣的部分。图像预处理部分主要包括对数字图像进行平滑滤波、消除噪音的干扰、对图像进行增强操作并实现二值化处理，使物体和背景区别明显。

2.1 图像中值滤波

在害虫图像拍摄时，会由于周围环境或者相机等因素产生一些不可避免的噪音，这些噪音对后续的图像处理会产生干扰，所以必须对拍摄到的图像进行预处理，为图像识别做准备[6]。对图像进行中值滤波，消除一些孤立的噪声点。再对平滑后的图像进行图像增强，突出人们感兴趣的部分；对图像进行二值化，变成黑白图像，并对二值化图像进行消除噪声和补齐小的凹陷处理,提高图像的视觉效果。中值滤波就是将矩形模板内的像素从大到小进行排序，取所有像素的中值，将中值作为滤波的结果，处理结果替代噪声点。最常用的滤波方法有中值滤波和均值滤波，中值滤波可以更好地去除单独的噪声点，保护图像的边缘，均值滤波在处理时会有明显的模糊现象，相比之下，中值滤波比均值滤波处理效果更好。中值滤波的表达：

P(x,y)=med{h(x-m,y-n),(m,n∈V)}

式中，h(x,y)、p(x,y)分别为处理前的图像和处理后的图像；V为中值滤波矩形模板。棉铃虫中值滤波结果如图2所示。

图2 原始图像与9×9中值滤波图像的对比

2.2 图像二值化处理

图像的二值化处理是将图像上点的灰度根据阈值的大小进行分类，生成只有黑色和白色2种颜色的图像。不同的阈值会有不同的二值图像效果，常用的方法就是自动阈值分割法和人工阈值分割法。阈值分割通常是先确定图像中的像素点的灰度值是否符合阈值分割的要求，根据该点像素值与阈值的大小，将该点的像素归为害虫或者是害虫的背景，通过这种方式可以将害虫的灰度图像转换成二值图像。阈值分割的数学表达式：

图3 草地贪夜蛾成虫二值化图像

3 害虫图像识别系统模型

3.1 系统环境

整个神经网络的训练和测试均是在pytorch下进行的，基于图像处理对玉米害虫图像识别系统的实验环境如下：硬件环境采用的处理器为Inter(R)Core(TM)i5-8250U CPU @1.60GHz 1.80GHz,8G内存；软件环境系统为windows10；深度学习框架为pytorch。

3.2 玉米害虫样本信息

对于农作物害虫种类识别系统来说，想要识别的效果更准确，需要训练一个好的模型，那么样本集的制作是非常重要的。本文通过中国农业信息网、农业害虫防控网、Google和百度等多种方式获取农田害虫图像样本，构成样本集。玉米害虫种类有很多，主要选择危害玉米生长的5类常见玉米害虫作为识别、定位与施药的对象，设置的标签类别不能用中文表示，因此将其分别标为草地贪夜蛾成虫(cdtye)、玉米蓟马成虫(ymjm)、甜菜夜蛾幼虫(tcye)、棉铃虫幼虫(mlc)、玉米螟成虫(ymm)。这5类害虫图像如图4所示。制作样本集就是用来训练神经网络模型，在训练集中会有图像信息、标签等内容。制作样本集的过程如下，需要对害虫的信息进行标注，一般用的软件是LabelImg，其可以自动生成xml文件。在xml文件中，可以看到一张图片中目标的类别和位置信息，位置信息由横纵坐标显示。

图4 5类害虫体态特征图像

3.3 基于YOLO的害虫图像识别模型

深度学习[7,8]是近几年非常热门的人工智能技术，与传统的神经网络结构相比，其层次更多，有输入层、输出层，还含有许多隐含层，能够解决复杂的分类问题。卷积神经网络与普通神经网络的区别在于，卷积神经网络里的特征提取器是由一个卷积层和子采样层组成。深度学习目标检测方法有很多种，而YOLO卷积神经网络可以实现端到端的目标检测和识别，不仅检测速度快，还适合检测小物体。因此，YOLO的设计理念遵循端到端训练和实时检测。YOLOv3的主干网络是Darknet-53，其主干特征提取网络主要是用来提取特征，这个过程实际上是一个下采样的过程，在这个过程中，宽和高会不断地被压缩，而通道数不断扩张。最后会有3个不同特征尺度的输出，也就是3个特征层，分别为13×13、26×26、52×52，适用于检测大物体、中物体和小物体。YOLO网络结构如图5所示。

当通过特征提取网络对害虫特征提取后，就会对得到的特征图进行网格的划分，然后判断目标物体的中心是否在这个网格中，如果在，那么这个网格就主要用来检测该目标物体。在进行训练和测试时，每个网格都会预测多个边界框，边界框的参数主要由5个预测参数组成，分别是目标的位置和置信度。目标的位置主要有4个，分别是中心坐标x、y,宽和高w、h。置信度有1个，其公式：

神经网络模型训练好之后，就要对害虫进行预测，考虑到拍摄的一张图片中会有不止一类害虫，可能会有多种类别，所以使用多标签分类方法。YOLOv3是用多个独立的逻辑分类器替换softmax函数，以计算输入属于特定标签的可能性。

图5 YOLO的网络结构

4 害虫图像识别结果

本文采用了YOLOv3网络模型，共标记了300张害虫图片用于模型的训练，将标记好的图像分成10份，其中9份用于训练，1份用于测试。标记的样本包含了5类玉米害虫，每类样本的数量是不相同的。在YOLO网络中，S=7,B=2,C=20，默认的分类类别是20，所以将类别修改为5。检测识别的结果如图6所示。

图6 玉米害虫识别结果

通过对测试集的数据进行测试，可以看出YOLO神经网络有较好的识别效果和分类结果，检测的速度快，检测效率也有所提高。YOLO深度学习网络对数据集训练时间较长，测试时间较短。样本数量对深度网络学习模型的构建至关重要，样本数量越多，神经网络训练的模型越好，识别会更准确。

5 结论

随着科学技术的发展，图像处理技术还在不断的完善和发展中。数字图像识别技术也将日益趋于完善，广泛应用于生产生活中。农作物病虫害的识别对农作物正常生长有着重要意义，农作物的生长离不开气象条件，如温度、降水、湿度、光照等条件都会对害虫的生长、繁殖和迁移产生影响。喷洒农药是消灭害虫的方法之一，准确识别出害虫位置，可以为后面的精准施药奠定基础。将图像处理技术与模式识别应用于农作物害虫研究，根据害虫图像的特点，对害虫图像进行预处理，包括平滑滤波、图像增强、二值化、形态学处理等操作，有利于对图像进一步处理。利用已经标好的玉米害虫图像进行YOLO网络的训练，在识别的准确率上和所消耗的时间上都得到了令人满意的效果。