便携式柑橘虫害实时检测系统的研制与试验

王林惠，兰玉彬，刘志壮，岳学军，邓述为，郭宜娟

（1. 湖南科技学院智能制造学院，永州 425199；2. 华南农业大学电子工程学院、人工智能学院，广州 510642； 3. 国家精准农业航空施药技术国际联合研究中心，广州 510642）

0 引言

柑橘是中国重要的经济类果树，现如今适宜种植柑橘的地域范围不断扩大，然而柑橘虫害的频繁发生，极大增加了柑橘栽培难度。柑橘红蜘蛛和蚜虫是影响柑橘生长的主要虫害，各柑橘产区均有分布。目前柑橘树虫害防治主要以大范围大剂量喷洒农药为主[1]，环境污染严重，且果品上的农药残留对消费者的健康产生较大影响。因此，根据果园中不同位置的虫害危害等级信息进行精准喷施，对于节约资源、保护环境、提高果品品质和果农增收意义重大[2]。然而果树虫害级别定量化测评及实时检测技术达不到变量喷施的要求，成为限制精确喷施农药的瓶颈问题。因此，研究果树虫害信息的快速定量化获取关键技术对于实现航空喷雾自动化、无人化具有十分重要的意义。

传统虫害检测方法包括声学检测法[3]、电子鼻技术[4-5]、光谱成像技术[6-8]和可见光图像处理技术[9-11]等，前三种方法在复杂的果园环境中的使用具有局限性。随着计算机硬件更新换代和深度学习等智能化技术在物体检测与识别领域取得突破性发展，采用数字图像技术精准分析虫害图像，了解虫害的危害程度逐渐成为趋势[12-13]。如李衡霞等[14]提出一种基于深度卷积神经网络的油菜虫害检测方法，实现了对蚜虫、菜青虫幼虫、菜蝽、跳甲、猿叶甲等5种油菜害虫的快速准确检测，平均准确率达94.12%；Kuzuhara等[15]提出一种基于改进卷积神经网络（Convolutional Neural Networks，CNN）的虫害两阶段检测和识别方法，采用Xception模型对CNN输出结果再识别。但上述虫害检测案例均只停留在模型构建方面，未实现具体应用。为此，He等[16]设计了一款油菜害虫成像系统，并结合SSD模型研发了配套的安卓应用程序，可结合无人机与物联网技术实现油菜虫害监测。类似于He等设计的检测系统已有诸多案例[17-19]，但均存在的问题是采集与处理分离，均需将采集的图像以无线通信方式上传至服务器处理后获得结果，且未结合位置信息，无法实现地图级查询和显示。

针对以上问题，本文以柑橘树为研究对象，以柑橘红蜘蛛和蚜虫为检测对象，结合深度学习中快速区域卷积神经网络（Faster Region Convolutional Neural Networks，Faster R-CNN)模型和嵌入式物联网技术，研究一种基于可见光图像信息的便携式柑橘虫害实时检测仪，并结合云端服务器，实现红蜘蛛和蚜虫严重程度的地图级可视化显示。为实现柑橘园虫害信息的实时快速获取，果园精细管理、精准施肥施药、喷雾机械的优化设计提供理论依据。

1 材料与方法

1.1 系统构成与工作原理

根据智慧农场和农业物联网设计思想，系统由感知层、网络层和应用层组成，系统结构如图1所示。感知层以该检测仪为主，负责虫害图像数据采集；网络层为检测仪和云服务器、云服务器和用户端之间的数据进行编码、认证和传输；应用层主要提供虫害的位置分布，实时显示各个位置的详细虫害信息和危害程度，并实现地图级直观显示效果。整个系统各层紧密协作、分工明确，构成一套完整的柑橘虫害实时检测系统。

利用模块化设计思想，检测仪包括处理器、高清摄像头（分辨率：支持 1 280×960像素，型号：RER-USB4KHDR01，厂商：锐尔威视）、北斗（Beidou Navigation Satellite System, BDS）定位模块、Wi-Fi通信模块以及显示模块。系统实物如图2所示。其中处理器选用K210 AI芯片（RISC-V架构，64位双核；SiPEED，中国）。该实物采用手持杆的设置方式，一方面可以方便用户握持和携带，增加了装置的便携性，另一方面将摄像头的镜头设置在凹槽内，可避免摄像头被刮花。

检测仪软件工作流程如图3所示。通过摄像头获取虫害图像信息，经预处理后，利用K210内嵌的已训练好的Faster-RCNN进行有无病虫害的识别，对于有病虫害的图像，再进行特征提取和分类，识别虫害类型和危害等级。通过BDS模块获取位置信息，并与虫害识别结果输出显示，最后通过无线通信模块将检测信息发送至服务器，方便用户对虫害发展趋势进行预测，进而方便进行虫害整体管控和预防。

1.2 基于Faster-RCNN的柑橘虫害识别模型训练

Faster-RCNN最早在2016年由Ross B. Girshick提出，是二阶段目标检测模型中最具代表性的方法[20]，拥有较好的特征提取能力和识别能力，且模型精简，适合做移动端目标检测，因此本文选择Faster-RCNN作为虫害检测模型。

Faster-RCNN框架由RCNN[21]、Fast-RCNN[22]逐步发展而来，网络结构可分为卷积层、区域生成网络、感兴趣区域池化层以及分类器。Faster-RCNN结构设计如图4所示。

卷积层提取输入图像特征，生成特征图；采用区域候选网络（Region Proposal Network, RPN）方式生成候选区域：首先生成大量锚框，然后裁剪过滤，并利用软最大化（Softmax）函数分类判断其是否属于前背景，同时用边框回归优化锚框，形成候选区。值得注意的是Faster-RCNN将传统选择搜索区域生成网络提升为 RPN方式，通过RPN获取准确度更高的候选区，降低了时间成本[23]；感兴趣区域池化层变换建议区域尺寸，得到尺寸固定的特征图，该特征图作为全链接层输入项；分类层将固定大小的特征图进行全链接操作，利用Softmax函数和边框回归进行分类和修正。

1.2.1 数据采集与标准数据集制作

数据集图像采集地点位于湖南省永州市新田县富硒脐橙种植基地，采样时间为2020年10月13日，该时间是红蜘蛛和蚜虫的高发期。采样时以该虫害检测仪作为采样工具，以单棵柑橘树为基本单位获取图像数据，共采集柑橘树100棵。基于采样均衡性考虑，采样点选择柑橘树中间处前（A）、后（C）、左（D）、右（B）和顶部（E）共5个位置，采样示意图如图5所示。两种虫害分别采集图像500张，预处理后图像尺寸统一调整为240×240像素。为了提高网络模型的检测精度，对数据集图像采取裁剪、旋转、平移等方式进行数据增强，将两种虫害数据集分别扩增到1 000张图像。

采用LabelImg（v1.8.3）工具对预处理后的虫害图像进行标注，并生成xml数据源文件。将标注后的2000张样本图像分成训练集、验证集和测试集3个部分，按照8:1:1的比例随机划分。

1.2.2 模型超参数选择

学习率是Faster-RCNN重要的超参数，优选合适的学习率可使损失函数快速收敛，避免震荡和减少耗时。本文采用指数标尺选取0.001、0.01和0.1共3组学习率，经多次试验得知最佳学习率为0.001。同样地，批量化尺寸（Batch Size）参数也会影响模型的性能及速度。经对比试验确定了Batch Size最佳值为32。损失函数用来评价模型的预测值和真实值不一样的程度。通常损失函数值越小，模型的性能越好。对于本文涉及虫害分类问题，选择交叉熵损失函数较为合适，计算公式如下：

式中i表示第i个样本，f为模型输出函数，j为求和变量，K为样本总数。同时，一、二阶矩估计的指数衰减率分别设为0.9和0.999，L2正则化系数设为5×10-5。

1.2.3 特征提取网络优选

经典Faster-RCNN模型的特征提取网络层为VGG16，但其参数量过于庞大。然而，MobileNet的结构轻量化特征突出，在嵌入式系统要求模型精简化的前提下优势明显。因此，为突出MobileNet在嵌入式终端虫害检测的优越性，选择GoogleNet 系列的InceptionV3网络模型、MobileNet模型以及VGG16，并结合Faster-RCNN框架在数据集上分别训练，对比三种模型的检测效果。

1.2.4 模型训练环境

硬件配置：处理器为单核Intel E5-2660，内存大小为32 GB，图形处理器为1080ti显卡。

软件环境：操作系统为 Ubuntu 16.04，集成开发环境为 Anaconda3，采用TensorFlow作为深度学习框架。

1.2.5 模型评价指标

为了客观评价不同特征网络的性能，本文从算法运行速度、模型参数量、正确率（Accuracy，ACC）和平均精准率（Mean Average Precision，mAP）4个角度进行评价。

通常分类器在训练和预测一幅图像需要的时间为计算时间。为了减少误差，采用多幅图像的计算时间取平均值（Mean Time, MT）作为速度指标。

模型参数量是嵌入式设备运行深度学习模型的重要指标之一。将每一层的权重参数相加得到参数总量，其中模型参数采用浮点型存储，按4个字节计算，即可得到模型参数量。

正确率指被正确分类的样本数除以总样本数，通常来说，正确率越高，分类器越好。为此，假设真正（True Positive，TP）表示将正样本预测为正样本数；真负（True Negative，TN）表示将负样本预测为负样本数；假正（False Positive，FP）)表示将负样本预测为正样本数；假负（False Negative，FN）表示将正样本预测为负样本数。则正确率公式可表示如下：

某些情况下正确率高并不足以说明算法的性能优异，因此引入mAP作为衡量指标。在物体识别中，每一类均可根据精度（Precision）和召回率（Recall）绘制一条精度-召回率（Precision-Recall，PR）曲线，AP则是该曲线下的面积，而mAP即为平均AP，是对多个验证集个体求平均AP值，其计算公式如下：

式中QR代表验证集个数，q为某一个验证集。

1.3 用户端可视化软件设计

前端采用vue.js框架，结合elements-ui编写界面，导入Google地图，以热力图显示不同位置量化后的虫害情况；后端采用springboot框架，阿里云作为服务器，MySQL作为虫害数据库。设计模式采用模型（Model）、视图（View）和控制器（Controller）实现三层架构（持久层、业务层、表示层），方便拓展。用户端主界面显示如图6所示。

1.4 系统整体评价指标

识别准确率（True Positive Rate，TPR）用来表征检测仪对不同害虫识别的精准度，是指被预测正确的正样本占实际总样本的百分比，计算公式如下：

计数准确率（Counting Accuracy，CA）指标主要用于记录检测仪虫害种类识别正确且计数正确的情况，其中，计数正确是指统计样本中某一类虫害的数量与该样本中该类虫害实际数量一致的情况。为此，本文假设虫害种类识别正确且计数正确的样本数占总样本数的百分比为PP，虫害种类识别正确但计数不正确的样本数占总样本数的百分比为PN，则计数准确率公式如下：

2 结果与分析

2.1 柑橘虫害识别模型训练结果分析

2.1.1 模型训练过程分析

选取两种害虫训练集和验证集样本数据，训练150次。分别记录前20次，前50次，50～100次以及100～150次时损失（Loss）函数变化，如图7所示。

在前10次迭代中训练集和验证集的Loss迅速下降，然后10次迭代之后逐渐趋于平稳，说明已经不能再获取更多的特征。在50次迭代之后，训练集的Loss不变，而验证集Loss缓慢上升，说明出现了过拟合的现象，即模型为了更加拟合训练集的特征而变得过度严格，反而使模型偏离实际。为了防止过拟合现象发生，应该选取合适的迭代次数，或采用权值衰减方法，即每次迭代过程中采用某个小因子降低权值。

将训练集样本图像分别输入训练次数为1、2、3、4、5、10、15、20、25、50、75、100、125、150的Faster-RCNN网络模型中，对两种害虫检测分类的正确率曲线如图8所示。从正确率来看，在网络模型稳定后，红蜘蛛的训练效果较好，正确率达到了92.3%，蚜虫的正确率为91.1%，主要原因是红蜘蛛从形态上看比较固定，而蚜虫形态多变，模型泛化能力稍有不足。

2.1.2 特征网络优选结果及分析

取两种害虫的训练集样本，选择GoogleNet系列InceptionV3网络模型、MobileNet模型以及VGG16，对比分析三种模型的检测效果。不同特征提取网络的Loss值随迭代次数增加的曲线变化如图9所示。

从Loss曲线的形态来看，MobileNet和GoogleNet的Loss曲线都能够快速收敛，且稳定后MobileNet的Loss值小于0.1，而GoogleNet的Loss值稳定在0.1以上。VGG16的Loss值收敛最慢，在经过接近1 000次迭代后最终稳定在0.2左右。

以平均精准率mAP、正确率ACC、模型参数量和速度作为评价指标，取两种害虫的验证集样本，对3个模型的性能进行定量分析的结果如表1所示。

表1 不同特征提取网络性能参数对比 Table 1 Comparison of performance parameters of different feature networks

由表1可知，其中MobileNet的参数量最小，约为VGG16参数量的1/38，仅为15.147 M；MobileNet的mAP和ACC指标分别为86.40%、91.07%，两者虽然均低于VGG16，但高于GoogleNet；从模型检测速率来看，MobileNet的计算时间平均值为286 ms，远低于VGG16的679 ms和GoogleNet的459 ms。综上可知，MobileNet的正确率和平均精准度均低于VGG16，但前者在内存空间上占绝对优势。综合考虑处理效率和准确率的前提下，采用MobileNet作为柑橘虫害检测模型的特征提取网络。

2.2 柑橘虫害实时检测仪检测结果分析

将上述训练好的模型导入K210 AI处理器，取两种害虫的测试集样本，分别记录PP、PN、NN值，结果如表2所示。

表2 检测仪检测结果 Table 2 Detector experimental results

从成功识别的角度来看，红蜘蛛和蚜虫的识别准确率较高，分别为91.0%和89.0%，说明样本特征选取正确。从计数准确率角度来看，红蜘蛛的CA值为90.1%，蚜虫CA值为43.8%，主要原因在于蚜虫比较密集且相互遮挡，存在重叠现象，做标注时难以将所有害虫标注出来，造成训练时部分蚜虫样本成为负样本，准确率降低。LCD显示屏可视化检测结果如图10所示。

从两种虫害的数量特性来看，红蜘蛛的密度较小，因而计数结果较为准确。而蚜虫密度大，在叶脉和茎上可能存在数十个蚜虫，而且存在互相遮盖、对焦困难等问题，导致计数准确率低。因而在训练类似蚜虫的密集害虫模型时，应当尽量选择目标完整、遮挡少、背景单一的图片进行训练，减少误差。

2.3 虫害分布可视化热力图测试结果分析

为便于用户直观查看果园虫害分布情况，客户端从云数据库读取保存的虫害检测数据，包括虫害类型、检测点经纬度信息、数量、危害程度等，其中将单棵柑橘树上采样到的某一类虫害总数作为热力值，并在开发的客户端软件上实现地图级热力值显示，实现直观的虫害分布可视化效果。如图11所示为湖南省永州市新田县富硒脐橙种植基地某区域内的红蜘蛛和蚜虫分布热力图。

由图11可知，该热力图可视化了果园内柑橘红蜘蛛和蚜虫的分布状况，效果良好，可直观展示目标区域内的虫害严重状况，以便为农药喷洒作业提供精准信息服务。

3 结 论

本文以柑橘红蜘蛛和蚜虫为研究对象，设计了一套基于深度卷积神经网络的柑橘虫害实时检测系统。通过验证系统的有效性，得出结论如下：

1）通过对VGG16、GoogleNet和MoblieNet的参数量、准确率和执行效率等指标的对比分析，优选了MoblieNet作为柑橘虫害图像特征提取网络，参数量可减少至15.147 M，平均精准率和正确率分别高达86.40%和91.07%，有利于在嵌入式系统运行虫害检测模型。

2）利用Faster R-CNN实现了红蜘蛛、蚜虫的分类和计数，识别准确率分别达到91.0%和89.0%，单帧图像平均处理速度低至286 ms。检测系统根据目标图像中虫害数量计算危害程度，按照正常、轻度、中度、重度4个等级判定柑橘虫害的严重程度，形成了虫害识别与级别定量化测评软件。

3）利用北斗模块获取采样点位置信息，进一步处理，形成了可视化的虫害热力图。可为柑橘园虫害信息快速获取，果园精细管理和喷雾机械的优化设计提供有益参考。