基于卷积神经网络的烟草甲虫智能监测系统设计

张 宝，胡 伟，陈禹伶，彭 帆*

（1.四川中烟工业有限责任公司绵阳卷烟厂，绵阳 621000；2.西南科技大学，绵阳 621000）

0 引言

烟草甲虫属鞘翅目窃蠢科，原生于美洲温热地带，现为世界性仓储物害虫。烟草甲幼虫喜黑暗，有群集性，具有钻蛀习性[1]。幼虫喜蛀入烟梗，咬食烟叶或蛀食茶叶，也喜吃淀粉类食物。尤喜食香气浓郁的优质烟叶。世界各国普遍发现烟草甲是烟叶、香烟、雪茄的重要害虫，在烟叶仓库里危害储藏的烟叶，以及香烟和雪茄等烟草制品，特别喜食储存1～2年的正在醇化的上、中等烟叶。成虫将卵产于烟叶的皱 及中肋处、粮粒表面及碎屑中间，产卵方式多为散产，防护工作很难。烟草甲虫蛀食烟叶不仅造成烟叶直接的重量损失，而且使被害后的烟叶、烟支千疮百孔，其排泄物和虫尸还造成严重污染，影响烟草品质。据资料显示，全世界每年受到烟草甲虫危害的贮藏烟叶损失达1%。因此，对烟草甲虫的监测和预警工作尤为重要。高效的烟草甲虫监测系统能够及时发现虫情，从而指导精准杀虫，防止虫情扩大，避免造成严重的经济损失。

国内对烟草甲虫的防治已有一定的研究。例如：2017年，红塔烟草公司获得一种新型的烟片储存环境虫害检测装置的专利[2]；2017年，华中科技大学的孙艘设计了一种烟草虫情图像采集与监测系统[3]；2018年，白沙烟草公司保定卷烟厂获得了一种杀虫板烟虫数量快速计数装置的专利[4]；2019年，浙江中烟宁波卷烟厂制丝车间上线“虫情电子地图”平台。学界和业界对自动化监测烟草甲虫情的研究十分关注，并形成了一些理论研究成果和验证系统[5～7]，但时至今日仍没有全自动智能化的烟草甲监测系统落地产品进行规模应用和推广，因此还有广阔的研究空间。

在烟草甲防治过程中，业内普遍采用在制烟车间内的监测点布置烟草甲诱捕器，然后人工定期统计每个诱捕器上烟草甲数量的监测方案，该方案存在统计数据代表性差、监测效率低、实时性差和对历史数据的信息挖掘不够等问题。本项目研究的智能监测系统通过采集样本监测点的图像数据进行烟草甲检测和识别得到虫情状况，通过分析历史数据来指导监测点位置的选取和精准杀虫，做到科学有效的监测控制虫情。

1 整体设计

基于卷积神经网络的烟草甲虫智能监测系统由图像采集终端、网络通信线路、图像处理算法、数据分析及用户展示界面组成，整体设计技术路线图如图1所示。图像采集终端包括图像传感器（相机）、光源、控制器以及防尘诱捕装置，用于对烟草甲虫进行图像采集；网络通信线路用于将图像采集终端采集到的图像传送至服务器进行烟草甲虫检测识别；图像处理算法为改进的Cascade R-CNN[8]，用于对烟草甲虫进行检测；检测结果分析后将被保存至数据库并输送至图形用户界面进行可视化展示。基于卷积神经网络的烟草甲虫智能监控系统可以实现自动统计各监控点的烟草甲个数，生成数据报表、热力图、趋势图，预警虫情等级，实现虫情智能监测。

图1 整体设计技术路线图

在烟厂实地考察之后选择二十个监控点进行烟草甲虫数量监测，每一个监控点设置一个图像采集终端进行图像采集，采集时间为每隔一小时采集一张图像。采集到图像之后，基于卷积神经网络的烟草甲虫智能监测系统按照整体设计技术路线图所示流程进行工作，最终，用户从软件用户界面获取信息，做出相应处理。

2 硬件设计

基于卷积神经网络的烟草甲虫智能监测系统通过采集并分析图像来获得烟草甲虫的数量，实现烟草甲虫情的自动监控，其依赖于可靠的硬件来采集图像和传输图像，在服务器上处理并保存图像数据。本硬件设计方案包括自主设计的图像采集终端、网络通信线路和服务器。

图像采集终端由树 派4代B型（4B）作为控制器，负责接收来自服务器端的数据请求，控制USB高清摄像头和LED光源采集图片或视频数据并传送到服务器端。网络通信线路由网线和具有POE供电功能的交换机组成，是数据传输和树 派供电的物理载体。服务器需要具备足够的图像存储空间和用于图像处理的计算能力，满足本项目对服务器的技术指标要求。系统硬件总体结构如图2所示。

图2 硬件总体结构图

2.1 图像采集终端

图像采集终端由图像传感器、控制器和诱捕器组成。图像传感器选用的是一款800万像素的USB摄像头。烟草甲虫体积小，需要选用微距拍摄效果好的摄像头，同时，卷烟厂厂房内一天不同时间的光照也不同，摄像头需要根据光照的变化来改变焦距，该款摄像头适合微距拍摄高清图像，可快速自动对焦，非常适合本套系统的应用场景。

图像传感器功能参数列表如表1所示。

表1 图像传感器功能参数表

本套系统要应用在各种光照条件和不同场景下，需要配合灯光才可以采集到质量较好的烟草甲虫图像，因此需要使用控制器来达到这个要求，综合考虑布线复杂程度、程序开发量和成本因素决定采用树 派4代B型作为图像采集终端的控制器。

由于图像采集终端需长期工作于生产环境现场，厂房内的生产活动会产生一定的冲击和大量的烟尘，图像传感器需要避免镜头沾染烟尘，同时图像传感器等都需要精密的保护，因此，为了保证拍摄图像的质量使用 金设计制作双层防尘诱捕装置，图像传感器和光源安装在该装置内，其外观示意图如图3所示。

图3 图像采集终端结构图

诱捕装置在X和-X方向上只有一面，在其余四个方向上均由两面构成。X方向的平面上的虚线框为相机的安装位置，并在相机安装位置的四周布置2个LED灯用于采集图像时补光，诱捕器由Z方向靠墙位置垂直插入诱捕装置中，树莓派安装在-X方向。在Z、-Z、Y、-Y四个方向的平面上内外壁交错布置直径8mm的小圆孔来散发出诱捕器的信息素，引诱烟草甲虫进入，同时防止灰尘进入，圆孔布置位置如图4所示，实线圆是外壁上的圆孔，虚线圆是内壁上的圆孔。

图4 内外壁圆孔布置位置图

2.2 网络通信线路

网络通信线路由六类千兆网线和具有POE功能的交换机构成，通过网络通信线路建立图像采集终端与服务器之间的数据通信，图像采集终端通过套接字（Socket）与服务器进行通信[9]，同时网络通信线路也是图像采集终端的供电线路[10]，这样的设计可以大量减少系统的布线。

2.3 服务器

将采集到的图像传入服务器之后，服务器需要对图像进行处理与存储，处理大量的图片数据需要强大的服务器支持，服务器处理器选用4U机架式服务器，配置两颗Inter Xeon5118CPU，显卡选用GPU2080Ti，同时配置一个4口千兆以太网控制器作为网卡，硬盘为4*1TB 7.2K 6G SATA 2.5寸的HDD硬盘，服务器主要的配置如表2所示。

学生已经学习了细胞的有丝分裂、减数分裂和受精作用等细胞学基础知识，了解了DNA的基本单位以及染色体、蛋白质等大分子物质的化学组成，为新知识的学习奠定了坚实基础。此外，学生通过之前“遗传规律”单元的学习，也具备了一定了实验设计能力。

表2 服务器主要配置

图像采集终端程序流程图如图5所示，终端程序需要一直运行，等待服务器的连接。

图5 图像采集终端程序流程图

为了系统的主程序能够方便获取到图像或视频流，我们将获取数据的程序封装成一个函数，函数的输入参数为图像或者视频的控制参数（如帧率和分辨率等），通过调用这个函数返回图像或者视频数据。

3 算法设计

烟草甲虫全长约3毫米，是一种典型的小目标。因此本套系统的算法针对小目标识别这个关键问题进行研究。算法的基础数据集均为自建数据集，基础网络为Cascade R-CNN，并基于经典特征金字塔（Feature Pyramid Network，FPN）[11]形成新的多路特征纹理转移（Multi feature texture transfer，MFFT）模块。

3.1 烟草甲虫图像数据集

对于基于深度卷积神经网络的检测算法来说，质量优异的数据集是并不可少的一部分，由于现如今常见数据集中并无系统的烟草甲虫图像，本文进行了自建数据集的工作，使用自行设计的图像采集终端对烟草甲虫进行图像采集。本文实验使用的图像数据为2406张烟草甲虫图像数据，这2406张图像包括各种真实存在的，会影响图像质量的情况，例如：烟丝附着遮挡烟草甲虫的情况、光线较暗的情况以及各种情况的组合等。典型图像如图6所示。采集完成后，在服务器端通过改进的Cascade R-CNN算法对这些图像进行检测。该系统检测准确率达97.4%。

图6 典型烟草甲虫图像

3.2 多路特征纹理转移模块

目标检测算法采用在工程应用方面具有很好鲁棒性的基础网络Cascade R-CNN，在自建数据集上也可以获得优异的检测结果。

多路特征纹理转移模块在典型的特征金字塔网络（Feature Pyramid Network，FPN）中加入多路特征纹理迁移（Multi Feature Texture Transfer，MFTT）模块，得到扩展金字塔，进而获取更多的图像特征，提高图像的检测效果。

多路特征纹理迁移（MFTT）模块实现了对特征的超分辨，即获得超分辨后的特征，同时从参考特征中提取区域纹理。多路特征纹理迁移（MFTT）模块解决了特征金字塔中噪声直接传递淹没语义的问题，可排除参考特征中的干扰噪声。多路特征纹理迁移（MFTT）模块框架如图7所示。

图7 多路特征纹理迁移（MFTT）模块框架

其中，P1、P2、P3、P4为典型特征金字塔网络自顶向下的四个不同级别的特征金字塔，P1为底层金字塔，P4为顶层金字塔，P5为最终生成的扩展金字塔。P1输入作为参考特征，P2、P3、P4由内容提取器提取主要的语义信息，作为主要特征，再经过上采样将提取到的主要特征的分辨率提高一倍，然后由纹理提取器选择可信的区域纹理进行小目标检测。最后，将纹理提取器提取的特征与P2、P3、P4层的主要特征进行融合，生成扩展金字塔P5。

3.3 实验结果

为验证该系统中改进的Cascade R-CNN对于烟草甲虫的检测效果，选取原始的Cascade R-CNN算法对采集到的2406张图像进行检测，并与改进的Cascade R-CNN（本文方法）对比。由表3可知，本文方法检测准确率有较大的提升。

表3 不同检测算法检测准确率对比

基于深度卷积神经网络的烟草甲虫智能监测系统需要对烟草甲虫这种典型的小目标进行检测，因此检测算法需要针对小目标。加入了多路特征纹理转移（MFTT）模块的Cascsde R-CNN在小目标检测上具有良好的性能，同时Cascade R-CNN具有很好的鲁棒性，使之在烟厂复杂的环境下也可以很好的工作，整套算法充分考虑了应用场景与检测需求，非常符合基于深度卷积神经网络的烟草甲虫智能监测系统的需求。

4 软件设计

软件主要包括系统管理、用户界面和数据库管理这三部分，其中用户界面需要展示虫情信息、报警信息和监控点。整体框架采用B/S架构，即浏览器和服务器架构模式，在这种架构下，用户工作界面是通过 览器来实现，少部分事务逻辑在前端（Browser）实现，主要事务逻辑在服务器端（Server）实现。由于不需要专门的客户端，因此跨平台的可移植性较强。

软件系统能集中管理监测点采集的原始图像数据和系统运算产生的各种数据，满足实时监控、历史数据查询、统计数据报表、可视化图表（热力图、趋势图、虫情点位爆炸图）的数据分析和数据可视化要求，以及根据虫情等级的设置要求自动预警。同时还增加了以下功能：系统管理中可实现用户登录、注册、注销、退出等功能，还可对不同用户设置不同的权限，如只有管理人员可对后台用户数据和虫情信息进行增删补查，一般人员只能查看监控信息等。

软件功能结构图如图8所示。

图8 软件功能结构图

一个卷烟厂中包含多个监控点（本系统中的监控点数量为20个），每个监控点会在等时间间隔采集图像，并对图像数据进行处理，得到每个监控点的虫情数量，将统计后的虫情数量根据预先规定的 值划分虫情报警级别。普通用户只能获取数据库中的数据或者向数据库写入数据（两个功能中的一个），管理员则能对数据库中的所有数据进行管理（包括添加数据、删除数据和修改数据等）。

用户界面展示如图9所示，其中，图9(a)为卷烟厂监控点的平面示意图以及报警信息，图9(b)为每个监控点在某个时间段内的虫情占比饼状图，图9(c)为虫情数据库展示，提供每个监控点当前时刻烟草甲虫数量以及与上一时刻相比的增长数量。

图9 用户界面展示

5 结语

本文设计了一个基于深度卷积神经网络的烟草甲虫智能监测系统，以改进的Cascade R-CNN算法为核心的智能监测系统可以自动采集图像，传输图像，进行图像检测以及将检测结果展示在网页上，这是一个完全智能、不需要进行人为干预的系统，打破了现如今人力检测的困局。本文提出改进的Cascade R-CNN算法在采集到的2406张图像上可达到97.4%的检测准确率，明显优于其他检测算法。因此，基于深度卷积神经网络的烟草甲虫智能监测系统，为卷烟厂内烟草甲虫的防治提供了一种自动化且检测准确率高的方法，对卷烟厂内烟草甲虫的防治具有重大意义。