基于CenterNet模型的烟草甲虫视觉检测方法设计

杨光露，李春松，李愿军，刘穗君*，郭亚东，张焕龙，张杰

基于CenterNet模型的烟草甲虫视觉检测方法设计

杨光露1,3，李春松1，李愿军2，刘穗君1*，郭亚东1，张焕龙3，张杰3

1 河南省中烟工业有限责任公司南阳卷烟厂，河南省南阳市新华东路4号 473007；2 贵州中烟工业有限责任公司，贵州省贵阳市友谊路25号 550000；3 郑州轻工业大学电气信息工程学院, 河南省郑州市金水区东风路5号 450002

【目的】实现卷烟厂烟草甲虫的精准检测，掌握虫情规律。【方法】使用数据增强技术提供的充足样本数据训练出理想的CenterNet模型，采用CenterNet模型对烟虫进行实时检测。【结果】①CenterNet模型在测试数据集中烟虫检测精度能够达到94%以上。②该模型对于烟丝、粉尘颗粒等干扰因素具有一定的抗干扰能力，能实现对烟厂烟虫的精确检测，对于小个体烟虫及粘连烟虫也能获得较优的检测结果。【结论】基于CenterNet模型设计的烟虫检测报警系统能准确统计出烟虫数量，为虫情的有效预警与防治提供了保障。

烟草甲虫；目标检测方法；CenterNet模型；检测精度；抗干扰能力

卷烟生产过程中，烟草甲虫的侵害对卷烟产品的内在品质影响很大，为此，2016版《卷烟工艺规范》中新增“虫情控制保障”相关内容，要求掌握虫情规律，建立虫情管控机制，并开展有针对性的防控工作，确保产品质量安全[1]。烟草仓储、生产环节常见的害虫主要有烟草甲虫和烟草粉（斑）螟，其中烟草甲虫是卷烟生产车间中危害最严重的害虫[2]。烟草甲虫具有虫体小、繁殖率高、分布广和耐抗性强的特点，因此有效防治烟草甲虫（后文简称烟虫）滋生繁殖是各卷烟厂研究的重点和难点，也是保障卷烟成品品质的关键因素之一[3]。

卷烟厂通常使用烟虫诱捕器作为虫情监测的主要工具，目前普遍采取人工目视的方法对捕获的烟虫进行检测和计数。当诱捕器上的烟虫数量较多时，清点容易出错，且需要反复清点费时费力。为此，杨光露等[4]提出了一种改进的曲线阈值算法去除烟草昆虫图像中隐藏的噪声信息，以便后续烟虫识别。孙艘[5]提出结合图像检测方法设计一种自动虫情检测系统以提高烟虫虫情的防治水平，该系统包括虫情监测端、数据服务器端及web客户端及软件。苗强等[6]提出一种移动PDA巡检系统，通过手持PDA上的烟虫检测算法自动检测烟虫并进行统计。段晓威等[7]结合图像降噪、二值化等技术提出基于图像处理的方法设计了烟虫预警系统。但虫板上烟虫的个体大小不一，还会粘附烟丝、粉尘颗粒等杂质，目前提出的烟虫检测算法对于个体较大的烟虫检测效果较好，而对于小目标烟虫、干扰杂质的检测效果有待进一步提高。近年来，深度学习技术在小目标检测方面取得了较大的突破[8]，如洪金华等[9]提出了基于YOLOv3模型的卷烟厂烟虫识别方法，并在此基础上设计了烟虫报警处理系统，该系统能获得较优的烟虫检测效果。Harish Krishna等[10]提出了改进的小目标检测算法用于现实场景中的小目标检测。陈冠宇等[11-13]将深度学习方法应用到小目标检测中，获得了相对较优的小目标检测效果；Ross Girshick等[14]提出了基于语义分割的小目标检测算法；Yun Ren等[15]提出了Faster R-CNN小目标检测算法；Zhou Xingyi等[16]提出了CenterNet小目标检测算法。钟宇等[17]利用各类烟丝图像特征差异，以残差神经网络为基础构建了烟丝类型识别方法。张红涛等[18]将机器视觉技术应用到烟青虫和棉铃虫雌雄蛹的分类识别上，提高了烟青虫和棉铃虫的识别精度。刘浩等[19]将深度学习应用到卷烟小盒商标纸表面缺陷检测当中，提高了卷烟小盒商标纸表面缺陷检测精度。

与现有目标检测算法相比，基于CenterNet模型的小目标检测算法在检测速度和检测精度上均具有一定的优势。因此本文提出采用CenterNet模型对卷烟厂烟草甲虫进行精准、高效地目标检测，通过设计烟草甲虫检测与报警系统实现烟草甲虫自动识别、计数、预警功能，提高烟草甲虫清点的准确率，为区域保养、科学杀虫提供数据支持。

1 制作数据集

1.1 图像采集

烟草甲虫图像数据的采集通过手持设备（手机或智能相机）连续对卷烟厂内放置的含有烟草甲虫面的烟虫诱捕器进行拍照获取，采集像素大小为4000×3000的图像400张。采集的图像中包含不同清晰度的烟草甲虫图像，使得训练得到的模型更好地适应不同清晰度下图像的烟草甲虫检测。为保证图像样本的丰富性，在获取的烟草甲虫图像中以含有烟丝杂质、粘连烟草甲虫以及不同个体烟草甲虫较为典型，如图1所示。

图1 获取的烟草甲虫图像

1.2 数据增强

仅仅使用采集到的图像对模型进行训练获得的检测效果难以满足实际烟虫检测的需求，因此利用数据增强技术对原始图像样本进行扩充。数据增强的目的在于弥补烟草甲虫样本图像的不足以及满足在不同场景下烟草甲虫样本图像的多样性，以改善基于神经网络学习时由于信息不足导致学习不全面的情况，减少网络过拟合现象的发生，增强网络的泛化能力[20]。

通过选取几种常用的增强技术进行数据增强，主要包括随机亮度、高斯噪声、平移三种数据增强方法。经数据增强后，烟草甲虫图像样本数据增加到2380张，为CenterNet模型的训练提供了较为充足的样本，有效地提高了模型的鲁棒性及检测精度。图2(a)为原始图像，图2(b)-(d)分别为经过随机亮度、高斯噪声、平移获得的数据增强图像。

图2 数据增强获得的烟虫图像

1.3 数据标注

将获取的所有图像样本使用labelimg软件进行标注，生成xml标签文件，标注过程如图3所示。

图3 对烟草甲虫图像进行标注

2 模型构建

2.1 模型选择

目前常见的目标检测算法通常使用先验框设定，即在图片上穷举出潜在目标位置，然后对该位置进行分类，这种做法不仅浪费时间，还需要额外的后处理。与之不同的是，CenterNet目标检测算法在构建模型时将目标视为一个点（即目标的中心点），检测器首先利用关键点找到目标中心点，再回归到目标的其他属性，如位置、尺寸等信息。基于中心点的CenterNet模型能在保证检测速度的前提下实现速度和精度的提升。

CenterNet目标检测算法的主干特征提取网络有多种，如Hourglass Network、DLANet和ResNet。Hourglass Network模型参数过大不利于实时检测，DLANet网上缺乏相应的资源。综合烟草甲虫检测的实际情况，采用精度与速度更好平衡的ResNet50网络，其卷积模块和恒等映射模块如图4所示。ResNet[21]网络在面对深度学习网络加深时，能够有效地防止过拟合，加快网络收敛速度和提高分类性能。

图4 卷积模块和恒等映射模块

2.2 模型建立

CenterNet模型首先对主干特征提取网络末端特征层进行反卷积，获取大小为128×128的高分辨率特征图，通过增大深层特征图分辨率将小目标的特征表达转化为和大、中目标一样或近似的特征表达来提高小目标烟虫的检测精度，再进行热力图预测、中心点预测和宽高预测获取预测结果，CenterNet模型结构如图5所示。

图5 CenterNet模型结构

2.3 模型训练

CenterNet通过高斯核函数将输入图像映射为热力图进行训练，同时保留预测热力图邻域的局部极大值来确定目标中心和类别。高斯核函数公式为：

3 模型验证及应用效果

3.1 模型验证

3.1.1 运行环境和参数设置

将经过标注的2380幅烟草甲虫图像分为两部分：1666张图像作为训练集，714张图像作为测试集，训练集与测试集比例为7：3。

CenterNet模型训练及烟草甲虫图像检测效果测试环境主要硬件设备包括Intel i7-9700k CPU、NVIDIA Quadro P4000显卡和16GB内存，通过使用Pytorch框架来实现该算法。在训练阶段，采用了自适应动量的随机优化方法（Adam）来更新网络的权重，动量设置为0.9，批次大小设置为8，初始学习率设置为0.001。

3.1.2 评价指标

对于目标检测，通常希望设计的网络模型的运行速度快、精度高。为验证CenterNet模型针对烟草甲虫目标检测的有效性及准确性，采用每秒帧率（）、精确率（）、召回率（）、平均精度（mean Average Precision, mAP）、处理每幅图的运行时间（）作为评价指标。精确率和召回率的计算公式如下：

其中，表示将正样本正确预测出来的数量，指将负样本错误的预测为正样本的数量，为将正样本预测为负样本的数量。

3.1.3 实验验证及分析

将CenterNet模型的烟草甲虫检测性能与YOLOv3检测算法、SSD检测算法、RetinaNet检测算法[22]和FasterRCNN检测算法[23]的烟草甲虫检测性能进行对比，不同的检测算法采用相同的硬件设备、相同的训练迭代次数、相同的数据集进行训练和测试。在测试阶段，均采用IOU=0.5时的平均精度，表1给出了各个算法在测试集中的检测效果。

表1 各个算法在测试集获得的数据

Tab.1 The data obtained by different algorithms in the test set

表1测试结果显示，CenterNet模型的获得的各个指标均优于其他4种算法，充分证明CenterNet目标检测算法对于烟草甲虫检测的有效性。此外，CenterNet模型处理每幅图的运行时间均低于其他4种算法所花费的时间，如果计算机电脑配置提高，则CenterNet花费的RTPI将会进一步降低。图6显示了不同检测算法对虫板烟草甲虫的检测效果，与其他检测模型相比，CenterNet模型能实现对烟草甲虫更精准、有效的检测。

图6 各个算法针对不同个体烟草甲虫图像检测效果

3.2 应用效果

3.2.1 基于CenterNet模型烟草甲虫检测与报警系统的应用效果

为及时掌握卷烟厂烟草甲虫虫情，采用基于CenterNet模型开发一套烟草甲虫检测与报警系统，系统技术方案如图7所示。系统根据本文设计的CenterNet模型在手机APP云系统中能够精确检测烟草甲虫并进行计数，并将统计结果分区域、分日期进行存储。同时根据云端获取的烟草甲虫数据进行处理和分析，数量超出警戒值时将报警信号通过无线方式发送给相关部门管理人员。管理人员根据获取的报警信号，制定合理的烟草甲虫治理方案。该系统已经在河南中烟工业有限责任公司南阳卷烟厂投入使用，系统目前运行状态良好。该系统可部署在手机或平板电脑端，通过人工智能和图像处理的模型不仅能有效检测烟草甲虫，同时对南阳卷烟厂空旷区域存在的烟草甲虫能有效检测并进行计数。图8为在南阳卷烟厂检测时获得的检测效果图，可以看出该系统能有效检测不同区域中虫板上的烟草甲虫情况，为系统高质量运行提供精确的数据支持。

图7 卷烟厂烟虫报警系统框架图

图8 烟虫检测与报警系统的检测效果图

3.2.2 复杂环境下烟草甲虫检测报警系统在线检测效果

当虫板出现烟草甲虫粘连或存在烟末等杂质时，会给烟草甲虫的精准、高效检测带来一定影响。将CenterNet模型应用到复杂环境下的烟草甲虫检测，巡检过程测试其检测效果。图9显示了各个算法对含有烟丝杂质的烟草甲虫图像的检测结果，表2给出了各个算法对粘连烟草甲虫图像、不同个体烟草甲虫图像及含有烟丝杂质的烟草甲虫图像准确检测出烟草甲虫数量的统计表。

图9 各个算法针对含有烟丝杂质的烟虫图像检测结果

从图9和表2可以看出，与其他4种检测算法相比，针对不同情况下获得的烟草甲虫图像，烟草甲虫检测报警系统不仅可以精确检测出不同大小的烟草甲虫，同时能够准确统计出烟草甲虫的数量，有效证明了本系统在复杂环境下烟草甲虫检测方面的优越性。

表2 各个算法针对不同的烟草甲虫图像统计的烟虫数量

Tab.2 The number of cigarette beetles counted by different algorithms

4 结论

本文开发的烟虫检测报警系统采用CenterNet模型对烟草甲虫进行精确检测，能准确统计出烟虫虫板上的烟草甲虫数量。具体创新点如下：①采用的数据增强技术为CenterNet模型提供了充足的训练数据支持；②搭建CenterNet模型实现烟草甲虫的高效检测和计数；③设计的CenterNet模型在测试集上的烟草甲虫检测精度达到94%以上，对于烟草甲虫图像中的烟丝、粉尘颗粒及噪声均有较优的抑制力。④基于CenterNet模型设计的烟草甲虫报警系统，不仅能够有效检测烟草甲虫并统计数量，同时根据设定的报警阈值，给出报警信号。设计的烟草甲虫检测报警系统可广泛应用到卷烟厂、打叶复烤厂和薄片厂，应用范围广，投资小，为卷烟厂的烟草甲虫整治提供技术手段支持。目前该项目已在河南中烟工业有限责任公司南阳卷烟厂上线运行，可有效减少人工工作量，提高烟丝质控管理水平，实现“数字化、网络化、全方位”的虫情监测和管理。

[1] 国家烟草专卖局. 卷烟工艺规范[M]. 北京: 中国轻工业出版社, 2016.

State Tobacco Monopoly Administration. Technical specification for cigarette[M]. Beijing: China Light Industry Press, 2016.

[2] 张娟, 王彬彬. 卷烟生产过程烟虫防治浅析[J]. 企业导报, 2015, 20: 146-150.

ZHANG Juan, WANG Binbin. Prevention and control of tobacco insects in cigarette production[J]. Enterprise Guide，2015, 20: 146-150.

[3] 李朝晖, 许侨, 蔡京伟,等. 烟草甲的防治研究进展[J]. 江苏农业科学, 2021, 49(07): 33-43.

LI Zhaohui, XU Qiao, CAI Jingwei, et al. Research progress of cigarette beetle control [J]. Jiangsu agricultural science, 2021, 49 (07): 33-43.

[4] YANG G L, LI C, GUO Y, et al. The curvelet compressed sensing denoising algorithm for tobacco insect images[C]//2021 IEEE 4th Advanced Information Management, Communicates, Electronic and Automation Control Conference (IMCEC). IEEE, 2021, 4: 387-391.

[5] 孙艘. 烟虫虫情图像采集与检测系统研究[D]. 武汉: 华中科技大学, 2017.

SUN Sou. Research on image acquisition and detection system of tobacco pest[D]. Wuhan: Huazhong University of science and technology, 2017.

[6] 苗强, 岳俊玲. 烟草行业基于智能PDA点巡检手段的应用[J], 中国设备工程, 2011, 10: 23-25.

MIAO Qiang, YUE Junling. Application of spot inspection method based on Intelligent PDA in tobacco industry[J]. China plant engineering, 2011, 10: 23-25.

[7] 段晓威, 李健, 鲁菁. 基于图像处理的烟虫预警系统的设计与实现[J]. 通讯世界, 2019: 224.

DUAN Xiaowei, LI Jian, LU Jing. Design and implementation of tobacco insect warning system based on image processing[J]. Telecom World, 2019: 224.

[8] Kang Tong, Wu Yiquan, Zhou Fei. Recent advances in small object detection based on deep learning: A review[J]. Image and Vision Computing, 2020, 97:103910.

[9] 洪金华, 忻惠琴, 陆海华, 等. 基于YOLOv3模型的卷烟厂烟虫识别方法[J]. 烟草科技, 2020, 53(9): 77-84.

HONG Jinhua, XIN Huiqin, LU Haihua, et al. Tobacco insect recognition in cigarette factory using YOLOv3 model[J]. Tobacco Science & Technology, 2020, 53(9): 77-84.

[10] Harish Krishna, C.V. Jawahar. Improving small object detection[C]// 2017 4th IAPR Asian Conference on Pattern Recognition, Nanjing: IEEE Computer Society, 2017: 340-345.

[11] 陈冠宇. 基于深度学习的小目标检测方法研究[D]. 徐州: 中国地质大学, 2020.

CHEN Guanyu. Research on small target detection method based on deep learning[D]. Xuzhou: China University of Geosciences, 2020.

[12] Nhat-Duy Nguyen, Tien Do, et al. An evaluation of Deep Learning methods for small object detection[J]. Journal of Electrical and Computer Engineering, 2020: 1-18.

[13] Haythem Bahri, David Krcmarik, Jan Koci. Accurate object detection system on Hololens using YOLO algorithm [C]// 2019 International Conference on Control, Artificial Intelligence, Robotics and Optimization, 2019: 219-224.

[14] Ross Girshick, Jeff Donahue, Trevor Darrell, Jitendra Malik. Rich feature hierarchies for accurate object detection and semantic segmentation[C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition, Ohio: IEEE Computer Society, 2014: 580-587.

[15] REN Yun, ZHU Changren, XIAO Shunping. Small object detection in optical remote sensing images via modified faster r-cnn[J]. Applied Sciences, 2018, 813(8): 1-11.

[16] ZHOU Xingyi, WANG Dequan, Philipp Krahenbuhl. Objects as Points [EB/OL]. (2019‒04‒16) [2019‒04‒25]. https://arxiv.org/ abs/1904.07850v2.

[17] 钟宇, 周明珠, 徐燕, 等. 基于残差神经网络的烟丝类型识别方法的建立[J]. 烟草科技, 2021, 54(5): 82-89.

ZHONG Yu, ZHOU Mingzhu, XU Yan, et al. A method for identifying types of tobacco strands based on residual neural network[J]. Tobacco Science & Technology, 2021，54(5): 82-89.

[18] 张红涛, 刘迦南, 谭联, 等. 基于机器视觉的烟青虫和棉铃虫雌雄蛹的分类识别[J]. 烟草科技,2020,53(2): 21-26.

ZHANG Hongtao, LIU Jianan, TAN Lian, et al. Sexing of helicoverpa assulta and helicoverpa armigera pupae based on machine vision[J]. Tobacco Science & Technology, 2020，53(2): 21-26.

[19] 刘浩, 贺福强, 李荣隆, 等. 基于机器视觉的卷烟小盒商标纸表面缺陷在线检测技术[J]. 中国烟草学报，2020，26(5): 54-59.

LIU Hao, HE Fuqiang, LI Ronglong, et al. On-line detection technology of label paper surface defects of small cigarette packs based on machine vision[J], Acta Tabacaria Sinica, 2020，26(5): 54-59.

[20] DeVries T, Taylor G W. Improved regularization of convolutional neural networks with cutout[J]. arXiv preprint arXiv:1708.04552, 2017.

[21] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]// Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.

[22] Lin T Y , Goyal P , Girshick R , et al. Focal Loss for Dense Object Detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, PP(99):2999-3007.

[23] LI Hailiang, HUANG Yongqian, ZHANG Zhijun. An improved faster R-CNN for same object retrieval[J]. IEEE Access, 2017, 5: 13665-13676.

Design of visual detection method of cigarette beetle based on CenterNet model

YANG Guanglu1,3, LI Chunsong1, LI Yuanjun2, LIU Suijun1*, GUO Yadong1, ZHANG Huanlong3, ZHANG Jie3

1 Nanyang Cigarette Factory, China Tobacco Henan Industrial Co., Ltd., Nanyang 473007, China;2 China Tobacco Guizhou Industrial Co., Ltd., Guiyang 550000, China;3 College of Electrical Information and Engineering, Zhengzhou University of Light Industry, Zhengzhou 450002, China

This study aims to achieve the precision detection of cigarette beetle in the cigarette plant and master the insect pest situation.An ideal CenterNet model was trained with sufficient sample data provided by data augmentation technology, and the CenterNet model was used for real-time detection of cigarette beetle.①The CenterNet model can achieve a detection accuracy of more than 94% in the test data set. ②The model has a certain anti-interference ability for the interference factors such as cut tobacco and dust particles, and can realize the accurate detection of cigarette beetles. It can also obtain better detection results for small individual cigarette beetles and adherent cigarette beetles.CenterNet model-based cigarette beetle alarm system can accurately count the number of cigarette beetles, and provide a guarantee for the effective warning and control of cigarette beetles.

cigarette beetle; target detection method; CenterNet model; detection accuracy; anti-interference ability

. Email：13643771598@qq.com

杨光露，李春松，李愿军，等. 基于CenterNet模型的烟草甲虫视觉检测方法设计[J].中国烟草学报，2022，28（6）. YANG Guanglu, LI Chunsong, LI Yuanjun, et al. Design of visual detection method of cigarette beetle based on CenterNet model [J]. Acta Tabacaria Sinica, 2022,28(6).doi:10.16472/j.chinatobacco.2021.241

河南省自然科学基金项目（202300410495）；河南中烟工业有限责任公司科技攻关项目（JW2022029）；河南省科技攻关项目（212102310053）

杨光露（1979—），本科，高级工程师，Tel：0377-63039509，主要从事计算机应用和信息系统集成，Email：78600322@qq.com

刘穗君（1976—），Email：13643771598@qq.com

2021-11-24；

2022-08-22