胡逸超 苏赞 陈义昌 张龑 苏晨阳 刘勇
摘要:根据烟草仓储及卷烟生产车间的烟草甲自动监测需求,结合烟草甲[Lasioderma serricorne (Fabricius)]实际图像特征,在基于标记分水岭算法的基础上叠加分割图像算法,设计了基于图像处理的烟草甲自动监测系统,通过全自动拍照设备定时采集相应诱捕器图像,利用有线网络将图像传输至服务器,在服务器端完成图像识别与计数、实时展示、超标报警、历史曲线查看等功能,解决了烟草甲实际监测过程中虫板烟尘、虫体重合、光线等诸多干扰因素,实现了烟草甲精准的自动图像识别及计数功能。实际应用表明,该系统工作稳定,计数平均准确率大于94.00%,在卷烟生产车间烟虫监测上具有较好的应用前景。
关键词:图像处理;烟草甲[Lasioderma serricorne (Fabricius)];自动监测系统;卷烟;烟草;设计与应用
中图分类号:TP274 文献标识码:A
文章编号:0439-8114(2024)04-0163-05
Design and application of an automatic monitoring system for Lasioderma serricorne (Fabricius) based on image processing
Abstract: Based on the demand for automatic monitoring of Lasioderma serricorne (Fabricius) in tobacco storage and cigarette production workshops, combined with the actual image characteristics of Lasioderma serricorne (Fabricius), a Lasioderma serricorne (Fabricius) automatic monitoring system based on image processing was designed by overlaying segmentation image algorithms on the basis of labeled watershed algorithms. Fully automatic photography equipment was used to collect images of the corresponding traps at regular intervals, the images were transmitted to the server via wired network, and functions such as image recognition and counting, real-time display, over limit alarm, and historical curve viewing were completed on the server end. Many interference factors such as insect board smoke, insect body overlap, and light during the actual monitoring process of Lasioderma serricorne (Fabricius) were solved, and precise automatic image recognition and counting functions for Lasioderma serricorne (Fabricius) were implemented. Practical applications had shown that the system worked stably, with an average counting accuracy greater than 94.00%, and had good application prospects in tobacco pest monitoring in cigarette production workshops.
Key words: image processing; Lasioderma serricorne (Fabricius); automatic monitoring system; cigarette; tobacco; design and application
烟草甲[Lasioderma serricorne (Fabricius)]属鞘翅目窃蠢科,是烟草仓储、生产加工过程中的主要害虫;烟草甲虫情监测主要依靠人工检查,同时借助灯光诱捕器和性信息素诱捕器进行监测[1]。由于在烟草原料仓库及卷烟生产加工车间存在烟虫监测面积大、范围广、点位多的特点,因此虫情检查记录人员工作量大,检查记录过程中可能出现数据不准确、信息分析及传递不及时等问题[2]。目前害虫自动监测技术主要有电容法[3]、声音信号识别技术[4]、图像识别技术[5-8]、软X射线检测法、近红外光谱法[9]等。
图像识别技术是指对观测的图像进行分割和特征提取,并根据分类器进行相应分类[10]。目前粮食害虫图像识别技術主要采用图像RGB检测技术,以图像灰度进行分割处理,以达到虫情自动计数的目的[11-13]。
在实际烟草贮存及生产加工过程中,烟草甲诱捕板捕获到害虫后,虫板可能会粘有烟草碎屑、烟丝、烟梗、粉尘等杂物,对烟草甲图像识别有一定干扰。同时,白色的虫板及粘虫胶在图像提取过程中产生的反光及外界不同环境光源等,均会对烟草甲图像识别产生干扰。在复杂背景下害虫图像交互式分割算法主要有GrabCut图像分割算法、MSRM图像分割算法、基于颜色纹理直方图的最大相似度区域合并算法、分水岭图像分割算法等,通过这些算法减少环境背景对图像分析处理的干扰[14,15]。
本研究结合烟草甲的虫情自动监测需求,完成配套识别算法的设计、智能烟草甲监测系统的设计以及实际应用验证工作。
1 烟草甲图像识别算法设计
1.1 应用膨胀运算消除灰尘的影响
常规图像算法可以较好处理单个烟草甲的识别问题,但是对于实际虫板上烟草甲的识别存在较大问题。主要问题在于虫板上容易粘附灰尘颗粒,常规图像识别算法很容易将这些灰尘颗粒识别为烟虫,如图1所示。
通过形态学腐蚀运算预分离粘附灰尘和消除小噪声,形态学膨胀运算填充灰尘目标内出现的孔洞,消除灰尘图像后更有利于图像识别,如图2所示。
1.2 基于标记的分水岭算法分割图像
分水岭算法是一种基于拓扑理论的数学形态学分割方法,其基本思路是把图像看作是测地学上的拓扑地貌,图像中每个点像素的灰度值表示该点的海拔,每个局部极小值及其影响区域称为吸水盆地,而吸水盆地间的山脊被称为分水岭。
基于标记的分水岭算法是通过自行标记种子点实现的,可以忽略噪声极小值对种子点选取的干扰,从而改善分水岭算法过分割现象。其中,种子点的标记较关键,采用像素点距离变换来获取种子点,具体的分水岭算法处理流程如图3所示。
图4是在基于标记分水岭算法的基础上叠加分割图像算法,大部分烟虫分割准确,但在图像中蓝色框中存在2处未分割的烟虫(2头识别为1头),在红色框中出现1处未识别的烟虫。
對未分割区域采用面积法判断局部烟虫数量,最终处理结果如图5所示,计数准确率达98.7%,完全符合烟虫识别的要求。
1.3 光斑部位烟虫漏计问题
由于拍摄白色粘虫板、透明粘虫胶的图片时有明显的光斑,测试中发现,原有算法会导致光斑部位烟虫的遗漏(图6)。经过改进和测试,最终采用自适应阈值的二值化算法解决了该问题(图7)。
2 烟草甲自动监测系统设计与实现
2.1 烟草甲自动监测系统总体设计
烟草甲自动监测系统通过在各虫情监测点配置全自动拍照设备,定时采集诱捕器的虫害图像;图像通过路由器组网后实时传输至虫情监测中心(服务器);虫情监测中心完成图像识别与计数,将相应结果储存至对应数据库,并实现虫情异常点位报警;用户通过WEB浏览器进行系统的相关配置与数据查看,如图8所示。
2.2 烟草甲自动监测硬件系统设计
烟草甲自动监测硬件系统主要采用STM32F407作为主控芯片,通过OV5640模块实现图像采集;供电方式选择S13400供电模块进行POE供电,能够极大程度减少设备对电源的要求;通过W5200以太网通信模块进行TCP通信,将图片传送至服务器进行处理,如图9所示。
2.3 烟草甲自动监测系统功能设计
烟草甲自动监测系统基于k8s分布式服务架构,主要包括项目配置、系统管理、报警管理、系统展示功能。项目配置实现项目的相应车间、区域、监测设备、展示画面等配置管理;系统管理实现项目角色及成员的权限、用户管理的配置管理;报警管理实现项目报警规则、定时任务、报警处理的配置管理;系统展示实现相关项目图形界面、诱捕器图像、列表数据、曲线的展示,如图10所示。
2.4 烟草甲自动监测系统检测结果及优化
由于虫情识别尚无法达100%的识别精度,但在软件上显示历史数据时,如果烟虫数出现波动(图11)又不符合用户的认知习惯。可以在计数时基于前期历史数据,将计数值约定为只增不降,保证用户的体验感。经过调试和修改,基本满足要求,虫情检测波动较少(图12)。
3 车间现场应用验证
3.1 数据准确性验证
3.1.1 试验设置 2021年10月在广西中烟工业有限责任公司南宁卷烟厂制丝车间共7个监测点位部署相应虫情全自动拍照设备,人工每周统计1次,并与烟草甲自动监测系统数据进行对比,统计1个月的数据,计算系统计数的准确率,计算公式如下。
式中,y表示烟草甲自动监测系统计数的准确率;a为烟草甲自动监测系统自动计数得到的烟虫数;b为人工计数得到的烟虫数。
3.1.2 数据统计 监测点系统自动计数、人工计数烟虫情况如表1所示,对人工计数与自动计数数据进行方差分析(表2、表3),2组虫情数据无显著差异(P>0.05)。烟草甲自动监测系统自动计数准确率最高为100.00%,最低为85.71%,平均准确率大于94.00%,可以满足卷烟生产车间现场虫害监测的实际需求。
3.2 系统运行稳定性验证
通过6个月的应用验证,烟草甲自动监测系统相应软硬件均没有出现明显的问题与故障,虫情全自动拍照设备工作稳定,定时拍照、传输功能正常;系统相关数据展示、数据报警、历史曲线查看等功能也保持正常。
4 小结与讨论
本研究根据烟草仓储及卷烟生产车间的烟草甲自动监测需求,结合烟草甲实际图像特征,在基于标记分水岭算法的基础上叠加分割图像算法,解决了烟草甲实际监测过程中虫板烟尘、虫体重合、光线等诸多干扰因素,实现了烟草甲精准的自动图像识别及计数功能。
本研究通过配套硬件系统及软件系统完成烟草甲自动监测系统的设计与实际应用。系统平均准确率大于94.00%,实现了烟草甲实时自动监测、预警功能,解决了当前人工监测效率低下、准确性受主观影响大、滞后等问题,具有较好的应用前景。烟草甲自动监测系统还有进一步优化空间,具体如下。①无线传输。卷烟生产车间中大量虫情监测点位难以部署成有线环境,可能需要采用无线传输的方式实现。②电池供电。基于无线传输,可考虑采用电池供电方案,在设备续航设计上需要重点考虑定时唤醒与休眠机制的应用,从而减少运维工作人员的工作量。③识别计数算法优化。虫情数量较多时容易出现误差,后续还需要根据实际情况调整、优化算法,从而提高识别计数的准确性。
参考文献:
[1] 薛宝燕,程新胜,魏重生,等.烟草甲研究进展[J].烟草科技,2005(2):44-48.
[2] 周继来.基于AI图像识别的烟草制品虫情监测系统的设计与实现[J].电子技术与软件工程,2020(17):154-155.
[3] 谢 刚,岐世峰,李欣悦,等.基于NB-IOT的粮仓虫害监测系统设计[J].现代信息科技,2021,5(9):27-29,34.
[4] 韩 萍,李齐超,杨红卫.基于人工神经网络的粮食害虫分类 [J].河南工業大学学报(自然科学版),2010,31(3):72-75.
[5] 汪京京,张 武,刘连忠,等.农作物病虫害图像识别技术的研究综述[J].计算机工程与科学,2014,36(7):1363-1370.
[6] 张新良,夏亚飞,夏 楠,等.基于嵌入式图像终端的农作物虫害监测系统设计[J].软件导刊,2018,17(7):124-127.
[7] 姚 青,吕 军,杨保军,等.基于图像的昆虫自动识别与计数研究进展[J].中国农业科学,2011,44(14):2886-2899.
[8] 刘 浏.基于深度学习的农作物害虫检测方法研究与应用[D].合肥:中国科学技术大学,2020.
[9] 马 彬,金志明,蒋旭初,等.储粮害虫在线监测技术的研究进展[J].粮食储藏,2018,47(2):27-31.
[10] 张家怡.图像识别的技术现状和发展趋势[J].电脑知识与技术,2010,6(21):6045-6046.
[11] 卢亚玲.基于图像处理的粮虫自动计数系统的研究[J].科技与创新,2007,23(8):311-312.
[12] 范艳峰,甄 彤.谷物害虫检测与分类识别技术的研究及应用[J].计算机工程,2005(12):187-189.
[13] 刘国成.基于移动互联网的虫害图像分析系统设计[J].通讯世界,2015(24):286-287.
[14] 张 洁. 基于图像识别的农作物害虫诊断技术研究与应用[D].合肥:中国科学技术大学,2014.
[15] 高 丽,杨树元,李海强.一种基于标记的分水岭图像分割新算法[J].中国图象图形学报,2007(6):1025-1032.