医用球囊缺陷智能检测算法研究

2024-12-18 00:00:00范家琪吴全玉刘敏邹虎风姚敏潘玲佼
无线互联科技 2024年23期
关键词:缺陷检测注意力机制

摘要:针对医用球囊缺陷由人工检测效率低下,检测质量受人工经验和主观因素的影响大等问题,文章提出一种改进YOLOv5s算法的轻量级检测方法。为了实现更好的鲁棒性,文章根据医用球囊在生产中出现的缺陷情况,自主构建数据集。首先,将YOLOv5s的主干网络替换为FasterNet网络结构,大幅轻量化网络,提高检测速度。其次,引入内容感知特征重组(Content-Aware ReAssembly of FE","Introduction":"","Columns":"研究创新","Volume":"","Content":"

摘要:针对医用球囊缺陷由人工检测效率低下,检测质量受人工经验和主观因素的影响大等问题,文章提出一种改进YOLOv5s算法的轻量级检测方法。为了实现更好的鲁棒性,文章根据医用球囊在生产中出现的缺陷情况,自主构建数据集。首先,将YOLOv5s的主干网络替换为FasterNet网络结构,大幅轻量化网络,提高检测速度。其次,引入内容感知特征重组(Content-Aware ReAssembly of FEatures, CARAFE)上采样算子,增大感受野,提高特征图的重建质量,从而提高模型检测精度。最后,在特征提取阶段引入坐标注意力机制(Coordinate Attention, CA),提升网络对小目标缺陷的检测能力。对该医用球囊缺陷数据集进行测试,与YOLOv5s原算法对比,该算法平均精度均值在提高1.7%的情况下,每秒浮点运算次数降低8.4×109,权重大小减少86.9%,至7.5 MB,帧率每秒提升12.7帧,达到71.5帧/s,模型整体大幅轻量化。

关键词:医用球囊;缺陷检测;YOLOv5;FasterNet;注意力机制;CARAFE

中图分类号:TP391.4""文献标志码:A

0"引言

球囊导管是一类广泛应用于临床的精密医疗器械,主要用于血管治疗,通过扩张血管、治疗狭窄和塑形等操作,实现对病变血管的修复[1]。该导管末端配有扩张球囊,能够在定位到病变部位后,通过加压液体使球囊扩张,达到治疗的目的[2]。鉴于球囊导管在手术中的关键作用,对导管品质要求极高,任何缺陷都可能导致球囊破裂,进而严重影响治疗效果和患者安全。目前,医用球囊的缺陷检测仍主要依赖人工,这种方式不仅效率低下,且易受人为经验和主观因素的影响。因此,设计一种高效的医用球囊缺陷检测方法意义重大。

随着深度学习在图像分类、检测、分割以及重建等任务中的突破,针对复杂几何形状的细微缺陷或前景与背景对比度较低的透明物体表面缺陷,深度学习技术在缺陷检测中展现了优异的特征捕捉能力,显著提升了检测的精度和鲁棒性[3]。深度学习尽管在多个领域的缺陷检测中取得了显著成效,但在医用球囊缺陷检测中的应用尚未得到深入研究。为了解决这一问题,本文提出了一种基于YOLOv5s[4]的轻量级网络,以实现医用球囊缺陷的快速检测。

1"材料与方法

数据集是深度学习网络的基础,只有高质量的数据集,才能够使模型具有更好的鲁棒性和泛化能力。本文用到的医用球囊缺陷检测的实验数据均来源于项目组搭建的医用球囊视觉分拣系统。使用该系统采集的图像大小为4000 pixel×3036 pixel,如图1所示。

通过调研,工厂生产的医用球囊缺陷类型主要分为杂质、毛屑、粘模和夹边4种类型,具体如图2所示。

本研究一共采集到3428张医用球囊缺陷图像。

使用Labelme工具对缺陷图像进行标注,生成的标注数据以JSON格式存储。随后将标注后的数据集按照7∶2∶1的比例划分为训练集、验证集和测试集,具体如表1所示。

2"YOLOv5模型分析与改进

2.1"轻量化检测网络FCC-YOLOv5

医用球囊缺陷检测须要获取球囊在各个角度的图像。该过程须要消耗大量资源,同时对检测速度也有很高的要求。本文提出一种轻量化的目标检测网络FCC-YOLOv5,结构如图3所示。

2.2"FasterNet模型

为了网络的快速运行,本文在YOLOv5s中引入了Chen等[5]提出的轻量级神经网络FasterNet。FasterNet结构分为4个阶段,每个阶段包含1个FasterNet Block结构。FasterNet Block是由1个部分卷积层PConv和2个点卷积层组成,使用残差连接缓解梯度消失问题。FasterNet通过PConv,减少了计算量和内存访问。PConv仅对部分输入通道进行常规卷积,降低了计算和内存访问量,同时保持其余通道不变,从而有效地提取空间特征并减少冗余操作。本文将YOLOv5s的骨干网络替换为FasterNet结构,可以显著降低计算复杂度,从而大幅提升检测速度。

2.3"CARAFE上采样算子

在图像分类和目标检测的网络模型中,合适的上采样方法对提高模型的精度和性能起着关键作用。YOLOv5s默认使用的上采样方式是最近邻上采样。该方法仅依靠与待测采样点最近的像素进行计算,感受野较小,虽然计算速度快,但难以捕捉密集预测任务所需的丰富语义信息。医用球囊图像中的缺陷目标通常较小,且在图像采集过程中,由于球囊处于旋转状态,缺陷部位有时会出现模糊或分辨率低的现象,影响模型的识别效果。为了解决这些问题,本文引入了CARAFE[6]算子替换原有的上采样算子。CARAFE能够为不同特征生成自适应的上采样核,改善全局特征图的重建质量。与传统的插值上采样方法相比,虽然参数量略有增加,但CARAFE通过提升特征的重建质量,增强了网络的特征提取能力和对关键特征的识别能力。

2.4"CA注意力机制

网络引入CARAFE上采样算子后,虽然提升了算法的特征提取能力,但在复杂背景下对较小目标的缺陷检测仍然有误检和漏检等情况。为提高对小目标的检测精度,减少背景干扰,本文在YOLOv5s模型中引入了CA注意力机制[7],进一步增强算法的特征提取能力。CA注意力模块使特征在融合过程中能够自适应地学习各特征的重要性,从而优化特征融合。通过调整注意力权重,模型能够更好地突出关键特征,这种机制有助于增强小目标缺陷的检测能力。因为小目标在图像中占据的像素较少,其特征往往较为微弱。CA注意力机制通过突出关键特征通道,增强了模型的性能和泛化能力,从而使得目标检测精度得到提升。

3"结果与分析

3.1"实验环境

本实验进行深度学习训练的操作系统为Ubuntu20.04,使用的GPU为NVIDIA GRID P40-12Q 显存12 GB,CPU是Intel Xeon Platinum 8173 M。使用的深度学习框架为Pytorch1.8,Cuda版本为11.1,编程语言为Python3.8。

3.2"消融实验

为进一步验证各模块的缺陷检测效果,本文进行了消融实验。在原始模型的基础上,逐步增加1种、2种和3种改进方法。消融实验结果如表2所示。

实验1为初始的YOLOv5s模型,实验2将YOLOv5s的主干网络替换为FasterNet网络结构,根据评价指标,可以明显看出替换FasterNet模块后,模型在牺牲一定检测精度的情况下,帧率每秒提升32帧,浮点运算次数下降57.5%,权重大小下降87.5%。骨干网络替换为FasterNet网络以后,虽然模型的检测精度有一定程度的下降,但模型检测显著轻量化,能够更容易地部署在硬件中,有效提高了检测速度。实验3在给YOLOv5s的上采样算子替换成CARAFE算子后,模型的整体精度变化不大,但实验5在实验2替换FasterNet网络的基础上,再将上采样算子替换成CARAFE,相比实验3的模型mAP提高1.4%且只带来了微小的计算量增加。特征图质量的提高,使得模型对小缺陷以及尺度变化较大的缺陷的检测更加精准,小缺陷杂质mAP值提高3.4%,模糊缺陷毛屑mAP值提高2.1%。最后实验8在实验5的基础上增加CA注意力模块,进一步提升对小目标缺陷的检测能力,其本身的轻量化使得带来的计算量增加可以忽略不计。最终改进完成后的模型,相比原始的YOLOv5s模型整体mAP虽然只提高1.7%,但模型整体大幅轻量化,FLOPS降低8.4×109,权重大小减少86.9%,帧率每秒提升12.7帧。上述结果表明,本研究在YOLOv5s的基础上进行的改进很好地平衡了检测精度与模型轻量化,有效提升了检测速度和部署效率,为实际应用场景提供了更可行的解决方案。

3.3"改进效果

为了直观展示YOLOv5s原始算法和本文改进过后的算法的检测效果区别,本文从数据集的测试集中抽取3张图,在相同的置信度和交并比的情况下,使用2种模型对这3张图进行缺陷检测。检测效果如图4所示。前3张图是改进后的YOLOv5s算法检测结果,后3张图是原始YOLOv5s检测的结果,由图可知,在对较小或者像素模糊的缺陷,原始的YOLOv5s模型容易出现漏检现象。改进后的模型不仅能提高检测精度,还能有效地降低漏检误检率。

4"结语

针对医用球囊采用人工检测出现的各种问题,本文基于YOLOv5s设计了医用球囊缺陷检测模型。首先,从轻量化角度出发,将网络的主干网络替换为FasterNet网络结构,在保证检测精度的情况下,大幅轻量化网络,提高检测速度;其次,引入CARAFE上采样算子,增大感受野,提高特征图的重建质量,从而提高模型检测精度;最后,在特征提取阶段引入CA注意力机制,提升网络对小目标缺陷的检测能力。通过对构建的医用球囊缺陷数据集进行实验显示,改进后的YOLOv5s算法针对医用球囊缺陷,在平均精度、检测速度、模型计算量都优于原算法。下一步计划将改进的算法部署在医用球囊质检系统里并进行测试和优化,用于医用球囊的实时质检系统装置中,帮助工人提高效率。

参考文献

[1]傅雪磊.球囊成型工艺与过程数值模拟研究[D].北京:北京化工大学,2017.

[2]徐立霞,卢春兰,李昕跃.医用球囊成型材料和技术的研究进展[J].大连大学学报,2010(6):81-83.

[3]陈其浩.基于深度卷积神经网络的透明件表面缺陷检测算法研究[D].青岛:山东科技大学,2022.

[4]YAO J,QI J,ZHANG J,et al.A realtime detection algorithm for Kiwifruit defects based on YOLOv5 [J].Electronics,2021(14):1711.

[5]毋涛,崔青,殷强,等.基于改进YOLOv7的织物疵点检测算法[J].纺织高校基础科学学报,2023(4):29-36.

[6]WANG J,CHEN K,XU R,et al.Carafe++:Unified contentaware reassembly of features[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2021(9):4674-4687.

[7]WEN G,LI S,LIU F,et al.YOLOv5s-CA:A modified YOLOv5s network with coordinate attention for underwater target detection[J].Sensors,2023(7):3367.(编辑"王雪芬)

Research on intelligent defect detection methods in medical balloons

FAN "Jiaqi1, WU "Quanyu1*, LIU "Min2, ZOU "Hufeng1, YAO "Min3, PAN "Lingjiao1

(1.School of Electrical and Information Engineering, Jiangsu University of Technology, Changzhou 213001, China;

2.School of OptoElectronic and Communication Engineering, Xiamen Institute of Technology, Xiamen 361024, China;

3.Chang Mei Medical Equipment Co., Ltd., Changzhou 213000, China)

Abstract: "In response to issues such as low efficiency and quality variability in manual detection of defects in medical balloons due to human experience and subjective factors, a lightweight detection method based on improving the YOLOv5s algorithm is proposed. To achieve better robustness, this study autonomously constructed a dataset based on defect occurrences during medical balloon production. Firstly, the backbone network of YOLOv5s was replaced with the FasterNet network structure to significantly lighten the network while maintaining detection accuracy and improving detection speed. Secondly, the Content-Aware ReAssembly of FEatures (CARAFE) upsampling operator was introduced to increase the receptive field and enhance the reconstruction quality of feature maps, thereby improving the model’s detection accuracy. Lastly, the Coordinate Attention (CA) mechanism was introduced in the feature extraction stage to enhance the network’s ability to detect small target defects. Testing on the constructed dataset of medical balloon defects showed that compared to the original YOLOv5s algorithm, the proposed algorithm achieved an average precision mean average precision (mAP) improvement of 1.7%, reduced floating-point operations per second (FLOPS) by 8.4×109, decreased weight size by 86.9% to 7.5MB, and increased frame rate by 12.7 frames per second to 71.5 frames/s, significantly lightening the overall model.

Key words: medical balloon; defect detection; YOLOv5; FasterNet; CA; CARAFE

猜你喜欢
缺陷检测注意力机制
基于深度学习的问题回答技术研究
基于LSTM?Attention神经网络的文本特征提取方法
基于注意力机制的双向LSTM模型在中文商品评论情感分类中的研究
软件工程(2017年11期)2018-01-05 08:06:09
InsunKBQA:一个基于知识库的问答系统
超声波与特高频方法下的GIS局部放电检测技术分析
基于极限学习机的玻璃瓶口缺陷检测方法研究
基于图像处理的印品质量检测系统研究
科技视界(2016年3期)2016-02-26 11:42:37