林小强 邓桂锋
摘要:随着电子信息技术的飞速发展,印制电路板(Printed-Circuit Board,PCB) 作为电子产品的重要电子互联组件,在现代电子信息产品中发挥着不可或缺的作用。随着时代的进步,现代印刷电路板缺陷检测的重要性日益凸显,而传统的PCB缺陷检测方法则存在效率低下、漏检率高等问题。针对这些问题,文章构建了基于YOLOv7目标检测算法的印制电路板缺陷检测系统。该系统由图像采集模块、YOLOv7目标检测模块、PCB缺陷数据集成模块三大部分组成。通过实验和实际生产线测试,文章提出的系统在PCB缺陷检测上取得了良好的效果。
关键词:PCB;AI技术;缺陷检测;目标检测;YOLOv7
中图分类号:TP311 文献标识码:A
文章编号:1009-3044(2024)13-0014-03 开放科学(资源服务)标识码(OSID) :
0 引言
随着人工智能(AI) 技术的不断发展,其在各行各业的应用也日益广泛。其中,AI技术在PCB(PrintedCircuit Board,印刷电路板)缺陷检测领域的应用备受关注。在现代电子信息产品中,印制电路板作为各类电子元器件的支撑体和电气连接的载体,是电子元器件的核心组成部件,在电子设备领域占据着重要地位。因此,保证其稳定的质量显得尤为重要,质量检测已经成为生产制造过程中的关键步骤[1]。由于电路板上的结构复杂多样,生产过程中可能会出现短路、焊桥、开路、元器件松动或错位等缺陷,确保PCB产品功能与外观的正常,是产品质量把控的重要一环。然而,目前国内在自动在线检测技术方面水平有限,现今PCB缺陷检测方法主要有人工目视检测和基于传统机器视觉的自动光学检测[2]。而基于YOLOv7目标检测算法的印制电路板缺陷检测系统可以通过深度学习算法对PCB图像进行精确分析和识别,不仅能够更准确地检测出微小的缺陷,还能实现自动化的检测过程,极大地提高了检测效率。PCB上的缺陷种类繁多,传统的检测方法往往需要针对不同类型的缺陷设计不同的检测算法,并需要大量的人工标注数据。而基于YOLOv7目标检测算法的印制电路板缺陷检测系统则能通过深度学习网络自动学习不同类型缺陷的特征,实现对不同类型缺陷的自动识别和分类,显著减少了人工标注数据的需求,提高了系统的通用性和适用性。本文在光学检测(AOI) 方式的基础上,通过大量标记的图像训练YOLO(You Only Look Once) 模型后,实现了PCB缺陷的检测,包括缺陷位置定位和分类。本文提出的PCB检测系统的整体工作流程包括PCB裸板拍摄、缺陷检测分析、检测分析展示。
1 系统总体设计
基于YOLOv7目标检测算法的印制电路板缺陷检测系统主要由图像采集模块、YOLOv7目标检测模块、PCB缺陷数据集成模块组成。图像采集模块是负责获取PCB的图像数据,为了确保清晰且正确定位的PCB 图像,该模块包括自动对焦和定位功能,以适应不同PCB 的形状和尺寸。YOLOv7 目标检测模块利用YOLO(You Only Look Once) 算法检测PCB图像并定位缺陷的边界框。该模块首先扩充现有的PCB缺陷数据集,结合光学检测(AOI) 技术,实现了缺陷区域的全局定位和检测。PCB缺陷数据集成模块则能够定位并标识PCB裸板缺陷的位置以及类型,实现印刷电路板PCB缺陷的智能检测。基于YOLOv7目标检测算法的印制电路板缺陷检测系统有助于提高工业产品缺陷检测的准确性,现已广泛应用于表面缺陷检测[3]。
2 图像采集模块
图像采集模块是基于YOLOv7目标检测算法的印制电路板缺陷检测系统中至关重要的组成部分。该模块通过高性能的图像传感器捕捉PCB表面的图像,为后续的缺陷检测提供高质量的数据。系统通常使用自动光学检测(AOI) 技术,该技术利用高分辨率摄像头获取PCB板上的图像,以便进行后续的缺陷检测。相机的选择会考虑到PCB板的尺寸、生产线的速度以及需要检测的PCB缺陷类型,具备低噪声、高速度和适应性,可在不同光照条件下工作。
3 YOLOv7 目标检测模块
本文采用YOLOv7深度学习模型作为PCB缺陷检测系统模型。在GPU V100 上进行测试,精度为56.8% AP的模型可达到30 FPS(batch=1) 以上的检测速率,这是目前唯一一款在如此高精度下仍能超过30FPS的检测器。
深度监督是训练深度神经网络常用的技术之一。深度学习目标检测算法按照不同的设计思想主要可分为两大类,即:Two-stage系列算法和One-stage系列算法[3]。其核心思想是在网络的中间层添加额外的辅助头,并通过这些辅助头的辅助损失来引导浅层网络的权重学习。即使在已经表现良好的网络结构,如ResNet和DenseNet中,引入深度监督仍然能够显著提高模型在多项任务上的性能。图1展示了目标检测器架构的对比,其中一个是没有深度监督的结构,而另一个则包含深度监督。在这些结构中,负责生成最终输出的头部被称为引导头,而用于辅助训练的头部被称为辅助头。
在深度监督训练中以目标检测为例,研究者经常利用网络预测的质量分布来结合Ground Truth,使用一些计算和优化方法来生成可靠的软标签(Soft La?bel) 。例如,YOLO 使用Bounding Box 预测和GroundTruth的IOU作为软标签[4]。在本文中将网络预测结果与Ground Truth一起考虑后再分配软标签的机制称为“标签分配器”。在本文中,我们讨论了辅助头和引导头在目标深度监督中的应用。为了实现这一目标,我们采用了一种新的标签分配方法,与传统方法有所不同。与将辅助头和引导头分离后独立执行标签分配的常见方法不同,我们的方法是通过利用引导头的预测来引导辅助头和引导头自身的学习过程。简而言之,我们首先使用引导头的Prediction生成层次标签,从整体到详细,然后将它们分别用于引导头和辅助头的训练,如图2所示。
本文设计了三种模型,分别被称为YOLOv7-Tiny、YOLOv7和YOLOv7-W6。同时,还使用基本模型针对不同的服务需求进行缩放,并得到不同大小的模型。对于YOLOv7,可进行颈部缩放(module scale) ,并使用所提出的复合缩放方法对整个模型的深度和宽度进行缩放(depth and width scale) ,此方式获得了YOLOv7-X。对于YOLOv7-W6,使用提出的缩放方法得到了YOLOv7-E6和YOLOv7-D6。此外,在YO?LOv7-E6 使用了提出的E-ELAN,从而完成了YO?LOv7-E6E。由于YOLOv7-Tincy 是一个面向边缘GPU 架构的模型,因此它将使用RELU 作为激活函数。对于其他模型,使用SILU作为激活函数。
本文提出了一种新的实时检测器。在研究过程中,本文发现了重参化模块的替换问题和动态标签的分配问题。为了解决这一问题,提出了一种可训练的Bag-of-Freebies策略来提高PCB检测的精度。如图3 是我们的采集缺陷效果图。数据集的图像进行曝光度调整、水平翻转等各类数据集增强操作。基于此,本文开发的YOLOv7系列目标检测模型获得了最先进的结果。
4 PCB 缺陷数据集成模块
PCB缺陷数据集成模块的工作流程是图像采集通过工业摄像头对PCB裸板进行拍摄,系统能有效识别相机采集的图片、视频等文件形式,采用PCB缺陷检测平台进行图像处理,然后将处理好的图片通过系统分析,标注分类后进行结果展示。通过工业摄像机拍摄PCB裸板的图像,使用部署好的PCB缺陷检测模型,能够快速准确地标识出缺陷位置,并且能够准确地得出缺陷的类型。识别包括经过基于深度学习技术图像处理技术检查出PCB上是否有短路、多铜及少铜、断路、缺口、毛刺、铜偏斜等几种常见的缺陷类型,输出缺陷处的标记框和对应类别,以辅助自动化PCB 质量检测。
在PCB缺陷检测分析方面, 需要数据存储技术、特征检测技术、网络通信技术等,在PCB缺陷数据基础上实现缺陷的位置定位,缺陷类型的判断。在PCB 数据的采集和存储方面,当检测到PCB本身存在缺陷的时候,立即抓拍存档告警方便后期针对性地进行调整,实现实时、准确采集,并且能够灵活存储,记录识别结果在界面表格中方便查看,支持结果记录、展示和保存,以保证数据和信息的完整。PCB板缺陷检测识别系统通过YOLOv7 网络深度学习技术,对现场PCB是否存在缺陷部分进行实时分析检测。在确保数据安全方面,引入了防火墙技术,以有效阻挡潜在的非法访问和恶意攻击。通过数字签名技术,对数据进行加密和认证,以确保数据的完整性和真实性。通过密钥管理系统的建立进一步加强了对加密通信的控制,提高了系统整体的抗攻击能力。在数据通信方面,本研究采用了分组交换网络和移动通信网络,以实现高效的信息传输。这些综合的技术措施不仅提升了数据传输的效率,也在保障通信安全性方面发挥了积极作用。在优化神经网络结构方面进行探索研究,对PCB缺陷数据进行缺陷目标特征标识,使用神经网络算法进行训练,将得到的训练模型部署到实际的生产环境中,能够实现对PCB缺陷更加快速且精准的检测。
5 结束语
本文详细介绍了深度学习目标检测算法,并重点分析了YOLOv7检测算法及其效果。基于YOLOv7目标检测算法的印制电路板(PCB) 缺陷检测系统具备显著优势。该系统能够实现对PCB缺陷的自动识别和检测,有效降低了人工目视检查的成本和时间,提高了检测效率。同时,通过机器学习和深度学习等技术,该系统能够不断学习和优化检测算法,从而提升检测的准确性和稳定性。此外,该系统还具备良好的迁移性和鲁棒性,检测结果更加客观、可靠。在降低人工成本的同时,该系统显著提高了检测效率,展现出广阔的应用前景[5]。当然,基于YOLOv7目标检测算法的印制电路板缺陷检测系统也存在一些挑战和问题。首先,系统对图像数据的要求较高,需要高质量的图像数据作为输入,这对图像采集设备和技术提出了更高的要求。其次,系统的算法设计和优化需要较高的技术水平和专业知识,需要不断进行算法的更新和优化,以适应不同类型的PCB和不同的缺陷情况。此外,系统的实时性和稳定性也是一个挑战,特别是在工业生产线上的应用,系统需要能够快速响应和稳定运行。基于YOLOv7目标检测算法的印制电路板缺陷检测系统在提高PCB缺陷检测的效率和准确性方面具有重要的意义。随着人工智能技术的不断发展和应用,相信基于YOLOv7目标检测算法的印制电路板缺陷检测系统将会在未来得到更广泛的应用和发展。然而,系统在技术和应用方面还存在一些挑战和问题,需要不断进行研究和改进,以实现更好的性能和稳定性。相信通过持续的努力和创新,基于YOLOv7目标检测算法的印制电路板缺陷检测系统将会成为电子制造行业中不可或缺的重要工具。
参考文献:
[1] 代刚,吴湘宁,邓玉娇,等. 基于孪生深度特征融合残差网络的PCB缺陷分类模型[J]. 计算机系统应用,2023,32(5):188-195.
[2] 廖鑫婷,李泉洲,邱权,等. 基于深度学习的PCB缺陷检测方法[J]. 电子产品可靠性与环境试验,2022,40(4):30-34.
[3] 李俊杰,周骅,唐纲浩. 基于改进YOLOv3的电容表面缺陷检测方法[J]. 智能计算机与应用,2023,13(3):235-241.
[4] 谢能勇. 基于计算机视觉的垃圾检测及焚烧火焰识别研究[D]. 淮南:安徽理工大学,2023.
[5] 赵怡豪,刘勇,岳仁峰,等. 基于改进YOLOv5模型的智能立体车库结构裂缝识别算法研究[J]. 信息系统工程,2024(3):134-137.
【通联编辑:代影】
基金项目:广西壮族自治区工业和信息化厅2023 年信息化相关项目“基于YOLO V7 目标检测算法的印制电路板缺陷检测系统”