基于YOLOv3的芯片软硬件质检装置设计

陈伟迅

（广州铁路职业技术学院,广东 广州 511300）

0 引言

中国芯片行业是当前中国经济发展的重要组成部分，其发展趋势也影响着中国经济的发展走向，已经成为经济发展、国家信息安全的命脉[1]。随着中国科技的不断进步，中国芯片行业的技术研发也在迅速提升。中国已经成为全球最大的芯片制造商，主要从事芯片研发、生产和销售的企业数量也在不断增加。2019年，中国芯片行业的市场规模达到了4.4万亿元，同比增长17.3%，这一数据表明，中国芯片行业发展势头强劲，市场规模不断扩大。根据市场调研在线发布的2023—2029年中国芯片行业市场行情动态及发展前景展望报告分析，随着中国经济和科技的发展，中国芯片行业的市场规模将进一步扩大。据业内预测，到2022年，中国芯片行业的市场规模将达到7.5万亿元，同比增长7.3%。

随着中国经济的发展，电子信息产业也在不断发展，智能机器人、智能家居、自动驾驶等新兴行业的发展，中国芯片行业的需求量也在不断增加，行业的市场规模将进一步扩大。此外，政府和企业正在加大投入，将更多的资金用于芯片行业的研发和应用，加快行业技术进步，提高行业竞争力，从而促进行业的发展。综上所述，随着国民经济的持续发展，中国芯片行业将迎来更快的发展，市场规模和未来发展趋势将继续保持上升趋势。

1 芯片质检的意义及现状分析

芯片的生产流程一般包括芯片设计、晶片制作、芯片封装三个步骤。芯片封装作为芯片生产流程的最后一步，其封装质量和封装可靠性影响着整个芯片产品的质量。芯片封装是将芯片固定在基底上，再将保护封盖用金属焊料焊接在基底上，在将芯片内外电路连接的同时，起到对内部芯片的保护作用，并且金属封盖还能增强芯片的整体散热性能。因为芯片的制造过程十分复杂，在整个集成电路大规模工业生产过程中，集成芯片缺陷检测是一个必不可少的环节[2]。一旦缺陷未被及时发现，将会对成品芯片的性能和可靠性产生影响，因此在生产过程中实时监控芯片封装的质量逐渐成为芯片生产的必要步骤。在芯片生产制造过程中，各工艺流程环环相扣，技术复杂，材料、环境、工艺参数等因素的微变常导致芯片产生缺陷，芯片引脚数目缺失、倾斜及断裂等问题[3]，影响产品良率。

芯片缺陷检测的意义在于确保制造的芯片符合要求的规格，并在其预期应用中可靠运行。这一点至关重要，原因如下：

（1）产品可靠性：不符合要求规格的芯片可能在其预期应用中出现故障或性能不佳，这可能导致产品故障并降低客户满意度。

（2）质量控制：芯片质量检查有助于通过识别和拒绝任何不符合要求规范的芯片来保持制造过程的完整性。这有助于确保只有高质量的芯片被包装并运送给客户。

（3）成本节约：在检查过程中识别和拒绝有缺陷的芯片有助于降低制造和维修成本，并将产品退货和客户投诉的风险降至最低。

（4）符合行业标准：芯片质量检查有助于确保制造的芯片符合行业标准和法规，这对市场接受度和消费者安全至关重要。

综上所述，芯片质量检测作为芯片生产线中的关键环节，可以积极地反馈产品质量信息，以便人们及时掌控各生产环节的健康状况，促使质量检测技术在生产线中的作用越来越凸显。

然而，传统的目视芯片质检法存在检查速度有限、准确度不高、劳动强度大、容易产生人为错误等局限性，影响了芯片质检的可靠性和效率。因此，亟须研发自动、可靠的芯片质检装置。

随着计算机视觉和人工智能技术的发展，基于这两种技术的芯片质检方法应运而生，与传统方法相比其优势如下：

（1）提高效率：计算机视觉算法可以以比传统方法更快的速度处理图像和检查芯片。

（2）提高准确性：计算机视觉算法可以检测更广泛的缺陷，包括小的或细微的缺陷，比传统方法更准确。

（3）减少人为错误：计算机视觉系统可以消除人为错误的影响，对于确保检查过程的一致性和可靠性尤为重要。

（4）增强可追溯性：计算机视觉系统可以提供详细的检查记录和数据，可用于提高芯片制造过程的整体效率和有效性。

该装置目的是克服现有技术的不足和缺陷，主要克服了现有技术中的传统算法单一检测芯片外部缺陷，无法满足需求的问题。

2 基于YOLOv3的芯片软硬件质检装置

针对现有技术不足，该作品从芯片质检环节入手，利用深度学习算法和射频模组，实现了准确高效的芯片表面缺陷和内部软件的联合质检，除了能检测出划痕、引脚缺失等外观缺陷外，还能检测出芯片的基本功能是否完好。

围绕软芯片硬件联合质检这一总体目标，针对芯片缺陷的类别多样、形态各异、背景复杂等特点，面向快速、自动化质检的需求，该文设计了一种基于YOLOv3[4]的芯片软硬件质检装置。芯片从入口输送到该装置后，通过YOLOv3芯片检测技术对芯片表面进行质检，将由传送带进行传送和分拣，根据识别结果控制机械臂阻拦实现分拣效果，硬件质检合格的芯片将进入软件质检模块；不合格的芯片则由传送带上的分拣器根据缺陷种类自动进行分拣。采用双高射频模组对芯片内部线圈检测，不合格的芯片同样由传送带上的分拣器阻拦分拣，双重保障下提高芯片的出关质量。

2.1 装置硬件设计

芯片缺陷检测装置的硬件部分如图1所示。硬件部分由照明机构、相机、镜头和计算机组成，用于拍摄清晰的芯片表面图像，反馈到计算机内存中。装置的软件部分由YOLOv3模型实现缺陷检测和分类功能，由双高射频模组协议测试平台检测芯片内部缺陷。该检测装置使用一种运用直射光的环形照明方式，CCD相机采用800万像素的工业电子显微镜相机，分辨率为1 920×1 080，最终完成对芯片表面缺陷高质量、高效率的图像采集，以便后续算法的实现。

图1 装置结构图

2.2 功能模块介绍

就功能而言，系统主要可以分为图像采集模块、模型训练模块、芯片表面缺陷检测模块和芯片软件质检模块这四大模块。各模块具体的使用方法分述如下：

2.2.1 图像采集模块

图像采集模块主要由高清工业摄像头模组组成，同时要求摄像头模组提供可供取视频流的SDK组件。使用时，需要先将摄像头安装到适合拍摄各种不同排列的芯片的位置，并将摄像头通过网线连接到后台服务器，以供实时从摄像头前端获取包含集装号的视频流。

2.2.2 模型训练模块

该模块主要训练用于定位芯片表面缺陷位置的Yolov3目标识别模型。具体来说，需要首先从后台由前端摄像头拍摄的视频流中导出包含芯片的图像。为了识别的准确性，导出的含芯片目标的图像统一为jpg格式，并对每一张包芯片图像进行两类标注，即图像种类标注，以及图像中芯片缺点位置标注（如图2所示）。该过程需要人工手动完成。芯片图像标注可以借助标注工具LabelImg完成。将目标图片输入LabelImg，手动框出芯片表面缺陷所在位置，并保存标注的结果，此时软件LabelImg会生产一个与图片同名的txt文件。保存的txt文件形式如下：

图2 芯片图像标注结果示意图

前面的0代表只有一类，有两行代表有两个目标。后面是目标在图片中的位置信息。前面两个数字代表中心点位置、像素点/图片尺寸；后两位代表宽高、像素/图片尺寸。

2.2.3 芯片表面缺陷检测模块

该模块的功能是检测芯片表面是否存在缺陷。在硬件质检模块的输入端配置了高清工业级摄像头负责采集芯片样品的图像，所采集的芯片图像会传输到芯片质检软件平台（图3所示），当中部署了该作品提出的基于级联卷积神经网络的芯片表面缺陷快速检测模型，可对图像中的芯片缺陷进行检测和识别。模型的第一级网络为轻量级图像分类网络，可识别出图像中是否存在带有缺陷的芯片；第二级网络为目标检测网络，可以对图像中的芯片缺陷精准地进行检测和定位。通过轻量级分类网络先对芯片图像进行分类可以减少目标检测网络的调用，从而提高芯片硬件质检这一步骤的效率。

2.2.4 软件质检模块

该模块搭载了双高射频模组协议测试平台（图4所示），可进行芯片应用设置功能测试、芯片与协议功能测试等。通过对芯片基本功能的测试，可判断芯片内部软件是否运行正常，达到软件质检的目的。

3 基于Yolov3的芯片缺陷检测

该文采用You Only Look Once v3（YOLOv3）[5]模型来对芯片图像中的异物进行检测和定位。YOLOv3是一种常用的目标检测网络，通过使用一步回归来预测图像中物体的位置和类别。此外，通过引入特征金字塔网络（FPN）[6]，YOLOv3对不同尺度的对象具有鲁棒性，可检测出图像中的小目标。YOLOv3使用Darknet-53作为其主干特征提取器。在主干网络之后，采用了FPN在三个不同的尺度上检测不同大小的目标。接着，YOLOv3通过添加若干个卷积层来预测对象的位置和类别。这些卷积层在三个不同的尺度上输出特征图，对边界框、对象性和类别预测进行编码。

上述模块的配置使得YOLOv3可用于检测芯片图像中不同大小的缺陷。

4 结语

该文结合芯片质检领域的一般流程，对该装置进行了功能分析，根据需要完成的功能和系统整体的需要，该文针对生产中产检的芯片类型，设计了一种基于YOLOv3的芯片软硬件协同质检装置。装置可以分为硬件部分和软件部分，硬件部分包括各个硬件模块的选型与设计，软件部分包括开发平台和开发语言的选择、图像处理的模块设计、芯片定位和芯片分类识别的模块设计和关键技术的设计。在图像采集部分，该文根据装置的功能需求调研后，对相机和镜头进行了选型。

采用高清工业摄像头采集了训练和测试所需的芯片样本图像，并进行人工标注，利用CNN框架搭建了卷积神经网络模型，并进行训练和参数调优，实现了芯片表面缺陷自动质检的目的。