军用电子元器件检测筛选中可视化技术的应用

杨恒，李静

（陕西省电子技术研究所，陕西西安，712000）

0 引言

军用电子元器件因其高可靠性要求的特点，在生产、筛选、检测、验收中需要多次承受实验考核，器件表面尤其是引脚不可避免的会出现损伤。这些损伤部分肉眼可见，但更多为细微损伤，不易分辨。细微损伤虽然不会对电子元器件的使用产生重大影响，但是在军工领域，不放过一点瑕疵是对武器装备可靠性的庄重承诺，更是对国防事业的忠诚体现。针对这一问题，传统的外观检查法明显不再适用，机器视觉可以作为一种高分辨率、高精细度的检测方法，引入到军用电子元器件的检测筛选工作中，实现更高等级的质量把关。机器视觉是伴随着电子技术的发展而新兴的一门学科，采用可见光、红外光等工作谱段，采集试样图片，再加以图像处理，检查试样的细微之处，对比发现异常，自动回复检测结果。其优点是以智能化方式运行，检测效率高；图像可高倍放大，检测精度高；智能软件可调，适用门类广；检测标准可人工设置，检测准确性高。基于机器视觉技术的优点，本文利用机器可视化技术进行优化，构建多角度高速成像机构，大幅提升军用电子元器件检测筛选的效率，再运用可视化技术根据从侧面捕获的图像数据进行数据样本标签标注，提升检测筛选的全面性和准确性，确保检测筛选过程可以高质量、稳定、可靠的完成。

1 可视化技术检测技术图像采集原理和视角设置

由于军用电子元器件外部状态和形状的制约，人工手动检测筛将依赖于测试仪器头顶的正面观察和筛选，以确保效率。这种检测筛选方法对线材形状的检测效率高，但很难观察线材侧面的压痕和切割，尤其是线材外绝缘材料的热丝质量。图1显示了军用电子元件个体的不同质量。军用电子元器件由于制造时间和制造温度的不同，其效果也不尽相同。

图1 军用电子元件个体的不同质量示例

军用电子元器件的人工检测筛查存在两个问题：一点是容易导致漏筛、错筛，给后续流程带来十分多的质量风险；另一点是，人工检测筛选劳动强度大，会造成检测和筛选的同步性低，很多本身符合要求的军用电子元器件由于错误筛选而被浪费。为了解决以上问题，构建了一种新的可视化检测筛选机构，实现了核心部件检测与筛选的集成统一。构建的可视化检测筛选机构工作原理与组成示意见图2。

图2 军用电子元器件可视化成像机构示意

设计的可视化成像检测军用电子元器件机构采用三个相机均匀分布,视场中间设置夹持旋转台的方式，所以可以生成被检测的每个军用电子元器件的至少八个不同角度的图像。军用电子元器件检测筛选机构的核心部分由负责采集试样图像的“检测设备视觉模块”和负责图像对准与检测的“背景模型训练模块”两部分组成。检测设备视觉模块是视频图像采集的前端，负责将视场中的试样图像清晰摄录下来并稳定传输给后端图像处理设备，因此需要考虑试样拍摄的角度与光照度，保证采集到的图像清晰、均匀，最重要的是实现一次拍摄采集试样多角度图像。通过以上分析，将检测设备视觉模块设计为由三组工业相机在同一平面内互呈120°排布，工业相机采用短焦距镜头以适应近距离拍摄的工作环境，另外设置三组高亮度LED照明光源提供小范围内高照度环境。待检试样装夹于可旋转平台上，在三架相机的视场中匀速转动，方便相机采集各个角度图像。检测装置的视觉模块位于军用电子元器件缺陷检测装置中，主要包括光学成像子模块和缺陷在线检测与计算子模块。

2 军用电子元器件检测筛选中可视化技术应用

2.1 可视化技术检测筛选逻辑

因为军用电子元器件部件表面真实形貌的复杂性，想要减少检测难度，增加检测效率和精度，对军用电子元器件的外部质量采用了两阶段的检测和分类过程。由图3可以得出，筛选过程是一个结合了初始宏观筛分和微观零件精细筛分的过程。

图3 军用电子元器件图像检测范围分割示意图

军事电子元器件外部质量检验的两个阶段筛选检测过程，可以通过改进两个点的检验过程和建立相应的机构来实现。步骤1，利用机械经典的视觉算法，对军事电子元器件的绝缘面积进行跟踪检测，使绝缘层异常的军用电子元器件在检测筛选开始时进行跟踪。在步骤2中，确定磁头的核心面积，获得高清图像，用人工智能算法准备磁头轮廓和缺陷选择。

在图4中可以看出,基于研究机制,采用了使用传统的机械视觉演算法的视觉检测视场大直径方法,结合人工智能视觉检测的算法将视野小直径很细的电子元器件检测,用以提高检测水平。

图4 筛选逻辑流程

2.2 可视化技术数据集建设

可视化算法模型确保了筛选检测结果的最低精确数值，并且通过数据结果规定了最高筛选检测结果数值。军用电子元器件的筛选检测场景是一个典型的分类任务，也就是说，在基于获得军用电子元件的外部构造图像上，识别符合或不符合的样品基本上可以定义为一个二元分类问题。 然而，由于各种复杂因素的图形特性，本研究详细分类，建立了多模型的分类、军事实践的电子数据，在进行数据采集的样本收集，组织和模式分类和标签，并确定分类标签和样本的数量。此外，细分产品的不同形式是分为不同的类别，尤其是将来未知的故障，进行单独分类标签，执行一个特定的针对性的处理，以及建立多个数据集分类基本满足检测筛选的需求。

所提取的基本数据库的主要特征，如“积极”、“扭曲”、“肤浅”、“好像”、“破坏”和“不存在”等，被提取的分类的结果中的许多特征是建立在此基础上，这样的等级分类的基本数据集更加合理和适当的。部分分类是显著的，在一定程度上尽可能少的，是由于数据挖掘分类模式分类边界造成错误，导致现有安装模式的缺陷，在缺乏数据的样本附近可能误差模型确定类别的错误，导致模型的分类、影响更准确地分类。为了避免这种情况，在具体实施的阶段，基于数据集的数据集分类部分实际情况必须得到适当的合并，在误差允许的范围内，进行恰当的集合，这样的比例的样本数据集之间的数据每一类别比较均匀，更加稳固的支持在模型类的角度的数据集。

2.3 图像识别算法框架设计

本研究的本质是基于卷积神经网络CNN解决多分类预测问题，即通过图像信息流的数值运算，发现其中的拐点，定义为图像与标准值存在重大差异，可判定为器件异常，其核心是CNN网络的实施。在当第一阶段经典机器视觉对军用电子元器件尺寸检测筛选工作完成后，在确定尺寸合乎规范要求的前提下，选取相应的检验模板，作为检测标准值，CNN网络则负责军用电子元器件部位的检测筛选，通过卷积运算，发现采集图像与检测标准值的差异点，最后系统取得两个部分的计算参数与分类结果，将判定的差异点以图像的形式还原到检测报告中。为提升开发效率，采用自动化设备通用编程软件与经典深度学习开源框架联合编程，借鉴成熟功能模块，以提高软件鲁棒性，搭建经典机器视觉算法与CNN网络模型有效结合的智能化软件系统架构。软件核心功能模块主要包括：检测目标数据获取、存储与预处理、经验引导算法流程、核心识别模型等，其中经验引导算法流程和核心识别模型完全自主开发。

在开发核心识别模型软件模块中，鉴于器件的失效形式复杂多变，无法通过枚举方式预先设定全部失效模式的检测要点，因此需要引入基于基础数据集训练初始深度学习模型，作为器件失效模式判别的基础数据，并在此基础上构建人工智能算法与工程师经验相结合的处理模式，通过软件智能和人在回路的方式，提高软件的适用性和判别准确性。通过不断的数据积累，实现训练集样本数量和种类的扩充，在可控的条件下实现算法精度的迭代上升。

如图5所示，是军用电子元器件检测筛选方案整体实施流程。通过将检测筛选流程划分为三个阶段，赋予不同阶段不同的重点任务，基础数据集准备阶段重在实现基本的检测功能，其目的是采集并积累数据；模型训练阶段则是在足够样本量的前提下通过软件深度学习和人工干预，完善并调整数据集，达到软件检测筛选功能的全面实现；维护提升阶段重在软件的维护和功能的提升，剔除数据集中关联度低的数据、检查其中数据的完整性、定期备份软件，通过使用发现软件的功能薄弱点，为下一版本的功能提升积累数据与实例。为了能够使模型不断完善，识别准确率不断提高，本研究在样本数据集建设方面构建适应于业务场景的流程及更新模式。

图5 军用电子元器件筛选方案整体实施流程

3 试验结果分析

可视化电子元器件检测筛选平台的信息处理器选用Intel Xeonw-2123作为CPU，以保证图像运算的处理速度；考虑到卷积运算的运算量，配置16G内存；人机交互界面以图像为主要展示内容，因此显卡选用Nvidia GeForce GTX1080Ti，满足图像显示的分辨率和流畅度要求。

为验证算法流程以及所构建数据集的有效性，本文选用googlenet作为深度检测筛选网络模型，基础检测筛选率设定为0.001，检测筛选率变化频率为1/300，检测筛选率变化指数为0.9，权重衰减值为0.00002。针对10批次同类型的电子元器件进行检测筛选。为测试软件运行的准确性，同步采集了人工检测筛选的数据作为对照。模型筛检和人工筛检的元器件型号为同一型号，但每批次数量略有不同，因此将合格率作为对比参考，以避免数量差异的影响。数据记录见表1。

表1 10批军用电子元器件筛检对比实验结果

通过分析测试数据结果，可以发现模型筛检的合格率普遍高于人工筛检的数值，从一个侧面证明模型筛检方法细节分辨能力更强，对瑕疵的检测更为仔细，所以检测结果更为可信。

4 结论

电子元器件的检测筛选是电子产品质量保证的第一道关口，军品级电子元器件的检测筛选更是关系到装备的可靠性，尤为关键。采用信息化技术手段提高检测筛选线的自动化水平，甚至赋予智能化能力，是元器件检测筛选今后的发展方向。本文从元器件表面检测一个点出发，探究智能化检测筛选的技术路径，希望为全产业的条件升级提供借鉴参考。元器件表面质量还不足以证明元器件质量达标，还需要电性能测试和环境应力筛选等检测步骤，这也是今后智能化产线升级的研究方向，还需要深入研究与实践。