表面微观缺陷检测方法及其应用研究

陈虎 王成 卢仁谦

(1.重庆忽米网络科技有限公司，重庆 400000；2.西安电子科技大学，西安 710071)

0 引言

表面缺陷检测是工业生产中极其重要的一环，在汽车、船舶、电子、国防军工等诸多领域具有举足轻重的作用，表面缺陷检测的准确程度会直接影响产品的质量优劣。因此，对工业产品表面缺陷检测系统的设计、制造、检测算法等核心技术的研究尤为重要。

在我国大部分的工业生产环境中，仍然利用人口红利，大量地使用人工等传统手段进行表面缺陷检测。这种手段容易受到主观判断的影响，导致检测精度不稳定。与之相比的是，国外已经广泛使用机器人等自动化技术进行产业换代升级，实现了工业自动化、提高了社会生产效率。

随着我国人口红利逐年减弱、工业转型升级需求释放和生产力成本上升等问题的凸显，再加上科技进步后的工业自动化技术性价比临近拐点、接受度逐渐增强，人工智能、机器视觉、云计算和5G等技术取得了巨大的发展，因此无接触、无损伤的多技术融合自动化表面缺陷检测已在不少领域逐步形成替代人工的趋势。

1 微观缺陷检测背景

1.1 微观缺陷检测的行业性概述

科学技术的发展带来了工业4.0和智能制造的革命。微观领域缺陷检测随着制造精度提高在各行各业得到迅猛发展。微观缺陷检测技术应用领域非常广泛，在航天航空、汽车制造、半导体工业、生物医疗、精密加工、新材料制造等行业已得到普遍应用[1-3]。

高精度制造的发展离不开精密微观检测。精密微观检测包括超精密的属性识别、超精密制造的设备检测技术、微观特征分析、超精密测量技术、误差补偿技术、超精密制造工作环境等，是保证高精度制造的基础技术。

精密微观缺陷检测技术是对物体各种微观表象特性进行判定的过程[4]，检测的对象尺寸精度高于0.1 μm，表面粗糙度Ra小于0.025 μm，属于亚微米级检测技术，且正在向纳米级加工技术方向发展。这种技术具体应用在制造业表面特征分析、生物医疗细胞检测、半导体晶片制造、新材料结构、热处理金相组织比对、PCB焊接和漆包线表面绝缘层检测等领域(见表1)。

建立在分子力学、分子运动学、热力学、光学、电磁学和凝聚态物理等基础物理学理论之上的工业机理分析对物质的结构特征有了更标准的定义；在工业机理之上的模型和组件的开发是应用场景的保证；建立在多行业、多领域基础上的应用系统架构支撑了众多应用场景。尤其近几年随着数字化和工业AI技术的发展，建立在云架构上的多行业、跨领域的基础模型库和多场景的应用组件得到了迅猛发展，这种互联网云端架构上的行业化、系统化、标准模块化的知识图库建立使微观视觉检测得到了快速发展。在这种发展态势下，跨行业、跨领域的云端应用栩栩如生。

表1 微观缺陷检测技术应用领域

1.2 微观缺陷检测技术概述

表面微观缺陷检测涵盖技术繁多，涵盖图像数据采集技术和图像数据处理技术，其整体流程为图像数据采集、图像数据预处理、缺陷分类以及缺陷评价等。

1.2.1 图像数据采集技术

图像数据采集技术根据所检测的缺陷种类采取不同的采集方式，其中应用广泛的是二维图像采集技术和三维点云图像采集技术。二维图像采集模式主要根据其采集精度和频率划分为电荷藕合器件图像传感器(Charge Coupled Device，CCD)和互补金属氧化物半导体(Complementary Metal Oxide Semi-conductor，CMOS)，其中CCD具有成像质量高且可高速成像，便于检测移动产品及检测节拍快的产品；CMOS采用卷帘快门曝光方式，其主要用于检测静止产品。图像数据采集技术根据其采集模式是以面或者以线为单位，分为面阵模式和线阵模式两种。其中，面阵模式受视野影响，而线阵模式则可搭配伺服运动机构可检测长宽比差距较大的情况。图像数据采集技术搭配不同的打光系统，可获得不同成像效果，其中光源根据波段的不同，可以分为白光、蓝光、红光以及紫外光，所成图像可凸显不同特征；而采用不同打光角度，可获得不同特征图像，便于后期处理分析。

二维图像采集技术主要应用于划伤、碰伤、物品状态、外观色差和尺寸等检测，不含深度信息的检测。当待检缺陷出现多元化、多样化及概率随机性大的情况，且当需要检测深度缺陷如毛刺缺料凹坑等时，可采用三维点云采集技术，即通过获得表面3D点云数据识别分析该类缺陷。三维点云采集技术可根据其激光波段不同分为蓝光和红外两种，其中蓝光精度高视野较小，红光精度稍低但视野较大。

1.2.2 图像数据处理技术

图像数据处理技术主要分为传统机器视觉和深度学习两种，传统机器视觉通过边缘提取、聚类分析等方法可检测缺陷大小及位置，然后进行识别和分类，对缺陷进行分析[5]。由于缺陷多种多样，传统的机器视觉算法很难做到对缺陷特征完整的建模和迁移，复用性不大，要求区分工况，这会浪费大量的人力成本。深度学习在特征提取和定位上取得了非常好的效果，因其检测精度、速度及泛化性，越来越多的学者和工程人员开始将深度学习算法引入到缺陷检测领域中，并开始应用于工业产品视觉检测，其通过对缺陷样本的大量训练，建立识别模型，从而达到强有力的识别速度及精度[6]。

2 微观缺陷检测的主体系统架构

表面微观缺陷检测是对产品的各种微观表象特性进行判定的过程，本文提出了基于工业互联网、大数据、云计算、AI和微服务等多技术融合的方法，构建了表面微观检测应用架构体系，从信息物理层、边缘层、工业基础设施即服务(Infrastructure as a Service，IaaS)层、工业平台即服务(Platform as a Service，PaaS)层、工业软件即服务(Software-as-a-Service，SaaS)层五大层面，建立起从缺陷数据采集到应用服务的完整闭环(见图1)。

在多技术融合的表面微观缺陷检测架构体系中，信息物理层可以实现产品表面缺陷检测产品数据等全要素接入能力；边缘层可以支撑边缘计算的数据处理模式，提供对现场检测数据的预处理能力；工业IaaS层可实现预处理检测数据传送至云端服务器并在云端进行数据模型训练；工业PaaS层可提供模型训练算法、数据清洗、数据分析等能力，挖掘产品表面微观缺陷特性数据，如形状特征、力学特征、表面光干涉特征、分子能态荧光特征、电磁特征、应力、液体表面张力等，基于大数据和云计算能力，构建工业算法模型和工业AI组件；工业SaaS层则基于表面缺陷检测算法和工业AI组件，提供表面缺陷检测应用服务，最终实现各大行业产品表面微观缺陷检测的整体智能化升级。

2.1 信息物理层

信息物理层的主要功能是对待检产品的缺陷数据进行采集和处理。通过采用二维图像采集技术和三维点云数据采集技术相融合的方式进行缺陷数据采集，对多元化多样化出现概率随机性大及深度类缺陷进行数据采集，该方式可同时整合二维图像分辨率高和三维点云数据深度信息Z方向精度高的特点，通过两种采集技术的融合，可全方位解决表面微观缺陷检测。其中，二维图像采集技术可应用面阵相机获取微小区域的图像，线阵相机获取长宽比大的区域图像。

采集设备搭载的非标伺服驱动系统，包含可编程逻辑控制器(Programmable Logic Controller，PLC)、伺服电机及非标机械结构件等。其中PLC可根据具体需求有较多品牌选择，如美国GE、德国西门子、日本松下和国内的浙大中控/台达等；伺服电机选型可通过转速、转矩和惯量匹配进行选择；非标机械结构件可根据具体应用场景进行设计及加工。

信息物理层还包含其数据系统，如ERP、MES和WMS等。其中，企业资源计划(Enterprise Resource Planning，ERP)将企业实际管理需求与先进信息技术完美结合，打造企业全程一体化管理体系，打破各部门、各区域、各系统之间沟通和协作的壁垒，建立规范、灵捷、高效的业务流程，实现销售、客户、项目、生产、库存、采购、人资、财务、办公等所有环节全程无缝管理，确保了数据信息在传递过程中的准确性、时效性和有效性，帮助企业快速反应、紧密协作、良好运营，更快推进业务发展，全面提升核心竞争力；制造企业生产过程执行管理系统(Manufacturing Execution System，MES)是面向于制造业生产车间从计划到执行的全面生产信息化管理系统，可以为企业提供制造数据管理、计划排程管理、生产调度管理、库存管理、质量管理、人力资源管理、工作中心/设备管理、工具工装管理、采购管理、成本管理、项目看板管理、生产过程控制、底层数据集成分析、上层数据集成分解等管理模块，为企业打造一个生产全流程化的制造协同管理平台；仓库管理系统(Warehouse Management System，WMS)是对企业的仓储过程业务进行信息化辅助管理的系统，主要包括入库业务、出库业务、仓库调拨、库存调拨和虚仓管理等功能，是对批次管理、物料对应、库存盘点、质检管理、虚仓管理和即时库存管理等功能进行综合运用的管理系统。

2.2 边缘层

工业领域表面微观缺陷检测数据采集阶段主要包括3个步骤。首先，利用高清相机对工业设备表面进行取像；然后，对取得的图像进行预处理操作；最后，将预处理之后合适的数据集传送至云端服务器供模型训练。整个过程具有采集难度高、图像数据量大、数据预处理方法部署和维护成本高等特点。因此，为了更好地结合物联网技术驱动相机设备进行更快更安全的图像拍摄，及时有效地对拍摄图像进行预处理和分析，并对数据进行快速、实时的上传，一种高效的数据传输通信技术和边缘计算显得尤为重要。

第五代移动通信技术(The 5th Generation Mobile Networks，5G)是最新一代蜂窝移动通信技术，也是继4G(LTE-A、WiMAX)、3G(UMTS、LTE)和2G(GSM)系统之后的技术延伸与创新。其无线覆盖性能和系统安全性较4G技术、蓝牙、Wi-Fi等无线通讯有了很大提高。表2例举了几种常见的无线传输方式的传输速度和优缺点。另外，作为一种新型创新数据传输标准，5G因其速度高、功耗低、时延低及支持物联网等优点，越来越受到各行各业的青睐。在应对未来全球网络环境的发展趋势大背景下，5G也更具灵活性[7]。

基于上文所述，本文采用5G边缘计算层来实现对数据的采集和预处理。通过利用5G传输技术，使设备在采集和传输图像数据的过程中，具有高速率、低延迟、低能源、低成本等优点；通过结合5G边缘计算技术，构造5G边缘计算器，内置图像数据处理和分析程序，实现快速实时的图像数据采集和预处理操作。

2.3 工业PaaS层

通过深入研究工业产品表面缺陷产生过程及特征，使PaaS层通过大数据、云计算、图像识别、3D点云、CCD等多技术融合，从图像预处理、缺陷检测和定位、特征提取和分类3个方面提取缺陷共性特征，如毛刺、碰伤、外观色差、尺寸误差等，以工业互联网平台底层能力为基础，构建工业生产成品表面微观缺陷检测算法和组件。PaaS层主要包括通用PaaS(General Platform as a Service，GPaaS)层和应用PaaS(Application Platform as a Service，APaaS)层。

2.3.1 GPaaS层

GPaaS层基于IaaS层云基础设施提供GPU超强的并行计算能力，服务于深度学习训练、图形图像处理、视频编解码等场景，从而实现表面微观缺陷检测海量数据训练和数据模型构建。以SpringClound基础架构作为PaaS层底层支撑架构，采用Docker和Kunbernetes的混合容器技术，通过容器化管理与微服务框架，提供容器调度、容器编排、集群管理和弹性调度等能力；以AI算法服务、缓存服务、搜索引擎服务、图像处理服务、租户管理服务、API网关服务等为主的通用类微服务组件，实现先进技术的快速引入及使用，为表面微观缺陷算法检测提供先进技术支撑。

2.3.2 APaaS层

APaaS层基于GPaaS层技术能力，构建工业算法模型库，采用多种算法融合，主要从产品毛刺缺陷、产品粗糙度、物体表面光衍射、焊接溶液表面张力等特征性数据分析方面，形成以缺陷检测为主的工业算法模型库并通过微服务组件化手段形成工业表面缺陷检测AI组件。具体可采用如下算法。

(1)深度卷积神经网络最初是为图像分析而设计，很适合基于图像的表面缺陷检测及识别[8-9]。通过利用计算机视觉模拟人类视觉的功能，从具体的实物进行图象的采集处理、计算、实际检测、控制和应用，可将物体表面缺陷的特征学习和检测定位集成到一个模型中，从而快速准确地进行缺陷检测。

(2)作为一种快速有效的数据分析方法，与传统的机器视觉方法相比，基于深度学习的方法可以挖掘出图像的深层结构，自动学习具有代表性的特征。其中，可以通过对输入图像进行切片，然后把切片图像送入深度学习网络中做判断。在推理时，通过滑窗检测方式进行缺陷的逐位置识别[10]。也可以采用阶段式方式：首先使用目标检测算法定位感兴趣结构区域，然后同样也采用目标检测的方式对上阶段检测出的各个感兴趣区域图像中的缺陷做分类和定位[11]。在数据量缺少的情况下，可以使用高斯金字塔结合语义分割的方式或者使用生成对抗网络和自动编码器]来重建缺陷，推理阶段通过结合多尺度结果进行缺陷检测，只需少量的无缺陷样本就可以进行训练[12-13]。这对于收集大量有缺陷样品困难且不可行的情况尤其重要。

表2 常见无线传输方式速度和优缺点

(3)在工业生产中，由于腐蚀和摩擦等原因，设备表面可能出现各种裂缝、凹凸点、孔洞和疵点等缺陷，缺陷的产生使得设备的性能受到影响，引起机械故障和安全事故，由此造成经济损失、环境污染和人员伤亡。因此，使用三维点云建模对物体表面三维重构对缺陷检测研究具有很大的必要性和重要的现实价值，比如可以基于k近邻和八叉树的三维点云数据的精简算法，针对规则或者不规则三维点云数据，实现缺陷的识别和量化计算[14]。

本层以数据+算法驱动工业AI建模，为工业产品表面微观缺陷检测应用提供多技术融合的检测组件能力支撑；以微服务的方式实现检测算法组件应用并延伸到其他行业表面缺陷检测应用服务中。

2.4 工业SaaS层

工业SaaS层面向装备制造业、电子信息、泛半导体和医疗器械等行业，为其提供表面缺陷检测应用服务，具有识别速度快、准确率高、成本低、可追溯性强、数据分析、智能反控等优势，克服了传统的检测手段弊端，如单点检测、准确率低、成本高、反应滞后、分析性不强、系统性弱等。基于大数据和云计算等先进技术，通过缺陷数据特征分析构建的工业算法模型和工业微服务组件，可应用于各大行业领域。各行业表面缺陷检测应用可服务于半导体芯片缺陷检测、工业热处理金项组织对比检测、细胞微观特征比对检测、SMT焊接缺陷检测、精密铸造表面缺陷检测等方面。

比如为实现半导体芯片缺陷检测，可通过基础物理光谱学理论的光谱衍射原理，结合通用特征差异算法、物体表面光衍射算法、物体表面光干涉算法等，通过对表面缺陷检测图像进行复杂转换、多模版灰度匹配，实现半导体表面缺陷精准化检测。针对SMT焊接缺陷检测，可根据热力学的分子内聚力基础理论，结合工业Paas层图像分析、焊接溶液表面张力算法、通用特征差异算法、物体表面光干涉算法等，对缺陷图像进行增强、平滑、图像二值化、区域分割、图像形态学处理，从而检测SMT焊接缺陷情况。

3 微观缺陷检测的典型应用场景

3.1 电子工业中的PCBA缺陷检测

印制电路板组装(Printed Circuit Board Assembly，PCBA)生产过程中的主要质量控制难点是零部件状态和焊接质量检测，传统图像处理通常是使用边缘提取、模板匹配等方法进行分析，这种检测手段只能分析固定模式的缺陷，且鲁棒性低，具有一定的局限性。

针对上述难点，可利用本文提出的基于多技术融合的表面微观缺陷检测方法，首先利用物理层分别对PCBA进行2D和3D取像；然后在5G边缘计算层中对图像进行降噪等预处理，并上传至云端进行计算；最后在PasS层中，结合焊接溶液表面张力模型、点云技术及深度学习模型对多种缺陷模式进行学习，达到对器件中缺焊、漏焊和虚焊的准确检测。PCBA虚焊缺陷检测结果如图2所示。

3.2 压铸行业中的缺陷检测应用

精密压铸件在电子工业和微型自动化控制领域有着广泛的应用，受精度指标的影响，其表面的缺陷检测显得尤为重要。该行业的零部件缺陷特点为缺陷尺寸小、特征反差弱、表面缺陷点分布离散等，传统的人工处理方式难以满足现有工艺的要求。

针对上述难点，可利用本文提出的基于多技术融合的表面微观缺陷检测方法，利用物理层CCD相机取得高清图像，在边缘层使用5G技术以缓解庞大数据量所带来的传输问题，并通过强大的云计算能力解决计算量的问题。然后在PaaS层中，通过基于工业机理分析的压铸件缺陷生成模型，并结合相关AI算法，达到对压铸件中表面缺陷的检测。最终，压铸件判别检测模型在SaaS层进行系列压铸件表面微观缺陷检测的应用服务。图3(a)为具有缺陷的压铸件，通过本文提出的基于多技术融合表面微观缺陷检测方法构建压铸件检测模型，可得到了较高的检测精度，结果如图3(b)所示。

3.3 热处理金相组织的自动比对

金属热处理是制造过程中的重要控制工艺，由于受热处理设备、工艺、环境等条件影响，金属的结晶过程复杂多变，对金属金相组织的准确判定和物理特性的检定尤为重要，图4所示为金属热处理过程中的孪晶析出现象。

在热处理金相组织自动对比问题中，可以利用本文提出的基于多技术融合的表面微观缺陷检测方法，首先在物理层利用CCD高清相机设备对染色后的金相组织进行取像，然后在5G边缘计算层对图像进行直方图均衡化处理，并上传至云端训练模型，最后在PasS层中，结合基于物体表面光衍射特性算法分析孪晶的特性，然后通过深度特征提取器提取出金相图像中孪晶析出的特征进行训练，最终得到热处理金相组织的自动对比结果。

4 结束语

随着成像技术、计算机技术、人工智能、云计算和5G等科学技术研究的不断深入，基于这些前沿技术融合的表面缺陷检测技术也取得了长足的进步。表面缺陷检测的准确程度直接影响产品质量的优劣，而基于多技术融合的表面微观缺陷检测方法，极大地提高了缺陷检测的准确率，提高了生产作业的效率，其广泛应用也将促进企业工厂产品高质量的生产与制造业智能自动化的发展。