基于多种图像的电路板故障诊断系统研究

马春斌， 黄 文，李宗泽

(国营长虹机械厂,广西 桂林 541003)

0 引言

红外热像技术在国外发展较快，红外热像仪出现于20世纪50年代[1]，以美国为代表的发达国家将红外热像技术广泛应用于航空航天领域、医疗领域、军事领域等[2]，20世纪60年代，美国空军开展红外热像技术对电子设备故障诊断的研究，20世纪70年代，休斯公司航空公司研制出了红外故障隔离测试系统[3]和自动红外检测系统[4-5]，能够向测试人员提供可能的故障区域。20世纪80年代以来红外技术得到快速发展，红外热成像技术已广泛应用于各个领域。

与西方发达国家相比，我国在红外热成像故障诊断技术研究方面起步较晚，自20世纪90年代以来红外热像技术迅速发展，国内以电子科大、电子工程学院、军械技术研究所、西安交大等科研院校开展了相关研究工作[6]，以成都电子科大为代表的科研院校开展了相关工作，开发了“TIP快速大面积不接触式电路故障检测仪”等[7]，通过检测电路板元器件的过冷过热情况进行故障的定位。

随着装备功能电路制造工艺的发展，电路板发展呈现小型化、密集化、多层化等特点，装备中电子元器件和电路集成度高且结构复杂，接触式故障诊断方法受到了极大的限制[8]。装备出现故障后，传统的接触式故障诊断需要大量人力、精力、时间，因此研究开发利用红外热像信息对电路板进行非接触式故障诊断的方法越来受到了重视[6]。

将红外成像技术用于装备功能组件的故障扫描和识别，可以实现在非接触测量条件下的故障快速定位和失效分析。将红外检测所隔离出来的故障件，再交由下一级维修单位通过传统的检测仪器和检测设备实现高精度测量和深度测试。基于红外成像的电路板故障诊断设备对提高装备维修安全性、快速性、灵活性，精简维护保障装备种类，降低维修保障费用，具有重大的军事意义[9]。

传统的电路板故障检测基本由人工完成，工人精力有限，检测容易出现失误、漏检等问题[10]。红外成像检测方法则通过开发的软件对采集的红外成像数据进行存储和分析，利用机器视觉学习、模式识别等算法综合整理得到一套智能故障诊断分析软件，其工作原理为软件将红外成像数据与数据库中模板数据进行匹配，分析，诊断出结果，检测流程简单，自动化程度高，且检测结果成功率高。随着图像处理、特征提取和机器深度学习等算法技术的越来越成熟，红外成像故障检测法比传统接触式检测法的优点显而易见,能够摒弃人工造成的失误、自动化程度高、成功率高、效率高，因此红外成像检测方法在电路板故障检测及维修方面的应用将会越来越广泛[11-12]。

1 系统结构及原理

1.1 系统结构

基于红外的电路板故障诊断系统基于开放式体系架构，其架构组成主要包括主流总线仪器单元、标准测试信息接口、公共测试接口和通用测试接口等[20]，各个单元和接口配合相应的辅助设备、测试工装等可完成对被测对象的故障诊断，对象覆盖数字、模拟以及数模混合电路板。基于红外成像的电路板故障诊断设备功能框图如图1所示。

图1 基于红外的电路板故障诊断系统基于开放式体系架构

电路板故障诊断硬件平台主要由：控制计算机(含故障诊断软件)、测量仪器单元(各种信号激励仪器、红外热像仪)、供配电单元、公共测试接口以及测试固定支架组成。

1)控制计算机：

各类测量仪器通过控制计算机总线进行数据交换，程控电源为电路板提供电源或激励信号，测量仪器单元按照预设测试步骤对，根据红外成像图像信息分析电路板上不同位置的元件的温度信息，进而对电路板整体进行诊断、推理、分析出故障点[13]。

2)测量仪器单元：

测量仪器单元采用通用总线仪器构建，用于产生测试激励信号，形成测量通道等。依据虚拟仪器软件体系结构(VISA)标准制定总线的开放式模块化结构方案，电路板红外故障诊断系统软件采用接口标准化、硬件模块化的设计，为系统维护、更新和升级提供方便。

3)公共测试接口及信号分配单元：

公共测试接口及信号分配单元用于系统中资源分配转接、信号集中互联与被测对象连接[14]。公共测试接口具有可变规模的特点，在实现信号接口装置电气和机械连接标准化的基础上，满足电路板测试流程对机械电气及资源分配描述方面的要求。

4)供配电单元：

供配电单元包括供配电模块、程控电源。其作用是保持平台系统、各单元和仪器模块正确供配电；为被测对象测试维修提供必要的电源激励。

5)自检适配器单元：

自检适配器用于故障诊断设备功能自检和自维护。自检适配器使用故障诊断设备的全部测试资源，完成系统的自动化检测和校准，其功能设计具有一定覆盖性及可扩展性，可覆盖重要测试资源的检测和校准。

6)软件平台功能组成：

故障诊断软件平台遵循通用软件平台体系结构，按照操作和使用的用户进行设计划分，分为开发平台、运行平台。

开发平台主要对测试诊断信号、故障诊断系统资源、故障诊断策略(TPS)开发与管理，为开展具体的故障诊断进行前期准备；运行平台是整个诊断软件平台的核心，主要包括热像采集，图像处理，特征提取和故障识别诊断功能模块。根据故障诊断流程的描述和配置信息，引用相应的图库资源，驱动红外热像仪和激励资源，根据激励-响应关系实现对电路板的诊断并生成相应的诊断结果。

1.2 电路板故障诊断原理

电路板故障诊断利用差分热图方法，将电路板正常工作状态下的热图与待测电路板的热图做差分运算，计算温度插值快速判定电路板的状态[19]。

首先获取电路板正常工作状态下的图像A(x,y)，然后获取待测电路板的图像B(x,y)，然后获取A和B之间的差值为D(x,y):

D1(x,y) = (A(x,y)-BH(x,y))*α

(1)

D2(x,y) = (A(x,y)-B(x,y))*β

(2)

α和β表示加权因子:

D(x,y)=D1(x,y) +D2(x,y)

(3)

在差分图像中，元器件颜色最亮的，可能存在故障。如图2中(a)为检测热图，(b)为差分热图，且在(b)图中右上方的元器件最亮，可能存在异常，因此判定改元器件存在故障。

图2 电路板热图与差分图像

2 电路板故障检测系统设计

2.1 系统设计思路

基于红外的电路板故障检测系统结构由双光相机、测量仪器单元、供电控制、工业计算机等构成.双光相机(红外与可见光)采用非制冷焦平面探测器配合先进的图像处理算法，输出高质量、高灵敏度的红外图像，通过双光相机采集电路板的红外热图像，根据电路板的发热情况定位发热异常故障部位[16]；控制计算机通过计算机总线对程控电源仪器、数字信号模块以及模拟信号模块进行控制并通信数据进行数据交换。供配电单元包括供配电模块、程控电源，其作用是保持平台系统、各单元和仪器模块正确供配电，为被测对象测试维修提供必要的电源激励。

检测系统正常启动后，打开系统软件，人工调整箱体内电路板支架使其在红外热成像仪的视场范围内，将电路板放在的固定支架上连接电路板供配电单元和测量仪器单元，红外热成像仪实时图像采集，软件根据图片信息进行图像分析处理，根据分析结果定位故障元件并在软件界面将做标记故障元件图像显示出来。

在系统硬件的支持下，软件系统将有序调度各个模块。开启PC操作系统并启动程序时，检测系统先进入启动状态，在此期间，系统前端显示启动界面，后端依次对系统软件、硬件进行初始化。初始化过程依次涵盖系统参数、用户参数、运行参数等。其中，系统参数和用户参数从本地配置文件中读取并解析，然后将根据系统参数、用户参数更新运行参数中的部 分数值。系统正常启动后，设备操作人员可以根据待检测的电路板实物特征对相关参数进行修改，然后依次执行模板提取(即标准板提取)和故障检测。最后，在拼接后的电路板整图上标记所有故障，然后存储标记有故障的电路板整图，接着存储所有故障小图、故障信息等内容。

如图3所示，本系统对待测电路板进行检测的时候，首先要导入标准模型文件，用于对待测电路板的定位和配准[13，17]。

图3 系统流程

人工将电路板放入电路板夹具平台上，用户根据电路板的工作特性进行供电流程及参数设置，红外相机和可见光相机采集工作状态下的电路板图像信息，并对采集的电路板图像进行预处理。电路板工作状态下的热像显示到屏幕上，并结合电路板故障类型进行故障诊断与分析，得到故障诊断结果，并通过多种图像融合配准，在可见光图像中显示故障元器件。同一种型号电路板采用相同的参数，第一次检测时将该类型电路板的参数以文件形式保存，多次检测同类型电路板时直接打开该参数文件即可进行检测[15]。

图4 软件工作流程

2.2 系统实现流程

检测系统设备操控人员通过人机交互界面对设备进行操作，人机交互界面设计原则：满足功能要求、界面简洁、操作便捷。根据人机交互设计原则，对后台功能模块的相互协作调度关系进行简要说明。

检测子系统工作界面设计与实现检测子系统的工作界面主要包含：系统启动界面、工作主界面、阈值设置界面、配准模式界面、缺陷检测界面、元件识别界面等。阈值设置功能用于设置元器件的温度阈值，当温度超过该阈值时，判定元器件是故障元器件，并在可见光图像中定位显示该元器件。配准模式界面用于选择使用哪种算法进行电路板故障检测。缺陷检测界面显示电路板检测完成后的缺陷故障及缺陷故障的所在位置。元器件识别功能用于显示电路板元件的类型分类等情况。设备启动后，点击检测系统可执行程序启动系统，检测系统显示登陆界面，启动完成系统进入主界面，点击操作主界面按钮可跳转到设置界面、配准模式界面、缺陷检测界面[16]。

1)主界面：

系统稳定启动后或结束后，系统显示主界面，通过该界面选择图标选项进入阈值设置界面、配准模式界面、缺陷检测界面等页面，或通过点击退出图标退出系统。

2)阈值设置界面：

温度阈值设置是电路板故障检测的判定条件之一，正常情况下同种型号的电路板只需执行一次阈值参数，运动机构带动相机拍摄采集图像，系统根据相应图像处理算法依次处理拍摄图片。阈值设置界面的功能：显示温度阈值及人工操作接口，显示当前阈值的设置数值。

3)缺陷检测界面：

缺陷检测界面功能是显示电路板分析后的检测结果。首先通过相机采集红外热像和可见光图像，经过图像预处理之后，使用配准模式下的配准算法将待测电路板图像与模型库中的标准图像进行配准，从而得到电路板的缺陷情况。

4)配准模式设置界面：

检测系统的参数设置界面分为两个部分：系统参数设置界面和用户参数设置界面。系统参数设置界面其主要功能是进行系统状态检查并将检查结果显示出来。点击系统参数设置界面的系统自检功能键，界面将会显示设置的参数、相机或运动结构的初始状态或工作状态。用户参数设置界面其功能显示或修改用户参数，如电路板的尺寸、定位坐标确定、模板相关参数等。通过参数设置界面更新、保存参数、操作机构动作、相机初始化、显示系统工作状态。

5)元器件识别界面：

元器件识别功能界面用于显示元器件识别的结果，元器件识别通过采集被测电路板图像，经过图像预处理，图像算法识别与分析后，分析元器件的类别、数量等，用于检测电路板是否缺少元器件而造成故障。

3 实验结果与分析

3.1 图像采集功能

图像的采集需要光源、相机之间相互配合来完成。系统根据已设置的电路板的相关参数和系统内部设置参数通过相机拍照来获取电路裸板表面的图像，图像数据信息存储在系统指定的文件夹下。在图像采集过程中相机位置固定不变，移动机构带动电路板固定平台按照预设轨迹进行移动，同时相机进行图像采集。软件开发中针对相机的控制函数包含初始化函数、图像拍摄函数、相机内部参数设置、相机通信断开与连接等接口函数，函数接口调用与由相机控制线程进行统一管理执行。

3.2 配准功能

基于白光和红外光的电路板工作状态下的故障智能检测系统中，需要将电路板裸板白光图像与带电电路板的红外图像进行融合，图像的配准功能以融合图像作为热源辨识的标准依据。电路板的红外图像和白光图像由同一相机在不同控制方式、不同时间、不同光源环境下拍照取得的，两种图像空间位置和形态上存在着差异，所以在融合操作之前需要对两种图像进行配准操作，电路板的白光图像和红外图像之间的融合需要算法处理，如平滑处理、形态学梯度处理等，因此图像配准和融合也是该系统的重要组成部分。

3.3 缺陷检测功能

标准库训练成功后，系统根据图像处理算法，图像配准算法等，将缺陷、故障点显示的系统画面中。点击缺陷检测界面中元件匹配图标，系统通过相机逐行拍摄、逐行处理的运行方式采集和处理图像，系统根据模板匹配算法将拍摄图像与模板图像进行比较，检测电路板是否缺失电子元件、是否出现烧毁、击穿、腐蚀等故障，系统将用线框标示出故障点或缺失元件位置的图像显示到显示界面中。

图5 故障检测定位

4 结束语

本项目旨在借助新兴的深度学习和图像处理技术来解决电路板缺陷自动检测问题，从研发到设备正式应用是一个漫长学习、探索、研究、升级的过程，因此本系统针对目前电路板主要的缺陷检测开展了相应的软硬件设计，由于电路板缺陷种类繁多，检测问题难以一次性得到解决，后期还需要进一步对电路板缺陷检测种类进行扩展和提出针对性解决思路和方法。