基于红外热成像的传感器电路板缺陷检测方法*

史洪玮，许崇彩

(1.宿迁学院信息工程学院，江苏 宿迁 223800；2.宿迁学院产业技术研究院，江苏 宿迁 223800)

传感器电路板由于具有三级运算放大器功能[1]，因此被广泛应用于新材料、印刷加工、制造业、机械制造等领域。 但是，长期的工作下，传感器电路板可能会出现少锡、错位、极性错误、破损、污染等各种缺陷，严重影响传感器电路板的工作性能，因此传感器电路板的缺陷检测是提高其运行性能的关键。 由于传感器电路板经常处于强电磁场和高电压的环境下，传统的检测方法受电磁干扰影响严重，导致缺陷检测的结果与实际结果之间差距较大，所以对传感器电路板的缺陷检测技术提出了更高的要求。 由实验证明和理论依据可知，研究电路板缺陷检测方法具有重要意义[2]。

李飞等[3]对超像素的电路板图像进行编码处理，利用建模软件中的矩阵模型计算出传感器电路板的胶片区域，将获取的图像像素胶片轮廓作为固定模板，再采用同步缩放匹配法确定胶片区域，然后使用全方位投影方法计算出胶片区域的中心。 根据不同层次的基板进行自适应边缘检测，最后拟合电路板的坐标，识别缺陷位置，完成传感器电路板的缺陷检测。 但是，该方法没有对电路板图像进行校正处理，导致缺陷检测准确率较低。 胡跃明等[4]设计出基于直方图自适应阈值的分割方法，将高斯模型中的三维色彩分割检测法应用到传感器电路板中。通过分块策略与颜色的直观特性将分割后的图像输入到环图向量机中，划分缺陷等级，完成传感器电路板的缺陷检测。 该方法没有对图像实行增强处理，导致检测结果的召回率较低。 Geetha 与Bharathi[5]利用图像处理技术对电路板的缺陷进行检测，该方法在电路板图像处理工具中使用了简单的非、减和异或运算的逻辑方程，通过二值阈值对合成图像进行分类，从而实现电路板的缺陷检测。 该方法针对硬质金属印刷电路板的缺陷检测效果较好，如果采用该方法进行传感器电路板缺陷的检测，则会降低检测的精度。 Kanda 等[6]提出基于电气互连的电路板缺陷检测方法，该检测方法不使用边界扫描触发器，而是在集成电路中嵌入测试电路，使其流过被测互连电路板。 该电路由集成电路每个输入引脚的MOS 开关及其开关控制电路组成，SPICE 模拟用于检查是否可以使用该方法检测互连处的开放缺陷。但是，该方法的检测延迟需要进一步优化。

为了提高传感器电路板缺陷的检测精度，提出基于红外热成像的传感器电路板缺陷检测方法。 当传感器电路板出现缺陷问题时，会产生短路引起局部温度升高，采用红外摄像仪采集传感器电路板的缺陷图像时，就相当于对缺陷位置进行了初步的判断，并且这种初步判断的准确率较高，因为一般情况下运行正常的传感器电路板即使温度升高，也不会达到能够出现故障或者产生缺陷的温度水平，因此可以提高缺陷检测的精准度。

1 电路板缺陷图像采集

为了确保传感器电路板的结构不受到破坏，并且能够得到精准的图像采集结果，通过红外热成像技术采集传感器电路板的缺陷图像。 红外热成像技术的应用是以红外热像仪为基础的，利用红外热像仪高效、便捷以及非接触的优势，实现传感器电路板图像的无损采集。 基于红外热成像的电路板缺陷图像采集示意图如图1 所示。

图1 基于红外热成像的电路板缺陷图像采集示意图

红外热成像技术采用GPIB 通用接口方式获取传感器电路板图像，由计算机控制红外热像仪[7]。 在提高图像采集效率的同时，能够保证图像存储不受损。

①传感器电路板图像采集。 由于传感器电路板中各部位的温度不一致，其红外辐射也有一定差异，所以利用红外热成像技术获取传感器电路板缺陷图像时，采用瞬态二极管组成保护电路，对传感器电路板中的精密元器件进行保护。 并且将采集的图像通过磁盘驱动器，输入到主控计算机中。

②信息双向传送。 信息的传送过程是双向的，即主控计算机可以接收驱动磁盘中的图像信息，也可以传递这些信息。 采集传感器电路板图像后，驱动磁盘将图像的测量时间、参数、温度等信息双向传输到主控计算机中。

③传感器电路板图像传送。 主控计算机接收到传感器电路板图像后，将图像存储到计算机中枢中，再将图像信息反向传输到磁盘中保存。

④传感器电路板图像显示。 使用内置彩色显示器显示传感器电路板图像，一次可以显示若干张图像，并且图像细节清晰。

依据红外热成像理论，通过红外热像仪完成了传感器电路板缺陷图像的采集，为电路板的缺陷检测提供了有效的样本数据。

2 图像预处理

在第1 节中，通过红外摄像仪实现了传感器电路板缺陷图像的无损采集，以上述采集的传感器电路板缺陷红外图像为基础，为了进一步提高缺陷检测精度，对采集的图像进行非线性拟合校正与增强预处理。

2.1 非线性拟合校正

①利用传统的函数模型拟合出红外探测器光敏单元的相应二次曲线，曲线在时间上具有一定的稳定性，所以图像平面的单元响应可以用如下公式表示:

式中:T表示单元响应；φ代表响应输出合集；xi、yi、zi分别表示探测单元；i为探测单元个数。

②根据探测单元之间的非均匀性可知，不同单元的响应曲线存在一定差异。 根据温度的变化区间，在传感器电路板中插入均匀辐射的黑体[8]，分别采集几组图像，计算出平均灰度值，公式如下所示:

式中:φq表示均匀间隔下的响应合集；N表示辐射标定图像的数量。

③将图像的平均灰度值代入到固定的模型方程中，得到超定方程组合式，表达式如下:

当传感器电路板图像平面接收到预估辐射时，利用探测单元的校正参数对输出值进行校正处理，输出值T′(φ)即为传感器电路板图像的校正结果。计算公式如下所示:

通过上述计算处理，完成了传感器缺陷图像的非线性拟合校正处理，有效提高了传感器无线图像的质量。

2.2 图像增强处理

完成传感器电路板缺陷图像的非线性拟合校正后，为了便于直观地观察出缺陷位置，进行传感器缺陷图像增强处理。

①校正后的任意传感器电路板图像像素都可以构成一个二维矩阵，像素中的数据则可以构成一个三维矩阵。 首先采用多坐标转换方法，将图像序列由三维矩阵转化为二维坐标系矩阵[9]。

②将图像像素中的数据依次排列，然后对得到的列向量进行矩阵转置处理得到所需的一维矩阵，计算公式如下所示:

式中:Y代表二维矩阵；x、y分别表示像素点；YL为一维矩阵。

③将一维序列按照列方向依次排序，构成新的二维矩阵。 然后对二维矩阵进行标准化规范处理，去除图像中的冗余背景信息[10]。 公式如下所示:

式中:Y′表示新的二维矩阵；m表示一维矩阵的数量；Y′xy表示标准化处理后的矩阵；Fi为直流系数；Ei为图像的方差。

④通过奇异值分解定理分解二维矩阵[11]，将矩阵的第一列向量转化为一帧静止图像，该图像即为增强后的传感器电路板图像。 公式如下所示:

式中:X为一帧静止图像；V表示正交基矩阵；W表示最优向量矩阵。

通过式(7)输出传感器缺陷图像的增强结果，能够有效区分缺陷位置与非缺陷位置，对于提高传感器电路板缺陷的检测精度具有较高的帮助。

3 基于SVM 的缺陷检测

通过第2 节的非线性校正与增强预处理后，传感器电路板缺陷红外图像质量得到了有效提升，可以满足高精度缺陷检测的要求，因此在此章节中依据支持向量机的分类理论，实现传感器电路板缺陷的检测。

①利用支持向量机理论确定出图像的最优超平面，然后通过二次规划算法使传感器电路板中缺陷状态和正常状态之间的差别最大、间隔最大。 二次规划[12]公式如下所示:

式中:θ表示权向量；D为惩罚因子；λi表示松弛因子；zi表示分类标签；φ为线性变换；ai表示样本；c为分类阈值；n表示样本数量。

②将样本图像从低维空间映射到高维度空间，使低维空间的非线性可分缺陷样本和正常样本在高维度空间中具有可分性。 引入Lagrangian 函数[13]得到优化问题的对称形式，即最优化函数f(ai)，公式如下所示:

式中:α表示Lagrangian 函数；l(ai)为核函数。

③根据支持向量机的基本原理，将图像温度信息矩阵向量输入到对应的SVM 诊断模型中，根据各诊断模型的输出值构建混淆矩阵模型，确定缺陷模式下样本的真实属性与检测类型之间的关系，并根据混淆矩阵计算出缺陷的可靠度。 混淆矩阵的计算公式如下所示:

式中:C表示混淆矩阵；N为缺陷模式数量；K为可靠度。

④针对不同的缺陷模式，采用二对一算法构建若干个SVM 子分类器，分别对缺陷类别进行投票。如果缺陷判断正确，则投票结果记为正；如果缺陷判断错误，将投票结果记为负。 引入隶属度函数增加子分类器投票的公正性，公式如下所示:

式中:r为隶属度函数；r′为不确定隶属度函数。

⑤根据子分类器的原则可知:隶属度与确定隶属度成反比:隶属度越小，不确定隶属度越大。 由此得到缺陷的基本概率分配值结果，其中M为隶属度之和，表示缺陷的分类规模。

式中:Ki表示第i个探测单元的可靠度。

⑥将传感器电路中的缺陷集合作为分辨框架中的随机单元，利用框架函数对任意两个缺陷的基本概率分配值进行融合处理，得到代表检测冲突程度的规范数，公式如下所示:

式中:A表示规范数；G、H分别表示基元；ζ代表合成后的基本概率分配值。

⑦充分考虑权重系数与基本概率分配值，对融合后的基本概率分配值进行重新加权处理，用F表示，公式如下所示:

⑧利用证据理论将加权后的基本概率分配值实行融合处理，输出的融合结果即为缺陷检测结果，完成传感器电路板缺陷检测。 公式如下所示:

通过红外热成像技术精准采集传感器电路板的缺陷图像，为了提高图像的观察效果，进行了非线性拟合校正与增强预处理。 将预处理后的传感器电路缺陷图像输入到支持向量机中，完成缺陷的检测。

基于红外热成像的传感器电路板缺陷检测方法的具体流程如图2 所示。

图2 传感器电路板缺陷检测流程

4 实验与分析

为了验证基于红外热成像的传感器电路板缺陷检测方法的整体有效性，需要进行测试实验。

在实验前，首先需要采用红外摄像仪采集传感器电路板的图像。 此次研究使用的红外摄像仪为FLIR T640，红外摄像仪的具体参数如表1 所示。

表1 红外摄像仪参数

传感器电路板红外图像采集设备如图3 所示。

图3 传感器电路板红外图像采集设备

通过图3 所示的仪器设备采集传感器电路板缺陷图像，得到的缺陷类型、图像数量如表2 所示。

表2 测试样本

4.1 图像增强效果

在实验过程中，由于受到外界环境的影响，导致传感器电路板红外图像出现斑点模糊的现象，因此需要对红外图像进行增强处理。 验证本文方法对传感器电路板红外图像与灰度图像的增强效果。 传感器电路板的原始普通红外图像与灰度图像如图4所示。

图4 原始图像

本文方法增强后的图像如图5 所示。

图5 增强效果

对比观察图4 与图5 所示的传感器电路板图像增强效果可以看出，与原始图像相比，增强后的图像斑点噪声明显减少，电路板的结构更加清晰，为精准的缺陷检测提供了有效的技术支持。

4.2 热序列检测效果

由于多种因素的影响，传感器电路板元件温度并不会完全相同，因此电路板元件的温度曲线是在一定范围内波动的，故障电路板元件与标准电路板元件的温度差在一定范围内差异波动为正常现象，此时认为电路板未出现缺陷。 但是一旦温度波动规律不同或者波动范围过大，则认为电路板存在缺陷。分别选择测试的传感器电路板A 与B，每隔1 s 记录一次温度，绘制图6 与图7 所示的温度变化曲线与温度速率变化曲线。

图6 温度变化曲线

图7 温度速率变化曲线

从图6 与图7 所示的结果中可以看出，电路板元件A 的温度与温度变化速率与标准元件相差不大，则认为元件A 未出现缺陷。 电路板元件B 的温度与温度变化速率与标准元件相差较大，元件B 存在缺陷导致温度升高，因此判别出元件B 存在缺陷。 上述实验结果表明，本文方法可以通过电路板元件的温度变化情况对元件的缺陷情况进行精准判定。

4.3 缺陷检测精度

为了进一步验证所提方法缺陷检测性能，以缺陷检测精度为测试指标，对所提出方法的检测性能进行验证。 设定SVM 分类器的数量为2，选择两个分类器相互辅助，通过交叉验证的方式确定两个SVM 分类器的最优分类参数，惩罚项为1 000，径向基核函数为0.01。

以表2 所示的测试样本为基础，采用所提出方法对传感器电路板进行缺陷检测，通过不同类型缺陷的检测结果判断所提出方法的检测精度。

从表3 所示的缺陷检测精度对比结果中可以看出，对于传感器电路板不同类型的缺陷，所提方法均能实现精准检测，识别数量与缺陷数量基本一致，仅在毛刺缺陷类型中存在一个误判情况。 因此，充分说明本文能够满足传感器电路板多类型缺陷的识别要求。

表3 缺陷检测精度结果

5 结束语

此次研究提出基于红外热成像的传感器电路板缺陷检测方法，该方法首先通过红外热像仪采集传感器电路板的图像，并对图像实行校正与增强处理，其次将预处理后的图像输入到SVM 检测模型中，输出图像的加权基本概率分配值，最后利用证据理论对加权基本概率分配值实行融合，输出缺陷结果，完成传感器电路板的缺陷检测，此次研究的检测方法提高了图像的增强效果与缺陷检测精度。 但是，在此次研究过程中未针对引脚等细节缺陷的检测结果进行验证，这些细小的问题同样会影响传感器电路板的工作性能。 因此，在后续的研究工作中，将致力于细节缺陷检测的研究。