基于AC 图像显著性的皮革缺陷检测*

张森 郑洲洲 张岩

（青岛科技大学机电工程学院 青岛 266061）

1 引言

皮革的好坏决定了皮革制品的质量，皮革质量检测是皮革制品制造过程中的极为重要的工序。目前，皮革质量的检测大多依靠人工进行，该检测过程存在诸多主观因素，严重影响检测效率和准确率，增加了企业的人工成本，制约了皮革行业的发展。因此，研究自动检测方法以加快皮革检测效率、提高检测精度、降低生产成本，已经成为该行业亟需解决的问题［1］。

自19 世纪起，相关学者研究并提出了许多应用于皮革缺陷检测的方法。基于特征提取、纹理分析、阈值分割、统计方法、颜色空间转换、图像显著性等方法。范大煌等采用基于增强缺陷边缘的算法对皮革表面缺陷进行自动检测与定位［2］，该算法仅可用于检测无纹理或纹理简单的皮革。对于复杂纹理皮革检测的准确率低。万长青等提出基于阈值分割的皮革缺陷检测算法［3］。该算法对表面光滑且色差较小的皮革检测效果好，当色差较大时分割效果差。刘昶等将灰度共生矩阵应用于皮革缺陷检测［4］。当使用该算法检测复杂纹理皮革时，运算量大、计算时间长，检测效率低。C.Shanthi 等提出使用主成分分析提取纹理特征并采用支持向量机对纹理进行分类的方法，通过二元决策识别缺陷［5］。该算法需要数据集进行分类训练，且是对子图像进行检测，检测效率低。D.Du-Ming Tsai 等提出采用反向小波变换删除规则的重复纹理图案对图像进行重构使局部的异常信息增强，再使用简单的阈值法识别缺陷区域和均匀区域［6］。该算法对均匀纹理检测效果较好，当皮革具有高方向性纹理时，需要预先手动确定纹理类别的数量，灵活性差。

上述算法在解决特定条件下的检测问题时效果较好，但泛化能力差，条件改变时需要重新对算法进行优化和改进；且上述方法均为单面检测，当皮革双面均存在缺陷或存在未穿透孔洞等内部缺陷时无法实现一次性检测。

红外热成像技术作为无损检测手段之一，因其穿透能力强、响应快、无接触、安全等优点，在金属材料缺陷检测、房屋质量检测、夜间监视、元器件故障定位等领域［7～9］均取得了较好的效果。图像融合作为一种信息融合技术，将不同传感器得到的图像整合到一起，得到包含更加丰富信息的图像，在医学等领域迅速发展并卓有成效［10～11］。

基于上述分析，本文提出多源图像融合和显著性分析的皮革缺陷检测算法。该方法首先利用拉普拉斯金字塔分别对红外热成像图和自然光图像分解得到金字塔图层，并基于融合规则对其融合得到融合图像，对包含自然光成像和热成像特征的融合图像，采用改进的AC 显著性算法生成显著图并通过阈值算法得到缺陷分割结果。

2 红外热成像图像采集

2.1 实验设置

图1 为皮革红外热成像图像的采集过程，搭建由加热激励装置、红外热成像仪、计算机和控制单元组成的红外热成像实验平台。其中，加热激励装置采用功率为60kW 的卤素灯，红外热成像仪为FLIR 公司的FLIR A320，并采用软件Therma CAM Reseracher Pro 2.9记录和处理热成像图。

图1 图像采集过程

2.2 皮革试样

实验样品为某皮革工厂提供的牛皮革，尺寸为180mm×150mm，厚度为5mm。如图2 所示，皮革包含的缺陷类型有穿透（a）和未穿透孔洞缺陷（b）、表面划痕缺陷（c）、裂纹缺陷（d）和斑点缺陷（e）。

图2 皮革缺陷图像

2.3 图像采集

在室温（25℃）的条件下，使用夹具将实验试件固定在实验台上，将热成像仪放置在样品前方50cm 处，使样品在电脑中可以有效显示。将两个卤素灯分别放置在样品后方60cm 处，使得样品既可以同时受热又减少了热量散失。

使用卤素灯对试件加热20s，同时使用采集频率为2Hz 的热成像仪记录加热过程，共采集到40帧热成像图像，部分热成像图如图3 所示。从图中可以看出，从加热开始到第5 帧，热成像中的孔洞缺陷（穿透孔洞）开始表现出温差。随着加热时间的增长，如第10 帧热成像图所示，越来越多穿透孔洞缺陷开始呈现，在第15 帧时穿透孔洞缺陷全部呈现。由于皮革为不良导体（导热系数为0.18W/mK～0.19W/mK），直到第20帧未穿透孔洞缺陷开始呈现，且轮廓并模糊，直到第25 帧未穿透孔洞的缺陷能够清晰呈现。此时，全部的孔洞缺陷都得以呈现，与背景存的对比差异显著。随着加热时间的增长，热量在皮革内部不断扩散，皮革温度场在缺陷区域与正常区域的温差逐渐降低。如第30 帧图示，背景和缺陷的对比较差；到第35 帧时部分缺陷区域和正常区域温差较小而难以区分。

图3 不同时间的热成像图

基于上述分析将试件加热时间设定为13s，并选取第25 帧热成像图作为测试图像。同时从同一位置使用工业相机采集自然光图像。

3 基于拉普拉斯金字塔（Laplacian Pyramids，LP）的图像融合方法

图4 为本文方法的技术路线图。首先，通过拉普拉斯金字塔分解经SIFT 特征匹配算法配准好的240×320 分辨率的自然光图像和红外热成像图像原图像来得到金字塔分解图像。为方便描述，将顶层图像称为基础层，其他层图像称为细节层。对不同层图像根据其特点，对基础层采用PCA（Principal Components Analysis）融合，对细节层采用加权平均策略进行融合，分别得到融合后的基础层和细节层图像。对两类图层进行图像重构得到融合图像。最后，对融合图像进行显著性检测生成显著图，对其进行阈值分割得到缺陷检测结果。

图4 技术路线图

3.1 拉普拉斯金字塔

拉普拉斯金字塔变换其过程包括两个步骤：第一步是高斯金字塔分解，第二步是从高斯金字塔构建拉普拉斯金字塔。

3.1.1 高斯金字塔分解

设G0为高斯金字塔的最底层，则高斯金字塔的第k层（表示为Gk）通过对第k-1层卷积和下采样获得。然后，将Gk层作为输入图像，重复卷积和下采样操作得到Gk+1层，经过反复迭代，便可形成高斯金字塔。高斯金字塔由G0，G1，…，GN组成，其中G0是金字塔的底部，而GN是金字塔的顶部，高斯金字塔的总层数为N+1层。

3.1.2 拉普拉斯金字塔分解

为了减少来自高斯金字塔的大量冗余信息，同时突出细节信息，需要查找相邻两个图像之间的差异并获得带通滤波后的图像，人们将此定义为拉普拉斯金字塔。具体算法：令为通过扩展Gk获得的图像，则具有与Gk-1相同的尺寸。

由式（1）可以得到由LP0，LP1，…，LPN组成的拉普拉斯金字塔。其中，N 是拉普拉斯金字塔的层数，LPk是从拉普拉斯金字塔分解的第k层图像。

3.1.3 拉普拉斯金字塔重建

拉普拉斯金字塔的一个重要属性是它是完整的图像表示形式：通过反向构建金字塔的步骤可以准确地恢复原图像。

由式（2）经过上采样可重建原图像。

3.2 融合规则

在拉普拉斯金字塔分解中，经过试验确定取N=3 时融合图像效果最好，此时经过对原图像分解最终得到四层图像的金字塔，其中顶层图像为基础层，其他图像为细节层。对于基础层采用PCA融合策略，对于细节层采用加权平均融合策略。首先，对自然光图像基础层的主成分变换矩阵的特征值与对应的特征向量；将特征值按从大到小的顺序排序，相应的特征向量也要跟着变动，将最终的结果记为λ1,λ2,…,λn,φ1,φ2,…,φn；各主分量按如下方式计算：

将热成像基础层图像与第一主分量图像进行直方图匹配，然后将第一主分量用热成像图像基础层替换；对其进行PCA 逆变换，得到融合的基础层图像。

对细节层采用加权平均融合策略。记F（x，y）为细节层融合图像的像素点，A（x，y）为自然光图像细节层像素点，B（x，y）为热成像图细节层像素点，通过对图像像素的灰度值进行线性加权平均，生成新融合图像：

其中，ωa、ωb是加权系数，ωa+ωb=1。对ωa、ωb均取0.5。

最后，对融合后的拉普拉斯金字塔基础层和细节层进行重构，得到融合后的待检测图像。

4 基于显著性检测的缺陷分割

4.1 显著性检测

认知心理学研究表明，图像中有些区域之所以能够吸引人的注意是因为含有丰富的信息。因此学者提出了基于人的注意力机制的显著性检测算法（AC［12］、FT［13］、SR［14］等）来识别图像中的显著性区域。其中，AC显著性通过在CIE Lab颜色空间中计算一个感知单元在不同邻域上的局部对比度实现多尺度显著性。局部对比度被定义为图像子区域的像素的平均特征向量与其附近像素的平均特征向量之间的距离。

在给定邻域下，将图像中位置（i，j）处像素的基于对比度的显着性值ci，j确定为内部区域R1的像素特征的平均向量与外部区域R2的像素特征的平均向量之间的距离D：

其中，N1和N2分别是R1 和R2 中像素的个数。vk是k 这个位置的特征值或特征向量。感知单元R1 可以是一个像素或一个像素块，其邻域为R2，R1 和R2 所包含的所有像素的特征值的平均值分别作为R1 和R2 的特征值。由于CIE Lab 颜色空间中的感知差异为欧几里得距离，因此式（5）可表示为

其中，v1=［L1，a1，b1］T和v2=［L2，a2，b2］T分别是区域R1和R2的平均向量。由于仅需要找到R1和R2的平均特征向量值，采用积分图像方法来提高计算效率。通常将区域R1 选择为一个像素，对于宽度为w 像素，高度为h 像素的图像，区域R2 的宽度wR2满足：

对于每个图像，以S 个不同的尺度执行过滤，并且最终显著图（即SM）被确定为由S 个尺度的特征显著图通过直接相加得到：

其中，∀i∈［1，w］，j∈［1，h］，S 取3，三个不同尺度wR2为，其中mi，j是最终显著图SM的像素点。

基于上述算法对本文待检测融合图像的实验结果表明，缺陷检测和分割效果并不理想，如图5（e）所示。上述算法采用三邻域过滤图像，生成显著图，仅计算了R1 在三个不同局部区域R2 的显著值，而未计算在全局的显著值，因此对于局部相似而全局显著的区域计算所得显著值较低，与背景差异小，从而导致分割效果差。

为改进上述问题通过引入计算感知单元R1在整幅图像中的显著值作为参考值对算法进行改进，通过与三个不同尺度区域R2过滤所得显著值的均值作比较确定最终显著值，生成特征显著图，由式（9）和（10）得到最终显著图SM。其中，S 取3，A 为R1 在三个邻域中显著值的均值，B 为R1 在整幅图像中的显著值。

从图5 中可以看出，在改进前的显著图（图5（e））中穿透孔洞缺陷显示较为模糊，经过改进后显著图（图5（f））中三种缺陷均较为清晰。

图5 显著性检测算法改进结果对比

4.2 缺陷分割

在经过显著性检测后，显著性图像包含缺陷信息和部分背景噪声，为了提高阈值分割算法质量，精确选取最佳阈值，使图像分割达到最佳效果［13］，采用最大类间方差法对显著图进行分割处理。

根据图像灰度特性，将图像分为背景和目标两部分，当背景和目标的方差越大说明构成图像两部分的差别越大，当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小。因此，使类间方差最大的分割方法意味着错分概率最小。

对于M×N的显著图像SM（x，y），前景（即缺陷）和背景的阈值记作T，属于前景和背景的像素点占整幅图像的比例分别记为ω0，ω1其中，N0为图像中像素灰度值小于阈值T 的像素个数，N1 为像素灰度值大于阈值T 的像素个数。图像的总平均灰度记为μ，类间方差记为g：

采用遍历法得到使类间方差g最大的阈值T即为所求分割阈值，最后由式（12）得到缺陷分割二值图。

5 实验结果与分析

为验证本文方法的有效性，基于同一样本数据对本文方法与显著性检测算法（AC 算法［12］、FT 算法［13］、SR算法［14］）进行对比实验，实验结果如图6所示。

从图6 可以看出，显著性检测算法中，AC 算［12］可以检测到孔洞和表面划痕缺陷，但是对图6（b）、6（c）所示表面划痕为曲线时检测效果差，划痕形状不连贯，且表面划痕较浅（图6（c））时无法检测。FT 算法［13］可以有效地检测孔洞缺陷，但是对表面划痕缺陷检测效果差，尤其对图6（b）、（c）所示表面划痕较浅以及图6（d）所示的裂纹较浅时无法检测。SR 算法［14］可以检测孔洞缺陷，但无法检测到表面划痕缺陷、裂纹缺陷和斑点缺陷。从本文方法实验结果可以看出，所有类型缺陷均能被检测出，且缺陷分割较为完整。

图6 对比实验结果

为客观评估分割结果的准确性，使用平均交并比（mIoU）、虚警率（FPR）和准确率（Accuracy）对上述实验进行评价：

其中，k+1 为样本种类数目，pii表示检测正确的数目，pij和pji表示假正和假负。

其中NTP表示正类样本被正确分类的数目，NTN表示负类样本被正确分类的数目，NFP表示负类样本被分为正类的数目，NFN表示正类样本被分为负类的数目。

本文使用180 张图像作为测试集，如图7 所示为各算法的准确率和虚警率并采用平均交并比评估分割结果。其中50 张无缺陷样本，20 张孔洞缺陷样本，20 张划痕缺陷样本，25 张包含孔洞和划痕缺陷的样本，20 张斑点缺陷样本，20 张裂纹缺陷样本，25张包含斑点和裂纹缺陷的样本。从图7的评估结果可以看出，本文提出的方法对缺陷检测的效果更好。

图7 各种算法评估结果

6 结语

本文提出一种基于拉普拉斯金字塔图像融合和显著性检测的皮革缺陷检测方法。经过实验确定选取第25 帧检测效果较好的红外热成像图作为算法的测试图像，同时通过实验确定金字塔分解层数为4 时融合图像性能最好。最后设置了对比实验，将本文提出的算法与三种显著性检测算法（AC算法［12］、FT算法［13］、SR算法［14］）作对比，实验结果证明本文提出的算法检测结果更为准确，尤其对未穿透孔洞缺陷、较浅且弯曲的表面划痕缺陷、斑点缺陷和裂纹缺陷的检测结果更为完整，轮廓更为清晰。本文提出的算法可以高效、准确地检测皮革的孔洞和表面划痕缺陷。