光伏玻璃的缺陷显著图检测①

王 哲, 李文书

1（浙江理工大学,杭州 310018）

2（上海交通大学 生命科学与技术学院,上海 200240）

光伏玻璃的工业生产对质量要求非常高,任何一个细微的技术差错会使玻璃出现开口泡、圆泡、结石和脏污等缺陷. 有些缺陷会破坏生产过程,甚至危及生命安全. 而传统的人工检查不能时刻保持较低的误检率,因此智能缺陷检测也逐渐被应用于工业生产中. 尽管如此,如何从光伏玻璃中的纹理中提取缺陷在图像处理中始终是一个课题. 视觉显著图通过模拟人的视觉特点,能够使目标物体或目标像素区别于周围[1].

早期Itti利用一种二层的生物学显著性模型,定义了一种中央-周边方法来计算各个特征,最终线性组合得到显著图[2]. 随后,不同于Itti,Harel利用马尔科夫方法稳定分布的特性来提出了一种基于图论的显著图（GB）[3]. Hou 提出了谱残差法 （SR）,该方法主要在频域中去除背景[4],其处理速度明显优于前算法. 因此一些在频域中结合傅立叶变换的算法也逐渐流行[5].Achanta等人使用低层特征来生成高分辨率的显著图[1],并且其速度快于Itti的模型. 但这个模型还存在问题,之后Achanta引入了一个更好的模型——频率调谐[6],该方法通过分析空间频率的中央像素与周边像素的颜色和亮度等特征来计算显著性图,该方法在保证较高运行速度的同时能得到一个良好的显著图. 然而该方法无法区分感兴趣区域和背景区域间对比不明显的图像. 尽管如此,一些基于此方法的算法陆续被提出[7,8]. Kulshreshtha在图像平滑中选择小波变换使算法的性能达到最佳[7]. 类似地,Zhai和Shah在基于全局对比度的基础上利用直方图对像素进行操作[9]. Ming-Ming Cheng利用直方图对像素进行颜色对比,产生显著图[10],在文章的最后,他也对该方法进行了改进,提出了一种包含空间权重的区域对比算法（RC）.

文章在第1部分介绍了频率调谐方法,第2部分介绍了图像签名方法,随后第3部分提出了基于图像对比和图像签名相结合的算法对玻璃图像的缺陷进行准确的提取和定位. 为了评估算法的性能,第4部分对比了7种优秀的算法,实验结果表明本文算法能较好地提取玻璃缺陷. 第5部分是对本文的总结.

1 频率调谐

频率调谐方法（FT）是利用中央-周边的颜色对比来计算显著图[6]. 图像I在被高斯模糊后转换到L*a*b颜色空间中,在求取每个颜色空间的平均特征向量后,通过欧式距离求取显著图.

计算公式如下：

其中ILab（x,y）是高斯模糊后的图像在各个颜色空间中的像素坐标,‖ ‖代表欧式距离,Imean为图像的平均特征向量,它的计算公式如下：

在公式中,H和W分别代表图像的高和宽,I（i,j）是输入图像I在各个颜色空间中的像素点坐标.

2 图像签名

在文献[11]的方法中,输入图像I首先通过离散余弦变换进行转化,然后对转化后的图像进行sign操作,生成签名图像,该过程由以下公式表示：

其中ISig为签名图像.I为输入图像,sign（）为矩阵的符号函数. 为了简化公式,将作为输入图像I的离散余弦变换. 为了准确地检测空间分布上稀疏的像素信息并有效地抑制噪声,反离散余弦变换用于重构图像签名. 重构过程定义如下：

然后运用一个高斯核对经过分素乘积运算的重构图像进行平滑,其定义如下：

其中g是高斯核,*是卷积运算,◦ 是分素乘积运算.

3 基于图像对比和图像签名的方法

为了满足实时检测的需求,该方法对灰度图像进行处理. 首先,候选显著图S1通过FT算法计算得到,在计算过程中用均值滤波替换了传统的高斯模糊. 本文选用3×3的滤波窗口,并在图像的边缘部分对其进行弱化处理. 但是当玻璃的自然纹理和缺陷图像都比较明显的时候,传统的FT算法会将背景纹理当作缺陷,因此生成的候选显著图S1除了显示玻璃缺陷信息外还显示了背景纹理,并不能够有效地区分背景纹理和缺陷区域. 为了解决这个问题,本文引入图像签名方法计算重构图像S2. 一般来说,一副图像可以分为前景和背景. 不同于以往算法,图像签名着重于提取图像的前景信息,由于前景信息在图片的空间分布中是稀疏的,可以通过离散余弦变换和符号操作对图像进行处理. 最终的显著图S是由候选显著图S1和重构显著图S2通过线性乘融合得到. 新算法的显著图不仅保留了FT算法显著区域边缘轮廓的特性,还在提取前景信息（缺陷区域）的基础上抑制了背景信息（周期性纹理）,保证了图像的处理速度. 其融合公式如下：

简而言之,该算法（见图1）可以分成两部分,第一部分是获得候选显著图S1,第二部分是计算重构的显著图S2. 具体流程如下：

测和定位玻璃缺陷方面有较好的性能. 表1显示的是在各个分辨率图像中的AUC值,在不同的分辨率中,本文的算法都有最高的AUC值,且不随分辨率的改变而发生性能的改变,保持着良好的稳定性. 而SR算法的AUC值随着分辨率的增加而大幅度降低. 因此本文算法适合实际工业生产中的大玻璃.

4.2 显著性区域检测

召回率(Recall)和精确率(Precision)能够准确地表示显著图的结果,精确率指正样本占预测为正的样本比率,召回率指样本中正例的预测比率,公式如下：

F-measure (Fm)是一个结合召回率和精准率的综合指标,用于进一步评估显著图的分割情况,其参数β用于调整召回率和精准率的比例. 本文选用β2=3来提高精准率的比例,公式如下：

表1 不同图像分辨率下的AUC值

本文将改进的算法和7个显著性模型进行比较.图3显示的PR曲线FT,LC和HC算法的精准率值随着召回率值的增加而急剧减少. RC算法在检测缺陷区域方面拥有较好的稳定性. 表2记录了各个算法的精准率值,召回率值和F-measure值. 从表中可以看到,GB,IT和LC算法具有较高的召回率值,但是其精确率值低,F-meaure值综合起来比较低. RC算法结合了区域对比和空间权值的特性,其F-measure值具有较高的稳定性. 本文算法拥有最高的精准率且相对较低的召回率值,因此,其F-measure值最高.

图3 PR曲线

表2 召回率,精准率和F-measure值

为了更直观地对比各个算法生成的显著图,本文选用实验数据中的4组样本进行展示(见图4),SR算法拥有最弱的识别玻璃缺陷能力. IT和GB算法能够对玻璃缺陷区域进行检测但缺陷区域的边界模糊,其他几个算法能够检测出缺陷区域,但在有些图像中,不能抑制玻璃的背景纹理和噪声. 本文提出的算法能够处理多种图像质量下的复杂缺陷,最终在提取良好缺陷信息的基础上抑制了周期性的背景纹理,生成的缺陷显著图为后期分割提供了良好的基础.

4.3 运算速度

为了比较各个算法的执行效率,本文在不同分辨率下对各个算法进行比较. 其中RC,SR,FT,HC和LC算法是纯C++代码. GB和IT是由Matlab v8.4.0.150421 (R2014b)编写. 为了直观地对各个算法做比较,本文的算法分别由Matlab和C++编写. 从表3可以看出HC算法难以应对大分辨率的玻璃图像,由于RC算法需要花时间对图像进行分块并求区域权值,因此其执行效率低下. GB算法在各种分辨率下的处理速度相对稳定. IT,SR,FT,LC算法执行效率高. 由于本文算法基于图像对比和图像签名,其执行效率相对来说略微慢于SR,FT等单一的算法,但生成的显著图能够较好地检测玻璃缺陷并抑制玻璃的背景纹理,总体来说满足实时检测的需求.

图 4 不同算法的显著图对比图

5 结论

在玻璃生成过程中,即使是最小的缺陷也会导致生产故障和崩溃,而人工检测并不能保证24小时都处于工作状态,因此智能缺陷检测便成为工业生产环节必不可少的一部分. 本文引入了图像对比和图像签名相结合的算法对玻璃缺陷进行检测,在有效分离缺陷的基础上抑制了玻璃的自然纹理. 所有的实验数据是在玻璃厂采集并手工标记生成真值图. 最后通过不同指标对算法性能进行评估和比较,综合各个实验,本文提出的算法具有优越性,能够适应实际的工业生产.

表3 不同图像分辨率下的算法运算速度

1 Achanta R,Estrada F,Wils P,et al. Salient region detection and segmentation. Proceedings of the 6th International Conference on Computer Vision Systems. Santorini,Greece.2008. 66-75.

2 Itti L,Koch C,Niebur E. A model of saliency-based visual attention for rapid scene analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11)：1254-1259. [doi：10.1109/34.730558]

3 Harel J,Koch C,Perona P. Graph-based visual saliency.Proceedings of the Twentieth Annual Conference on Neural Information Processing Systems. Vancouver,BC,Canada.2006. 545-552.

4 Hou XD,Zhang LQ. Saliency detection：A spectral residual approach. IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis,MN,USA. 2007. 1-8.

5 Guo CL,Ma Q,Zhang LM. Spatio-temporal saliency detection using phase spectrum of quaternion Fourier transform. IEEE Conference on Computer Vision and Pattern Recognition. Anchorage,AK,USA. 2008. 1-8.

6 Achanta R,Hemami S,Estrada F,et al. Frequency-tuned salient region detection. IEEE Conference on Computer Vision and Pattern Recognition. Miami,FL,USA. 2009.1597-1604.

7 Buzatu OL,Savin A. Saliency based on human visual sensitivity and phase spectrum of the quaternion Fourier transform. 2013 International Symposium on Signals,Circuits and Systems. Iasi,Romania. 2013. 1-4.

8 Guo CL,Zhang LM. A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression. IEEE Transactions on Image Processing,2010,19(1)：185-198. [doi：10.1109/TIP.2009.2030969]

9 Zhai Y,Shah M. Visual attention detection in video sequences using spatiotemporal cues. Proceedings of the 14th ACM International Conference on Multimedia. Santa Barbara,CA,USA. 2006. 815-824.

10 Cheng MM,Mitra NJ,Huang XL,et al. Global contrast based salient region detection. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(3)：569-582.[doi：10.1109/TPAMI.2014.2345401]

11 Hou XD,Harel J,Koch C. Image signature：Highlighting sparse salient regions. IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(1)：194-201. [doi：10.1109/TPAMI.2011.146]

12 Vikram TN,Tscherepanow M,Wrede B. A saliency map based on sampling an image into random rectangular regions of interest. Pattern Recognition,2012,45(9)：3114-3124.[doi：10.1016/j.patcog.2012.02.009]

13 Davis J,Goadrich M. The relationship between precisionrecall and ROC curves. Proceedings of the 23rd International Conference on Machine Learning. Pittsburgh,PA,USA.2006. 233-240.