基于同态滤波的手机镜片表面缺陷检测算法研究*

袁续凯　孙志刚

(华中科技大学自动化学院　武汉　430074)



基于同态滤波的手机镜片表面缺陷检测算法研究*

袁续凯孙志刚

(华中科技大学自动化学院武汉430074)

针对手机镜片图像采集时光照不均导致图像细节难以辨认的现象,以及手机镜片图像背景单一的特征,提出了一种基于同态滤波和背景减除法的手机镜片表面缺陷检测算法。实验结果表明,该算法能够准确地识别出手机镜片表面缺陷,并且能准确地对缺陷进行分类。

同态滤波; 背景减除; 缺陷检测

Class NumberTP391

1　引言

镜片(LENS)是手机等电子产品的显示设备,在生产的过程中,镜片表面可能会产生各种缺陷,其中有两种缺陷占据这些缺陷的绝大部分,一种缺陷是裂纹,另外一种是气泡。目前,生产厂商对镜片表面缺陷进行检测的工作停留在人工肉眼观察的阶段,用到的方法包括斑马法和强光成像法等[1]。这些人工方法有着难以克服的缺点,包括主观性强、效率低下、准确度不高、劳动强度大。运用数字图像技术,设计一种基于计算机视觉的镜片表面缺陷自动检测算法,具有很现实的意义。

同态滤波是增加高频、减少低频,锐化图像边缘并突出细节特征的图像增强方法。文献[2]中,应用同态滤波的方法实现对云层图像中低频分量的抑制, 从而达到去除遥感影像中的云雾影响的目的。文献[3]中,将同态滤波方法应用到彩色图像的光照补偿中。文献[4]利用同态滤波的原理,对红外图像的图像细节进行增强。在采集手机镜片图像的过程中,本检测系统采用的照明系统是同轴平行光照明系统,这种照明系统要求镜头和相机的连线与被拍摄的手机镜片垂直,稍微有一点偏移,就会造成光照不均的问题[5]。手机镜片图像照明不均,导致图像上各部分的平均亮度有起伏,暗区的细节较难辨认。针对手机镜片图像光照不均导致的暗区细节难以辨认的问题,本文利用同态滤波方法对手机镜片图像进行了处理。

有缺陷的手机镜片图像由背景和缺陷部分组成,背景在灰度值上分布比较均匀,而其缺陷部分在灰度值上分布起伏不定,但其灰度值在其领域范围内相比背景部分较小。针对手机镜片图像的这个特点,本文提出了背景减除的方法来初步提取手机镜片中的缺陷。

2　同态滤波的原理

被拍摄物体成像时,当图像照明不均匀时图像暗区部分的细节就会难以辨认。在图像处理中,同态滤波是基于照度-反射模型的[6],可以消除光照不均匀带来的干扰,同时这种方法不会影响图像的细节部分[7]。如图1所示,这是同态滤波方法的流程图。如式(1)所示,一副图像g(x,y)可以被表示为照度分量i(x,y)和反射分量j(x,y)的乘积[8],即：

g(x,y)=i(x,y)×j(x,y)

(1)

图1同态滤波算法流程图

不均匀的光照主要体现在照度分量i(x,y)中,照度分量通常由慢的空间变化来表示,属于低频部分；反射分量j(x,y)会引起突变,因此属于高频部分,通常和图像的细节部分相联系[9]。基于以上的分析,为了处理图像中光照不均匀问题,其实就是要抑制图像中低频部分的影响,同时增大图像的高频分量。同态滤波的步骤如下所示：

1)先对图像g(x,y)取对数,照度分量i(x,y)和反射分量j(x,y)就会被分开,从而可以对图像的低频部分和高频部分进行单独处理。

Z(x,y)=lng(x,y)=lni(x,y)+lnj(x,y)

(2)

2)为了在频域范围内对图像进行处理,对上式进行一次傅里叶变换(DFT),得到表达式：

F{Z(x,y)}=F{g(x,y)}=

F{lni(x,y)}+F{lnj(x,y)}

(3)

或可以表示为Z(u,v)=M(u,v)+N(u,v)

其中：M(u,v)=F{lni(x,y)},N(u,v)=F{lnj(x,y)}。

3)借助一个滤波器函数对Z(u,v)进行处理：

Y(u,v)=H(u,v)Z(u,v)=H(u,v)M(u,v)+H(u,v)N(u,v)

(4)

4)滤波后,需要得到空间域内的图像,因此对上式进行傅里叶反变换(IDFT)。

F-1{Y(u,v)}=F-1{H(u,v)Z(u,v)}

=F-1{H(u,v)M(u,v)}+F-1{H(u,v)N(u,v)}

(5)

5)f(x,y)=exp{F-1Y(u,v)},经自然变换后就得到了经同态滤波处理后的图像

3　手机镜片表面缺陷检测算法设计

本文所采用的基于同态滤波的手机镜片表面缺陷检测算法的流程如图2所示。

图2　手机镜片表面缺陷检测算法流程图

3.1同态滤波处理

在对图像进行同态滤波的过程中,滤波器H(u,v)的选择是关键。在第2节中提到,不均匀的光照主要体现在照度分量i(x,y)中,而照度分量和图像的低频部分相联系；反射分量j(x,y)会引起突变,因此属于高频部分,通常和图像的细节部分相联系。这里滤波器H(u,v)就是基于这种联系进行选择的。

在手机镜片图像的拍摄过程中由于照明不均,导致图像各区域内的平均亮度变化不定,亮度比较暗的区域内的图像细节难以分辨。在频域范围内,可以通过对图像的低频分量(照度分量)进行压缩,同时增强高频分量(图像细节)的方法,来增强手机镜片上图像上亮度比较暗的区域内的细节,同时亮度比较亮的区域内的细节尽量不变。因此,在对手机镜片图像进行同态滤波过程中,这里的H(u,v)应该选择一个高通滤波器。经过实验验证,本文这里的H(u,v)选择的是一个高斯高通滤波器。

(6)

其中D0是截止频率,D(u,v)是原点到点(u,v)的距离,a是修正参数,n是滤波器的阶数。针对手机镜片的两类缺陷裂纹和气泡,用同态滤波的方法对图像进行处理后,其效果如图3所示。其中(a)、(b)是含有气泡缺陷的镜片经同态滤波处理后前后对比图,(c)、(d)是含有裂纹的镜片经同态滤波处理后前后对比图。

图3　同态滤波处理前后对比图

从效果来看,由于在拍摄图像的过程中光照不均,原图的亮度偏低,图像昏暗不清,特别是针对气泡这样的缺陷,缺陷的细节很容易淹没在昏暗的背景中；经同态滤波处理后,图像更加清晰,缺陷的细节完全显现出来。

3.2背景减除法处理

因为正常的手机镜片图像在灰度值上分布较均匀,诸如一些裂纹缺陷,其灰度值在其领域范围内相比正常区域较小,因此可以设置一个大小合适的模板遍历图像,即对图像进行最大值滤波,经过实验验证,这里的滤波器选用的是7×7最大值滤波器,用数学公式表示为R=max{fi|i=1,2,…,49}。取模板区域内灰度值最大的像素作为输出结果,遍历完成后结果图像即为背景图像Q。将原图像与背景图像作减法运算,便去除了正常区域,缺陷区域便被分割出来,经背景减除法处理后的图像为

f(x,y)=R(x,y)-g(x,y)

(7)

其中R(x,y)是最大值滤波器提取到的背景图像,g(x,y)是原始图像经同台滤波处理后得到的图像,f(x,y)是经背景减除法处理后得到的图像。

经背景减除法处理后,其效果图如图4所示,其中(a)、(d)是上一步同态滤波后得到的图像,(b)、(e)分别是对(a)、(d)用最大值滤波器处理后得到的手机镜片背景图像,(c)、(f)是分别对(a)、(d)运用背景减除法后得到的图像。可以看到,缺陷部分的细节在背景中分离了开来。

图4　背景减除法处理前后对比图

3.3二值化处理

经背景减除法处理后,手机镜片图像的灰度级分布主要分为两类,一类是背景,另外一类则是缺陷。两类的灰度分布十分明显,对图像进行二值化分割时,可以选用全局的阈值处理。全局阈值处理的迭代算法如下所示。

1) 令全局阈值q等于图像的平均灰度,作为阈值的初始估计值。

2) 使用阈值q来分割图像。经这样处理后,将会产生两类像素：M由所有灰度值大于q的像素组成,N由所有灰度值小于q的像素组成。对M和N两部分分别计算平均灰度值m和n。

3) 更新阈值q,令q=(m+n)/2。

4) 重复步骤2)～3),直到阈值q的值小于一个预定义的参数Δq。

图像经全局阈值处理后,其效果图如图5所示,其中(a)、(c)含有两类缺陷的镜片图像经过背景减除法处理后得到的图像,(b)、(d)是(a)、(c)经二值化处理后得到的图像。可以看到,缺陷部分和背景部分完全分离开来。二值化之后,借助OPENCV库的轮廓提取函数就可将缺陷的轮廓标记出来。

图5　图像二值化处理效果图

3.4缺陷特征提取和分类

手机镜片图像中,缺陷的类型主要是裂纹和气泡两种,注意到这两类缺陷在形态有着明显的不同,裂纹这种缺陷比较修长和狭窄,气泡这种缺陷的形状则接近圆形。因此为了缺陷分类的方便,本文选用面积、圆形度、扁平度三个几何特征来提取手机镜片图像中的缺陷。

1) 面积S即检测到的某个缺陷区域中的所有像素的总数。

2) 圆形度C。注意到裂纹缺陷和气泡缺陷的边界明显不同,圆形度可以用来表征图像边界的复杂程度[10]。圆形度的表示公式如下：

(8)

其中L表示缺陷区域的周长。缺陷的形状接近圆形时,C的值接近4π；缺陷越复杂,C的值越大。

3) 扁平度E。扁平度[11]即缺陷部分长轴L和短轴W的比值,长轴L是通过缺陷重心的直线被缺陷区域所截取的最长线段,短轴W是通过缺陷重心、与长轴垂直的直线被缺陷区域所截取的线段。扁平度公式如下所示：

(9)

由于手机镜片图像中,两类缺陷裂纹和气泡的形态差别特别大,通过上面几个参数的判断和比较就可以准确地对缺陷进行分类。具体做法是,以上三个形态特征,每个都设定一个阈值,对于任何一个缺陷,只要这个缺陷的三个几何特征所计算出来的值都偏向于对应的阈值,则可判定这个缺陷是裂纹还是气泡。通过实验验证,本手机镜片缺陷检测系统将三个几何特征面积、圆形度、扁平度的阈值设定为1100,16,2。如果同时有缺陷的像素总数小于1100,圆形度小于16,扁平度小于2,则可判定这个缺陷类型是气泡,其余情况的则是裂纹。

4　检测系统硬件、软件平台和实验结果分析

4.1检测系统硬件和软件平台

手机镜片缺陷检测系统总体结构图如图6所示。

图6　检测系统总体结构图

如图6所示,检测系统利用由面阵CCD工业相机、同步编码器搭建的硬件平台,对由流水线传送而来的手机镜片进行拍摄,拍摄的图片通过千兆网卡传到与相机相连的计算机上,软件平台完成图像数据的接收和实时显示,通过控制软件的图像处理算法实现对手机镜片缺陷的识别、判别和分类。图7是检测系统的实物图。

在软件平台设计的过程中,以VS2013作为平台设计工具,以C++作为程序设计语言,在算法的设计过程中,部分图像处理函数运用的是OPENCV的库函数。

4.2实验结果

在第3节手机镜片表面缺陷检测算法的设计中,以含有裂纹和气泡两类缺陷的镜片作为实验镜片,运用基于同态滤波的手机镜片表面缺陷检测算法对缺陷进行了检测,其中图3(a)、3(c)是相机采集到的含有两类缺陷的原始手机镜片图像,图5(b)、5(d)是经本文提出的算法处理后得到的结果图。

图3(a)、3(c)中两种缺陷的各形态特征的计算值和分类结果如表1所示。

可以看到裂纹和气泡两类缺陷被准确无误地检测了出来,并且两类缺陷能够被正确地分类。实验统计发现,对于手机镜片表面两类缺陷气泡和裂纹,缺陷的识别准确率在95%以上；缺陷被检测出来后,对缺陷进行分类,分类准确度能够达到90%以上。

5　结语

本文针对手机镜图像采集时光照不均导致图像细节难以辨认的现象,以及手机镜片图像背景单一的特征,提出了一种基于同态滤波和背景减除法的手机镜片表面缺陷检测算法。首先用同态滤波解决图像光照不均匀的影响,再利用背景减除法将缺陷部分从背景中分割开来,最后根据提取的形态特征,对缺陷进行分类,确实缺陷是裂纹还是气泡。结果表明,这种算法能够准确地识别出缺陷,并且能够准确的分类。

[1] 蒋锦涛.平板玻璃缺陷检测系统的研究[D].合肥：安徽大学,2007:1-2.

JIANG Jintao.Study on Online Defect Detection System for Float Glass Based on Linear CCD Sensor[D].Hefei: Anhui University, 2007:1-2.

[2] 叶秋果,宗景春,李钏,等.基于同态滤波的遥感影像去云雾处理[J].海洋测绘,2009,29(3)：45-46.

YE Qiuguo, ZONG Jingchun, Li Chuan, et all. Cloud and fog removal processing of remote sensing image based on homomorphic filtering[J].Hydrographic Surveying and Charting,2009,29(3):45-46.

[3] 罗海霞,刘斌,龙永红,等.同态滤波在光照补偿中的应用[J].湖南工业大学学报,2008,22(5)：23-27.

LOU Haixia, LIU Bin, Long Yonghong, et all. Application of homomorphic filtering in illumination compensation[J].Journal of Hunan University of Technology, 2008,22(5):23-27.

[4] 胡窦明,赵海生,李云川,等.一种基于同态滤波的红外图像增强新方法[J].红外技术,2012,34(4)：224-228.

HU Duming,ZHAO Haisheng,LI Yunchuan,et al.A new Approach to Infrared Image Enhancement Based on Homomorphic Filter [J].Infrared Technology,2012,34(4)：224-228

[5] 康卫.遮光定向反射镜用于同轴光源摄影的实验[J].中国人民公安大学学报(自然科学版),2012,18(2):10-15.

KANG Wei.Experiment on Shading Directional Mirror Used for Coaxial Light Photography [J].Journal of Chinese People’s Public Security University (Science and Technology),2012,18(2):10-15.

[6] 梁琳,何卫平,雷蕾,等.光照不均图像增强方法综述[J].计算机应用研究,2010,27(5)：1624-1628.

LIANG Lin,HE Weiping,LEI Lei,et all. Survey on Enhancement Methods for Non-uniform Illumination Image[J].Application Research of Computers, 2010,27(5)：1624-1628.

[7] 肖俊,宋寿鹏,丁丽娟.空域同态滤波算法研究[J].中国图像图形学报,2008,13(12)：2302-2306.

XIAO Jun,SONG Shoupeng,DING Lijuan. Research on the Fast Algorithm of Homomorphic Filtering[J].Journal of Image and Graphics,2008,13(12):2302-2306.

[8] Gonzalez R C, Woods R E, Eddins S L.Digital image processing using MATLAB[M].India：Pearson Education India,2004:71-74.

[9] 陈春宁,王延杰.在频域中利用同态滤波增强图像对比度[J].微计算机信息,2007,23(6)：264 -266.

CHEN Chunning,WANG Yanjie.Image contrast enhancement by homomorphic filtering in frequency field[J].Microcomputer Information,2007,23(6):264-266.

[10] 戴舒文.触点零件形貌在线自学习视觉检测系统研究[D].上海：上海交通大学,2009:37-39.

DAI Shuwen. Research on Online Self- learning Vision Detection System of Contact Appearance[D].Shanghai:Shanghai Jiao Tong University,2009:37-39.

[11] 孙亚根.基于机器视觉的电容屏缺陷识别方法研究[D].南京：南京理工大学,2013:48-50.

SUN Yagen.Research on Capacitance Screen Defect Recognition Based on Machine Vision [D].Nanjing: Nanjing University of Science and Technology,2013:48-50

Surface Defect Detection Algorithm for Mobile Phone Lens Based on Homomorphic Filtering

YUAN XukaiSUN Zhigang

(School of Automation, Huazhong University of Science and Technology, Wuhan430074)

Aiming at the phenomenon that image detail is difficult to identify which is caused by uneven illumination when mobile phone lens image is acquired, and the characteristic that the image background of mobile phone lens is simple, a surface defect detection algorithm based on homomorphic filtering and background subtraction is introduced. Experimental results show that the algorithm can identify and classify the defects accurately.

homomorphic filtering, background subtraction, defect detection

2016年3月10日,

2016年4月19日

袁续凯,男,硕士研究生，研究方向：机器视觉与图像处理。孙志刚,男,硕士生导师，研究方向：计算机实时控制、网络化控制、机器视觉与图像处理。

TP391DOI:10.3969/j.issn.1672-9722.2016.09.036