基于形态学增强和图像融合的板带钢缺陷检测

王 凡,彭国华,谢昊伶

(西北工业大学理学院,陕西 西安 710000)

1 引 言

随着冷轧带钢技术的快速发展,板带钢产量日益增加,但是质量仍然不能完全满足市场需求,其中影响质量的重要因素之一是板带钢表面缺陷。目前板带钢表面缺陷的主要检测方法以人工目视和频闪仪检测为主,但是由于轧制速度快,导致其无法满足在线生产的需求[1]。缺陷检测算法的关键是在精确提取缺陷的同时抑制噪声并且不受光照干扰。

数学形态学的运算是非线性的,几何特性比较明显,可以在提取完整的目标边缘的同时抑制噪声。文献[2]针对板带钢缺陷的种类、方向和噪声等问题,采用修正的抗噪膨胀腐蚀性边缘检测算法,可以提取板带钢中的微小缺陷,但是算法的鲁棒性较差。文献[3]针对噪声采用改进多尺度形态学的带钢缺陷图像边缘检测算法,具有较强的抗噪性。但是上述提出的算法无法解决光照不均问题,文献[4]针对光照问题提出基于形态学商图像的光照归一化算法,能有效增强光照不均图像。本文采用改进的多结构形态学熵图像增强算法和多结构形态学边缘增强算法分别对板带钢缺陷图像增强,最后对图像进行加权融合。本文算法具有较强的抗噪性,可以有效地提取光照不均图像中的缺陷。

2 形态学增强

2.1 灰度形态学的基本运算[5]

灰度形态学膨胀和腐蚀运算即以结构元素e(i,j)为模板,分别搜寻图像I(x,y)在结构基元大小范围内的灰度和的极大值和灰度差的极小值,膨胀记作I⨁e,腐蚀记作I⊙e;而开运算则是对图像先腐蚀后膨胀,记作I∨e;闭运算是对图像先膨胀后腐蚀,记作I∧e。开运算可以消除孤立的毛刺,也可以滤除比结构元素小的正脉冲噪声。闭运算可用于填充目标之间狭小的裂缝,同样可以滤除比结构元素小的负脉冲噪声。

2.2 多结构形态学熵图像增强算法

板带钢在轧制过程中由于轧机振动和轧制环境等因素的影响,采集到的缺陷图像中可能会存在光照不均和噪声,根据图像特征建立板带钢缺陷图像的数学模型[4]:

I(x,y)=Ir(x,y)·Ig(x,y)+ρ(x,y)

(1)

其中,I(x,y) 为原图像;Ir(x,y)为校正图像;Ig(x,y)为图像的背景;ρ(x,y)为噪声。

根据式(1)可知,首先需对原图像进行滤波去噪,其次提取缺陷图像的背景Ig,最后采用无噪图像和图像背景作商得到校正图像Ir。文献[4]采用闭运算提取去噪图像的背景,该算法只适用于目标像素值小于背景像素值的图像。由于板带钢图像中缺陷的像素值有可能比背景的像素值大,所以本文采用开闭运算相结合的方法来提取图像背景。除此之外,开运算和闭运算结合可以有效滤除正负脉冲噪声。

为了防止滤波时模糊图像目标的细节并同时能获得更好的去噪能力,本文首先采用0°,45°,90°,135°这4个方向的线性结构元素ei(i=1,2,3,4) 和结构元素e按照式(2)滤除图像中的噪声。其次选取较大的结构元素按式(3)消除目标(缺陷)提取图像背景,但是结构元素太大会导致提取的背景图像出现较严重的块状效应,本文选择结构元素g。定义的结构元素如下:

(2)

Ig=I∧g∨g

(3)

根据光照不均的数学模型,得到图像的增强公式如下:

(4)

由于板带钢缺陷的几何特性,以及结构元素g选取的局限性,对于缺陷形状较小的图像,本文算法得到了很好的实验结果。但是当缺陷的形状大于结构元素g的尺寸时,提取的图像背景效果较差,导致多结构商图像增强效果不理想。针对该算法中存在的弊端,本文采用多结构形态学边缘增强算法提取图像中的带钢缺陷。

2.3 多结构形态学边缘增强

传统的边缘检测算子利用单尺度形态学梯度变换来增强目标的边缘,提取的目标边缘不完整[6]。本文采用上述结构元素ei(i=1,2,3,4) 对图像Ie进行形态学梯度边缘增强,最后按式(5)对不同方向的增强图像进行均值加权融合。

(5)

该算法能准确提取形状较大且对比度较明显的缺陷,可以弥补熵图像增强算法的不足,而且抗噪能力强。

3 图像融合

针对上述两种形态学增强算法得到的实验图像,按公式(6)进行加权融合,其流程如图1所示。

G=(n-1)·IR+n·IE

(6)

其中,IR和IE是分别对增强图像R,E归一化处理后得到的图像;n为融合系数。

图1 增强图像的融合流程图

基于光照可将图像分为两类,即光照均匀和光照不均的缺陷图像。光照均匀的图像背景像素值分布较均匀,相反光照不均的图像背景像素值分布不均匀。根据两种图像背景像素值分布的特点,本文采用熵来判断图像光照均匀性,公式如下[7]:

(7)

其中,Pi表示图像中像素值为i的像素在图像中出现的频率。当图像较均匀时,熵也较大,相反熵较小。

由于熵图像增强会出现过增强的情况,即将背景中的细节增强导致像素均值增大,而对于严重光照不均的图像,多结构边缘增强会检测出强光区域的边缘,从而导致像素均值增大,所以本文根据像素均值比和背景熵确定融合系数。首先按式(8)、(9)对增强后的图像进行归一化处理,然后根据公式(10)计算图像的像素均值比r,其中M,N分别表示图像的高度和宽度:

(8)

(9)

(10)

首先根据实验经验确定熵H的阈值T1和像素均值比r的阈值T2,最后根据阈值T1和T2确定融合系数n。

权系数n的确定流程:

Step1:计算图像背景Ig的熵H;

Step2:计算IR与IE的像素均值比r;

Step3:确定n

1)当H>T1时,n=0.5;

2)当HT2时,n=0;

3) 当H

为了便于缺陷的识别及分类,需对融合图像进行二值化处理。首先求融合图像每行每列的最大像素值点[8],其次描绘出每行最大像素值点的曲线图,按照同样的方法描绘出每列最大像素值点的曲线图如图2所示,最后根据曲线图选取图像分割的阀值T。

图2 阈值选取示意图

4 实验结果与分析

给原图像中加入密度为0.001的椒盐噪声,现采用MATLAB 2016b进行试验比较,本文采用三组不同类型的板带钢缺陷图像,通过本文算法与文献[2]、文献[3]提出的算法作对比,如图3所示。

图3 算法实验结果

考虑到检测的缺陷区域是否与原图像中的缺陷区域重合,如果发生较大偏移则说明检测结果背离原始信息,为了评价算法的有效性,本文提出用人工分割的缺陷区域和本文算法分割缺陷区域的“差异度”来作为检测效果评价测度,通过采用上述三种算法与人工分割得到的结果作差,用作差的标准差作为差异度来分析实验的有效性,如表1所示,差异度越低,效果越好。其次采用缺陷面积来评价,检测出的缺陷区域可能会因为噪声或光照等因素出现过分割或欠分割导致检测结果面积变小或变大,因此用缺陷面积结合差异度共同评价检测效果,采用二值图像的像素总和作为面积[9]。

由表1和表2可知,第一组是由于文献[3]缺陷检测不完整且含有微量噪声,文献[2]中含有大量噪声,从而导致差异度较大且像素面积过大。第二组由于文献[2]和文献[3]所提出的算法都无法检测暗区域中的缺陷,而且文献[2]检测的结果中含有大量噪声,致使差异度较大和像素面积较小。第三组中文献[3]检测的缺陷区域不完整,文献[2]出现严重漏检且含有噪声,从而使得差异度较大,像素面积较小。

综上所述,与文献算法相比,本文检测结果的差异度较低,检测出的缺陷面积更接近人工检测的缺陷面积,所以检测结果更接近人工分割的缺陷区域。而且由表3可知,本文算法的实时性和通用性更好,而且本文算法的去噪能力比文献[2]与文献[3]的去噪能力强。

表1 缺陷差异度

表2 缺陷面积(像素数)

表3 算法实用性

5 结 论

针对光照不均和噪声并存的板带钢缺陷图像,本文首先采用多结构形态学增强可以有效提取光照不均图像中的形状较小的缺陷,算法不仅具有较强的去噪能力,而且可以保留缺陷的细节。其次将两种增强算法根据背景熵和像素均值比进行加权融合,克服了传统算法针对一种图像的弊端,提高了算法的通用性。除此之外,本文算法的实时性比较强。

[1] LI Jun,YAN Yunhui,ZHANG Yao.Research on real-time detection architecture for surface quality of steel strip[J].Computer Engineering and Design,2008,29(20):5368-5371.(in Chinese)

李骏,颜云辉,张尧.板带钢表面质量实时监测体系研究[J].计算机工程与设计,2008,29(20):5368-5371.

[2] XU Hao,SUN Jianyi,TANG Bo,et al.The surface detect of strip steel based on mathematical morphology[J].Machinery Design & Manufacture,2012,6:206-208.(in Chinese)

许豪,孙建益,汤勃,等.基于数学形态学的带钢表面缺陷边缘提取[J].机械与制造,2012,6:206-208.

[3] ZHANG Lihong,LIANG Yingbo,WU Dingyun,et al.Strip steel surface defects imaging edge inspection based on improved multi-scale morphology[J].Laser & Infrared,2014,44(3):330-334.(in Chinese)

张利红,梁英波,吴定允,等.基于改进多尺度形态学的带钢缺陷图像边缘检测[J].激光和红外,2014,44(3):330-334.

[4] He Xiaoguang,Tian Jie,Wu lifang,et al.Illumination normalization with morphological quotientImage[J].Journal of Software,2007,18(9):2318-2325.

[5] DAI Qingyun,YU Yinglin.The advances of mathematical morphology in image processing[J].Control Theory & Applications,2001,18(4):478-482(in Chinese)

戴青云,余英林.数学形态学在图象处理中的应用进展[J].控制理论与应用,2001,18(4):478-482.

[6] WANG Huifeng,ZHAN Guili,LUO Xiaoming.Research and application of edge detection operator based On rathematicai morphology[J].Computer Engineering and Applications,2009,45(9):223-226.(in Chinese)

王慧锋,战桂礼,罗晓明.基于数学形态学的边缘检测算法研究及应用[J].计算机工程与应用,2009,45(9):223-226.

[7] CAO Jiannong.Review on image segmentation based on entropy[J].Pattern Recognition and Aitificial Intelligence,2012,25(6):958-971(in Chinese)

曹建农.图像分割的熵方法综述[J].模式识别与人工智能,2012,25(6):958-971.

[8] Guan Shengqi.Strip steel defect detection based on saliency map construction using gaussian pyramid decomposition[J].ISIJ International,2015,55(9):1950-1955.

[9] CHEN Yue.Segmentation results evaluation method of steel plate surface defects images[J].Manufacturing Automation,2015,37(18):66-68.(in Chinese)

陈跃.钢板表面缺陷图像分割效果评价方法[J].制造业自动化,2015,37(18):66-68.