视觉显著性模型在带钢缺陷动态检测中的应用

徐帅华,陈龙龙,管声启,李 婷

(西安工程大学 机电工程学院,陕西 西安 710048)

0 引 言

随着国民经济的快速发展,汽车、铁路、航空航天和造船等行业对带钢的需求越来越多,其表面的质量直接影响最后产品的优劣,对其有效的监督是提高产品质量的重要手段.因此,对带钢表面缺陷进行在线实时检测是很有必要的[1-3].目前,国内外对带钢表面缺陷在线实时检测技术研究较多,也取得了一些成功的实例.文献[4]根据带钢表面缺陷图像的特点,提出一种利用图像灰度投影进行目标检测的算法,利用投影均值找出最大与最小的差值,超过了给定的阈值即认为是存在缺陷.文献[5]研究了一种基于机器视觉的带钢表面缺陷检测系统,它采用模块化硬件设计,图像处理软件满足实时检测要求,可以有效地检测出生产线上的带钢表面缺陷.但是,带钢表面缺陷具有形态各异、种类繁多、出现位置时间不同、灰度特征相似、纹理特征具有方向性的特点,并且工作现场环境复杂多变,因此,如何快速准确地从大量的数据图像中检测到缺陷的存在是研究中亟需解决的问题[6-7].

根据人类视觉感知理论,人类可以在大面积的图像中快速寻找到感兴趣的区域和重要的、值得注意的信息.所谓感兴趣的区域就是最能引起人们关注的区域,可以区分出图像中不同区域的重要程度,在一定程度上去除了冗余的信息,为后续的分析识别提供帮助[8-9].基于视觉感知理论的特点,提出基于视觉注意机制模型的检测方法,该方法能够有效地减少噪声等影响,计算速度快,从而为带钢缺陷的检测提供了一种有效的途径.

1 带钢缺陷检测算法

人类获取外界环境信息最主要的手段是视觉,大约有80%的信息都来源于视觉,面对时刻变化的外部环境,人类视觉可以感知到与自己相关的信息和辨识出信噪比极低的图像中的有效信息,并且能够在极短时间内完成对信息的理解、处理和做出相应的反应[10-11].

随着计算机技术和图像处理技术的快速发展,国内外学者对视觉处理信息的过程进行了大量的研究.视觉检测是模仿人类视觉功能,从中提取有效信息,具有高效、高精度、非接触式、获取信息丰富等优点.现在最经典的模型是1998年美国加州理工学院的Itti提出的一种基于初级视觉特征的视觉注意机制模型[12].该模型经过许多学者的研究,应用在人脸识别、视觉导航、遥感图像处理和医学图像处理等方面,本文结合带钢缺陷特点,提出视觉注意机制的带钢缺陷检测方法.图1为缺陷检测过程.

图1 缺陷检测过程

1.1 颜色特征预判

本文根据带钢缺陷图像的特点,将原图像信息为灰度图像的视为无颜色图像,若带钢图像存在颜色信息即为有色缺陷存在.利用颜色特征进行预判,根据颜色特征与设定阈值比较选择不同算法检测,分别为显性缺陷检测和隐形缺陷检测,提高检测效率和准确率.

1.1.1 显性缺陷检测 针对有颜色缺陷,采用颜色通道的差异运算得到图像的特征图,对特征图进行阈值分割和区域生长，从而分割出缺陷区域,提高检测效率.红斑缺陷检测过程如图2所示.

红斑 颜色特征 注意图(缺陷)图2 红斑缺陷检测

1.1.2 隐性缺陷检测 针对无颜色缺陷,提取图像的亮度和方向特征,通过对亮度和方向特征进行Gabor滤波和中央周边差操作得到特征差分子图.在此基础上,特征差分子图进行融合得到缺陷显著图;然后通过阈值分割和区域生长分割出缺陷注意区域;最后融合处理多幅缺陷注意图得到带钢缺陷的完整图像.

1.2 视觉特征提取

对原图像经过高斯滤波后,提取出了图像的亮度和方向多尺度信息,能全面地表达图像的信息,更加符合人类视觉功能.

(1) 假设r(t),g(t),b(t)为一幅图像的红蓝绿3个基本通道,亮度是图像注意到的第一个特征,利用高斯金字塔模型对每一层图像提取亮度特征.特征提取公式为

I(t)=(r(t)+g(t)+b(t))/3.

(1)

(2) Gabor滤波器是多尺度多分辨率分析方法的代表,可以很逼真地模拟视觉皮层对方向的敏感,亮度特征I经过二维Gabor滤波器滤波分析后得到4个方向的特征,用O(t,θ)表示亮度特征在尺度t上θ方向的金字塔,其中θ的取值为(0°，45°，90°，135°),其特征图如图3所示.

亮度特征 0°方向 45°方向 90°方向 135°方向图3 特征图

1.3 缺陷显著图构造

构建缺陷显著图的目的是为了增大缺陷信息与背景信息的对比度(显著度),从而为缺陷分割提供条件.显著图构建过程如图4所示.

图4 显著图构建

1.3.1 高斯滤波和中央周边差 人眼视觉系统是一个多通道的处理系统,具有多信道的分解特性,高斯滤波的特性具有紧支性、正交性、近似对称性,对图像信息进行多通道的滤波后得到不同层次的信息,形成一个高斯金字塔的结构,具有与人眼视觉相匹配的特性.

在一幅图像中,通常最引起视觉注意的是最特殊的部分,与周围其他部分相比更加凸显,为模拟中心的兴奋区域与周边抑制区域的拮抗结构,故采用中央周边差操作.感受视野中心尺度c对应分解后的高分辨率子图金字塔的1,2层,视野周边尺度t=c+δ,其中δ∈(1,2),由于锥形结构上下层的大小不同,要对外围进行插值,两者之间作差,计算过程表示为Θ,最后形成亮度差分子图和方向差分子图.计算过程如下:

(2)

特征差分子图中的缺陷特征显著度明显增强,两幅子图作差,消除光照不均的影响,可为缺陷分割提供有利条件.

1.3.2 特征图合并策略 多特征图的合并采用常用的直接相加,没有考虑到特征图的优先级,需对其归一化处理N(·),可以凸显显著区域,进一步提高显著度.对于同一类型的特征图相加处理得到特征显著图,分别为亮度显著图和方向显著图.计算公式如下:

(3)

其中n为特征差分子图个数,n=3.

多特征图合并融合策略效果如图5(a),(b)所示,从图5(a),(b)可以看出缺陷区域得到明显的呈现,为后续处理打下基础.

1.4 注意区域的形成

通过自底向上模型的计算,可以得到以注意焦点为中心不同区域的显著图,为了获得图像的准确信息,检测时会循环进行注意焦点的转移.本文采用阈值分割和区域生长形成注意区域.划分图像为4*4的区域为注意焦点,进行均值化处理,消除噪声影响,通过设定阈值，采用阈值分割出注意区域;采用区域生长得到总的注意区域,消除背景信息.图5(c),(d)为亮度和方向注意区域图,可以看出背景变为黑色,消除了对缺陷检测的影响.对亮度注意图和方向注意图进一步归一化整合处理得到带钢缺陷的检测结果,如图5(e)所示.

(a) 亮度显著图 (b) 方向显著图 (c) 亮度注意图 (d) 方向注意图 (e) 缺陷图5 缺陷检测结果

2 结果与分析

为了验证文中提出的基于视觉注意机制模型在带钢缺项图像中应用的准确性和适应性,在电脑上采用MATLAB环境编辑模型.

对夹杂缺陷图像添加椒盐噪声,从图6(a)和图6(b)可以看出，该方法在检测缺陷目标时,能快速准确地检测出缺陷区域,具有对噪声的鲁棒性.当外部环境造成光照不均时,在对特征子图中央周边差操作时,可消除光照不均的影响,如图6(c)和图6(d)所示.表明该算法对于图像因光照不均而造成的影响有很好的抑制作用.

(a) 夹杂噪声图像 (b) 检测结果 (c) 抬头纹光照不均 (d) 检测结果图6 本文缺陷检测算法

对夹杂缺陷图像分别采用灰度差影算法、零均值化算法和本文检测算法做对比实验，如图7所示.从图7可以看出，本文方法能准确检测目标,文献[5]的灰度差值法最后检测的结果容易湮没在背景中,极易造成漏检;文献[7]的零均值化算法处理结果缺陷信息未全部检测出来,不利于后续的识别处理;本文方法利用注意机制快速捕捉信息,提高显著度,可以有效避免环境因素和噪声的影响.若为有颜色缺陷图像,预判后通过阈值分割和区域生长得到带钢缺陷区域.

(a) 夹杂缺陷图像 (b) 灰度差影算法 (c)零均值化算法 (d) 本文算法图7 对比试验检测结果

表1 算法运算时间

对四者运行时间进行比较,可以看出本文提出的算法可以快速地检测缺陷,特别是缺陷为有颜色时,可以快速通过阈值分割得到,提高检测速度,可以满足实时在线检测的要求.

3 结束语

根据人类视觉感知理论和带钢缺陷的特点,本文提出一种基于视觉注意机制的带钢缺陷检测算法.对输入图像提取视觉特征,利用颜色特征进行预判,对有颜色缺陷的图像采用阈值分割得到缺陷目标图像,提高检测效率.对无颜色缺陷的图像利用亮度和方向特征,采用构建显著图方式提高缺陷显著度;最后通过阈值分割出缺陷注意区域.相比于传统的图像处理方法,具有较高的检测准确性和快速性.实验结果证明该方法对于低对比度和含有噪声的缺陷目标也能获得满意的结果,具有对噪声的鲁棒性.但是该方法未能解决存在伪目标和直接相加容易降低目标显著度的问题,需在以后的研究中进行改进.

参考文献：

[1] 张鹏.图像信息处理中的选择性注意机制研究[D].长沙:国防科学技术大学,2004:20-35.

[2] 张学武,范新南.视觉检测技术及智能计算[M].北京:电子工业出版社,2013:32-60.

[3] ITTI L,KOCH C,NIEBUR E.A model of saliency—based visual attention for rapid scene analysis[J].IEEE Trans Pattem Analysis and Machine Intelligence,1998,20(11):1254-1259.

[4] 李炜,黄心汉,王敏,等.基于机器视觉的带钢表面缺陷检测系统[J].华中科技大学学报：自然科学版,2003,31(2):72-74.

[5] 王宏,朱德生,唐威.一种基于灰度投影的带钢表面缺陷检测算法[J].东北大学学报：自然科学版,2008,29(3):375-377.

[6] 孟琭.基于视觉注意机制的彩色图像显著性区域提取[J].计算机应用研究,2013,30(10):3159-3161.

[7] 管声启,师红宇,王燕妮.基于图像零均值化的带钢缺陷检测[J].钢铁研究学报,2013,25(4):59-62.

[8] WEI Yulan,LI Bing,ZHANG Dan.The strip steel surface defects detection adaptive preprocessing method based on double field[J].Advanced Materials Research,2012,6(5):576-579.

[9] QIN Xiansheng,HE Feng,LIU Qiong.Online defect inspection algorithm of bamboo strip based on computer vision[C]//Proceedings of the IEEE International Conference on Industrial Technology.Shanghai:IEEE Computer Society Press,2009:58-65.

[10] FRANCISCO G B,DANHIEL F G,JULIO M.Detection through a vision-based technique periodic defects in steel strips[J].IEEE Industry Applications Magazine,2013,13(2):39-46.

[11] 丛家慧,颜云辉.视觉注意机制在带钢表面缺陷检测中的应用[J].中国机械工程,2011,22(10):1189-1192.

[12] ITTI L,KOCH C.Computational modeling of visual attention[J].Nature Reviews Neurosdence,2001,2(3):194-203.