基于视觉注意计算模型的棉花异性纤维检测

师红宇,管声启

(西安工程大学 a. 计算机科学学院; b. 机电工程学院，陕西 西安 710048 )



基于视觉注意计算模型的棉花异性纤维检测

师红宇a,管声启b

(西安工程大学 a. 计算机科学学院; b. 机电工程学院，陕西 西安 710048 )

摘要：基于机器视觉的棉花异性纤维在线检测，需要解决一个大背景下的小缺陷区域准确检测问题.为了解决这个问题，通过构建视觉注意计算模型，使检测目标兴趣区凸显出来，从而解决视觉数据冗余瓶颈问题.根据所构建模型结构，首先从输入图像中提取全局特征图；然后提取灰度和方向特征进行高斯金字塔多层分解，并采用中央-周边操作算子构建特征差分图； 最后利用融合操作构建特征显著图和整体显著图，检测兴趣区在该显著图中被凸显出来.试验结果表明，该模型能够实现棉花异性纤维的有效检测，不仅检测准确率高，还具有较强的普适性，为棉花异性纤维在线检测提供了一种新方法.

关键词：棉花； 异性纤维； 视觉注意； 计算模型； 兴趣区域； 显著图

棉花中的异性纤维是指在原棉生产、加工和流通过程中混入棉花之中，对棉花及其制品质量有严重影响的非棉纤维和有色纤维，如化学纤维、毛发、丝、麻、塑料绳、染色线等，这些异性纤维将会严重影响成品的质量，为此，在纺织企业中对棉花异性纤维检测和剔除是必备的工序之一.基于机器视觉的异性纤维检测，不但提高了工作效率，而且在很大程度上提高了异性纤维的检出率[1-2].文献[3-4]提出了一种基于改进最大类间方差(Otsu)的异性纤维检测算法，这种算法虽然能提高检测速度，但并不能分割出对比度小的异性纤维信息.文献[5]提出了一种小波变换的棉花异性纤维检测算法，文献[6]提出了基于多尺度小波和模糊方法的异性纤维检测算法.利用小波多分辨率和高消失矩虽然能够有效检测具有突变特性的异性纤维，但往往难于检测非奇异特性的异性纤维.文献[7]采用均值平移(mean-shift)算法对棉花异性纤维图像进行分割，该方法具有较强的抗噪能力，对于头发、麻绳等与背景对比度较大的异性纤维分割效果较好，但对于面积较小或与背景对比度较小的异性纤维分割效果较差.文献[8]通过改进蚁群算法用于棉花异性纤维目标特征选择，但蚁群算法参数较多，检测的好坏很大程度依赖最优参数的选择.文献[9]应用聚类统计分析进行棉花异性纤维检测，当棉纤维与异性纤维在RGB颜色模型空间的各分量值接近时，无法实现检测.通过上述分析可以看出，每种检测算法往往仅适用于某类异性纤维的检测，很难具有普适性，因此，如何提高检测的普适性仍然是棉花异性纤维检测的关键.

由棉花异性纤维特性分析可知，棉花异性纤维与正常棉花背景信息在灰度值上比较接近，且异性纤维总是在棉花大背景下局部分布.本文通过构建视觉注意计算模型提高检测目标的显著度，使检测目标兴趣区凸显出来，从而实现异性纤维的检测.

1视觉注意机制理论分析

棉花异性纤维检测属于大背景下的小缺陷检测，目标区域面积小于整体图像面积的5%.为了确保所有的缺陷都能实时地从大的背景中分离出来，必须解决视觉信息冗余问题[10-11].

对于视觉信息冗余问题，人类视觉系统具有选择性视觉注意机制来解决这一局限性问题.在前注意阶段，通过并行方式粗略快速地扫描全局场景，人类视觉系统可以定位兴趣区域，随后在下一阶段对高质量的信息区域进行处理，增强目标的显著性，去除大量冗余的背景数据，减少资源消耗.在注意阶段，精心专注于该兴趣区域，该视觉系统可以采集到高分辨率的局部图像并以串行方式识别目标[12].

在机器视觉系统中引入视觉注意机制这项功能，无疑是对大背景下的小目标检测的一个重要方法.目前基于对视觉皮层机制基本原理的认识，提出了许多视觉注意机制计算模型.Itti的显著图模型(Itti模型)是一个经典视觉注意机制模型[13]，为视觉注意机制理论应用到图像处理中奠定了基础.根据检测任务的不同，很多学者提出了Itti改进模型，并已广泛应用于各种自然场景和机器工业视觉目标检测[14-16].根据棉花异性纤维检测特点，本文采用一种新的视觉注意计算模型，以解决棉花异性纤维检测问题.

2视觉注意计算模型

为实现棉花异性纤维在线检测目标，根据Itti的显著图模型[13]，本文设计的视觉注意计算模型如图1所示.

图1　视觉注意计算模型Fig.1　A computational model of visual attention

2.1全局特征图

检测图像的背景是一种规则和缓慢变化的信息，而检测目标表现为局部纹理的突变，通常是粗糙和突变的信息.本文采用局部偏差来度量全局纹理特征，设平均值和标准偏差的窗口大小为(2n+1)×(2n+1)，平均值和标准偏差分别用式(1)和(2)计算.

(1)

其中：X(p,q)为一个输入的灰度图像；M(i,j)为窗口的平均值，窗口的中心由输入图像的(i,j)坐标来确定；G(i,j)为窗口的标准偏差.因此，由式(1)和(2)形成全局特征图.当n= 1,2,3时，窗口大小分别为3×3、5×5、7×7，采用标准差构造的全局特征图如图2所示.

(a) 棉花图像

(b) 3×3窗口全局特征图

(c) 5×5窗口全局特征图

(d) 7×7窗口全局特征图

由图2可知，窗口大小为7×7时，全局特征图中噪声被有效抑制，因此，选用7×7窗口构造全局特征图.

2.2显著图

通过中央周边操作算子(center-surround difference)计算局部视觉对比度并产生特征差分图(feature difference map)，对比度较大的区域可能吸引视觉注意.然后通过跨尺度组合算子(across-scale combination)，将不同尺度下的特征图组合成不同的特征显著图(feature saliency map).最后，通过融合算子将不同特征显著图合成一个整体显著图(overall saliency map).

2.2.1特征差分图

(1) 特征金字塔分解. 对全局特征图的灰度特征I进行多尺度的低通滤波和向下抽样实现高斯金字塔3层分解，形成多尺度灰度特征图I(1)，I(2)和I(3)；对全局特征图的灰度特征I使用Gabor算子进行滤波，形成方向特征，然后进行金字塔3层分解，形成多尺度方向特征图O(1)，O(2)和O(3).

二维Gabor滤波器可看成高斯包络线被复正弦函数调制的结果，其可由式(3)表示.

exp[2πjf(x′+y′)]

(3)

其中：x′=xcosθk+ysinθk；y′=-xsinθk+ycosθk；f为中心频率；σx和σy分别为高斯包络沿x轴和y轴方向的标准偏差，本文取σx=σy=σ；θk为预先设定的方向参数，决定特征方向.

棉花异性纤维的灰度特征和方向特征金字塔分解如图3所示.

(a) 灰度特征

(b) 方向特征(0°)

(c) 方向特征(45°)

(d) 方向特征(90°)

(e) 方向特征(135°)

(2) 中央周边操作. 对多尺度灰度和方向特征图进行插值运算，使其尺寸相同，然后按照式(4)和(5)计算灰度特征差分图I(c,s)和方向特征差分图O(c,s,θk).

I(c,s)=|I(c)ΘI(s)|

(4)

O(c,s,θk)=|O(c,θk)ΘO(s,θk)|

(5)

其中：Θ表示中央周边操作，即不同尺度特征图差分；θk分别取0°,45°,90°,135°；c∈{1,2},s=c+d,d∈{1}.

2.2.2特征显著图

(6)

(7)

其中：N(·)是一种归一化算子；⨁为不同差分子图相加算子；θk分别取0°, 45°, 90°, 135°.

所构建的灰度特征和方向特征显著图如图4所示.由图4可以看出，各特征显著图中的检测目标特征对比度明显增大.

(a) 灰度特征　　(b) 方向特征

2.2.3整体显著图

(8)

图5　整体显著图Fig.5　Overall saliency map

3试验与分析

3.1分割效果分析

为了验证本文算法的分割效果，通过最大类间阈值对本文模型的整体显著图(TP)、改进Itti显著模型[18](ST)和谱残差模型[19](SR)所产生的显著图进行分割和目标提取，分割效果如图6所示.

由图6(b)和6(c)可以看出，除第1幅图外，本文模型所检测目标区域均符合原图像中异性纤维的实际位置，且异性纤维数目与实际情况相同.采用本文模型检测的第1幅图的异性纤维数目为4，而实际异性纤维数目为3，可能的原因是将原棉背景对比大的区域检测为异性纤维区域.由图6(d)可以看出，ST模型虽然能检测出比较显著的部分目标，但也引入了不少伪目标.由图6(e)可以看出，SR模型所检测的目标数目与原棉中异性纤维数目相差较大.

(a) 棉花异性纤维图像

(b) 人工标记的棉花异性纤维图像

(c) 本文模型分割效果

(d) ST模型分割效果

(e) SR模型分割效果

由图6可知，本文模型基本能够正确分割出异性纤维存在的区域以及异性纤维的数目.但本文模型存在一定误检，主要原因可能在于原棉分布不均匀，造成局部对比度增大.因此，只要在检测中尽量使原棉均匀分布，就有可能避免误检情况发生.另外，本文模型所分割出的检测目标形态接近圆形，与真实的异性纤维形态差异较大，这可能是显著图构建机理以及Gabor滤波器参数选取(例如σx=σy=σ)等原因造成的.因此，本文模型只能用于棉花异性纤维快速检测，对于进一步识别异性纤维种类，则需要进一步结合其他算法.

3.2检测准确率分析

这里选取正常棉花纤维和含有毛发、红色塑料、透明塑料、线头的原棉图像进行测试，测试图像尺寸均为256像素×256像素，在同一台计算机上采用Matlab软件运行.为了准确统计检测准确率，从采集图像中选取仅包含一处异性纤维的图像作为测试图像.不同模型对棉花异性纤维的检测准确率如表1所示.由表1可以看出，本文模型的检测准确率为92%～99%，波动范围仅为7%，说明本文模型对常见的异性纤维检测具有一定的普适性.ST模型检测准确率为72%～90%，波动范围达到18%，说明其对某些异性纤维检测具有较高的检测准确率，但对于对比度小的透明塑料等检测效果较差，检测适应性差.SR模型检测准确率为60%～75%，说明这种方法对不同异性纤维的检测准确率都比较低，且检测普适性很差，很难适应棉花异性纤维在线检测.

表1　检测准确率比较

由棉花异性纤维分割和检测准确率试验表明，本文模型能够从原棉中有效分割出异性纤维信息，并且具有较高的检测准确率，对常见的异性纤维检测具有普适性.可能的原因在于本文模型能够有效地提高显著图中的异性纤维与棉花纤维的对比度.

4结语

本文采用人类视觉注意机制，建立合适的自底向上数据驱动的计算模型，依据模型结构，通过全局特征图、特征差分图、特征显著图和整体显著图的构建，提高整体显著图中的棉花异性纤维兴趣区的显著度，通过最大类间方差方法有效实现异性纤维的分割.试验结果表明，本文方法不仅具有较高的检测准确率，而且对常见的异性纤维检测具有较强的普适性，这将为棉花异性纤维在线检测提供了可行性.

参考文献

[1] 刘双喜，张馨，王金星，等．棉花异性纤维图像特征提取[J]．农业机械学报，2010,41(3): 158-162.

[2] 郭俊先，应义斌．皮棉中杂质检测技术与检出装备的研究进展[J]．农业机械学报， 2008,39(7): 107-113.

[3] 杨文柱，李道亮，魏新华，等. 棉花异性纤维图像分割方法 [J]. 农业机械学报，2009,40 (3)：156-160.

[4] 汤先福，黄静，章涵博. 棉花异性纤维识别方法的研究 [J]. 仪表技术与传感器，2010(11)：88-90.

[5] 张南宾，刘小平. 基于小波变换的棉花异纤检测算法研究 [J]. 计算机仿真，2012,29(4): 301-304.

[6] 王波. 基于多尺度小波的棉花异纤检测算法 [J]. 控制工程，2009,16(5): 173-175.

[7] 郑文秀，刘双喜，魏新华，等. 基于Mean-shift的棉花异性纤维图像分割 [J]. 山东农业大学学报(自然科学版)，2009,40(2)：224-228.

[8] 赵学华，李道亮，杨文柱，等. 基于改进蚁群算法的棉花异性纤维目标特征选择方法 [J]. 农业机械学报，2011,42(4)：168-172.

[9] 杜玉红，王加富，蒋秀明，等. 应用聚类统计分析的棉花异纤图形检测算法 [J]. 纺织学报，2015,36(3):135-139.

[10] SU Z, WANG J, HUANG M, et al. A machine vision system with an irregular imaging function[C]//The 5th International Symposium on Image and Signal Processing and Analysis.Istanbul, Turkey, 2007:458-463.

[11] BORJI A, AHMADABADI M N, ARAABI B N. Cost-sensitive learning of top-down modulation for attentional control[J]. Mach Vis Appl, 2011, 22(1): 61-76.

[12] THORPE S, FIZE D, MARLOT C. Speed of processing in the human visual system[J]. Nature, 1996,381(6582): 520-522.

[13] ITTI L, KOCH C, NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Trans Pattern Anal Mach Intell， 1998, 20(11): 1254-1259.

[14] FRINTROP S, ROME E. Simulating visual attention for object recognition[C]//The Workshop on Early Cognitive Vision Isle of Skye. Scotland, 2004.

[15] ZHANG Q, GU G, XIAO H. Computational model of visual selective attention [J]. Robot, 2009, 31(6):574-580.

[16] 丛家慧，颜云辉.视觉注意机制在带钢缺陷检测中的应用[J].中国机械工程, 2011,22(10): 1189-1192.

[17] BOVIK A C, CLARK M, GEISLER W S. Multichannel texture analysis using localized spatial filters [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(1): 55-73.

[18] WALTHER D, KOCH C. Modeling attention to salient proto-objects [J]. Neural Networks, 2006, 19(19): 1395-1407.

[19] HOU X, ZHANG L. Saliency detection: A spectral residual approach [C]// IEEE Conference on Computer Vision and Pattern Recognition. 2007:1-8.

文章编号：1671-0444(2016)03-0400-06

收稿日期：2015-05-20

基金项目：陕西省教育厅科研计划资助项目(16JK1334)；西安工程大学博士科研基金资助项目(BS1005)

作者简介:师红宇(1981—)，女，陕西潼关人，工程师，硕士，研究方向为图像处理技术和计算机网络及应用技术. E-mail: shy510213@163.com

中图分类号：TP 391.41

文献标志码：A

Cotton Foreign Fibers Detection Based on Visual Attention Computational Model

SHIHong-yua,GUANSheng-qib

(a. College of Computer Science; b. College of Mechanical & Electronic Engineering,Xi’an Polytechnic University, Xi’an 710048, China)

Abstract:Regions of small defects need to be detected accurately in a large backgrourd, when cotton foreign fibers is detected on line based on machine vision. A computational model of visual attention is developed for solving the problem. The model can highlight the target regions of interest, so as to solve the bottle neck problem of visual data redundancy. Firstly, the global feature is extracted from input image; then gray and direction features are extracted for Gauss Pyramid multiplayer decomposition, and feature difference map is constructed by a center-surround operator. Finally, feature saliency map and overall saliency map are constructed by a fusion operation, regions of interest are highlighted in the saliency map. Experimental results show that the model can achieve the effective detection of cotton foreign fibers. It not only has high accuracy, but also has strong universality. It provides a new method for cotton foreign fibers detected on line.

Key words:cotton; foreign fibers; visual attention; computational model; regions of interest; saliency map