王昊鹏,冯显英,李 丽
1)山东大学高效洁净机械制造教育部重点实验室,机械工程学院,济南250061;2)山东省经济管理干部学院计算机系,济南250061
棉花在采摘、晾晒、收购、运输、储存和加工过程中,易混入异性纤维,主要包括编织袋丝、毛发、麻绳、塑料绳、布条、地膜和染色线等. 虽然异性纤维的含量很少,但其对棉纺织品的质量有严重影响[1]. 因此,棉花中异性纤维的检测方法成为近期的研究热点[2-5]. 异性纤维分为有色异性纤维和白色异性纤维,灰度图像中有色异性纤维像素点的灰度值与棉花像素点的灰度值差异较大,容易识别,而白色异性纤维像素点的灰度值与棉花像素点的灰度值十分接近,甚至重叠,用图像处理方法不好识别. 为此,本研究着重探讨白色异性纤维的识别.
纹理是一种重要的视觉线索,是图像中普遍存在而又难以描述的特征,包含了物体表面结构组织排列的重要信息及其与周围环境的联系[6-12]. 一般来说,不同物质的纹理也不同,多数学者通过灰度共生矩阵的方法来研究纹理,并对灰度共生矩阵的方法做出改进[13-15]. 而利用灰度共生矩阵 (gray level co-occurrence matrix,GLCM)分析识别皮棉中的异性纤维一直还是空白,本研究通过分析纹理判断皮棉中是否含有白色异性纤维.
检测装置的关键是图像采集系统,图像采集质量在很大程度上决定试验的成功与否. 图像采集系统主要由面阵CCD 相机、LED 光源和数据采集卡组成.
本试验采用德国BASLER acA1300-30gc 型号彩色面阵CCD 相机,其最高帧率为30 帧/s,最大分辨率为1 296 × 966 像素,配合日本Computar 的M0814 镜头. 光源是影响图像采集的重要因素.LED 采用电场发光和低压直流供电,无频闪现象,且具有光效好、稳定性强、能耗低、寿命长及抗震等优点. 试验中使用日本CCS 公司的HLV-24-1220光源,研祥PCI-8ADPF 数据采集卡. 该采集卡的分辨率、采样频率和传输速率均能达到本试验对准确性和实时性的要求.
异性纤维检测装置的工作原理为:皮棉经开松机充分开松后,随气流均匀地经过皮棉管道(为满足轧花厂生产需要,皮棉检测量为3 t/h),利用CCD 相机对其进行拍照,并将图像上传至上位机,上位机根据编好的程序对图像进行处理和分析. 异性纤维检测装置如图1.
图1 异性纤维检测装置示意图Fig.1 The schema of foreign fibers detection device
本试验选取塑料绳、编织袋丝、涤纶线、棉线、头发丝、羊毛、腈纶棉、鸡毛、卫生纸和塑料袋等10 种常见的白色异性纤维,每种异性纤维各取3 个样本组成异性纤维样本集;对于皮棉选择3份样本组成皮棉样本集. 试验时依次将异性纤维掺入皮棉进行拍照,最终生成90 幅150 ×250 像素的24 位真色彩图片.
分析皮棉和10 种白色异性纤维直方图,得到所有试验材料的灰度值范围,如表1.
表1 试验材料的灰度值范围Table 1 Gray value ranges of the experiment materials
由表1 可见,皮棉的灰度值处于[174,195]范围内,异性纤维的灰度值处于[180,243]范围内,两者的重叠区间为[180,195]. 重叠区间的存在正是分割白色异性纤维的困难之处,因为在这个区间内仅靠灰度值作为阈值无法区分皮棉和白色异性纤维. 因此需要考虑对图像进行纹理分析,按纹理不同进行分割.
灰度共生矩阵可定义为,用f(x,y)表示灰度图像在像素点(x,y)处的灰度值,则其灰度共生矩阵为
其中,x 和y 是像素坐标,对于一幅M×N 的图像,1≤x ≤M,1 ≤y ≤N,且x 和y 均为整数;Δx =dcosθ,Δy = dsinθ;i 和j 为像素点的灰度值;d 为灰度共生矩阵的生成步长,一般可取1、2、3 和4 等值;θ 为灰度共生矩阵的生成方向,一般取0°、45°、90°和135°. 灰度共生矩阵的元素为f(x,y)=i,且f(x + dcosθ,y + dsinθ)条件的像素对出现次数.
根据图像的灰度共生矩阵可定义大量纹理特征,例如,Haralick[6]从中导出14 个特征. 但其计算量大,并存在重复表述的问题,因此需要从中找出代表性强和独立性好的特征. 综合Ulaby[16]、Baraldi[17]和薄华[18]等研究成果,本研究采取角二阶矩、对比度、相关性和熵作为特征参数提取图像纹理. 在提取灰度共生矩阵的特征之前,需要对其做归一化处理,使其元素和等于1.
一般来说,图像的灰度级为256 级,在实际应用中计算量大、实时性差. 因此,在将灰度图像转化为灰度共生矩阵之前,一般会将灰度级压缩. 具体方法是将256 级等间距压缩,最终压缩为16 级.虽然能减小计算量、改善实时性,但容易将目标区域和背景区域中的像素点错划,造成图像轮廓模糊,精确度低.
本研究提出一种新的灰度级压缩方法. 通过分析试验材料灰度直方图可知,含有白色异性纤维的皮棉图像灰度值可分成3 个区间,即皮棉区间[174,179]、皮棉与白色异性纤维的重叠区间[180,195]及白色异性纤维区间[196,243]. 当像素点的灰度值处于前两个区间时显然是皮棉或白色异性纤维,因此可以将这两个区间分别压缩为1个灰度级. 而当像素点的灰度值处于[180,195]时既可能是皮棉,又可能是白色异性纤维,为提高精度,该区间需压缩为多级. 根据现有的灰度共生矩阵算法应用实例[16-18],本研究将[180,195]等间距压缩为4 级. 最终将图像的灰度级压缩为6级,其中, [174,179] 压缩为第0 级, [180,183]为第1 级, [184,187]为第2 级, [188,191]为第3 级, [192,195]为第4 级, [196,243]为第5 级.
虽然这样压缩后仅有6 级灰度级,但在皮棉与白色异性纤维灰度值重叠区域,只是将原始的4 级灰度级压缩为1 个新灰度级,所取得的分割精度近似等同于传统压缩方式中64 级的分割精度,而计算量却大幅减少.
若图像具有明显的方向性,则当θ 取不同值时,纹理特征参数会存在一定差异. 而皮棉中异性纤维的出现是随机、无方向性的,因此,为消除方向的影响,本研究取θ 在0°、45°、90°和135°的平均值作为纹理特征参数.
图2 四个纹理特征随d 的变化趋势Fig.2 Change trends of the four texture features with d
d 的取值影响纹理特征参数的准确性. d 取值太小,无法反映物质的纹理特性;d 取值太大,无法识别微小的异性纤维. 图2 为含有各种不同白色异性纤维皮棉图像的纹理特征参数随着d 的变化趋势. 由图2 可见,采用对比度和相关性区分白色异性纤维的总体效果并不好,尤其是相关性,存在很多交叉点. 角二阶距和熵均能区分是否含有异性纤维的图像,含有异性纤维图像的角二阶距最大不超过0.6,不含异性纤维图像的角二阶距不小于0.8,其间距小于0.3;而对于熵来说,这个距离超过0.5,因此熵的区分性要好于角二阶距,且随d 增大,各条熵曲线的间距有渐增趋势,当d >3 后,其增大趋势不很明显. 因此,考虑到熵的区分性能以及对微小纤维的识别精度,本研究采用熵阀值法,d 取值为3.
本试验采用C#编程,分别按照一般的灰度级压缩方法(等距压缩为16 级)和本研究提出的灰度级压缩方法,对93 幅图像(90 幅皮棉中混入异性纤维的图像和3 幅不含异性纤维的皮棉图像)进行处理. 以3 幅不含异性纤维的皮棉图像为例,首先分别按照两种方法对图像进行压缩,设d = 3,求取每幅图像的灰度共生矩阵和4 个生成方向的4 个特征参数平均值;对每组图像的每个特征参数,再求平均值,并将这些数值保留到小数点后3 位,统计整理,结果见表2 和表3.
表2 等距压缩为16 级得到的灰度共生矩阵的特征参数Table 2 The feature parameters of GLCM after the gray level is compressed to 16
表3 本研究得到灰度共生矩阵的特征参数Table 3 The feature parameters of GLCM with the method proposed in this paper
由表2 可见,无异性纤维的皮棉图像与含异性纤维的皮棉图像的4 个特征参数值差异较大,可以通过灰度共生矩阵特征参数的阀值,对含有白色异性纤维的皮棉图像进行分割.
从表3 也可得到与表2 相同的结论,不含异性纤维的皮棉特征参数值与含有异性纤维的参数值差异更大、辨识异性纤维的效果更好. 对于两种压缩方式,变化最小的特征参数是相对性,从0.064 变到0.108,变化幅度为0.044;变化最大的是熵,从0.125 变到0.844,变化幅度为0.719,因此,可采用不等距压缩、选用特征参数熵区分是否含有异性纤维.
根据以上分析,本研究选取熵阀值法对图像进行分割. 皮棉中的异性纤维都很细小,因此采用5×5 的滑动窗口来遍历每幅图像,计算每个滑动窗口的熵,将计算结果赋予窗口中心的像素点,并使其与熵阀值进行比较,然后移动一个像素点形成下一个小窗口. 依次重复计算每个小窗口的熵,并与熵阀值比较,最终得到分割图像. 图3 和表4 分别介绍利用2 维Otsu 算法、基于GLCM 的分割方法(灰度级等距压缩为16 级,d = 3)、本研究算法(灰度级不等距分段压缩为6 级,d = 3)的分割图像、分割效果图和所需时间.
图3 不同算法的分割效果图Fig.3 Segmentation results of different algorithms
由图3 可见,在分割精度方面,等间距压缩GLCM 算法和本研究算法的分割效果比传统2 维Ostu 算法要好,因为传统2 维Ostu 算法分割图像时的阈值使用像素点灰度值,当像素点灰度值处于异性纤维与皮棉灰度值重叠区间时容易误判. 本算法分割效果好于等间距压缩GLCM 算法,因为在异性纤维与皮棉灰度值重叠区间[180,195],等间距压缩GLCM 算法压缩为1 级,损失太多的原始图像信息. 而本算法将灰度级压缩为4 级,其压缩后的精度远大于等间距压缩GLCM 算法.
表4 不同分割方法的实时性Table 4 The real-time of different segmentation methods
由表4 可见,在分割时间方面,等间距压缩GLCM 算法所需时间比2 维Ostu 算法长,这是因为灰度共生矩阵不仅考虑像素点的灰度值,还包含像素点间的空间信息,计算量较大,所以它的分割效果较好,但实时性较差. 本研究算法由于仅有6 级压缩灰度级,所需计算时间大大缩短. 由此可知本研究算法既具有灰度共生矩阵的优点,同时又根据皮棉和白色异性纤维的灰度值特点,对不重要的灰度值区间大幅压缩,对重要的灰度值区间进行细分,不仅有效减小计算量,而且提高重要灰度值区间的计算精度,大大缩短分割时间.
本研究表明:①通过对皮棉和白色异性纤维直方图的分析得到皮棉的灰度值范围[174,195]和白色异性纤维的灰度值范围[180,243];②根据皮棉白色异性纤维图像的特点改进灰度共生矩阵算法,特征参数取4 个方向的均值、生成步长d =3、图像不等距分段压缩为6 级,与传统压缩为64级的分割精度近似相同,但比传统压缩为8 级的计算量小;③根据改进后的灰度共生矩阵计算特征参数,发现角二阶矩、对比度、相关性和熵这4 个特征值都可以用来区分皮棉与白色异性纤维,其中熵的区分效果最好;④提出基于改进的灰度共生矩阵棉花异性纤维分割算法. 该算法在保证分割精度的基础上比传统的GLCM 算法具有更好的实时性,可准确快速分割皮棉图像中的白色异性纤维.
/References:
[1]FENG Xian-ying,REN Chang-zhi,HUANG Yan-yun. An inspecting system for foreign fibers based on machine vision [J]. Journal of Shandong University Engineering Science,2006,36(4):5-8.(in Chinese)冯显英,任长志,黄燕云. 基于机器视觉的异性纤维检测系统[J]. 山东大学学报工学版,2006,36(4):5-8.
[2]GUO Cai-xia,YUAN Jian-chang,JIN Shou-feng. Recognition algorithm of the foreign fibers in cotton by BP neural networks [J]. Journal of Xi'an University of Engineering Science and Technology,2006,20(5):542-544. (in Chinese)郭彩霞,袁建畅,金守峰. 基于BP 网络的棉花中异性纤维识别算法[J]. 西安工程科技学院学报,2006,20(5):542-544.
[3] FENG Xian-ying,ZHANG Cheng-liang,YANG Bingsheng,et al. Foreign fiber recognition and detection algorithm based on RGB color space [J]. Journal of Shandong University Engineering Science,2009,39(5):68-72.(in Chinese)冯显英,张成梁,杨丙生,等. 基于RGB 颜色空间的异性纤维识别检测算法[J]. 山东大学学报工学版,2009,39(5):68-72.
[4]YANG Wen-zhu,LI Dao-liang,WEI Xin-hua,et al. Toward image segmentation of foreign fibers in lint [J].Transactions of the Chinese Society for Agricultural Machinery,2009,40(3):156-160.(in Chinese)杨文柱,李道亮,魏新华,等. 棉花异性纤维图像分割方法[J]. 农业机械学报,2009,40(3):156-160.
[5]YANG Wen-zhu,LI Dao-liang,WEI Xin-hua,et al. Selection of optimal band for detecting foreign fibers in lint cotton using spectroscopic analysis [J]. Transactions of the CSAE,2009,25(10):186-192.(in Chinese)杨文柱,李道亮,魏新华,等. 基于光谱分析的棉花异性纤维最佳波段选择方法[J]. 农业工程学报,2009,25(10):186-192.
[6]Haralick R M. Statistical and structural approaches to texture [J]. Proceedings of the IEEE,1979,67 (5):786-804.
[7] Hernandez B,Olague G,Hammoud R,et al. Visual learning of texture descriptors for facial expression recognition in thermal imagery [J]. Computer Vision and Image Understanding,2007,106(2):258-269.
[8]XIAO Wei-wei,ZHANG Li,ZHANG Ji-hong. A digital watermarking algorithm based on image texture [J]. Journal of Shenzhen University Science and Engineering,2003,20(3):27-32.(in Chinese)肖薇薇,张 力,张基宏. 基于图像纹理特性的数字水印算法[J]. 深圳大学学报理工版,2003,20(3):27-32.
[9]HUANG Jian-jun,YU Jian-ping. An approach to the selection of image segmentation algorithms [J]. Journal of Shenzhen University Science and Engineering,2000,17(4):21-26.(in Chinese)黄建军,喻建平. 一种图像分割算法的选择方法[J]. 深圳大学学报理工版,2000,17(4):21-26.
[10]SUN Jian-qing,WANG Gui-rong,HU Qiong,et al. Fast face detection combine both feature-based and image-based approach [J]. Application Research of Computers,2008,25(1):294-296.(in Chinese)孙见青,汪荣贵,胡 琼,等. 基于特征和基于图像相结合的快速人脸检测[J]. 计算机应用研究,2008,25(1):294-296.
[11]SONG Tie-qun. Analysis of remote sensing image texture based on MATLAB [J]. Geomatics & Spatial Information Technology,2009,32(2):71-74.(in Chinese)宋铁群. 基于MATLAB 的遥感影像纹理特征分析[J]. 测绘与空间地理信息,2009,32(2):71-74.
[12]WU Gang,TANG Zhen-min,CHENG Yong,et al. Object tracking method based on gray level co-occurrence matrix texture characteristic [J]. Journal of Nanjing University of Science and Technology,2010,34(4):459-463. (in Chinese)吴 刚,唐振民,程 勇,等. 灰度共生矩阵纹理特征的运动目标跟踪方法[J]. 南京理工大学学报,2010,34(4):459-463.
[13]Clansi D A,Jernlgau M E. A fast method to determine cooccurrence texture features [J]. IEEE Transactions on Geoscience and Remote Sensing,1998,36(1):298-300.
[14]Kandaswamy U,Adjeroh D A,Lee M C. Efficient texture analysis of SAR imagery [J]. IEEE Transactions on Geoscience and Remote Sensing,2005,3(9):2075-2083.
[15]ZHAO Ling-jun,QIN Yu-liang,GAO Gui,et al. Detection of built-up areas from high-resolution SAR images using the GLCM textural analysis [J]. Journal of Remote Sensing,2009,13(3):475-490.(in Chinese)赵凌君,秦玉亮,高 贵,等. 利用GLCM 纹理分析的高分辨率SAR 图像建筑区检测[J]. 遥感学报,2009,13(3):475-490.
[16]Ulaby F T,Kouyate F,Brisco B,et a1. Textural information in SAR images [J]. IEEE Transactions on Geoscience and Remote Sensing,1986,24(2):235-245.
[17]Baraldi A,Parmiggiani F. An investigation of the textual characteristics associated with gray level coocurance matrix statistical parameters [J]. IEEE Transactions on Geoscience and Remote Sensing,1995,33(2):293-304.
[18]BO Hua,MA Fu-long,JIAO Li-cheng. Research on computation of GLCM of image texture [J]. Acta Electronica Sinica,2006,34(1):155-158.(in Chinese)薄 华,马缚龙,焦李成. 图像纹理的灰度共生矩阵计算问题的分析[J]. 电子学报,2006,34(1):155-158.