基于改进亚像素边缘提取的一种异性纤维检测方法*

党士许　李　磊　张志鸿

(郑州大学信息工程学院　郑州　450001)



基于改进亚像素边缘提取的一种异性纤维检测方法*

党士许李磊张志鸿

(郑州大学信息工程学院郑州450001)

摘要为了提高异性纤维检测的时效、精确性,降低误检率,论文提出一种基于改进的亚像素边缘检测技术上的异性纤维检测方法,首先以多结构元素的改进的形态学算子对采集的图像进行像素级边缘提取,然后利用三邻域的非极大值抑制方法抑制初步提取时膨胀的边缘以及去除误检测的小范围棉花边缘,最后使用基于Zernike矩的亚像素边缘检测方法进行亚像素级细化检测。通过实验验证,文中的方法对各种常见噪声都具有抗噪滤噪能力强、计算速度快等优点,能够快速准确地识别高速棉流中的异性纤维,满足生产中异性纤维拣出的性能需求。

关键词棉花异性纤维; 数学形态学; 非极大值抑制; 亚像素; 边缘检测; Zernike矩

Class NumberTP391.41

1　引言

棉花由于采摘、运输等过程中的问题,往往存在各种异性纤维,其目标小、种类多,早期的棉纺行业中主要采用人工分拣法剔除异性纤维,检测结果主要依赖于分拣人员的主观意向,而且人工成本较高,人员的效率也是一个问题[1]。近年来机器视觉相关领域的高速发展,利用机器视觉相关技术在开松棉花的过程中对高速棉流进行异性纤维检测的方法逐渐发展。各国的相关领域专家学者对于图像识别技术在棉花异性纤维分拣中的应用都有所研究,这些研究的早期检测技术大多采用基于色差分析的方法或者采用灰度阈值法识别目标进行检测定位[2],此种方法需要分析大量数据,效率低下、误检率也较高,对于目前越来越追求高速高精度的检测,适用性不高。随后,丁天怀等选用红外光源照明,根据棉纤维与异性纤维的红外波段吸收特性来实现异性纤维识别,但其硬件需求复杂不易实现[3];李国辉等提出了基于不规则成像机器视觉的棉花白色异性纤维检测算法,对于白色纤维识别效果较好,但是有一定的局限性,在扩展到其他种类异性纤维上存在困难[4]。而随着图像处理技术中边缘检测技术的突飞猛进,使用边缘检测相关技术实现异性纤维检测迅速发展起来,林宁等的基于数字图像处理的棉花异性纤维检测研究,利用拉普拉斯算子相关进行处理,但拉普拉斯算子实现较为复杂,且对部分其他类型异性纤维处理效果不明显[5]。因此为了实现在各类异性纤维检测中都有较好的结果、降低棉花错误分检率,同时更要易于实现,本文提出了在一种改进的亚像素边缘检测技术上的异性纤维检测方法。

2　多结构元素形态学预处理

2.1形态学边缘检测算子

数学形态学是一种非线性的图像处理理论,以几何学为基础,着重研究图像的几何结构,利用一定形态的结构元素来度量和提取图像中对应的几何结构[6]。较传统的算法,形态学变换操作简单,运算快并且,数学形态学算子能在不破坏图像原有信息的基础上滤除噪声,这非常有利于进行图像分析,包括边缘检测[7]。

数学形态学的基本运算包括膨胀(⊕)、腐蚀(Θ)和开(∘)、闭(·),在这些运算上产生了3种典型的数学形态学边缘检测算子[8]:腐蚀型边缘提取算子、膨胀型边缘提取算子、膨胀腐蚀型边缘提取算子,这三种算子都是一种非线性差分算子,但是处理图像之后依然会有噪声存在。

对于形态学算子的改进,杨述斌等提出了一种改进的形态学边缘检测算子,假设E为结构元素,B为灰度图像,R为边缘提取结果[9]:

R(B)=(E∘B)⊕E-(E·B)ΘE

(1)

这种形态学算子已经有了较好的效果,可以有效抑制噪声,但是由于随机噪声的不确定性,检测结构元素单一并不能产生很好的效果,魏本征等在此基础上提出了一种使用十字形和交叉形两种形态学结构元素,然后进行加权组合的改进形态学梯度滤波算子[10]:

R1(B)=(E1∘B)⊕E1-(E1·B)ΘE1

(2)

R2(B)=(E2∘B)⊕E2-(E2·B)ΘE2

(3)

R(B)=α1R1(B)+α2R2(B)α1,α2为加权系数

(4)

2.2多结构元素改进形态学算子

在实际应用中,在生产环境下通过高速线阵3 CMOS(Complementary Metal Oxide Semiconductor)相机对高速棉流大量采样,共采样含有异性纤维的图片22000余张,通过对图片分析可以发现高速棉流中异性纤维的形态、结构等是多种多样的,较为普遍的异性纤维见图1。

图1　异性纤维形态图

魏本征等采用的两种形态学结构元素对形态学梯度滤波算子进行的改进,在这种情况下仅能适用于异性纤维呈现线性形态的几种异性纤维形态,对于一些非线性形态的几种异性纤维的检测效果不好,本文对其改进形态学算子做了进一步的改进,使算法具有更好的适用性。

本文考虑对结构元素从多结构、多尺度及多方向这三个方面来进行改进:对于结构元素的选取,应该尽可能使结构元素和图像待测形状相似,但是要小于待检测异性纤维的大小;结构元素的尺寸应该大于噪声大小,尺度也不能太大,因为结构元素的尺度正比于检测时间;同时使用多种结构元素进行组合增加检测到的细节,考虑到待测物的方向各异,选取的结构元素应考虑到方向性。最终测试使用三个结构元素,一个水平向E1、一个垂直向E2和一个近似空心圆形结构元素E3:

(5)

分别使用三个结构元素E1、E2、E3代入式(2)进行运算之后,对运算后得到的三个结果R1(B)、R2(B)、R3(B)赋予不同的权值α1、α2、α3之后,进行加权的融合计算,通过计算之后可以得到像素级的形态学边缘矩阵R(B):

R(B)=α1R1(B)+α2R2(B)+α3R3(B)

(6)

其中,α1,α2,α3为加权系数。

3　三邻域非极大值抑制

使用形态学相关的算子进行处理之后,必然会产生检测到的异性纤维边缘轮廓有一定的膨胀,这是由于形态学的基础理论使然;同时,在采样过程中,高速棉流图像会出现与背景融合度不高的现象,造成棉流图像的边缘值较大,在使用多结构元素形态学方法初步提取像素级边缘时可能会将部分高速棉流的边缘检测出来,这样会造成异性纤维的误检测。为了得到准确的异性纤维边缘,剔除误检测的小部分棉流边缘,因此需要对初步提取到的形态学边缘矩阵进行一定的处理,然后才能进行最后的细化检测。

N邻域的非极大值抑制处理可以有效地应对存在伪边缘的情况,由于已经提前做了一定的处理,一维的3邻域的非极大值抑制对形态学边缘矩阵进行处理就可以实现很好的效果。假定形态学边缘矩阵为I(W,H),式中W为图像矩阵宽度,H为图像矩阵高度,Temp(W,H)为临时数据矩阵,则如果当前点I(i,j)的值大于左侧的点I(i,j-1)以及右侧的点I(i,j+1),则该点为极大值点;如果当前点I(i,j)不满足同时大于左侧的点I(i,j-1)以及右侧的点I(i,j+1),当前点不为极大值点,则将其对应临时矩阵的值进行抑制。3邻域模板如下:

图2　3邻域模板

对形态学边缘矩阵为I(W,H)进行3邻域非极大值抑制算法如下:

算法11D 3邻域非极大值抑制

i←1,j←1;

whilei

ifI(i,j)>I(i,j+1) then

ifI(i,j)>I(i,j-1) then

Maximum At(I(i,j));

Temp(i,j)←I(i,j);

Temp(i,j+1)←0;

j=j+2;

else

Temp(i,j)←0;

Temp(i,j+1)←0;

j=j+2;

else

Temp(i,j)←0;

j=j+1;

经过3邻域非极大值抑制的方法,对于零星的检测到的边缘点进行抑制,同时对膨胀的边缘轮廓也进行了抑制,这样重新产生一个包含边缘信息的图像矩阵,然后再进行亚像素级的检测,就可以避免局部的零星高速棉流的边缘,有效降低检测的误差。

4　亚像素级边缘检测

在进行过三邻域非极大值抑制后,进行亚像素级边缘检测,获取更细化精确的边缘结果。亚像素级的边缘检测方法中综合考虑到执行的时效性和计算量,基于矩的方法中Zernike矩效果较为理想。

Zernike矩具有正交性,计算量较小,基于Zernike矩的亚像素边缘检测主要利用了Zernike矩的旋转不变性,通过三个Zernike矩Z00、Z11以及Z20计算出在理想边缘模型下检测边缘所需的4个参数:背景灰度值h、跃阶高度k、圆盘中心到边缘的垂直距离l和垂线与x轴的夹角φ[11]。

图3　理想边缘模

离散情况下7*7的Zernike矩Z00、Z11以及Z20的模板系数计算结果见表1～表4[12]。

表1　Z00的模板M00

表2　Z11实数模板M11

表3　Z11的虚数模板1

表4　Z20的模板M20

5　实验与结果分析

采样环境:在多家棉纺织厂区内,采用3 CMOS线阵相机,线速率为16180 Line/s,采样图像位宽3*8 bit,采样图片大小4096*50 pixel,使用标准Camlink接口连接图像采集卡进行图像存储。

实验环境为:Windows 7操作系统;CPU:Intel Core i5-3470 3.2GH;内存:4GB。

为了验证改进方法在检测异性纤维上的性能,使用Matlab R2012b编写相关算法,对采样得到的图片进行两组实验。

5.1检测效果

分别进行了三组实验进行对比检测,验证改进方法在各方面的效果。

第一组实验主要对比改进的形态学算子在处理噪声方面的效果,分别使用传统的Canny边缘检测算法、基于空间矩的亚像素边缘检测方法以及本文的改进形态学方法。

为了验证改进方法抗噪、滤噪的性能,首先对采样得到现场图片,分别添加了各种噪声,由于原图较大,取高速棉流中异性纤维相关部分放大如图4所示。

图4　高速棉流中异性纤维部分放大图片

检测效果如图5所示。

图5　对椒盐噪声检测效果对比图

对于加入椒盐噪声的图像,传统的Canny算法检测的效果受到噪声的影响较大,检测到较多的噪点,没有检测到清晰的异性纤维边缘;基于空间矩的亚像素方法已经能够检测到异性纤维边缘了,但是存在较多的噪点,噪点数目相对Canny算法有所减小;本文的改进形态学算子处理之后的检测效果不受椒盐噪声的影响,能够检测出清晰的异性纤维的边缘形状。

图6　对高斯噪声检测效果对比图

对于加入高斯噪声的图像,Canny算法检测的效果受到高斯噪声的影响很大,没有检测到边缘的存在,检测结果没有意义;基于空间矩的亚像素方法也受到了高斯噪声的一定影响,检测到模糊的边缘,噪点存留过多;本文的改进形态学算子处理之后的检测效果受到高斯噪声微弱影响,能够检测出清晰的异性纤维的边缘形状,但留存有少量的噪点。

图7　颗粒噪声检测效果对比图

对于加入颗粒噪声的图像,Canny算法检测的效果图像模糊,没有发现检测到的边缘;基于空间矩的亚像素方法检测到的边缘一侧模糊、不连续,存在大量噪点;本文的改进形态学算子处理之后的检测效果在处理颗粒噪声上相较其他方法有较好的效果,但是也检测到了部门噪点,且边缘连续性一般。

综合第一组对于三种不同噪声的检测效果对比图,可以验证多结构元素的改进性形态学算子在异性纤维检测中对于各类噪声都有很好的抗噪、滤噪能力,能够有效地提高后续异性纤维边缘细化检测的效果。

第二组实验主要目的验证三邻域非极大值抑制方法在消除噪点以及收缩形态学处理中膨胀边缘的效果,以添加了2%椒盐噪声之后的图片作为处理对象,在第一步处理中全部使用了改进的形态学算子,第二步进行区分,图8(a)不使用三邻域的非极大值抑制,直接进行亚像素级边缘检测,图8(b)使用了分别使用了三邻域的非极大值抑制后再进行亚像素级边缘检测。

最终的检测结果如图8所示。

图8第二组检测效果图

分析第二组效果图中图8(a)可以发现,在未经过三邻域非极大值抑制时,检测到的边缘图像相对与图8(b)有明显的膨胀,边缘周边及内部存在有离散的边缘点,而且图像中存在少量零星的噪点;图8(b)中的边缘则较为清晰,较为连续,没有噪点的存在。因此可以验证三邻域的非极大值抑制在异性纤维边缘检测过程中有较好的抑制膨胀边缘以及噪点的效果。

综合以上两组实验,改进性的方法在检测过程中结合多结构元素的改进形态学算子和三邻域非极大值抑制,再进行亚像素级边缘检测,最后检测到的异性纤维的边缘形状基本吻合实际异性纤维形状、轮廓清晰,检测效果很好。通过对大量检测结果的统计对比,在高速棉流中对异性纤维的误检率较低。

5.2时间效率

在算法的执行时间效率上,对多副图像分别使用了以下几种算法执行检测,传统的Canny算法使用Matlab内置函数,基于空间矩的亚像素检测使用Spatial 5*5的模板进行,最小二乘法拟合通过编程实现,通过多次运行统计出每种算法的平均执行时间,比对如表5所示。

表5　几种边缘检测算法对比

从表中可以发现,本文的方法在执行时间上与基于空间矩的方法时间上相差较小,但是本文的方法检测效果要优于基于空间矩的检测方法;对比其他算法,在时间效率上具有优势,较其他方法的检测时间短。本文这种方法的时间效率在实际的工业应用中也是可以接受的。

6　结语

本文通过分析高速棉流中的异性纤维的形态,针对性的研究出三个不同的形态学结构元素融合进行改进的形态学边缘检测算子,然后再经过三邻域的非极大值抑制的方法抑制形态学检测后的膨胀边缘以及去除初步检测中的检测误差产生的噪点,最后使用了基于Zernike矩的亚像素检测方法进行亚像素级的边缘检测。经过实验验证这种改进的处理方法十分有效,很好地结合了改进的形态学算子与非极大值抑制、Zernike矩的优点,具备了较强的抗噪性,计算量较小且又具有亚像素级的精确定位能力,检测出的异性纤维边缘较为准确,对于异性纤维的误检率较低。

本文的检测方法也有一定的局限性,这种检测方法对于硬件环境有一定的要求,高速相机在采图中使用的背景板要求与棉花的图像融合度比较高,可以考虑在后续的改进中加入FPGA芯片进行一定的图像处理,去除对采图环境的外界依赖。

参 考 文 献

[1] 赵龙河.纺纱过程中捡除异性纤维的生产实践[J].上海纺织科技,2013,41(5):7-9.

ZHAO Longhe. The production practice of picking foreign fibers in the spinning process[J]. Shanghai Textile Science & Technology,2013,41(5):7-9.

[2] 杨文柱,李道亮,魏新华,等.棉花异性纤维图像分割方法[J].农业机械学报,2009,40(3):156-160,171.

YANG Wenzhu, LI Daoliang, WEI Xinhua, et al. Foreign cotton fiber image segmentation method[J]. Transactions of the Chinese Society of Agricultural,2009,40(3):156-160,171.

[3] 李国辉,苏真伟,夏心怡,等.基于不规则成像机器视觉的棉花白色异性纤维检测算法[J].农业机械学报,2010,41(5):164-167.

LI Guohui, SU Zhenwei, XIA Xinyi, et al. The whit e foreign cotton fiber detection based on irregular imaging machine vision[J]. Transactions of the Chinese Society of Agricultural,2010,41(5):164-167.

[4] 师红宇,管声启,吴宁.棉花中异性纤维的图像多分辨率差分检测方法[J].纺织学报,2014,35(5):13-18.

SHI Hongyu, GUAN Shengqi, WU Ning. The multi-resolution image difference detection method of foreign cotton fiber[J]. Journal of Textile Research,2014,35(5):13-18.

[5] 刘锋,苏真伟,乔丽.基于线激光截面成像的棉花白色异性纤维检测方法[J].农业机械学报,2013,44(3):215-218,256.

LIU Feng, SU Zhenwei, QIAO Liang. The white foreign cotton fiber detection method based on line laser cross-sectional imaging[J]. Transactions of the Chinese Society of Agricultural,2013,44(3):215-218,256.

[6] 张美静,石振刚.改进形态学梯度的样条插值亚像素边缘检测方法[J].沈阳理工大学学报,2012,31(3):19-23.

ZHANG Meijing, SHI Zhengang. Improved morphological gradient spline interpolation sub-pixel edge detection method[J]. Journal of Shenyang Li Gong University,2012,31(3):19-23.

[7] 闫丽丽,许长辉,高井祥,等.基于数学形态学细化算子的改进Canny算法研究[J].测绘科学,2010,35(2):82-84.

YAN Liangliang, XU Changhui, GAO Jingxiang, et al. The improve Canny algorithm based on refinement operators of mathematical morphology[J]. Science of Surveying and Mapping,2010,35(2):82-84.

[8] 范立南,张广渊,韩晓微.图像处理与模式识别[M].北京:科学出版社,2007:55-94.

FAN Linan, ZHANG Guangyuan, HAN Xiaowei. Image Processing and Pattern Recognition[J]. Beijing: Science Press,55-94.

[9] 李雪林,彭斯俊,宋晓丽.基于彩色形态学的图像边缘检测算法[J].武汉理工大学学报:信息与管理工程版,2014,36(1):14-17,24.

LI Xuelin, PENG Sijun, SONG Xiaoli. The image edge detection algorithm based on color morphological[J]. Journal of Wuhan University of Technology: Information and Management Engineering Edition,2014,36(1):14-17,24.

[10] 魏本征,赵志敏,华晋.基于改进形态学梯度和Zernike矩的亚像素边缘检测方法[J].仪器仪表学报,2010,31(4):838-844.

WEI Benzheng, ZHAO Zhimin, HUA Jin. The subpixel edge detection method based on improved morphological gradient and Zernike moments[J]. Chinese Journal of Scientific Instrument,2010,31(4):838-844.

[11] 许光明,吴昭,周春兰,等.基于视觉的零件尺寸测量[J].工业控制计算机,2015,28(4):111-113.

XU Guangming, WU Zhao, ZHOU Chunlan, et al. The measurement of part dimensions based on machine vision[J]. Industrial Control Computer,2015,28(4):111-113.

[12] 张美静.亚像素边缘检测技术研究[D].沈阳:沈阳理工大学,2013.

ZHANG Meijing. Subpixel edge detection technology research[D]. Shenyang: Shenyang LiGong University,2013.

收稿日期:2015年10月13日,修回日期:2015年12月3日

作者简介:党士许,男,硕士研究生,研究方向:智能化信息处理。李磊,男,博士,研究方向:计算机网络。张志鸿,男,教授,研究方向:智能化信息处理。

中图分类号TP391.41

DOI:10.3969/j.issn.1672-9722.2016.04.008

A Foreign Fiber Detection Method Based on an Improved Sub Pixel Edge Detection

DANG ShixuLI LeiZHANG Zhihong

(College of Information Engineering, Zhengzhou University, Zhengzhou450001)

AbstractTo improve the accuracy of detecting foreign fibers and the time efficiency, reduce the false detection rate, a foreign fiber detection method based on improved sub pixel edge detection is proposed. At first the captured images from camera is preprocessed through an improved morphology operator, acquire preliminary marginal texture detailed images on the pixel level. Then three neighborhood non-maximum suppression method is used to remove small area cotton edge with detection errors. Finally thinning detection is conducted by sub pixel edge detection method based on Zernike moment. The experiment proves that this method has powerful noise resistance and denoising ability, fast calculation and other advantages, it can quickly and accurately identify foreign fiber in high-speed cotton flow and meet the performance requirements in actual production.

Key Wordscotton foreign fiber, morphology, sub pixel, non-maximum suppression, edge detector, Zernike moment