应用区域颜色分割的机采棉杂质检测方法

张成梁，李 蕾，董全成，葛荣雨

(1. 济南大学 机械工程学院，山东 济南 250022；2. 齐鲁工业大学 机械与汽车工程学院，山东 济南 250353)



应用区域颜色分割的机采棉杂质检测方法

张成梁1，李 蕾2，董全成1，葛荣雨1

(1. 济南大学 机械工程学院，山东 济南 250022；2. 齐鲁工业大学 机械与汽车工程学院，山东 济南 250353)

机采棉中的杂质繁杂，而杂质类型及含量对后期棉花加工工艺的影响很大。为此，提出一种应用区域颜色分割方法以检测棉花中的杂质。在图像分割中，先对滤波后的机采棉图像进行彩色梯度运算，通过扩展极小变换运算获得标记图像，在修改后的梯度图像上运用分水岭算法获得初始分割图像，然后对初始分割图像进行区域合并。区域合并过程中要综合考虑空间邻接性、颜色信息和区域面积3个因素。颜色信息主要采用饱和度、亮度、区域颜色向量模及颜色相似度4个特征量。用层次递进的合并方法，迭代过程更新信息特征。最后通过支持向量机算法提取颜色、纹理、形状特征对杂质区域进行识别。结果表明，所提方法对机采棉中天然杂质的平均识别率为94%。

机采棉；图像分割；杂质识别；标记分水岭；区域合并；颜色特征

随着农业现代化程度的提高，机械采摘棉花成为主流趋势[1]。相对于手摘棉，机采棉杂质种类多，含量高，为保证棉花质量，棉花加工过程中多级清杂环节显得尤为重要。通过机采棉图像判定机采棉中的含杂率，可为棉花加工工艺提供有利的指导[2],直接影响皮棉加工质量，进而影响纺纱及印染工艺。图像分割是机采棉图像处理的前提和基础，分割的好坏直接影响后续处理效果，图像分割不准确会导致棉花杂质识别难度大，甚至造成错误判别。目前对棉花杂质的研究大都集中在棉花中异性纤维的分割识别方面，为纺纱过程的开清棉工序提供除杂检测依据。检测方法包括X光断层扫描像、紫外光谱分析、可见光拍照等[3-4]，图像分割方面主要使用阈值分割等方法[5-6]。而对于机采棉中的叶屑、棉枝、铃壳、僵瓣、尘杂等天然杂质在加工过程中的检测研究相对较少[7-8]。

图像分割方法目前大致分为阈值分割法、边缘分割法和区域分割法3大类。其中，区域分割法以区域的一致性作为准则对图像进行区域划分，将感兴趣的区域提取出来做进一步处理。相对阈值分割和边缘分割法，区域分割法抗噪能力强，鲁棒性好[9]。机采棉杂质繁杂，为更好地对机采棉杂质进行分类识别，便于机采棉加工中有针对性的清杂处理，本文提出一种基于区域颜色信息分割的机采棉杂质检测方法。为避免在梯度图像上直接用分水岭变换产生的严重过分割现象，首先通过扩展极小变换运算得到标记图像，在标记图像修正后的梯度图像上运用分水岭算法对其进行初始分割；然后将初始分割后的区域作为处理的基本单元，在综合考虑图像的空间邻接性、颜色信息以及区域面积等因素的影响下完成区域合并操作；最后提取独立完整杂质区域的颜色、纹理、形状特征，利用支持向量机(SVM)方法完成杂质识别过程。

1 试验材料与装置

试验材料为新疆农八师149团新陆早59号机采棉，其中含有叶屑、枝条、铃壳、僵瓣、尘杂等天然性杂质。图像采集装置(如图1所示)主要包括储棉装置、石英玻璃板、光源、光源支架、工业相机、相机支架、暗室、防护罩和电脑。采集图片时，将机采棉存放在储棉装置中，并将其压在石英玻璃板上进行拍摄。相机选用维视MV-EM510C/M型彩色面阵工业CCD相机，分辨率为2 456像素×2 058像素，CCD尺寸为16.9 mm，GigE千兆以太网输出；M0824-MPW2工业镜头的焦距为8 mm；照明光源为4段条形LED漫射光源AFT-WL21244-22W，AFT-ALP2430-02光源控制器。拍摄装置实物如图2所示。

注：1—储棉装置；2—石英玻璃板；3—光源；4—光源支架；5—工业相机；6—相机支架；7—暗室；8—防护罩；9—电脑。图1 图像采集装置Fig.1 Image acquisition device

图2 拍摄装置实物照片Fig.2 Photo of shooting device

2 机采棉含杂图像处理

2.1 算法控制流程

本文结合标记分水岭算法和基于颜色信息的区域合并算法对机采棉杂质进行分割。对图像进行中值滤波，得到滤波后的彩色梯度图像，利用扩展极小变换运算得到标记图像，采用形态学强制最小运算修正梯度图像，并采用分水岭变换得到初始分割图像，在此基础上合并初始分割图像区域。首先，建立区域邻接关系表，通过亮度阈值和颜色相似性对相邻区域进行初始合并；然后，采用饱和度阈值和亮度阈值对图像中的僵瓣等区域进行合并，过程中将深色杂质与浅色杂质分别独立进行合并；最后，利用饱和度阈值和区域向量模对暗色特征的棉花区域完成最终合并。

图像分割完成后，标记杂质类型，包括棉枝、棉叶、铃壳、僵瓣和尘杂，计算各区域的颜色特征、形状特征和纹理特征，构造11维特征向量，训练SVM识别模型，利用建立的模型完成图像杂质的分类识别。具体算法流程如图3所示。

图3 机采棉图像杂质分割流程图Fig.3 Flow chart of machine-harvested cotton impurities segmentation

2.2 图像初始分割

分水岭算法是一种形态学分割方法，运算简单，但由于噪声以及图像本身纹理细节的存在，图像含有大量的伪极小值，造成分水岭严重的过分割[10]。为抑制过分割现象，本文参考文献[11]的标记分水岭分割方法对图像进行初始分割，分割步骤如下。

1) 首先对图像进行滤波预处理。采用彩色图像向量直接求取梯度图像，在此基础上，引入扩展极小变换(H-minima)运算进行极值标记。比较给定的阈值h，从而限制局部极小值点数目。梯度图像经过深度阈值为h的扩展极小变换运算，即：

(1)

式中：▽f为彩色梯度图像；▽fmark为标记图像；Hmin(·)表示形态学H-minima运算；h表示深度阈值。

2) 在标记图像基础上，通过形态学强制最小运算修正梯度图像，仅在被标记位置出现局部极小区域。修正梯度图像▽fws为

(2)

式中IMmin(·)表示形态极小值标定操作。

3) 在修正后的梯度图像上进行分水岭分割运算，得到机采棉的初始分割图像fws，即：

fws=WST(▽fws)

(3)

式中WST(·)表示分水岭分割操作算子。

2.3 图像区域合并

通过标记分水岭方法得到的初始分割图像中仍然存在许多过分割区域，需要对这些区域进行合并。在合并时，本文综合考虑区域间的空间邻接性、颜色相似度和区域面积等3方面因素。为提高分割准确度，合并过程中采用层层递进多次合并的方法，合并过程迭代更新区域空间邻接性、颜色特征和区域面积等信息。

2.3.1 空间邻接性判定

空间邻接性表示区域间的相邻关系，只有相邻的区域在满足条件的情况下才能进行合并操作。具体操作时，将图像初分割后的图块进行区域标记，使用邻接关系表的形式表示各区域间的相邻关系[12]。如图4所示，假设图像中存在A、B、C、D、E、F等6个分割区域，需要对该图像根据空间邻接性进行区域合并操作。

（三）仅注重软件的操作和结果的分析，却忽视了对统计原理的深度分析和统计思想的逐步渗透，理论讲授不够立系统、深入和立体。

图4 图像分割区域示意图Fig.4 Image segmentation region sketch map

据此建立的邻接关系如表1所示。计算时，首先根据邻接关系表中的数字“0”或“1”判断2个区域是否为相邻区域，若相邻，再根据区域颜色信息进一步判断是否能够合并。在2个符合判别条件的相邻区域合并过程中，根据分水岭脊线上像素点八邻域的标记数统计情况，完成2个区域标记数字的统一及分水岭脊线的消除操作。

通过编程实现合并过程的迭代运算，随着迭代过程的进行，算法更新分割区域图与邻接关系表，同时更新合并后新区域的颜色信息。

2.3.2 区域颜色信息特征选取

颜色信息特征是机采棉图像区域间相似性判定的关键因素。机采棉图像中，棉花和杂质颜色信息复杂，可采用阈值法和颜色相似性函数判别完成相邻区域间的合并。机采棉图像背景多变，目标信息易混淆，比如棉花可能掩盖杂质，僵瓣的颜色信息复杂，籽棉团之间的间隙呈现暗色棉花区域等。实验发现，将RGB空间与HSI空间的颜色信息相结合对机采棉图像分割更为有效。

表1 邻接关系表Tab.1 Adjacent relation table

注：“1”表示2个区域邻接；“0”表示不邻接。

机采棉图像中，利用HSI颜色空间的饱和度S和亮度I特征区分棉纤维与杂质效果较好。从实验统计数据中得出：杂质饱和度比棉花普遍高；棉花亮度比杂质偏高；由于机采棉图像中色彩区别不显著，色调H的规律性较弱，因此不采用色调H特征。

在RGB空间中，主要采用颜色相似性srgb和区域颜色向量模Mrgb2个特征。在区域合并时，相对于面积差异大的区域，面积相近的2个区域对颜色差异要求更小；同时，在2个区域面积相近的情况下，区域面积和越大，对颜色差异要求更小。本文在充分考虑区域面积因素的基础上建立颜色相似度特征srgb，公式[13]为

(4)

式中：srgb表示i区域和j区域的相似度；Ri、Gi、Bi、Rj、Gj、Bj分别表示第i、j个区域的三基色平均像素值；ri、rj表示i区域和j区域的面积。

区域颜色向量模为

(5)

2.4 杂质识别模型

在分类识别方面，SVM方法解决了有限数量样本的高维模型构造问题，同时具有良好的预测能力，具有较好的泛化和推广能力[14-15]。本文选用SVM对分割后的机采棉含杂图像进行杂质种类识别。

表2 区域颜色特征值部分数据统计表Tab.2 Part data statistics of region color feature value

2.4.1 识别特征选择

对SVM分类器的训练和测试，需要对分割后的图像提取特征向量，在图像分割阶段已经提取了机采棉图像杂质区域特征的S、I及Mrgb，在此基础上，本文增加了形状特征和纹理特征作为SVM识别的特征向量。

形状方面采用面积、周长、离心率以及矩形度4个特征量。面积用同一标记区域中像素数表示；周长用图形区域外边界的相邻2像素之间的距离和表示；离心率即区域形状接近圆形的程度；矩形度用杂质区域图的最小外接矩形面积与其面积之比表示。

纹理方面采用基于灰度直方图的平均亮度、平均对比度、一致性和熵4个特征量。平均亮度为图像中所选择区域的亮度均值；平均对比度为图像中所选择区域的亮度标准偏差；一致性用于度量像素值的一致性，当所有灰度值相等时，该值最大；熵用于度量像素值的随机性。

2.4.2 核函数选取及参数确定

SVM算法中核函数的使用解决了维数灾难问题，线性核函数、多项式核函数、径向基核函数(RBF)和Sigmoid核函数为常用核函数。其中，RBF核函数应用最广泛，各方面性能均表现稳定。本文选用RBF作为SVM的核函数。

使用RBF核函数需要确定惩罚因子C和核函数参数γ。为避免参数选择的盲目性，本文采用LIBSVM-FarutoUltimate工具箱提供的网格参数寻优方法，确定最优参数值组合[16]。

3 结果与分析

机采棉典型图像的实例分割结果如图5所示，各方法对应的图像分割线如图6所示。

图5 机采棉典型图像实例分割结果Fig.5 Case segmentation results of typical image. (a) Original image; (b) Filtered image; (c) Watershed segmentation image; (d) Modified gradient image; (e) Segmentation image using marked watershed algorithm; (f) Primary iteration image; (g) Secondary iteration image; (h) Ternary iteration image; (i) Segmentation image using Otsu algorithm; (j) Segmentation image using Canny operator

图6 机采棉典型图像各方法分割线Fig.6 Typical image split line of each method. (a) Segmentation image using marked watershed algorithm; (b) Primary iteration image; (c) Secondary iteration image; (d) Ternary iteration image; (e) Segmentation image using Canny operator

图5(a)为典型实例原始图像，图5(b)为对原图像中值滤波后图像，由于图像包含尘杂等比较细小的杂质，需要用小窗口滤波。图5(c)为直接在其彩色梯度图像上运用分水岭算法得到的分割图像，可看到过分割现象非常严重。为消除过分割现象，利用极小值扩展运算得到标记图像后，运用强制最小运算得到修正梯度图像如图5(d)所示。对修改后的梯度图像进行分水岭运算得到初始分割图像如图5(e)所示，分割线如图6(a)所示。由图可看到图像中杂质边界十分清晰，但仍有过分割现象，在此基础上需要进行区域合并。首先利用亮度阈值和颜色相似度特征对图像进行初始合并，得到图5(f)，分割线如图6(b)所示。从图中可看出较浅的棉花区域以及较深的枝条、棉叶等杂质合并完整，僵瓣及铃壳部分区域仍有很多区域没有合并。然后利用饱和度阈值和亮度阈值对图像中的僵瓣、铃壳等区域进行合并，如图5(g)所示，分割线如图6(c)所示，僵瓣和铃壳浅色区域完成合并，部分暗色棉花区域仍没有合并。最后用区域颜色向量模和饱和度阈值将暗色棉花区域合并，如图5(h)所示，分割线如图6(d)所示，可看出：机采棉图像中铃壳、僵瓣、枝条、叶屑等杂质分割完整，边界清晰，整体效果理想；铃壳的两面由于颜色信息差别很大，将其分成2个部分，机采棉图像分割区域最终合并完成。

为对比分割效果，使用Otsu算法得到的分割图像如图5(i)所示，该方法可将较深颜色杂质分割清楚，但是边缘不准确，对僵瓣、铃壳区域提取不完整，暗色棉花与尘杂存在误判情况，该方法是对图像进行阈值处理，没有分割线可提起。使用Canny算子得到的分割图像如图5(j)所示，分割线如图6(e)所示，僵瓣和铃壳分割误差较大，且Canny算子不能将边缘封闭。由此可见，本文算法对于僵瓣、铃壳以及暗色棉花区域抗噪能力更强，准确度更高。

分别用本文方法和Otsu-SVM方法对80张新疆农八师149团新陆早59号机采棉含杂图片进行图像分割、杂质识别操作，各杂质的识别准确率如表3所示。

表3 各类杂质识别准确率Tab.3 Recognition accurate ratio of impurities

分别通过人眼识别图片杂质与本文方法进行比较，统计杂质个数，计算识别准确率。由于Otsu图像分割的边界偏差大，区域内同类杂质的颜色特征、纹理特征一致性差，区域形状特征不明显，导致识别率不高。本文方法对铃壳、僵瓣、枝条、叶屑杂质区域的分割准确，识别率显著提高，整体效果理想。由于杂质间的重叠及棉花纤维的掩盖，且尘杂的面积较小，有些人眼可观察到的尘杂识别较为困难，因此尘杂识别率相对较低。

4 结 论

本文提出一种基于区域颜色信息特征的机采棉天然杂质分割方法。为抑制过分割现象，通过扩展极小变换运算，采用标记分水岭算法得到初始分割图像。建立颜色相似度函数，选取饱和度、亮度、区域颜色向量模作为区域颜色特征。合并过程中利用多次合并方法，迭代过程更新特征信息，使得算法准确度高，抗噪能力强。通过SVM提取多维特征向量，对机采棉分割后图像进行杂质识别。试验结果表明，对于机采棉中的僵瓣、铃壳、枝条、叶屑、尘杂等天然杂质，本文方法可获得94%的平均识别率。

FZXB

[1] 田景山, 王文敏, 王聪, 等. 机械采收方式对新疆棉品质的影响[J]．纺织学报, 2016, 37(7):13-17. TIAN Jingshan, WANG Wenmin, WANG Cong, et al. Effect of cotton mechanical picking on fiber qualities in Xinjiang[J]. Journal of Textile Research, 2016, 37(7):13-17.

[2] 徐红, 曹吉强, 叶伟, 等. 锯齿式皮棉清理对机采棉性能的影响[J]. 纺织学报, 2014, 35(1): 35-39. XU Hong, CAO Jiqiang, YE Wei, et al. Influence of saw type lint cleaning on performance of machine stripped cotton[J]. Journal of Textile Research, 2014, 35(1): 35-39.

[3] PAI A, SARI-SARRAF H, HEQUET E F. Recognition of cotton contaminants via X-ray microtomographic image analysis[J]. IEEE Transactions on Industry Applications, 2004, 40(1): 77-85.

[4] MUSTAFIC A, LI C, HAIDEKKER M. Blue and UV LED-induced fluorescence in cotton foreign matter[J]. Journal of Biological Engineering, 2014, 8(1): 8-29.

[5] YANG Wenzhu, LI Daoliang, ZHU Liang. A new approach for image processing in foreign fiber detection[J]．Computers and Electronics in Agriculture, 2009, 68(1): 68-77.

[6] 阚道宏, 李道亮, 杨文柱, 等. 棉花异性纤维图像在线分割方法[J]. 农业工程学报, 2010, 26(增刊2): 11-15. KAN Daohong, LI Daoliang, YANG Wenzhu, et al. Cotton image segmentation method for online foreign fiber inspection[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 26(S2): 11-15.

[7] 张成梁, 李蕾, 董全成, 等. 基于颜色和形状特征的机采棉杂质识别方法[J]. 农业机械学报, 2016, 47(7): 28-34. ZHANG Chengliang, LI Lei, DONG Quancheng, et al. Recognition method for machine-harvested cotton impurities based on color and shape features[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(7): 28-34.

[8] WANG X, YANG W, LI Z. A fast image segmentation algorithm for detection of pseudo-foreign fibers in lint cotton[J]. Computers & Electrical Engineering, 2015, 46: 500-510.

[9] 许凯, 秦昆, 黄伯和, 等. 基于云模型的图像区域分割方法[J]. 中国图象图形学报, 2010, 15(5): 757-763. XU Kai, QIN Kun, HUANG Bohe, et al. A new method of region based image segmentation based on cloud model[J]. Journal of Image and Graphics, 2010, 15(5): 757-763.

[10] 周慧, 张华熊, 胡洁, 等. 基于平滑滤波和分水岭算法的重组织织物图像分割[J]. 纺织学报, 2015, 36(8): 38-42. ZHOU Hui, ZHANG Huaxiong, HU Jie, et al．Backed weave image segmentation based on smoothing filter and watershed algorithm[J]. Journal of Textile Research, 2015, 36(8): 38-42.

[11] 高丽, 杨树元, 李海强. 一种基于标记的分水岭图像分割新算法[J]. 中国图象图形学报, 2007, 12(6): 1025-1032. GAO Li, YANG Shuyuan, LI Haiqiang. New unsupervised image segmentation via marker-based watershed[J]. Journal of Image and Graphics, 2007, 12(6): 1025-1032.

[12] 李占波, 杨二伟, 李进文. 基于改进分水岭和区域合并的彩色图像分割[J]. 计算机工程与设计, 2014, 35(7): 2458-2461. LI Zhanbo, YANG Erwei, LI Jinwen. Color image segmentation based on improved marked watershed transform and region merging[J]. Computer Engineering and Design, 2014, 35(7): 2458-2461.

[13] 卢中宁, 强赞霞. 基于梯度修正和区域合并的分水分割算法[J]. 计算机工程与设计, 2009, 30(8): 2075-2077. LU Zhongning, QIANG Zanxia. Watershed segmentation based on gradient modification and region merging[J]. Computer Engineering and Design, 2009, 30(8): 2075-2077.

[14] KORKMAZ S A, POYRAZ M. Least square support vector machine and minumum redundacy maximum relavance for diagnosis of breast cancer from breast microscopic images[J]. Procedia-Social and Behavioral Sciences, 2015, 174(3): 4026-4031.

[15] 周植宇, 杨明, 薛林继, 等. 一种基于高斯核支持向量机的非结构化道路环境植被检测方法[J]. 机器人, 2015, 37(6): 702-707. ZHOU Zhiyu, YANG Ming, XUE Linji, et al. Vegetation detection approach based on Gaussian kernel support vector machine in unstructured road environ-ment[J]. Robot, 2015, 37(6): 702-707.

[16] CHANG C C, LIN C J. LIBSVM: a library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology, 2011, 2(3): 389-396.

Detection method for machine-harvested cotton impurities based on region color segmentation

ZHANG Chengliang1，LI Lei2，DONG Quancheng1，GE Rongyu1

(1.SchoolofMechanicalEngineering，UniversityofJinan,Jinan,Shandong250022,China；2.SchoolofMechanical&AutomotiveEngineering,QiluUniversityofTechnology,Jinan,Shandong250353,China)

Machine-harvested cotton impurities are complicated. It is important to detect the type and content of impurities for adjustment of the processing technique of cotton. An impurity detection method based on region color segmentation was presented. During image segmentation stage color gradient image was obtained based on filtered image firstly. Marking image was achieved by H-minima transform, and initial segmentation image was acquired based on modified gradient image by watershed algorithm. Then region merging was conducted for initial segmentation image. Region adjacency, region color feature and region area were considered for region merging. Region color features such as saturation, intensity, region color vector module and color similarity were used. Repeated merging was adopted, and information of color feature was updated in different merging. Finally various features including color, texture and shape were extracted by support vector machines algorithm for impurity recognition. Experimental results show that a successful recognition ratio of 94% for natural impurities is achieved.

machine-harvested cotton；image segmentation；impurity recognition；marker-controlled watershed；region merging；color feature

10.13475/j.fzxb.20160906707

2016-09-30

2017-04-12

国家自然科学基金项目(51305164，51405194)；山东省重点研发计划项目(2016GNC110025)

张成梁(1983—)，男，讲师，博士。主要研究方向为图像检测识别、智能仪器仪表以及优化控制研究等。E-mail:me_zhangcl@ujn.edu.cn。

TP 391.41

A