融合局部纹理特征的颗粒图像SLIC超像素分割方法

李啸宇 张秋菊

(1. 江南大学机械工程学院，江苏 无锡 214122； 2. 江苏省食品先进制造装备与技术重点实验室，江苏 无锡 214122)

融合局部纹理特征的颗粒图像SLIC超像素分割方法

李啸宇1,2张秋菊1,2

(1. 江南大学机械工程学院，江苏 无锡 214122； 2. 江苏省食品先进制造装备与技术重点实验室，江苏 无锡 214122)

将SLIC超像素分割的方法引入颗粒图像检测的分割过程中，将颗粒图像分割成感兴趣的超像素块，可降低后续图像处理过程的复杂度。由于SLIC超像素分割在聚类过程中计算相似度时没有考虑图像的纹理特征，一定程度上会影响颗粒目标外轮廓分割的细节。利用CRLBP局部纹理算子纹理特征，改进SLIC分割中聚类相似度的计算，并按照符合颗粒形状的圆形邻域搜索相似点，保证了分割速度。通过对棉种颗粒图像的分割试验，与传统分水岭算法和SLIC超像素算法进行比较，结果表明改进的SLIC超像素分割方法能更有效地分割出颗粒目标。

颗粒图像；超像素分割；SLIC；局部纹理算子；CRLBP

在农业生产过程中，经常需要对颗粒状农产品进行视觉检测与品质分选[1]。由于颗粒图像中目标物体数量多，图像处理工作量大，所以快速而精确的图像分割是正确在线视觉检测分类的前提。颗粒状物体图像中还会经常出现颗粒相互黏连重叠的情形，这对于颗粒图像的分割带来一定的困难。最常用的颗粒图像分割方法一般运用形态学中的极限腐蚀与膨胀的方法或距离变换[2]的方法。但是这类算法计算量大、耗时长、占用内存空间大，存在过分割的现象，分割结果与颗粒目标的外轮廓有一定差异，无法实际运用到在线分类的场合。

超像素的概念是指具有相似纹理、颜色、亮度等特征的相邻像素组合构成的图像块。运用各像素特征的相似程度将像素分组，获取图像的冗余信息，以减少后续图像处理的复杂度。超像素分割可分为基于图论的方法和基于梯度上升的方法两大类。基于图论的方法则主要把图像看作带权无向图，图中的每个像素对应一个节点，边权值对应像素间的相似性或者差异，利用分割准则对图像节点进行分类，完成对图像的分割。基于图论的方法主要有归一化分割(normalized cuts)方法[3-4]、基于图的分割(graph-based)方法[5]和超像素网格(superpixel lattice)的方法[6]。基于梯度上升的方法主要采用了聚类的思想方法，通过迭代聚类直至收敛，得到分割结果。基于梯度上升的方法主要有分水岭(watersheds)方法[7]、MeanShift方法[8]、QuickShift方法[9]、TurboPixels方法[10]和SLIC(simple linear iterative clustering)方法[11]。SLIC 算法是基于颜色和距离相似性的超像素分割，该方法主要使用局部计算比较和快速聚类，可以产生大小均匀和形状规则的超像素，一般情况下具有良好的分割效果。

SLIC超像素分割只考虑了图像的空间和色彩信息，没有利用图像纹理特征。本研究针对颗粒图像提出一种融合局部纹理特征的SLIC图像分割方法，利用简单的CRLBP局部纹理算子纹理特征，按照符合颗粒形状的圆形邻域进行搜索相似点，以更为有效地分割出所感兴趣的颗粒目标群体。

1 SLIC超像素分割

SLIC超像素分割是一种高效简单并且易于实现的分割算法，其相比于其他超像素算法能够更加有效地利用存储空间，呈现出更好的分割边缘贴合度，生成紧凑均匀的超像素，有效提高了分割算法的性能。SLIC超像素分割是K-means聚类算法的改型，主要思想是将彩色图像转换为CIELAB颜色空间，提取CIELAB色彩与空间坐标的5维特征向量并构造特征向量的相似度衡量标准，而后以此对图像像素进行局部聚类。SLIC超像素分割的具体步骤为：

(2) 计算相似度。计算图像中每个像素点和与其距离最近的聚类中心之间的相似度，将最相似聚类中心的标签赋予该像素。通过多次迭代上述过程进行聚类收敛，而相似度的表达式[11]为：

(1)

(2)

(3)

式中：

dc——像素点间的颜色差异；

ds——像素点间的空间距离；

D′——两个像素的相似度；

i——聚类中心标签；

j——对应聚类中心i的2S×2S大小邻域的像素坐标的一维索引值；

Nc——像素点间的色彩最大距离；

Ns——像素点间的空间最大距离。

(4)

m的取值可用于平衡色彩相似度和空间相似度之间的比重关系。D取值越小则表示两个像素越相似。

图1 SLIC图像分割效果

2 CRLBP纹理特征表述

纹理特征的描述方法大致可以分为统计方法、结构方法、模型方法和局部算子方法四类。而局部算子方法LBP(localbinarypattern)算子[12]是一种用于描述图像局部纹理特征的算子，该算子计算简单并具有很强的纹理表述能力。后续相继出现了大量改进LBP算法，具有代表性的有自对称的LBP算子(CS-LBP)[13]，主要LBP算子(dominantLBP)[14]、局部三值模式算子(localternarypattern，LTP)[15]和完备的LBP算子(completedLBP)[16]等。本文采用完备鲁棒的CRLBP[17]纹理特征表述方式，来描述局部纹理算子。CRLBP算子作为LBP算子的改进方法，不但继承了LTP和CLBP的优点，而且解决了LTP和CLBP的缺陷，提高了LBP算子的对于亮度、旋转和噪声的鲁棒性。

2.1RLBP(robustlocalbinarypattern)纹理特征描述

首先，为了提高局部纹理算子的鲁棒性，定义一个对噪声不敏感的局部平均灰度AL作为阈值，具体定义：

(5)

式中：

lc——算子中心像素灰度值；

li(i=0,1,…,8)——中心像素点周围邻域8个像素点的灰度值；

α——中心像素灰度的权值，α取值越大则代表中心像素的灰度信息保留越明显，同时也更易受到噪声的影响。

由此RLBP局部纹理算子公式：

(6)

(7)

式中：

lP(P=0,1,…,P-1)——中心像素点周围邻域的像素点灰度值；

P——邻域像素点的总数；

R——邻域像素的半径。

2.2 CRLBP(completed robust local binary pattern)纹理特征描述

CRLBP纹理特征局部算子是RLBP的完备框架，主要包括3个部分：CRLBP_Sign(CRLBP_S)、CRLBP_Magnitude(CRLBP_M)和CRLBP_Center(CRLBP_C)。其中CRLBP_S就是RLBP算子本身，而CRLBP_M则是计算局部平均灰度差值mp与其全局平均值c进行比较编码生成的算子，具体公式：

(8)

(9)

(10)

同时定义CRLBP_C来表达局部灰度与全局平均灰度之间的关系：

(11)

(12)

式中：

ALc——每个中心像素的局部平均灰度值；

ci——全局平均灰度值。

最后将CRLBP_S，CRLBP_M，CRLBP_C直接衔接起来作为CRLBP纹理特征。

3 颗粒图像超像素分割改进方法

SLIC算法虽然具有良好的空间和色彩复杂度，但是其没有利用图像的局部纹理特征，当背景和目标色彩相近但是纹理不同的情况下，不能很好地分割出符合目标轮廓的超像素，降低了分割精度。针对该情况，将CRLBP局部纹理特征算子引入SLIC算法的相似度计算中，更加全面准确地分割图像。同时由于CRLBP算子简单高效，保证了SLIC算法原有分割速度快的特点。

3.1CRLBP局部纹理特征分量的选取

为了将CRLBP局部纹理特征算子引入SLIC算法的相似度计算中，本研究仍沿用SLIC算法中相似度计算的思路，计算初始聚类中心与邻域像素点的CRLBP局部纹理特征之间的相似度，来作为改进算法的纹理相似度分量。

首先，计算以聚类中心的中心i，定义一个半径为r的圆形纹理单元，利用式(6)～(10)计算该纹理单元的CRLBP(P=8)直方图，记为Ti(x)。同时计算以聚类中心i附近2S×2S大小邻域中的像素点j为中心，半径为r的圆形纹理单元的CRLBP直方图，记为Lj(x)。然后，使用最常用的简单高效的直方图测度方法χ2统计，来计算两个像素点所对应的纹理单元直方图之间的相似度。χ2统计距离的计算：

(13)

其中：

X——直方图的bins值；

χ2——统计距离的取值越小，则代表两个像素点附近的纹理越相似。

3.2 基于空间、颜色与纹理特征相似度融合的改进SLIC分割方法

详细的改进SLIC分割方法步骤：

(2) 将聚类中心移动到以它为中心的3×3的窗口内梯度值最小的位置。

(3) 计算每个聚类中心Ci周围以S为半径的邻域中每个像素j到中心Ci的相似度距离Dist。在聚类中心圆形邻域中搜索相似像素相比原来在2S×2S的区域，可以减少计算量，搜索范围更加贴合颗粒图像的类圆性质，提高了聚类图像的鲁棒性。相似度距离Dist主要由颜色相似度分量dc、空间相似度分量ds与纹理相似度分量dχ2组成。具体的相似度分量与相似度距离D表达式：

(14)

(15)

(16)

(17)

式中：

m——颜色相似度分量的平衡参数；

t——纹理相似度分量的平衡参数，用来衡量颜色、空间与纹理三个特征分量在相似度计算中的比重。

(5) 重复执行(4)和(5)两步，完成整幅图像的聚类工作。而后重新计算聚类后每个聚类颜色和空间特征的均值，来重新定义聚类中心，并计算相应的纹理单元CRLBP直方图。然后重复迭代直至达到设定阈值。

(6) 最后采用邻近合并策略来合并孤立的小尺寸超像素，保证最终结果具有良好的紧密贴合度。

4 结果与分析

选用脱绒棉种颗粒图像作为研究对象，颗粒目标尽量选择形状和大小各异，具有裂纹和破损，且参有杂质的棉种。使用常用的分水岭方法、SLIC方法与本方法对1 024×1 024 分辨率的少量和大量棉种颗粒图像进行比较试验，结果见图2。本研究使用迭代次数代替残错度阈值来控制迭代过程，聚类重复迭代次数选择为10，过多或者过少的迭代次数会影响聚类效果且耗时。本研究试验中超像素个数K设为100和300，超像素个数过多过少会出现过分割与欠分割的现象。在式(17)中，m取值为20，t取值为10，用于控制超像素的紧密贴合程度和纹理分割细节。关于CRLBP局部纹理算子相关参数，中心像素灰度的权值∝取值为8，CRLBP半径R取值为1，邻域像素点总数为8，纹理单元大小半径r取值为20。试验平台为Intel Core 2450 2.5 GHz主频和4 GB内存的计算机。

具体的试验分割效果见图3，分割效果细节对比见图4。由图4可知，改进的SLIC超像素分割方法具有更好的纹理细节分割特征，其将尚未脱去的棉花绒与棉种分割出来，保留了轮廓细节，并且在黏连颗粒的地方可以有效地分割出不同的颗粒目标。本方法在K取值为300的情况下，分割耗时为530 ms，保证了一定的分割速度。

图2 脱绒棉种颗粒图像

图3 试验分割效果图

5 结论

本研究提出一种改进的SLIC方法来对颗粒图像进行分割，利用局部纹理算子CRLBP重新融合计算相似度，改进聚类中心相似像素的搜索方法，使得分割结果具有更好的纹理细节分割特征和更高的分割效率。试验结果表明，与原方法相比，该方法的分割精确度有所提高。相对于其他常见颗粒图像分割方法，本方法计算简单，对局部噪声敏感度低，有效地减少了过分割的现象。后续将在超像素分割的基础上，对超像素进行合并分类的工作，完成颗粒目标检测、筛选和分类等工作。

[1] 王卫翼, 张秋菊. 基于机器视觉的虫蚀葵花籽识别与分选系统[J]. 食品与机械, 2014, 30(2): 109-113.

[2] CUISENAIRE O. Distance transformations: fast algorithms and applications to medical image processing [D]. Louvain-la-Neuve, Belgium: Universit catholique de Louvain (UCL), 1999: 13-50.

[3] SHI Jian-bo, MALIK J. Normalized cuts and image segmentation [C]// Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 1997: 731-737.

[4] SHI Jian-bo, MALIK J. Normalized cuts and image segmentation [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2000, 22(8): 888-905.

[5] FELZENSWALB P F，HUTTENLOCHER D P. Efficient graph-based image segmentation [J]. International Journal of Computer Vision, 2004, 59(2): 167-181.

[6] MOOREA, PRINCE S, WARRELL J, et al. Superpixel lattices [C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE Computer Society, 2008: 1-8.

[7] VINCENT L, SOILLE P. Watersheds in digital spaces: An efficient algorithm based on immersion simulations[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence, 1991, 13(6): 583-598.

[8] COMANICIU D, MEER P. Mean shift: a robust approach toward feature space analysis [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2002, 24(5): 603-619.

[9] VEDALDI A, SOATTO S. Quick shift and kernel methods for mode seeking [C]// European Conference on Computer Vision. Berlin: Springer Berlin Heidelberg, 2008: 705-718.

[10] LEVINSHTEIN A, STERE A, KUTULAKOS K N, et al. Turbopixels: fast superpixels using geometric flows [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2009, 31(12) : 2 290-2 297.

[11] ACHANTA R, SHAJI A, SMITH K, et al. SLIC superpixels compared to state-of-the-art superpixel methods [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2 274-2 282.

[12] OJALA T, PIETIKAINEN M, MAENPAA T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987.

[13] HEIKKILA M, PIETIKAINEN M, SCHMID C. Description of interest regions with center-symmetric local binary patterns [J]. Computer Vision, Graphics and Image Processing, 2006, 4 338: 58-69.

[14] LIAO S, LAW W K Max, CHUNG C S Albert. Dominant local binary patterns for texture classification [J]. IEEE Transactions on Image Processing, 2009, 18(5): 1 107-1 118.

[15] TAN Xiao-yang, TRIGGS B. Enhanced local texture feature sets for face recognition under difficult lighting conditions [J]. IEEE Transactions on Image Processing, 2010, 19(6): 1 635-1 650.

[16] GUO Zheng-hua, ZHANG Lei, ZHANG David. A completed modeling of local binary pattern operator for texture classification [J]. IEEE Transactions on Image Processing, 2010, 19(6): 1 657-1 663.

[17] 赵洋. 基于局部描述子的纹理识别方法及其在叶片识别方面的应用[D]. 合肥: 中国科技大学, 2013: 37-40.

A SLIC-basedsuperpixel segmentation method by using local texture features for granular image

LI Xiao-yu1,2ZHANGQiu-ju1,2

(1.SchoolofMechanicalEngineering,JiangnanUniversity,Wuxi,Jiangsu214122,China; 2.JiangsuKeyLaboratoryofAdvancedFoodManufacturingEquipmentandTechnology,Wuxi,Jiangsu214122,China)

This paper adopts SLIC-based superpixel segmentation method in the granular image detection. SLIC method segments the granular image into superpixel block which will reduce the complexity of the subsequent image processing. As SLIC superpixel segmentation method doesn’t use the texture feature in the distance calculation, the detail of the outline for the granular object is lost. This paper adopts the CRLBP local texture operator as the texture feature to improve the SLIC segmentation’s distance calculation and searches the similar pixel in circle neighborhood pixels to guarantee the processing speed. The test on cotton seed image shows that the improved SLIC superpixel segmentation method is more efficient than watershed and original SLIC method.

granular image; superpixel segmentation; SLIC; local texture operator; CRLBP

10.13652/j.issn.1003-5788.2016.12.007

国家自然科学基金项目资助(编号：51575236)；教育部中央高校基本科研业务专项基金资助(编号：JUSRP51316B)；江苏省食品先进制造装备技术重点实验室(江南大学)资助

李啸宇(1986—)，男，江南大学在读博士研究生。 E-mail：anotherlxy@hotmail.com

2016—05—13