基于显著性检测和Grabcut算法的茶叶嫩芽图像分割

毛腾跃，张雯娟，帖军

(中南民族大学 计算机科学学院&湖北省制造企业智能管理工程技术研究中心，武汉430074)

茶叶的加工分为采摘、杀青、揉捻以及干燥四大流程.作为茶叶加工流程之首的鲜叶采摘又分为人工采摘与机械采摘，人工采摘具有采摘精度高的优点，但是这种采摘方式效率较低，人工成本比较高且存在劳动力不足等问题.为了弥补人工采摘存在的一些问题，一些机构开始研究使用机械采摘的方式来取代人工，目前市面上也出现了很多种类的采茶机械，但是大多采茶机采取的是一刀切的采摘方式，虽然效率比人工采摘提高了很多倍，但这种采摘方式会破坏茶叶嫩芽的完整度，使得茶叶的品质降低.

随着计算机技术的高速发展，基于计算机视觉的图像分类技术应用于各个领域.因此，利用计算机视觉技术在自然环境下对茶叶嫩芽采摘点进行快速准确的识别，再应用在合适的采摘机械上进行采摘，这种方式为茶叶的高效、高品质采摘提供了新的可能.使用计算机视觉技术对茶叶嫩芽实现采摘点定位的第一步便是分割出自然背景下的茶叶嫩芽图片，在自然背景下，茶叶嫩芽和老叶的区分度并不大且容易受到光照的影响，这极大地增加本了分割的难度.

目前，国内外利用计算机视觉对于茶叶叶片图像分割的研究与应用不多.例如韩旺明[1]根据老叶和嫩叶在颜色特征上的差异，提出采用两次Otsu 算法分别对待切割的茶陇蓬面及嫩叶区域进行提取；韦佳佳[2]利用嫩芽在自然环境下与背景(老叶、茎、土壤)颜色上的差异，在RGB、 YIQ、 Lab、 HSI以及 YCbCr空间分别选择一个合适的色彩因子对原始图像进行灰度化，然后根据灰度化结果分别采用OTSU、迭代阈值和固定阈值法进行图像分割，比较后得到了基于I因子的平均误识别率最低，平均误识别率为20.2%；吴雪梅等人[3]分析茶叶嫩芽和老叶在G和G-B分量上的差异，使用改进的Otsu算法识别茶叶嫩芽，准确率为92%；刘志杰等[4]使用最大类间方差法(Otsu法)对白色背景下的茶叶图像进行阈值分割，准确率为93.3%；汪建[5]提出一种基于茶叶颜色和种子区域生长的改进方法来完成对茶叶嫩芽的分割，平均分割率为89.8%；邵明[6]提出了一种基于统计学的快速区域合并算法，合并过分割区域，得到茶叶嫩芽对象，实现龙井茶叶嫩芽的自动检测与分类识别，平均分类率为86%；王琨等[7]提出了一种基于深度学习的茶叶形态识别方法，利用卷积神经网络学习茶叶嫩芽样本，在200张茶叶图像中的识别率为91.3%；夏华鹍等[8]提取彩色茶叶嫩芽图像中的14个颜色分量进行分析并使用SLIC超像素分割算法获取超像素块，再使用阈值分割得到茶叶嫩芽彩色分割图，获得的平均分割精度为75.6%；张可等[9]根据嫩芽与老叶在不同颜色模型下的差异，分别进行阈值分割和聚类分割；姚波等[10]利用茶叶嫩芽与老叶在G-B分量上的颜色差异使用Otsu法实现茶叶的二值分割；吴雪梅等[11]利用茶叶图像的Lab颜色模型中的a分量和b分量作为颜色特征检索，使用K-means聚类法完成分割，平均分割率为94%左右；HAI等[12]建立了一个参数化的茶叶嫩芽颜色模型用于从复杂背景中分离出茶叶嫩芽的感兴趣区域，然后对每个感兴趣区域，提取期望出现在茶叶顶芽周围的特征，并把这些特征放入到均值漂移聚类中，以定位茶叶嫩芽的位置.

上述研究中，部分研究工作针对的是单一背景下的茶叶嫩芽图像，对自然环境下的茶叶嫩芽图像并不适用，另外也有针对在自然环境下茶叶嫩芽图像分割的研究工作，但是部分研究工作所提出方法的分割准确率不是很高，距离实际应用还有一定的距离.针对以往研究工作所存在的问题，本文提出了一种基于显著性检测的Grabcut算法进行自然背景下的茶叶嫩芽图像分割.受U-Net网络的启发，本文将显著性检测算法设计为类似U-Net的编码器解码器网络，编码器网络进行特征提取工作，解码器网络联合编码器网络所提取的图像特征逐步还原得到茶叶嫩芽的显著性图像，再将显著性图像输入到Grabcut算法进行前背景的分离得到茶叶嫩芽图像，为自然背景下的茶叶嫩芽图像分割提供了一种新的方法.

1 基于显著性检测的Grabcut算法

交互式的Grabcut图像分割方法虽然广泛应用在目标分割中但也存在一些缺点，一是交互次数过多，二是在一些场景下交互式的图像分割并不适用.在本节中针对Grabcut算法的以上缺点提出了一种基于显著性检测的Grabcut图像分割方法，能够自动分割自然背景下的茶叶嫩芽图像.

1.1 显著性检测

图像的显著性主要是定义在整个图像的全局对比度上[13-16]，而不是局部或像素特征上.因此很多显著性检测算法没有关注整个图像的全局意义以及显著目标的详细结构.

U-Net网络采用编解码的形式，能够同时捕获高层次的全局上下文信息和低层次的细节，而且U-Net在小数据集上也能训练出一个好的模型.受此启发，本文将显著目标预测模块设计为一个类似U-Net的编码和解码网络，网络架构图如图1所示.

如表1所示，ResNet有ResNet-18、ResNet-34、ResNet-50、ResNet-101、ResNet-152多种形式[17].本文网络架构的编码器部分是由ResNet-50组成的，ResNet是ImageNet竞赛中分类问题比较好的网络，由于ResNet内部的残差块使用了跳跃连接，因此ResNet缓解了在深度神经网络中增加深度带来的梯度消失问题.

图1 网络架构图Fig.1 Network architecture

表1 ResnNet结构Tab.1 ResnNet architecture

增加网络的深度可以提高网络的性能，能够获取到图片更丰富的特征信息，如表2所示层数越深的残差网络具有更小的错误率，但是如果只是简单的增加网络的深度则会导致梯度爆炸或梯度弥散的问题，这个问题在很大程度上已经可以通过标准的初始化和正则化层来基本解决，但随着网络层数的加深，网络出现了退化的问题.残差网络通过跳跃连接的形式，如图2所示，将单元的输入与输出加在一起再进行激活，能够很好的解决深层网络训练时的退化问题，同时且随着网络的加深，残差网络具有更好的表现[17].

表2 单一模型在ImageNet验证集上的错误率Tab.2 The error rate of a single model on the ImageNet validation set

图2 残差单元Fig.2 Differential unit

在众多结构的残差网络中本文选择了ResNet-50，原因有两点：一是ResNet-18和ResNet-34都属于浅层的残差网络，ResNet-50、ResNet-101以及ResNet-152属于深层的残差网络，由文献[17]可知深层的残差网络具有较低的错误率且网络越深提取到的特征越丰富，因此本文着眼于选择ResNet-50、ResNet-101以及ResNet-152中的一种结构作为本文的训练网络；二是考虑到网络的深度带来的训练时间的问题，本文在深层的残差网络中最终选择了层数最少的ResNet-50作为本文的训练网络.

但与ResNet-50不同的是，本文在输入层的64个卷积滤波器是大小为3×3步长为1，而不是原有的7×7步长为2，目的是能够获取更多的上下文空间以及减少参数量，而且为了能够与输入图像具有相同的空间分辨率，在输入卷积之后省略了池化操作.这种自适应使得网络能够在较早的层中获得更高分辨率的特征图.为了获得与ResNet-50相同的感受野，本文在ResNet-50的第四阶段之后再添加两个阶段，这两个阶段都由3个瓶颈残差块组成，瓶颈残差块的结构如图3所示，而每个瓶颈残差块是由512个1×1的卷积滤波器、512个3×3的卷积滤波器以及2048个1×1的卷积滤波器组成.

图3 瓶颈残差块Fig.3 Bottleneck residual block

解码器的每个阶段是由3个大小为3×3的卷积、批处理规范化(BN)以及Relu激活函数组成，并且在每个阶段的最后一个卷积、批处理规范化以及Relu函数激活之后进行上采样操作，解码器每个阶段的输入是由前一阶段的上采样输出以及对应编码器阶段输出特征图组成的级联特征图.

1.2 基于显著性检测的Grabcut算法

GrabCut算法是一种简单的人机交互图像分割算法，需要基于高斯混合模型(GMM)的迭代求解.但是对于需要自动化进行的茶叶嫩芽图像分割场景来说，人机交互分割的方式并不适用.因此本文采用Grabcut的掩码图像方式来实现对茶叶嫩芽图像的自动分割.分割流程如图4所示.通过显著性检测得到茶叶嫩芽图像的显著性图之后，将茶叶嫩芽的显著性图作为Grabcut算法的掩码图像并标记黑色像素点为背景，白色像素点为前景便可以进行茶叶嫩芽图像的自动分割操作.

图4 分割流程Fig.4 Segmentation process

2 实验结果与分析

2.1 数据集

本文中的图片数据来源于湖北省孝感市肖港镇八叉洼一个茶农种植的茶园，拍摄所采用的工具是iphoneXR手机，分别在中午12点、下午2点以及下午5点三个不同的时间段内在自然光照、自然背景情况下拍摄了茶叶图片共612张，所拍摄的图像大小为3024×4032像素.对612张茶叶图片进行如图5所示的水平翻转、顺时针旋转以及逆时针旋转3种图像增广操作后，得到了1836张茶叶图像.

图5 图像增广操作Fig.5 Image augmentation operation

对增广后的1836张茶叶图像进行手动创建精确的茶叶嫩芽显著性分割以及茶叶嫩芽图像分割操作得到如图6的茶叶嫩芽显著标签图像以及如图7的茶叶嫩芽标签图像，并按照7∶3的比例将数据集进行训练集和测试集的分配处理.

图6 茶叶嫩芽显著图像Fig.6 Remarkable image of tea bud

图7 茶叶嫩芽图像Fig.7 Image of tea buds

2.2 基于不同残差网络的实验结果与分析

本文使用精确率(Precision)、召回率(Recall)以及F-Measure三个指标来衡量模型的性能.召回率和精确率是图像分割结果中广泛使用的两个度量值，用于评价图像分割效果，F-Measure是Precision和Recall加权调和平均，常用于评价模型的好坏.

精确率、召回率以及F-Measure定义为：

(1)

(2)

(3)

其中P是像素数，ObjEX是模型预测的值，ObjGT是真实值，β2设置为0.3.

图8(a)、图8(c)均为一次交互式Grabcut算法分割的结果，图8(b)、图8(d)为本文提出的基于显著性检测的Grabcut算法的分割结果，由上图可知一次交互式的Grabcut分割有时并不能很好的从复杂背景中分割出茶叶嫩芽图像，特别是在图像中存在多个茶叶嫩芽的时候，而多次交互又会存在时间消耗的问题.基于显著性检测的Grabcut算法能够更好的学习到茶叶嫩芽的显著特征，从而能够实现在复杂背景中一次分割出完整的茶叶嫩芽图像.表3展示了以不同层的残差网络作为特征提取网络的显著性检测算法与Grabcut算法相结合的准确率、召回率、F-Measure以及分割时间(每张图片的分割时间)四项指标的数据对比，由表中数据可知，使用ResNet-152作为特征提取网络的显著性检测算法与Grabcut算法相结合的准确率最高，为96.37%，但是耗费了大量的时间；使用ResNet-18作为特征提取网络的显著性检测算法与Grabcut算法相结合所耗费的分割时间最少，但是其准确率不高.综合衡量各项指标可见，使用ResNet-50作为特征提取网络的显著性检测算法与Grabcut算法相结合具有比较好的效果.

图8 交互式Grabcut算法分割的结果与基于显著性检测的Grabcut算法自动分割的结果Fig.8 The segmentation results of interactive Grabcut and automatic segmentation results of Grabcut based on significance detection

表3 不同残差网络的分割结果Tab.3 Segmentation results of different residual networks

2.3 基于不同分割方法的实验结果与分析

2.3.1 基于图像颜色信息

在本节中，采用了文献[3]所提出的茶叶嫩芽分割方法用于本文自建的茶叶数据集进行茶叶嫩芽的分割实验.根据文献[3]所述，提取茶叶嫩芽、老叶以及茶梗的RGB分量，如图9(a)、图9(b)、图9(c)所示.由图9(a)、图9(b)、图9(c)可知，本文所用的茶叶数据集在茶叶嫩芽、老叶以及茶梗的R、G、B分量直方图上的重合度都非常高，无法选出一个如文献[13]所述的一个合适的阈值进行茶叶嫩芽的分割处理，因此文献[13]所提出的方法对本文所用数据集并不适用.

图9 茶叶嫩芽、老叶以及茶梗的RGB分量直方图Fig.9 RGB component histogram of tea shoots,old leaves and stems

2.3.2 基于K-means聚类法

在本节中，采用了文献[11]所提出的茶叶嫩芽分割方法用于本文自建的茶叶数据集进行茶叶嫩芽的分割实验.将茶叶图像RGB颜色空间转化为Lab颜色空间，如图10所示，茶叶图像在Lab颜色空间的a分量和b分量有明显波峰波谷特征.提取图像a分量和b分量特征进行合并作为K-means聚类算法的颜色特征进行检索，结果如图11所示.由图11的分割结果可以看出，文献[11]所提出的茶叶图像分割方法虽然能够比较完整的分割出茶叶嫩芽，但是所包含的杂质太多.

图10 茶叶图像Lab颜色空间直方图Fig.10 Lab color space histogram of tea image

图11 基于K-means聚类算法的分割结果Fig.11 Segmentation results based on K-means clustering algorithm

表4展示了本文提出的方法与文献[11]提出方法的分割结果对比，由表4中的实验结果可知，本文所提方法的分割准确率相比文献[11]提升了14.39%，取得了较好的分割效果.

表4 基于显著性检测和Grabcut算法的分割结果与 文献[11]的分割结果Tab.4 Segmentation results based on significance detection and Grabcut and segmentation results of reference[11]

3 结论

自然背景下的茶叶嫩芽图片包含老叶、茶梗以及地面等众多复杂的因素，因此自然背景下的茶叶嫩芽图像分割是一项具有挑战性的工作.为了能够获取更高的分割准确率，本文提出利用显著性检测算法进行茶叶嫩芽的显著性特征提取，再结合Grabcut算法进行分割，这种方法能够获取到茶叶嫩芽的显著特征，分割出完整度较高的茶叶嫩芽图像.实验结果表明，本文提出方法的分割准确率达89.6%，取得了较好的分割结果，实现了自然背景下茶叶嫩芽图像的良好分割.