基于图像颜色和纹理特征的成品茶种类与等级识别

张程，王进*，鲁晓卉，陆国栋，唐小林，李文萃

（1.浙江大学流体动力与机电系统国家重点实验室，浙江杭州310027；2.中华全国供销合作总社杭州茶叶研究院，浙江杭州310016）

计算机视觉技术被越来越多地应用到茶叶生产加工领域，极大提高了生产效率[1-2]，在茶叶种类检测[3-4]、加工过程分析等领域展现出了很大的应用潜力[5-6]。 传统的获取茶叶视觉属性的方法耗时耗力，检测结果主观性强、差错率高[7]。因此有学者引入计算机视觉技术用于茶叶的种类检测、 加工过程分析等。何雪平等[8-9]采用基于特征尺寸、局部极值点和约束Delaunay 三角网的图像特征提取方法提取茶鲜叶方向与几何参数， 准确率分别达到了93.3%和94.2%。 陆江锋等[10]和汪建等[11]提取了茶叶的形状特征参数作为BP 神经网络的输入，实现了茶叶种类的自动识别，准确率达到80%。陈全胜等[12]提取了三种茶叶图像的颜色特征作为支持向量机的输入参数， 经过多次实验确定了分类器参数，将准确率提升到90%以上。 但总体而言，使用计算机视觉方法用于茶叶分类识别对图像的特征提取并不充分， 准确率还有提升的空间。 此外，除不同种类成品茶外，单类成品茶往往还分为不同的等级， 不同的等级之间质量、 价格差别很大，然而特征又比较接近，非专业人士难以区分，亟需高效的自动化手段来进行茶叶等级分类，避免以次充好， 但是目前关于成品茶等级识别的研究较少。

文章以不同种类、等级的成品茶为研究对象，提取图像的颜色与纹理特征后进行合并， 导入到支持向量机（Support Vector Machine, SVM）分类器进行分类，从而实现成品茶的种类和等级识别。

1 材料与方法

1.1 图像采集与预处理

2019年春季，购买产自福建、江苏、安徽等地不同种类、等级的常见成品茶，在自行设计的拍摄装置内进行图像采集。 主要拍摄装置为OSEECAM 公司生产的H1603 型电荷耦合器件（Charge Coupled Device，CCD） 相机， 分辨率为1920×1080 像素， 镜头为OSEECAM 公司生产的H1605VT 型，手动调节焦距。 为保证拍摄效果一致性，设计了暗箱拍摄装置，材质为黑色不透明亚克力板，照明采用环状LED 灯。 采集到的图像保存为JPG 格式， 图像处理和分析在台式计算机上进行，操作系统为Windows 10 专业版，编程环境为Pycharm 2020。

为了去除背景对分类结果的影响， 减小计算量， 对图像提取感兴趣区域 （Region of Interest,ROI），提取图像中心茶叶密集堆积部分矩形区域，尺寸为600×540 像素，作为最终的图像数据。原始茶叶图像样本和ROI 提取示意图如图1 所示。

1.2 图像特征提取

为了让图像特征能够有效地反映图像自身的本质特征，应从不同角度及采用多种方法，对图像进行多角度的描述。因此，往往需要对图像底层特征予以表达并充分利用，从而实现图像分类。常见的图像底层特征包括颜色、纹理、形状等，考虑到成品茶体积较小， 在单张图片中会包含很多茶叶单体， 提取图像的形状特征并不能很好地反映成品茶的情况，因此文章不选择形状特征。 同时，仅提取一种图像特征并不能充分利用图像信息，因此， 文章选择同时提取图像的形状和纹理特征用于区分图像。

1.2.1 颜色特征提取

通常采用的颜色特征提取方法有颜色直方图、颜色矩、颜色集、颜色相关图、颜色聚合向量等[13-14]，颜色直方图能够比较直观地描述图像或图像区域中颜色的组成分布，其中，基于HSV 空间的颜色直方图用于特征提取是经典算法之一[15]，其算法成熟，易于实现，因此文章采用该方法提取颜色特征。该方法主要分为读入图像、颜色模型转换、颜色量化和颜色特征向量提取等四个步骤。

从拍摄设备得到的图片， 颜色模型通常为RGB 颜色模型，需要转换为HSV 颜色模型用于图像处理[15]，它比RGB 更接近人们对彩色的感知经验，可以非常直观地表达颜色的色调、鲜艳程度和明暗程度，方便进行颜色的对比。HSV 表达彩色图像的方式由色调（Hue）、饱和度（Saturation）和亮度（Value）三个部分组成，其与RGB 颜色模型的换算关系为：

其中：

对于一幅色彩丰富的图像而言， 若用直方图直接表示，将会导致维数非常可观，不便有效地进行后续处理。 因此，通常的做法是：先将H、S、V 参数予以量化，再将转化为一维向量。根据人眼对颜色的感知特性，设置具体的量化过程如下：

基于公式(3)，可得到一维向量G：

其中，QS、QV为分量S、V 的量化等级，此处有QS=QV=3 代入有：

由公式(3)～(5)知，G 为72 维的一维向量，G∈[0，1，…，70，71]。至此可以得到一幅图像的颜色特征向量，包含72 个特征值。 图2 展示了某种茶叶图片的颜色特征，用颜色直方图表示。

图2 某种茶叶典型颜色特征直方图Fig. 2 Histogram of typical tea color features

1.2.2 纹理特征提取

与颜色特征不同， 纹理特征不是基于像素点的特征， 它需要在包含多个像素点的区域中进行统计计算。 在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。 但是，纹理特征可能受到光照、反射情况的影响。 因此，将图像颜色特征与纹理特征结合进行图像分类，可以弥补彼此的缺陷，提高分类准确率。

灰度共生矩阵 （Gray Level Co-occurrence Matrix，GLCM）算法1973年由HARALICK 等[16]提出， 是利用图像空间相隔一定距离的两个像素的空间相关性提出的。 它反映图像在方向、间隔、变化幅度及快慢上的综合信息， 是一种常用的纹理特征提取方法。由于灰度共生矩阵的数据量较大，一般不直接作为区分纹理的特征， 而是基于它构建的一些统计量作为纹理分类特征， 文章选用能力、对比度、逆差矩和熵4 个参数作为纹理参数，为了充分反映图像各个位置的相关性，取0°、45°、90°和135°四个方向的纹理参数作为特征值，所得到的纹理特征向量包含16 个特征值。

1.3 分类模型建立

将72 维颜色特征与16 维纹理特征融合，可以得到单张图片的88 维特征向量，作为后续处理的依据， 对此需要引入合理的分类算法来区分不同类图像的特征向量，从而达到图像分类的目的。支持向量机SVM 是一种应用广泛的分类算法，其应用成熟，原理简单，且可以在有限样本情况下展示出很好的性能， 适用于自行建立茶叶样本数据库，样本有限的情况。 原理示意图见图3。

图3 SVM 原理示意图Fig. 3 Schematic diagram of SVM

SVM 是一类按监督学习方式对数据进行分类的广义线性分类器， 使用铰链损失函数计算经验风险并在求解系统中加入了正则化项以优化结构风险，是一个具有稀疏性和稳健性的分类器。此外，SVM 还可以通过核方法进行非线性分类，通过调整核函数的类型和参数， 能够有效地处理高维特征，避免维度灾难[17]。

最终可以得到基于图像颜色和纹理特征的茶叶分类算法流程，如图4 所示。

图4 茶叶分类算法流程图Fig. 4 Flow chart of tea classification algorithm

2 结果与分析

实验使用自行采集的茶叶图片作为数据库，茶叶种类数据库包含红茶、绿茶各两种，红茶为武夷红茶和正山小种， 绿茶分别为六安瓜片和碧螺春， 茶叶等级数据库包含4 个不同等级的武夷红茶和4 个不同等级的碧螺春，详细信息见表1，部分样本图片如图5 所示。

2.1 成品茶种类划分结果

分别在武夷红茶、 碧螺春中随机选取100 张图片，与正山小种、六安瓜片构成成品茶种类数据集，按照大致4∶1 比例划分训练集和测试集，在训练集中实行10 折交叉验证以获得最优的分类器参数，分类结果见表2。 为比较提取不同特征对分类结果的影响， 文章也比较了仅提取颜色特征和仅提取纹理特征用作分类器输入的分类准确率。

虽然每一类成品茶图像样本数量有限， 但文章提出的算法在成品茶种类划分上依然展现出了很好的性能，准确率在95%～100%之间，平均值高达97.36%，高于已有研究的分类结果[10-12]。 同时，若仅采用颜色或者纹理特征作为分类器输入，识别准确率降低到90.36%和83.13%。 这充分说明，算法同时考虑了图像的颜色特征和纹理特征能够提取更多的信息，在没有增加较大特征维度的情况下，提高了分类准确性，具有较大的实际意义。

测试集中的误分类样本主要出现在武夷红茶和正山小种中，误分类样本仅有2 个，这可能因为武夷红茶和正山小种产地接近， 部分样本颜色和纹理特征较为接近，从而导致分类误差。

图5 茶叶样本图片示意图Fig. 5 Schematic of tea samples

表2 成品茶种类识别结果Table 2 Recognition results of finished tea types

2.2 成品茶等级划分结果

4 个等级的武夷红茶和4 个等级的碧螺春分别构成红茶和绿茶的成品茶等级数据集， 分别在不同等级武夷红茶和不同等级碧螺春上应用文章的算法，同样按照4∶1 划分训练集和测试集，在训练集中实行10 折交叉验证以获取最优的分类器参数，分类结果如表3 和表4 所示。

在不同等级碧螺春分类中，算法展现出了很好的效果，分类准确率都在95%以上，平均准确率可达97.53%，若只采用颜色或纹理特征作为分类器输入，分类准确率降低到83.95%和82.72%，这与成品茶种类识别的结果类似， 使用颜色和纹理特征融合可以实现更好的分类效果。

在不同等级武夷红茶分类中， 总体识别准确率为88.10%，84 个测试集样本中有10 个样本出现分级误差， 若只用颜色或纹理特征作为分类器输入，准确率分别为73.80%和58.33%，可以看到，武夷红茶等级分类对对该算法构成了一定的挑战。细分来看，该算法能够准确识别出1 级和2 级武夷红茶，准确率都在很高的水平。但是在对3 级和4 级武夷红茶识别中， 准确率在73%～76%之间，出现了较多的分级误差。图6 比较了武夷红茶3、4 级两类区分中出现的误分类样本，3 级和4 级武夷红茶无论是纹理还是颜色都很接近， 肉眼很难区分， 而文章采用的图像处理算法主要也是依据人眼对颜色和纹理的判断原理， 因此导致判断准确率降低。但是，通过合并颜色和纹理特征作为分类器输入， 准确率要高于单独使用某一特征的情况。

表3 不同等级武夷红茶分类结果Table 3 Classification results of different grades of Wuyi Black Tea

表4 不同等级碧螺春分类结果Table 4 Classification results of different grades of Biluochun Tea

3 结论

（1）文章将获取的茶叶图像进行ROI 分割预处理， 使用量化的颜色直方图法提取图像颜色特征， 采用GLCM 法提取0°、45°、90°和135°方向的能量、对比度、逆差矩和熵4 个参数，构成图像纹理特征，采用SVM 作为分类器，将特征合并后导入分类器，对图像进行分类。方法既考虑了图像的整体特性，也考虑了纹理变化带来的局部特征。相比于单独使用颜色或纹理特征， 能够明显提高准确率。

（2）文章提出的算法，不但在区分不同种类的成品茶中展现出了很高的准确度， 在区分同种类不同等级的成品茶中也展现了较好的特性， 在文章所应用的样本库中， 除了3 级和4 级武夷红茶外，分类和分级的准确度都在95%以上。能够较好地实现成品茶的种类和等级划分， 为茶叶分类的自动化实现提供了新的思路和应用技术。

图6 误分类样本示意图Fig. 6 Schematic diagram of misclassified samples