结合改进胶囊网络与知识蒸馏的茶青分类方法研究

陈星燃，黄海松*，韩正功，范青松，朱云伟，胡鹏飞

结合改进胶囊网络与知识蒸馏的茶青分类方法研究

陈星燃1，黄海松1*，韩正功1，范青松1，朱云伟1，胡鹏飞2,3

1. 贵州大学现代制造技术教育部重点实验室，贵州 贵阳 550025；2. 贵州装备制造职业学院，贵州 贵阳 551400；3. 清镇红枫山韵茶场有限公司，贵州 贵阳 551400

不同等级茶青的准确分类，对名优茶产业发展至关重要，采用传统感官审评方法进行分选会使结果存在一定的主观性。采集茶青图像建立数据集，结合幽灵注意力瓶颈层与胶囊网络提出一种新型网络模型：GA-CapsNet。通过基于线性衰减比例系数的成长知识蒸馏方法对该模型进行训练，在迁移教师模型参数矩阵的同时，使学生模型随着迭代自适应降低依赖程度。试验结果表明，对比其他同类算法，所提出的方法在小规模数据集上分类性能优异，精确率、召回率及F1-score分别为94.97%、95.51%、95.24%。本研究基于机器视觉与深度学习技术构建了一种GA-CapsNet模型，为解决茶青分类问题提供了一种新思路。

胶囊网络；知识蒸馏；注意力模块；茶青分类

绿茶含有茶多酚等物质，对人体健康颇有益处，是我国生产与消费量最高的茶叶品类[1]。茶树在贵州省拥有悠久的栽培历史，茶产业是贵州省重要的生态产业[2-3]。随着市场对高品质绿茶需求的日益增加，贵州省绿茶产业的经济价值在不断攀升[3-4]。茶青是指从茶树上采摘的新鲜嫩芽，其质量从根本上决定了成品茶的品质[5]。采取传统采摘方式会导致不同等级茶叶混杂，增加人工拣剔的时间和人力成本[6]，制约茶产业规模化生产和名优茶经济价值提升。

计算机视觉技术通过与深度学习等技术结合，可实现对不同类别物品的快速甄别，在诸多领域得到了广泛应用。但针对茶青分类问题，国内外学者所开展的研究仍十分有限。张怡等[7]探究了不同优化器与残差网络组合对绿茶的划分效果，发现以随机梯度下降算法和ResNet-18结构对茶叶的识别准确率达到90.99%。汪建等[8]利用遗传神经网络对二值化后的茶叶图像进行处理，对4类茶叶划分的准确度达到91.6%。毛腾跃等[9]融合支持向量机与特殊角点两种方法，取得了94.24%的茶青分类准确率。针对预处理后的茶青图像，张晴晴[10]与张蕴[11]分别利用改进YOLOV3与Faster R-CNN算法，取得了89.35%和91%的分类准确率。Xu等[12]结合机器视觉与电子鼻技术，对六类茶叶达到了99.44%的精确划分。上述方法大多基于卷积神经网络搭建模型，需要大量样本训练模型，而茶青数据集规模往往较为有限，采用传统方法难以充分提取特征将严重限制分类性能。

综上所述，本研究面向自建茶青数据集，基于注意力机制与幽灵连接，构建一种通用模块，并通过与胶囊网络结合，提出一种用于茶青分类的改进胶囊网络；通过引入线性衰减比例系数，提出一种成长知识蒸馏的模型训练方法，充分利用教师模型自源域中习得的庞大参数矩阵，进一步提升模型的分类性能，提供了一种使用深度学习技术解决茶青分类问题的新思路。

1 原始胶囊网络

胶囊网络为Hinton等[13]于2017提出的一种网络结构，将人的视觉感知系统描述为对大脑中图像结构的层次性解析[14]。通过引入胶囊的概念用矢量代替标量进行输出信息的表达，胶囊网络能够同时保留局部位置关系和图像的属性信息值，使模型兼具平移不变性与平移同变性。最终，达到减少训练量的目的。胶囊网络进行预测时，本层胶囊中的特征值与权重矩阵相乘对下层胶囊进行预测，随后该预测值通过与耦合系数相乘获取下层胶囊的输出值。

2 模型与方法

2.1 ECA注意力机制

高效通道注意力机制（Efficient channel attention，ECA）是由Wang等[15]于2020年提出的一种考虑特征不同通道重要程度的注意力机制（图1）。其中，输入特征首先经全局平均池化将全局信息压缩到一个通道描述符中以整合特征信息，计算公式如式（1）所示；随后利用一维卷积构成的全连接层实现局部跨通道信息交互，获取表征各通道重要程度的权重矩阵()，计算公式如式（2）所示，卷积层较传统全连接层可起到增强有效特征权重与减少计算冗余的作用，卷积核数目由通道数进行自适应度调节，计算公式如式（3）所示[16]；最终通过残差连接将输入特征信息与权重矩阵进行逐点相乘，根据通道重要程度重新分配特征权重，计算公式如式（4）所示。

()=() ·······················（1）

式中，∈R×H×W为输入特征信息；为全局平均池化操作；()∈R×1×1为经过全局平均池化后的特征信息。

式中，为特征信息的通道数；，为超参数，取=2，=1；|·|为取括号中最邻近奇数的操作。

2.2 幽灵注意力胶囊网络

为了在保证胶囊网络处理小规模数据集优异能力的同时进一步提高分类性能，本研究引入ECA并结合多组幽灵连接（Ghost connection，GC）构建幽灵注意力瓶颈层（Ghost attention bottleneck，GAB），对茶青图像进行处理（图2）。在GAB左分支上，ECA首先对输入特征进行处理，达到关注强分类特征区域与抑制弱分类区的目的，随后卷积、BN及激活层将进一步提取特征信息。这种先运用注意力机制进行聚焦，再采用卷积进行解析的图像处理方式，可在减少注意力模块计算冗余的同时，最大程度地符合人类对事物进行认知时所采用的视觉注意力机制[17]。

左分支上添加由逐点卷积层组成GC1与GC2，右分支上则通过逐渐卷积与BN层构建GC3。3组GC以跨层跳跃连接的方式进行维度转换，实现不同深度特征的非线性叠加，此方式不仅能提取到更多利于分类的新特征，还能通过特征的累积解决因网络层数加深所带来的“退化”问题，使模型性能有效提升[18]。

图1 ECA示意图

图2 幽灵注意力瓶颈层

针对原始胶囊网络仅凭单一卷积层进行特征提取，只能处理固定大小感知野特征，导致提取不变特征能力较弱。图3为CIFAR10-quick网络结构，受Toraman等[19]的启发，用9×9大小的卷积层代替其全连接层与激活层构建新型网络结构以取代原始胶囊网络中的单一卷积层。此外，用Mish代替原网络中的ReLU函数处理输入主胶囊层的特征，以避免原函数的负半轴梯度饱和现象，使模型拥有更好的梯度边界[20]。依据文献[17]的思想，为实现先聚焦再分析的仿生认知过程，于网络前端嵌入3组GAB对卷积后的特征进行处理，提出一种新型的网络结构——幽灵注意力胶囊网络（Ghost attention CapsNet，GA-CapsNet），对输入的茶青图像进行分类，如图4所示。

2.3 基于成长知识蒸馏的茶青分类模型训练方法

为借助复杂模型预训练时的庞大参数矩阵进一步增强分类性能，并使GA-CapsNet的知识占比随着迭代进行实现自适应的扩大。基于线性衰减比例系数_，提出了一种成长知识蒸馏（Growing knowledge distillation，GKD）的模型训练方法。

本研究中以GA-CapsNet为学生模型，并将在ImageNet上预训练后ResNet50模型迁移至茶青图像数据集上作为教师模型，结合_进行学生模型的训练，这种方式不仅可以充分利用源域信息，提升学生模型泛化性，还可借助迁移学习增强其抗过拟合的能力，整体流程如图5所示。

茶青图像经过预处理之后，首先以像素矩阵的形式输入教师模型（ResNet50）和学生模型（GA-CapsNet），依次获取到对应不同类别茶青的概率p、p；随后，通过蒸馏作用（Distillation）软化概率分布，获取软标签p和软预测p'，计算公式如式（5）、（6）所示。

式中p为教师模型对茶青图像进行处理后所得到的概率分布；p'为p经温度为的软化作用后所得结果；=5为温度参数。

式中p为学生模型对茶青图像进行处理后所得到的概率分布；p'为p经温度为的软化作用后所得结果。

图3 CIFAR10-quick示意图

图4 GA-CapsNet示意图

图5 基于成长知识蒸馏的模型训练流程图

设置蒸馏作用中的温度系数为1（Softmax function），对学生模型的概率分布p进行处理，获取硬预测p''，计算公式如式（7）所示。

式中p''为p经Softmax函数处理后所得结果。

依次将软标签p'与软预测p'作为自变量输入相对熵损失函数获取到表征教师模型所习得暗知识的软损失函数值Loss；将硬预测p''与真实标签Lables作为自变量输入交叉熵损失函数获取到表征学生模型自身所习得知识的硬损失函数值Loss，计算公式如式（8）、（9）所示。

式中，为茶青图像像素矩阵的通道数目；=(1,2,3)为茶青类别数目；Loss为软损失函数值；Loss为硬损失函数值。

在利用知识蒸馏对学生模型进行训练时，引入线性衰减比例系数_，随着迭代次数的增加以弱化教师模型影响，使学生模型降低对教师模型的依赖程度，计算公式如式（10）所示。在蒸馏初期，_取值较大而变化较慢，保证了两模型之间暗知识的充分传递，使得学生模型分类性能迅速增强。随着蒸馏进行，学生模型已经取得较高分类精度，_减小速率逐渐加大，_显著增加，学生模型独立性随之增强，将生成更多进行茶青分类的权重参数，实现其随着迭代次数增加而降低依赖，达到成长的目标。通过_与_调节Loss与Loss的占比组成总损失函数，借助梯度反向传播实现暗知识的传递，计算公式如式（11）所示。

式中，α=0.6为GA-CapsNet成长初始比例系数；α=0.2为GA-CapsNet成长终止比例系数；=(1,2,……,100)为迭代次数；=100为最大迭代次数。

=_×Loss+_×2×Loss···················（11）

式中，为总损失函数值；_为线性衰减比例系数；_=1－_为成长因子。

3 试验方法

3.1 数据与试验环境

本研究所涉及的绿茶茶青图像数据均采集自贵州省清镇红枫山韵茶场，数据划分为单芽、一芽一叶和一芽二叶3类，并采用几何变换、仿射变换、添加高斯噪声等方式进行数据增强，最终，数据集由各类茶青712张，共2 136张组成，其中，训练集与测试集的比例被划分为3∶1。本研究所涉及的试验均在Window 10操作系统下进行，由Python 3.7的Pytorch深度学习框架实现，并在NVDIA GeForce GTX 1650显卡上进行加速。

3.2 网络整定实验

为验证GAB在茶青分类任务中对网络性能的提升，确定其最佳数量，完成网络结构整定，本研究以GAB数量为划分依据，依次设置含一组、两组、三组和四组该瓶颈层的实验组GAB=1、GAB=2、GAB=3、GAB=4。在茶青数据集的测试集上，设置轮次为50，记录各实验组所对应的精确率（Precision）、召回率（Recall）及F1-score数据，并绘制模型综合性能对比表。

3.3 消融实验

为验证所提方法GA-CapsNet+GKD的有效性，除采用本研究的实验组CapsNet+GAB+GKD以外，依次设置不采用幽灵注意力瓶颈层的消融实验组CapsNet+GKD、使用传统残差瓶颈层（Residual bottleneck，RB）的消融实验组CapsNet+RB+GKD、不采用知识蒸馏训练模型的消融实验组CapsNet+GAB。在自建茶青数据集上，设置轮次为100，计算各实验组的准确率，并利用Origin绘制准确率的变化曲线，分析不同实验组在各等级茶青上的分类性能。

3.4 对比实验

为衡量本研究所提方法GA-CapsNet+GKD的性能优势，依次设置实验组：CapsNet-DCD[19]、ResNet-Green tea[7]、Alter-Second[21]。设置轮次为100，获取各实验组在测试集上的准确率与交叉熵损失函数值变化曲线，并以精确率、召回率及F1-score为指标构建不同实验组所对应的表格，对模型的性能进行综合分析。

4 结果与讨论

4.1 网络整定实验

表1为各实验组综合性能比较表，分析可知，由于单芽茶青的强可分性，所有实验组在此类中均拥有卓越的分类表现，但在对一芽一叶与一芽二叶的复杂分类任务中，实验组间仍存在显著的性能差异。在对一芽一叶的分类中，GAB=3组的精确率、召回率及F1-score分别为93.30%、93.82%、93.56%，较GAB=1与GAB=2实验组均有较大的提升，而GAB=4组相对于GAB=3组，各项指标则分别下降了3.30%、2.81%、3.06%，在对一芽二叶的分类中存在同样现象。以上结果表明，选取3组GAB整定网络，所取得的GA-CapsNet网络拥有最佳的分类表现。

4.2 消融实验

图6为各消融实验组准确率及损失变化曲线。CapsNet+GAB+GKD利用GAB生成大量有利于分类的幽灵特征图，使整体分类性能明显优于CapsNet+GKD，最高分类准确率提升了4.69%。与CapsNet+RB+GKD相比，CapsNet+GAB+GKD通过引入ECA与GC，模仿人类认识事物的过程，使模型先聚焦强区分性特征区域再进行后续处理，明显改善损失变化曲线的震荡现象，使最高分类准确率上升了2.63%。与CapsNet+GAB相比，本研究利用成长知识蒸馏进行模型训练，充分利用教师模型的源域信息，使最高分级准确率由95.88%上升至97.57%。观察损失变化曲线，实验组CapsNet+GAB+GKD与CapsNet+GAB相较于其余实验组表现出了较好的前期收敛性能，由此可以论证GAB在提取和处理茶青图像特征方面具备优越性，且随迭代进行，CapsNet+GAB+GKD进一步收敛，其损失达到所有消融实验组中最低水平。

表1 各实验组在测试集上的综合性能比较

观察图7中各消融实验组所对应的混淆矩阵可知，在对一芽一叶茶青的分类中，实验组CapsNet+GAB+GKD与CapsNet+GAB分别以168和167的正确划分数目，表现出了较优异的分类性能，由此可以说明GAB有利于模型进行关键特征信息提取。在对一芽二叶茶青的分类中，CapsNet+GAB+GKD与CapsNet+RB+GKD分别实现了170与169例的正确分类，在所有实验组的分类表现中更具优越性，可以说明基于GKD的模型训练方法可以使模型解析复杂特征的能力得到进一步增强。

4.3 对比实验

图8为各对比实验组准确率及损失变化曲线。由图8-A可知，GA-CapsNet+GKD的初始准确率和整体变化曲线均呈现出最佳表现。对比CapsNet-DCD，本研究通过引入GAB与GKD，使最高准确率上升了3.94%。ResNet-Green tea最高准确率虽然与GA-CapsNet+GKD差距不大，但过拟合现象明显，说明基于复杂网络所搭建的模型并不适用于解决小规模数据问题。Alter-Second虽然可以利用深度卷积层提取多尺度特征信息，但由于缺乏注意力机制引导，无法关注强分类特征，使其准确率较GA-CapsNet+GKD差距明显。

由图8-B可知，胶囊网络GA-CapsNet+GKD与CapsNet-DCD的最低损失值虽高于卷积神经网络ResNet-Green tea与Alter-Second，但是前两者因兼具平移不变性与平移同变性，能充分利用有限数据集中的特征信息，损失下降迅速，仅在第30轮次左右时便完成了收敛，而后两者在整个过程中都震荡十分剧烈，Alter-Second甚至在迭代后期出现发散迹象。

由表2可知，GA-CapsNet+GKD对各类茶青的精确率、召回率、F1-score均达到95%左右，优于其余对比实验组。在一芽一叶的分类中，GA-CapsNet+GKD与ResNet-Green tea的表现明显优于其余实验组，且GA-CapsNet+GKD的精确率、召回率、F1-score与ResNet-Green tea相比分别提升了3.59%、6.16%、4.89%。而对一芽二叶进行分类时，本研究所提方法的精确率、召回率及F1-score分别为94.97%、95.51%、95.24%，在分类性能上展现出明显优势。

图6 消融实验组在测试集上的准确率及损失变化曲线

注：OB表示单芽，OF表示一芽一叶；TF表示一芽二叶

图8 对比实验组在测试集上的准确率及损失变化曲线

表2 对比实验组在测试集上的综合性能比较

5 结论

本研究基于ECA注意力机制与维度转换的GC提出通用模块GAB，结合胶囊网络，构建一种改进胶囊网络GA-CapsNet，通过引入线性衰减比例系数与成长因子，在蒸馏过程中实现对该模型知识占比的自适应调节，降低其依赖程度，并借助教师模型丰富的参数矩阵，完成对茶青数据集的准确分类。通过消融实验，验证所提GAB与GKD的有效性，对比CapsNet-DCD、ResNet-Green tea、Alter-Second深度学习分类算法，本研究所提出的方法在小规模数据集上鲁棒性更强，准确率、精确率、召回率和F1-score分别为97.57%、94.97%、95.51%和95.24%，表现出了最优越的综合性能。

本研究将深度学习技术引入茶叶领域，为解决茶青分类中所面临的问题提供了一种新的方法，拥有较好的分类表现。但实际生产中，环境扰动因素复杂，且在对不同种类茶青进行级别划分时所采用的标准不一，因此本研究后续将通过在不同条件下采集茶青图像进一步丰富数据，并面向不同种类茶青开展广泛研究，提升研究的泛化性与实际应用价值。

[1] 石亚丽, 朱荫, 马婉君, 等. 名优炒青绿茶挥发性成分研究进展[J]. 茶叶科学, 2021, 41(3): 285-301.

Shi Y L, Zhu Y, Ma W J, et al. Research progress on the volatile compounds of premium roasted green tea [J]. Journal of Tea Science, 2021, 41(3): 285-301.

[2] 刘元生, 刘方, 陈祖拥, 等. 贵州富锌硒茶产区地质环境条件与土壤元素地球化学特征[J]. 贵州大学学报(自然科学版), 2021, 38(5): 25-32.

Liu Y S, Liu F, Chen Z Y, et al. Geological environment conditions and geochemical characteristics of soil elements in zinc-selenium-rich tea producing areas in Guizhou [J]. Journal of Guizhou University (Natural Science), 2021, 38(5): 25-32.

[3] 陈青, 杨云, 王海燕. 贵州茶叶中微量锗含量测定[J]. 贵州大学学报(自然科学版), 2002, 19(2): 141-144.

Chen Q, Yang Y, Wang H Y. Determination of trace germanium content in Guizhou tea [J]. Journal of Guizhou University (Natural Science), 2002, 19(2): 141-144.

[4] 郭建军, 周艺, 王小英, 等. 贵州不同产区代表绿茶的品质特征及香气组分分析[J]. 食品工业科技, 2021, 42(5): 78-84.

Guo J J, Zhou Y, Wang X Y, et al. Analysis of quality features and aroma components in Guizhou representative green tea [J]. Food Industry Technology, 2021, 42(5): 78-84.

[5] 叶江华, 罗盛财, 张奇, 等. 武夷山不同茶园茶树茶青品质的差异[J]. 福建农林大学学报(自然科学版), 2017, 46(5): 495-501.

Ye J H, Luo S C, Zhang Q, et al. Difference of fresh tea leaf quality from different tea plantations in Wuyishan [J]. Journal of Fujian Agriculture and Forestry University (Natural Science Edition), 2017, 46(5): 495-501.

[6] 吴雪梅, 张富贵, 吕敬堂. 基于图像颜色信息的茶叶嫩叶识别方法研究[J]. 茶叶科学, 2013, 33(6): 584-589.

Wu X M, Zhang F G, Lv J T. Research on recognition of tea tender leaf based on image color information [J]. Journal of Tea Science, 2013, 33(6): 584-589

[7] 张怡, 赵珠蒙, 王校常, 等. 基于ResNet卷积神经网络的绿茶种类识别模型构建[J]. 茶叶科学, 2021, 41(2): 261-271.

Zhang Y, Zhao Z M, Wang X C, et al. Construction of green tea recognition model based on ResNet convolutional neural network [J]. Journal of Tea Science, 2021, 41(2): 261-271.

[8] 汪建, 杜世平. 基于颜色和形状的茶叶计算机识别研究[J]. 茶叶科学, 2008, 28(6): 420-424.

Wang J, Du S P. Identification investigation of tea based on HSI color space and figure [J]. Journal of Tea Science, 2008, 28(6): 420-424.

[9] 毛腾跃, 黄印, 文晓国, 等. 基于多特征与多分类器的鲜茶叶分类研究[J]. 中国农机化学报, 2020, 41(12): 75-83.

Mao T Y, Huang Y, Wen X G, et al. Research on classification of fresh tea based on multiple features and multiple classifiers [J]. Journal of Chinese Agricultural Mechanization, 2020, 41(12): 75-83.

[10] 张晴晴. 基于卷积神经网络的茶树嫩芽识别研究[D]. 合肥: 安徽农业大学, 2020.

Zhang Q Q. Research on the identification of tea tree sprouts based on convolutional neural network [D]. Hefei: Anhui Agricultural University, 2020.

[11] 张蕴. 茶叶嫩芽图像识别方法研究[D]. 合肥: 安徽农业大学, 2020.

Zhang Y. Research on image recognition method of tea sprouts [D]. Hefei: Anhui Agricultural University, 2020.

[12] Xu M, Wang J, Gu S. Rapid identification of tea quality by E-nose and computer vision combining with a synergetic data fusion strategy [J]. Journal of Food Engineering, 2019, 241: 10-17.

[13] Sabour S, Frosst N, Hinton G E. Dynamic routing between capsules [C]//Luxburg U V, Guyon I, Bengio, et al. Proceedings of the 31st International Conference on Neural Information Processing Systems. New York: Curran Associates Inc., 2017: 3859-3869.

[14] Hinton G E, Sabour S, Frosst N. Matrix capsules with em routing [C/OL]//ICLR Organizing Committee. ICLR 2018 Conference Blind Submission, 2018[2022-11-26].

[15] Wang Q, Wu B, Zhu P, et al. ECA-Net: efficient channel attention for deep convolutional neural networks [J]. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020: 11531-11539.

[16] 魏铖磊, 南新元, 李成荣, 等. 一种具有多尺度感受视野注意力机制的生活垃圾单阶段目标检测方法[J]. 环境工程, 2022, 40(1): 175-183.

Wei C L, Nan X Y, Li C R, et al. A single-stage object detection method for domestic garbage based on multi-scale receptive filed attention mechanism [J]. Environmental Engineering: 2022, 40(1): 175-183.

[17] 徐岩, 李晓振, 吴作宏, 等. 基于残差注意力网络的马铃薯叶部病害识别[J]. 山东科技大学学报(自然科学版), 2021, 40(2): 76-83.

Xu Y, Li X Z, Wu Z H, et al. Potato leaf disease recognitition via residual atention network [J]. Journal of Shandong University of Science and Technology (Natural Science), 2021, 40(2): 76-83.

[18] Zhang S, Zhang S, Zhang C, et al. Cucumber leaf disease identification with global pooling dilated convolutional neural network [J]. Computers and Electronics in Agriculture, 2019, 162: 442-430.

[19] Toraman S, Alakus T B, Turkoglu I. Convolutional capsnet: a novel artificial neural network approach to detect COVID-19 disease from X-ray images using capsule networks [J]. Chaos, Solitons & Fractals, 2020, 140: 110122. doi: 10.1016/j.chaos.2020.110122.

[20] Misra D. Mish: a self regularized non-monotonic activation function [J]. BMVC 2020, 2020. doi: 10.48550/arXiv.1908.08681.

[21] Hu G, Yang X, Zhang Y, et al. Identification of tea leaf diseases by using an improved deep convolutional neural network [J]. Sustainable Computing: Informatics and Systems, 2019, 24: 100353. doi: 10.1016/j.suscom.2019.100353.

Research on the Classification Method of Tea Buds Combining Improved Capsule Network and Knowledge Distillation

CHEN Xingran1, HUANG Haisong1*, HAN Zhenggong1, FAN Qingsong1, ZHU Yunwei1, HU Pengfei2,3

1. Key laboratory of Advanced Manufacturing Technology of the Ministry of Education, Guizhou University, Guiyang 550025, China; 2. Guizhou Vocational College of Equipment Manufacturing, Guiyang 551400, China; 3. Qingzhen Hongfeng Mountain Yun Tea Factory Co., Ltd, Guiyang 551400, China

The accurate classification of different grades of tea buds is very important for the development of the famous tea industry. The use of traditional sensory evaluation methods for sorting makes the results subjective. In this research, a data set was established after tea leaf images were collected, and a new network model, GA-CapsNet, was proposed by combining the ghost attention bottleneck and capsule network. The model was trained by the method of growing knowledge distillation based on the linear decay scaling coefficient, while migrating the parameter matrix of teacher model, the student model was adaptively reduced with iteration. The experimental result shows that, compared with other similar algorithms, the proposed method had excellent classification performance on small-scale data sets. The accuracy, recall and F1-score were 94.97%, 95.51% and 95.24%, respectively. Here, a GA-CapsNet model based on machine vision and deep learning technology was established, which provided a new idea for solving the tea leaf classification problem.

capsule network, knowledge distillation, attention module, tea bud grading

S571.1；TP391.41

A

1000-369X(2022)03-387-10

2021-11-30

2022-02-16

贵州省科技计划项目（黔科合支撑[2021]一般445、172、397，黔科合支撑[2022]一般165，黔科合基础[2020]1Y232）、贵州大学引进人才科研基金（贵大人基合字（2019）07号）、贵州省普通高等学校青年科技人才成长项目（黔教合KY 字[2021]096）

陈星燃，男，硕士研究生，主要从事深度学习与农业工程的交叉研究。*通信作者：hshuang@gzu.edu.cn

（责任编辑：黄晨）