基于多光谱与深度学习技术的皱褶初烤烟叶等级识别

叶大鹏, 黄俊昆, 秦 华, 翁海勇, 卢敏瑞, 王 芳, 李 庆

(1.福建农林大学机电工程学院,福建 福州 350002; 2.现代农业装备福建省高校工程研究中心, 福建 福州 350002; 3.福建武夷烟叶有限公司,福建 南平 350005)

目前，皱褶初烤烟叶等级识别主要以人工为主，存在成本高、分级主观性强、工作效率低等问题.姚学练等[1]采集了烟叶的RGB图像，提出了将主成分分析、遗传算法和支持向量机相结合的烟叶等级识别方法，正确率可达95%以上.然而，烟叶在储存过程中会出现陈化现象，引发其颜色的改变，导致基于RGB成像技术图像构建的模型对不同时间、不同批次的初烤烟叶等级识别正确率降低[2].彭丹青等[3]采集烟叶高光谱特征并构建径向基神经网络模型，正确率达到96.3%.赵海东[4]利用二进制粒子群算法提取烟叶的高光谱特征，并用支持向量机进行分类，可在减少一半特征数的情况下保持识别正确率在88%以上.Bin et al[5]采集了高品质、中品质以及低品质3组烟叶的高光谱特征，应用高光谱特征结合蒙特卡罗无信息变量消除和随机森林方法对不同等级烟叶的识别平均正确率为97%.宾俊等[6]应用烟叶高光谱特征结合极限学习机算法使烟叶识别正确率达到了90%.Jianqiang et al[7]提出了一种用于烟叶高光谱特征分类的稀疏非负最小二乘编码算法，计算各类测试样本的回归残差，最后将回归残差赋给残差最小的类，使烟叶识别正确率达到90%以上.胡善科等[8]提出了一种基于联合矩阵局部保持投影的烟叶高光谱特征提取方法，实现了不同等级烟叶特征的有效提取，正确率达到93.8%.

由于深度学习算法能够更好地提取烟叶的相关特征，现已被广泛应用于识别不同等级的初烤烟叶.王笛[9]提出了基于模糊控制系统的模糊宽度学习系统烟叶识别模型，能够在缩短训练时间的情况下，识别正确率达到90%以上.Zhang et al[10]利用一维卷积神经网络和二维卷积神经网络模型提取烟叶高光谱特征进行等级识别，两种模型的烟叶等级识别正确率分别为93.15%和93.05%.Jiang et al[11]提出了一种融合残差网络的烟叶分类模型，通过在网络中集成参数校正线性单元函数和自适应学习线性单元的参数，该模型的烟叶等级识别正确率为95%.然而，以上方法大多是在实验室条件下，采用较为昂贵的高光谱成像设备并将皱褶初烤烟叶摊开后进行图谱数据采集，其数据结构复杂性较大，预处理耗时长，所形成的分级系统较难在市场上进行推广使用.

近年来，多光谱成像技术比传统普通彩色相机包含更多的作物特征信息光谱波段，同时成本低，广泛应用于快速无损检测中.本研究提出了一种基于多光谱成像技术与深度学习算法相结合的皱褶初烤烟叶等级识别方法.该方法通过搭建多光谱图像采集系统，获取B2F、C2F、C3F及C4F四个等级皱褶初烤烟叶的多光谱图像，结合深度学习算法构建初烤烟叶等级的快速识别模型，为皱褶初烤烟叶的自动化等级识别研究提供参考.

1 材料与方法

1.1 试验材料

皱褶初烤烟叶样本(2019年和2020年)由福建武夷烟叶有限公司提供.共收集了B2F、C2F、C3F和C4F四个等级样本，其中2019年的样本数量为2 753片，含B2F类688片、C2F类680片、C3F类688片和C4F类697片；2020年的样本数量共200片，4类样本均为50片，样本如图1所示.

1.2 多光谱图像采集系统的搭建

在460～740 nm及750～1 350 nm波段内，不同等级的初烤烟叶光谱反射率会随其内部烟碱、总氮及总钾含量的不同而出现显著差异[12].从2019年初烤烟叶样本中每一等级等额随机挑选40片烟叶样本，并使用HSIA-DB-GaiaField-PRO型高光谱成像系统(四川双利合谱公司产品)采集400～1 000 nm波段的烟叶光谱反射率；使用SPA算法提取不同等级烟叶之间具有显著差异的特征波段，最终选择12个中心波长为460、517、591、620、663、705、730、768、800、845、906和962 nm的高功率单色LED作为初烤烟叶多光谱图像采集系统的光源.利用C++语言编写初烤烟叶多光谱采集上位机界面，实现相机、Arduino和传送带的协调控制，构建的初烤烟叶多光谱分级系统如图2所示.

初烤烟叶多光谱图像数据采集的步骤：(1)将初烤烟叶样本放置于传送带上，设置图像采集参数；(2)点击上位机界面的采集控件，并将采集命令发送至下位机Arduino；(3)Arduino收到指令后控制步进电机，将样本送至检测区域，触发不同波段的LED，同时触发相机采集对应波段的光谱图像；(4)保存初烤烟叶多光谱图像，用于后续数据分析.

1.3 初烤烟叶多光谱图像的预处理

受到LED光源发光角、功率以及暗箱尺寸的影响，暗箱内部光源分布不均匀.为了校正由光照分布不均匀引起的误差，以及保证采集烟叶图像光照的均匀性，需要对采集到的多光谱图像进行校正.由于系统的烟叶检测区域较大，本研究使用标准灰板并根据以下校正公式对初烤烟叶多光谱图像进行校正[15].

(1)

式中，R表示烟叶多光谱反射率，Ioriginal、Iwhite、Idark、Igray分别表示样本、标准白板、暗电流及50%反射率标准灰板的反射强度.校正前后的烟叶多光谱反射图像如图3所示.

1.4 模型构建

为减少因样本数量过少造成的过拟合问题，在模型构建前，需要对样本图像进行水平翻转、垂直翻转和亮度变换，以扩充样本容量，从而提高模型的识别正确率与泛化能力[16].本研究对采集到的2019年生产的初烤烟叶多光谱图像进行数据扩充，构建2019年度初烤烟叶多光谱图像数据集.该多光谱图像分辨率为224×224，通道数为1，共132 144幅，每级为33 036幅，以8∶2比例划分训练集与验证集；采集到的2020年生产的初烤烟叶多光谱图像不进行数据扩充，构建2020年初烤烟叶多光谱图像数据集.该多光谱图像分辨率为224×224，通道数为1，总数共2 400幅，每级为600幅，并用于已构建模型的校验.

由于卷积神经网络对植物特定形态结构的分类与识别表现出较高的精度与稳健性[17]，本研究基于VGG11网络模型构建了烟叶等级识别网络(tobacco grade identification network, TGIN)模型，用于初烤烟叶的等级判别.TGIN模型具体网络结构参数如图4所示.

网络的各项参数与模型的训练正确率及收敛速度有直接关系，本研究在模型优化上使用了keras-tuner框架对TGIN模型的学习率及其全连接层的神经单元节点数进行超参数校调，使模型在保证较好的识别正确率与损失值的情况下，收敛时间尽可能缩短.在模型常用的学习率区间[0.000 1, 0.01]中选取0.000 1, 0.005, 0.001, 0.05, 0.01共5个值作为TGIN模型的学习率超参数范围，全连接层的神经单元节点数设置区间[1 000, 1 100]，步长为24，设定1 024, 1 048, 1 072和1 096四个值作为全连接层节点数的超参数范围.通过keras-tuner框架提供的tuner search功能模块调用model-building函数以构建模型，并进行迭代运算.根据多次重复训练并参考训练结果，最终确定在学习率为0.001、神经元节点数为1 024的条件下TGIN模型性能最优.

图3 图像校正Fig.3 Image rectification

图4 TGIN初烤烟叶等级识别模型的结构Fig.4 Structure of TGIN model for flue-cured tobacco grading

由于适应动量优化器在模型迭代训练时，整体参数变化更平稳，故更适用于解决稀疏梯度问题[18].本研究通过交叉熵损失函数评估当前训练阶段结果的概率分布与真实分布的差异.由于该函数描述的是实际输出与期望输出的距离，交叉熵的值越小，训练输出的概率分布与正式分布的结果越接近[19].

1.5 模型评价

将调用参数自动校调后保存的最佳模型在等级识别软件开发平台上训练，并根据混淆矩阵计算正确率(Accuracy)、召回率(Recall)以及F1得分(F1-Measure)参数评价TGIN模型的初烤烟叶等级识别性能，各评价指标函数表达式如式(2)～(4)所示：

(2)

(3)

(4)

式中，TP为皱褶初烤烟叶真阳性样本数量，FP为皱褶初烤烟叶假阳性样本数量，FN为皱褶初烤烟叶假阴性样本数量.

2 结果与分析

2.1 初烤烟叶多光谱反射光谱

图5 B2F、C2F、C3F和C4F初烤烟叶的平均反射率Fig.5 Mean reflectance of B2F,C2F,C3F and C4F flue-cured tobacco

B2F、C2F、C3F及C4F四种等级的初烤烟叶的平均光谱反射率如图5所示.由图5可知，不同等级烟叶的多光谱反射率差异性波段主要为460～730 nm和900～940 nm，这与田阳阳等[20]研究的结果一致.不同等级初烤烟叶的平均光谱反射率存在差异性说明利用多光谱成像技术结合深度学习方法具有识别初烤烟叶等级的潜力.

2.2 不同模型对初烤烟叶等级的识别效果

对AlexNet模型、TGIN模型及VGG11模型进行了对比试验，由于皱褶初烤烟叶特征参数较少，在使用标准模型时需要对模型内部参数进行等额缩小.对于AlexNet模型、TGIN模型及VGG11模型均使用2019年度初烤烟叶多光谱图像数据集进行训练，其中AlexNet模型网络包含5层卷积层、5层最大池化层及1层全连接层，将最后一层1 000类softmax输出改为4类输出进行训练并使用验证集进行验证.VGG11模型网络包含8层卷积层、5层最大池化层及3层全连接层，将最后一层1 000类softmax输出改为4类输出进行训练并使用验证集进行验证.TGIN模型网络包含5层卷积层、5层最大池化层及1层全连接层，将最后一层softmax输出设定为4类输出进行训练，并使用验证集进行验证.

3种模型在迭代运算中均未出现过拟合情况，并且在训练过程中均稳定收敛.3种模型的训练曲线如图6所示.由图6可知，这3种模型均可用于初烤烟叶的识别，其中TGIN的损失值最低，为0.003 8；识别正确率最高，达到99.94%；该模型收敛所需的训练轮数最少，仅在40次训练轮数后即可达到收敛.说明本研究采集的初烤烟叶多光谱图像数据集，随着模型深度的增大，训练出的模型性能并不一定提升.综上所述，TGIN模型可视为本研究最佳的初烤烟叶等级识别模型.

通过混淆矩阵计算得到TGIN模型验证集的正确率、召回率及F1得分评价模型的性能，TGIN模型的混淆矩阵见表1.由表1可知，TGIN对不同等级初烤烟叶识别的正确率均大于99.8%.F1-Measure得分由高到低依次为C4F、B2F、C3F、C2F，且均大于0.99.表明该模型在初烤烟叶等级识别任务中具备较高的稳定性.

2.3 模型迁移

为检验TGIN模型的泛化能力，调用训练完成的TGIN模型，并使用2020年度初烤烟叶多光谱图像数据集进行校验，校验结果如图7所示.从图7可知识别正确率仅为60%.引入迁移学习概念，并对卷积神经网络层中提取到的共性特征加上一定量的新样本量个性特征，对模型进行重训练[21]，以获取较好的等级识别效果.

试验共设计了30组迁移学习样本量进行TGIN预先训练模型的重训练，不同的迁移学习样本量得到的验证集识别正确率与损失值如图8所示.由图8可知，随着迁移学习样本量的增加，模型验证集正确率逐渐上升，但当迁移样本量达到48片时，与原模型验证集等级识别正确率基本一致.表明当迁移样本量达到一定数量后，迁移学习后的TGIN模型的等级识别正确率接近原模型训练正确率.当模型参数迁移到不同批次初烤烟叶的等级识别任务时，只需要进行增量式学习，不容易对新数据进行过度拟合，因此具有良好的泛化能力.图9为TGIN模型迁移学习前后训练曲线对比.由图9可知，当以48片迁移样本进行训练时，迁移学习后模型的正确率为99.41%，损失值为0.026 5，与TGIN模型训练原数据接近，说明该模型对不同时期初烤烟叶的等级识别具有较好的效果.

图6 3种模型验证集的正确率与损失值Fig.6 Validation accuracy and loss value of the 3 models

表1 TGIN模型的混淆矩阵及分类性能Table 1 Confusion matrix and classification performance of TGIN model

图7 加载预先训练模型与模型训练原数据的正确率Fig.7 Accuracies of pre-training model and original training model

图9 迁移前后模型验证集的正确率与损失值Fig.9 Validation accuracy and loss value before and after transfer learning

3 小结

通过搭建初烤烟叶多光谱图像采集系统采集皱褶初烤烟叶的12个波段多光谱图像，使用基于VGG11网络架构的TGIN模型作为皱褶初烤烟叶等级识别的主干网络进行训练，并通过keras-tuner框架对该模型进行超参数校调，使模型在保证较好的识别正确率与损失值的情况下，在迭代训练40次后即可收敛.TGIN模型对B2F、C2F、C3F和C4F四个等级识别的总体正确率为99.8%.通过迁移学习，TGIN模型对不同年份生产的皱褶初烤烟叶的识别率达到99%以上.结果表明，多光谱成像技术结合卷积神经网络可实现不同等级的皱褶初烤烟叶的快速识别.