基于深度学习的皖南烟区烟叶分级模型构建与应用研究

潘 敏 王志勇 李国欢

（安徽皖南烟叶有限责任公司，安徽宣城 242000）

烟叶原料是烟叶产业链的开端，烟叶原料质量直接影响后期工业可用性。目前，我国烟叶分级主要采用人工分级方式， 分级精度低， 烟叶等级一致性差。为了解决当前烟叶生产问题，亟须实现烟叶自动化分级。 实现烟叶自动化分级的关键主要是攻破烟叶分级模型研发和烟叶自动化分级设备设计2 个问题。

基于机器视觉系统的烟叶分级识别可满足分级的实时性和高效性。 机器视觉系统可以获取目标物的形态、像素分布、亮度和颜色等信息，将数字图像处理的知识与模糊规则分类方法相结合，提取烟叶的形状、颜色、纹理等特征，采用先分组、后分级的方法对烟叶进行自动分级[1-2]。张建平等[3]应用计算机图像处理技术和色度学理论，提出使用叶片的平均长宽比和平均叶尖角来描述叶片形状特征。 本研究针对当前烟叶人工分级的弊端，开展自动化分级研究，研究烟叶分级模型的构建，并设计烟叶自动化分级设备，将理论与实际应用充分结合，实现烟叶自动化分级。

1 材料与方法

1.1 材料及仪器

1.1.1试验材料。供试材料是皖南地区2021 年烟叶，品种为云烟97，涉及B2F、C3F、X2F、X3F 4 个等级，各等级烟叶样本分别有890、962、1 277、486 个，共计3 615 个烟叶样本。

1.1.2仪器与设备。根据烟叶图像采集试验需求，本研究定制了一台机器视觉设备，其拥有符合国标需求的光源、满足图像采集清晰度的相机镜头等，通过手动上料方式进行烟叶数据采集。 CCD 工业相机选用Sony 公司的TGX-2000 型，2 000 万像素， 行频5.8 fps，像元达到2.4 μm；采用高标准光学性能和高分辨率UST-MMD-X1625 型镜头，全视场分辨率可达140 lp/mm，保证图像清晰度，最小畸变可达0.1%。

1.2 试验方法

1.2.1数据采集。 利用1.1.2 图像采集装置，开展单张烟叶图像采集工作。 由于烟叶等级特征主要反映在正面，故本研究仅采集烟叶正面图像，共3 615 张烟叶图像作为试验数据。 采集到的各等级烟叶图像如图1 所示。

1.2.2分析方法。 具体的分析方法主要包括以下几个方面的内容。

（1）卷积神经网络及模型。卷积神经网络是一个多层非全连接的神经网络，在正向传播过程中利用卷积层和池化层相互交替学习，提取原始数据的特征[4]；在反向传播过程中利用梯度下降算法最小化误差函数来调整参数，完成权值更新[5]。

在卷积层中，输入数据与可训练的卷积核做卷积运算，通过滑动平移、加权求和的方式提取不同位置的特征，计算过程可表示为：

池化即为降采样，假定池化窗口大小为n×n，取该窗口区域内n×n 个特征值的最大（或平均）作为新的特征值， 将这些新的特征值按序排列后得到的新向量即为降维后池化层的输出。 池化层特征向量的大小为上一层卷积层的1/n。池化层的计算过程可表示为：

卷积神经网络经典模型有LeNet-5、VGG-16、GoogleNet（Inception-V3）、ResNet-50，其中：LeNet-5是用于手写数字识别的卷积神经网络，有5 层卷积神经网络；VGG-16 简化了卷积神经网络的结构，全部使用3×3 的小型卷积核，使用Dropout 防止过拟合结构，用Relu 激活函数代替sigmoid；GoogleNet（Inception-V3）引入Inception 模块，使用密集结构设计稀疏CNN，使用1×1 卷积核来降低计算量，全局均值池化层；ResNet-50 设计了残差模块解决网络加深、梯度消失的问题，允许人们训练更深的网络。

（2）图像预处理。 ①图像分割。 对于深度神经网络来说，如像素点过大的图像训练起来耗时耗力，网络无法达到拟合状态。若直接调整图像像素大小，会流失大量的烟叶纹理细节信息。 考虑到本研究中所采集的图像，烟叶占图片总面积的比例较小，故图像前景背景分割是一种较合适的预处理手段。 图像前景背景分割包括图像灰度化、Canny 算子边缘检测、图像二值化、图像形态学运算、目标包围轮廓计算、裁剪、分割等步骤。 通过上述步骤将感兴趣区域（即烟叶）从背景中分割出来，最大限度地减少背景对图像分类的干扰。②图像特征缩放。对于深度学习网络的训练和梯度下降算法来说，将特征值缩放到相同区间可以获取性能更好的模型。 通过非线性变化归一化，将图像像素压缩在[0，1]，有利于深度神经网络的收敛。 通过标准化处理，使训练数据服从标准正态分布，有利于网络学习过程中权值的更新。本研究采用这2 种方法对数据进行缩放。③图像增强。本研究中图像增强的方法使用旋转、缩放、剪切变换、随机放大、水平垂直随机移动，随机产生烟叶图像，扩大神经网络训练集样本数量，增加网络对不同形态样本的鲁棒性。

（3）模型评价方法。通过训练集判别准确率和测试集判别准确率2 个指标对本研究设计的模型进行性能评估。 判别准确率PA可表示为：

式（3）中：Nc为判别正确的样本数；Nr为总样品数。

2 结果与分析

2.1 图像预处理

以一张B2F 等级烟叶为例，烟叶预处理过程如图2 所示。

采集的烟叶图像原始尺寸为5 184×3 456 像素，经过灰度化、边缘检测、形态学运算、烟叶轮廓提取、裁剪、像素填充[5]等步骤得到分割后的烟叶图像。 将图像缩放到适应深度学习网络的尺寸大小300×300像素。 对图像进行批量预处理，得到的图像如图3所示。

图像预处理算法可以很好地分割出烟叶图像，实现烟叶前景背景分割。 综合考虑烘烤后的烟叶实际状态以及拍摄的图像信息，主要从标准差中心化（变暗）、白化、随机角度旋转、水平位置平移、竖直位置平移、错切变换、放缩操作、填充模式、水平翻转、垂直翻转等方面对烟叶图像进行增强。

2.2 建立基于深度学习的烟叶分级模型

深度学习网络只有经过大量数据训练才会有良好的分类表现。然而，本研究采集到的烟叶图像数据量有限，故选取面向小型数据集模型构建的方法——迁移学习来构建烟叶分级模型。

2.2.1基于迁移学习构建的皖南烟叶分级模型。 本研究采用的预训练网络有LeNet-5、VGG-16、Google-Net（Inception-V3）、ResNet-50。 首先，将这些网络在ImageNet 数据集训练好；其次，利用预训练网络计算烟叶图像的bottleneck（瓶颈）特征，并在网络最后接上全连接层和分类器，利用烟叶图像训练全连接层和分类器参数。

将烟叶图像以4∶1 的比例划分为训练集和测试集。 将训练集图像通过图像增强技术扩充10 倍，得到训练集图像为28 920 张、 测试集图像为723 张。采用上述方式对模型进行训练， 通过参数调节与优化，建立的烟叶图像等级识别模型预测结果如表1所示。

表1 烟叶分级模型结果 单位：%

2.2.2基于VGG-16 构建的皖南烟叶分级模型。 通过上述模型对比试验，VGG-16 在烟叶分级任务中表现出色。 本研究对该模型的调优主要采用了以下几种方式：改变输出神经元节点个数；调节Epoch、Batchsize 参数，对比激活函数；网络优化器调优。 固定输出节点为4 个，通过大量试验对比，最终选取Epoch=500、Batchsize=16。在此参数设置下，表2 列出了不同网络优化器对模型结果的影响。 通过对比分析可知，采用Adagrad 优化器时，模型的总体性能最好，训练集误差约为10-3数量级，正确率约100%，模型在训练集上的拟合效果较好。 测试集正确率达到96%。

表2 优化器对VGG-16 模型训练与测试效果的影响

2.3 烟叶分级自动化设备设计

以烟叶分级模型构建为基础，结合光机电一体化技术等，研发烟叶分级自动化装备原型样机，研究高效率上料机构、烟叶图像采集、烟叶等级高速识别系统与高通量烟叶分拣称重系统于一体的技术设备，完成烟叶分级自动化装备原型样机的研发。设备设计如图4 所示。

3 结论与讨论

本研究构建了一种基于机器视觉技术与深度学习技术的皖南烟区烟叶分级模型。 运用设计的烟叶预处理算法进行烟叶分割，并通过迁移学习的方法对皖南烟区B2F、C3F、X2F、X3F 4 个等级烟叶图像进行建模。结果表明，基于预训练的VGG-16 模型在皖南烟区烟叶分级上的建模结果表现良好，模型预测能力较强。

结合烟叶模型分级算法，本研究设计了烟叶自动化分级设备。该设备集上料、图像采集、高速识别、分拣称重于一体，可初步实现烟叶分级自动化，提升烟叶分级工作效率，降低人员投入，提高烟叶分级质量一致性。