基于AE-BiRNN 的片烟含水率高光谱检测

魏 雷，徐迎波，曹海兵，薛训明，王 澍，何金华，严志景，计 敏，张 龙，张 超*

1.安徽大学物质科学与信息技术研究院，合肥市九龙路111 号 230601 2.中国科学院合肥物质科学研究院安徽光学精密机械研究所，合肥市蜀山湖路350 号 230031 3.安徽中烟工业有限责任公司生产制造部，合肥市天达路9 号 230088 4.安徽中烟工业有限责任公司技术中心，合肥市天达路9 号 230088

松散回潮是卷烟加工过程中的关键工艺环节，松散回潮机的参数设置不仅会影响片烟含水率分布均匀性，还会对片烟的耐加工性以及制丝后的烟丝结构、填充值、出丝率、感官评价等指标产生影响。因此，实时检测松散回潮后片烟含水率对于提升卷烟产品质量具有重要意义。常用的片烟含水率检测方法有气相色谱法、近红外技术和卡尔费休-加热炉法［1］，但这些方法耗时长、测量范围小，难以直观反映片烟表面水分分布状况。目前基于机器视觉开展了大量烟叶含水率预测研究。其中，魏硕等［2］根据烘烤过程中烟叶形态收缩情况判断水分含量；段史江等［3］通过量化烘烤过程中烟叶形态变化的数值特征指标，建立了含水率BP（Back Propagation）神经网络预测模型。上述根据烟叶物理形态和表面颜色变化建立的模型虽具有较好的预测精度，但在更换烟叶品种或叶片舒展性较差时容易产生误差，且实验结果无法直接观察水分分布状况。高光谱成像技术（Hyperspectral imaging，HSI）具有光谱分辨率高、测量范围广、图谱合一等特点［4］，普遍应用于地表监测、矿物探测等领域。随着便携式高光谱相机的发展和光谱分析方法的深入研究，高光谱成像技术被广泛应用于农副产品水分或化学成分含量检测。田美玲等［5］通过梯度提升回归树对光谱特征进行重要性遴选，用于估算土壤含水量；孙红等［6］利用高光谱成像技术，使用随机蛙跳算法选择特征波长预测马铃薯叶片含水率；禹文杰等［7］通过CARS（Competitive Adaptive Reweighted Sampling）提取牛肉水分特征波长预测牛肉样本水分含量。近年来高光谱成像技术在烟草制品的化学分析领域也取得广泛关注。赵科文等［8］使用高光谱成像技术结合PCA（Principal Component Analysis）降维实现了烟丝组分掺配均匀性检测；李士静等［9］通过高光谱成像技术结合F-Score 算法选取烟叶高光谱特征波长实现了不同烟叶等级识别。然而，结合CARS、PCA 等数据降维算法对原始高光谱数据进行预处理，需要人工提前设置算法参数，若预处理方法使用不当，则容易导致模型预测准确率下降。为此，提出一种嵌入点积注意力机制的双向循环神经网络结构AE-BiRNN（Attention mechanism Embed Bidirectional Recurrent Neural Networks）用于片烟含水率预测，并利用自制的155个高光谱数据开展方法性能验证，以期实现片烟含水率分布可视化，为快速调整松散回潮机工艺参数提供支持。

1 数据与方法

1.1 片烟样本及含水率测定

实验样本为卷烟生产中松散回潮后的烤烟片烟，共选取38个等级（由安徽中烟工业有限责任公司提供）。要求外观平展无折叠，避免因片烟重叠处含水率过高或过低而无法准确采集片烟光谱信息。利用烘箱法制作不同含水率片烟样本并测量真实含水率，首先将数片片烟（大于5 g）置于电子天平（精度0.001 g，赛多利斯科学仪器有限公司）进行3次称重取平均质量Mfn，采集片烟高光谱图像；然后根据表1中设定的烘烤温度和时间，将片烟置于40 ℃的烘箱（宁国沙鹰科学仪器有限公司）中烘烤40 s，每次烘烤后记录片烟质量并采集高光谱图像，此过程连续进行5次；最后100 ℃烘烤片烟120 min，设此时片烟质量为Md，含水率为0。因不同片烟初始含水率及失水速率不同，有部分片烟在第3次或第4次烘烤后质量变化不明显，则直接烘烤至含水率为0。片烟含水率计算方法见公式（1）。最终采集155张片烟高光谱图像，所有片烟样本含水率分布在0～25.05%之间，平均含水率为12.35%，标准差为6.14%。

表1 烘烤温度和时间设定Tab.1 Setting of temperature and duration of flue curing

式中：Mfn为片烟初始质量或烘烤后质量，g；Md为片烟含水率为0时的质量，g；LWCn为片烟含水率，%。

1.2 片烟高光谱数据采集

Gaia Field高光谱成像仪（江苏双利合谱科技有限公司）主要由便携式高光谱成像仪主机（Gaia Field Pro-V10）、成像镜头（HSIA-0LES30）、校正白板（HSIA-CT-150 mm×150 mm）和数据采集软件（SpecView）等组成，见图1。此外，还配备了2台33 W柏林二代卤素双臂台灯（朗德万斯照明有限公司）用于改善光源条件，1台天逸510 Pro计算机（联想集团有限公司）用于采集和保存光谱数据。采用推扫成像模式，光谱范围为873～1 720 nm，光谱分辨率为1.7 nm，即512个波段，像素为640 px×640 px。

图1 高光谱成像系统结构图Fig.1 Structure of hyperspectral imaging system

为避免日照光线的影响，实验在暗室环境中进行，使用卤素灯补充光源。高光谱成像仪镜头距离载物台30 cm，曝光时间设置为14 ms，两侧卤素灯保持等高、平行并折角45°。采集光谱数据前进行黑白板校正，以减少光源或暗电流噪声的影响。打开高光谱成像仪后，先获得标准白板数据，再盖上镜头盖获得黑板数据，然后对片烟高光谱数据进行采集。为减少卤素灯光源热量等环境因素对片烟含水率产生影响，应尽快完成数据采集。原始图像校正方法见公式（2）。

式中：W为全漫反射标准白板校正图像上像素点（x，y）对应的光谱数据；B 为黑板校正图像上像素点（x，y）对应的光谱数据；I为原始片烟图像光谱数据；R为黑白板校正过的片烟光谱数据。

高光谱数据处理平台为PyCharm。其中，计算机系统为Ubuntu 18.04.6 LTS 版本，硬件配置：CPU为AMD®Ryzen 5 2600x six-core processor×12，内存为7.8 GiB，显卡为NVIDIA GeForce RTX 2060/PCIe/SSE2。

1.3 基于SG的光谱平滑

因高光谱数据具有大量噪声，影响模型精度，故选取Savitzky-Golay（SG）算法对光谱曲线进行平滑处理。SG平滑算法主要通过移动窗口，对窗口内的光谱数据点进行K 阶多项式拟合［10］，从而抑制噪声干扰、平滑曲线，并保持光谱长度和信号强度不变。

1.4 基于AE-BiRNN的含水率预测

目前循环神经网络RNN被广泛应用于音频、文本、光谱等一维序列的分类与回归［11-12］。实验采集的高光谱图像尺寸为640 px×640 px，每个像素点包含512 个波段的光谱数据。当样本维度过高时，RNN容易出现梯度消失、预测准确率下降等问题。为此，本研究中将点积注意力机制［13］嵌入双向循环神经网络组合成AE-BiRNN 用于片烟含水率预测。如图2所示，AE-BiRNN 通过双向门控制单元BiGRU［14］（Bidirectional Gate Recurrent Unit）关联片烟含水率光谱序列前后波段的光谱信息，Attention 为基于点积结构的注意力机制。

图2 AE-BiRNN网络架构Fig.2 AE-BiRNN network architecture

（1）BiGRU由两个方向（正向和反向）的循环神经网络组成，每个方向上的循环神经网络基本单元为门控循环单元（GRU）。门控循环单元由更新门（zt）和重置门（rt）组成，更新门用于控制隐藏状态的信息更新，重置门决定前一个时间步的隐藏状态信息保留。取值范围均在0～1之间。更新门（zt）和重置门（rt）的计算方法见公式（3）。

式中：xt为当前时刻的输入；W、U和b分别为更新门或重置门的权重和偏置；ht-1为上一时刻隐藏状态信息。

隐藏状态信息ht的计算方法见公式（4）。

（2）注意力机制（Attention Mechanism）［13］是嵌入机器学习模型的一种特殊结构，用于自动学习和计算输入数据对输出数据的贡献大小。点积注意力［15］常用于文本翻译、音频分类等一维序列任务，主要利用相似度分数对特征光谱分配较大的权重信息，使得模型在计算加权求和时更多地关注权重大的片烟含水率波长，从而起到特征波长选择、降低输入数据维度的作用。设网络输入信息H＝［h1，h2，…，hN］。其中，N 为输入信息数，hm为输入信息量，ht为查找关键信息的查询向量。通过softmax 归一化点积相似度s，将其转化为注意力权重，并将注意力权重与输入信息量加权求和计算Attention作为输出。点积注意力机制计算过程见公式（5）。

式中：s为点积相似度；αm为注意力权重；Attention为加权求和后的结果，输入全连接层［16］进行特征映射和非线性变换，最后输出回归预测的片烟含水率。

1.5 片烟含水率分布可视化方法

片烟高光谱图像的每个像素点对应一条反射率曲线，对每条曲线进行预测，即可得到基于像素级的片烟含水率灰度图。因单个像素点的光谱信息噪声较大，为减少预测偏差，对片烟含水率灰度图使用3×3改进均值滤波进行处理［17］。如图3所示，在对背景和片烟区域像素进行判别后，只对片烟区域灰度值进行滤波处理；对经过滤波处理的含水率灰度图进行伪彩色映射，选取OpenCV 中有较高对比度的COLORMAP_JET 伪彩色处理函数作为映射方案，以突出图像细节。

图3 3×3改进均值滤波算法Fig.3 Diagram of 3×3 improved mean filtering algorithm

1.6 片烟含水率均匀性评价

采用片烟像素点预测含水率的极差、方差和预测区间覆盖率，评价片烟含水率均匀性。利用极差反映片烟像素点含水率的变异范围或离散幅度，极差计算方法见公式（6）。

式中：nmax为基于片烟像素点预测含水率的最大值，%；nmin为预测含水率的最小值，%；R为极差，%。

利用方差观察每个像素点含水率与均值的差异，方差计算方法见公式（7）。

式中：S为片烟区域的所有像素点数；μ为均值，%；σ2为方差；ni为基于片烟像素点预测含水率值，%。

松散回潮后片烟平均含水率标准区间为17%～20%［18］，允差为±1.5%，则预测区间覆盖率计算方法见公式（8）。

式中：nk为基于像素点预测含水率在该区间内的个数；P为预测区间覆盖率，%。

2 结果与分析

2.1 片烟高光谱数据预处理

2.1.1 片烟高光谱数据

在155张片烟高光谱图像中，随机选择图像在波长1 038 nm 的光谱反射率生成灰度图，利用大津法（OTSU）［19］分割片烟区域，划分过程见图4。OTSU通过最小化类内方差确定分割阈值，将背景与片烟进行划分，得到分割阈值为63。使用分割后的灰度图对原始片烟高光谱图像的每个波段进行点乘，由此得到片烟区域的光谱信息。提取片烟区域每个波段的平均反射率作为原始样本光谱数据，可获得155个样本×512 个波段的数据矩阵，将其保存为.xlsx 格式。使用随机划分法进行划分，70%片烟样本用于训练，30%片烟样本用于验证。

图4 OTSU阈值分割过程Fig.4 OTSU threshold segmentation procedure

2.1.2 片烟光谱数据平滑

因原始光谱存在较大噪声，设置SG算法的平滑窗口大小为5，使用3 阶多项式拟合。由图5a 可见，SG 对光谱具有较好平滑效果，且光谱信息不失真。由图5b 可见，在波长1 450 nm 左右存在明显波谷，当片烟含水率相差较大时，波谷差异也较大。说明使用烘箱烘烤后片烟光谱信息与含水率具有一定相关性，故能够在片烟光谱与含水率之间建立关系模型。

图5 片烟光谱数据预处理Fig.5 Preprocessing of spectral data of tobacco strips

2.2 点积注意力机制性能分析

与传统的光谱数据先降维再回归的处理方法不同，点积注意力机制能够对不同波段分配权重参数，起到特征波长选择、降低输入数据维度的作用。为考察点积注意力机制模块的引入效果，选用高光谱分析中常用的竞争性自适应重加权采样法CARS［20］、主成分分析PCA、非信息变量消除（Uninformative Variables Elimination，UVE）3 种方法进行特征波长选择，对降维后的光谱数据使用BiRNN 和AE-BiRNN 分别建模并进行全波长模型精度对比，以验证集的决定系数R2v和均方根误差RMSEV作为评价标准。其中，BiRNN 和AE-BiRNN 模型参数设置：Input Dimension 为1；Hidden size 为32；Num layers 为2；Learning Rate 为0.000 05；Batch size 为128；Epochs为5 000。

CARS是基于达尔文的“适者生存”原则，使用蒙特卡洛采样法采样，利用指数衰减函数确定N 次迭代过程中的波长数，根据波长权重选择特征波长进行回归［21］。其中，｜bi｜为第i个波长的偏最小二乘回归系数绝对值，m 为采样的变量数。由图6a 可见，第19 次采样模型精度较高，选择了72个特征波长。由图6b可见，前两个主成分贡献率达到99%以上，表明PCA 能够最大限度地保留原始数据信息［22］。因此，使用前3 个主成分根据PCA loadings选择了75个特征波长。UVE能够剔除对建模贡献率较小的波长变量，保留需要的特征波长［23］，以回归系数矩阵的平均值与标准差的比值作为变量指标，图6c为四折交叉验证得分的变化趋势，选择了64个特征波长。

图6 特征波长选择结果Fig.6 Characteristic wavelength selection results

2.2.1 降维效果对比

表2 为不同方法在高光谱片烟含水率验证集上的预测结果。可见：①UVE 选择特征波长对比全波长建立的BiRNN 模型，验证集决定系数R2v降低0.024 7，说明未提取到有效的特征波长，CARS+BiRNN 模型效果最好；②嵌入点积注意力机制模块后，AE-BiRNN的预测准确率高于BiRNN和CARS+BiRNN 模型，验证集R2v分别提升0.026 2 和0.013 7；③将CARS 特征波长与AE-BiRNN 结合，对比AE-BiRNN 预测准确率无明显变化。图7 为AE-BiRNN 模型验证集预测结果，根据拟合直线可以看出该算法能够较为准确地预测片烟含水率。综上，AE-BiRNN 在无特征波长选择的条件下同样能够获得较好的预测准确率，表明嵌入的点积注意力机制模块具有较好的特征波长选择作用。

图7 AE-BiRNN验证集预测结果Fig.7 AE-BiRNN validation set results

表2 不同特征波长选择方法的片烟含水率预测准确率Tab.2 Prediction accuracies based on different characteristic wavelength selection methods

2.2.2 收敛速度对比

图8 为BiRNN、CARS+BiRNN、AE-BiRNN 在5 000 次Epoch 中的验证集R2v和损失值（Loss）变化曲线。可见，AE-BiRNN 模型的R2v拟合曲线在3 000 次Epoch 左右趋于稳定，收敛于0.940 4，且5 000 次Epoch 后Loss 仍有下降趋势。表明嵌入点积注意力机制模块能够根据片烟含水率特征波长快速分配权重信息，减少模型运算量，提高收敛速度。

图8 不同模型收敛速度对比Fig.8 Comparison of convergence speed among different models

2.3 AE-BiRNN模型的性能验证

为考察AE-BiRNN模型用于高光谱数据的回归预测性能，基于全波长数据集选用光谱分析中常用的传统机器学习方法PLSR（Partial Least Squares Regression）、RF（Random Forest）以及经典神经网络模型LeNet 和多层感知机MLP（Multilayer Perceptron）进行预测精度对比［24-26］。各回归模型的参数设置见表3。

表3 不同回归模型的参数设置Tab.3 Parameter settings of different regression model

由表4 可见，神经网络模型LeNet、MLP、AE-BiRNN 的预测精度均高于机器学习PLSR 和RF。其中，AE-BiRNN 模型精度最高，对比LeNet 和MLP网络模型，R2v分别提高0.012 3和0.024 5。说明AE-BiRNN在光谱分析中能够充分发挥序列建模能力的优势，关联片烟含水率光谱序列前后的信息，精准预测片烟含水率。

表4 不同回归模型的预测精度Tab.4 Prediction accuracies of different regression models

2.4 片烟含水率分布可视化结果

利用AE-BiRNN模型对片烟高光谱图像的像素点进行含水率预测，对含水率灰度图使用3×3 改进均值滤波法处理，采用COLORMAP_JET 映射方案对处理后的含水率灰度图进行颜色映射。由图9可见，a、b、c 片烟预测平均含水率分别为18.36%、19.06%、19.28%。利用Colorbar 颜色代表含水率高低，根据可视化结果可以看出叶茎含水率较高，叶片含水率较低，与客观认知相符合。

图9 片烟含水率分布可视化结果Fig.9 Visual results of moisture content distribution of tobacco strips

2.5 片烟含水率均匀性评价结果

分别选取合肥卷烟厂生产线上6组片烟（每组随机挑选100 片），使用AE-BiRNN 模型逐像素点进行预测，计算每组片烟的平均含水率，利用极差（R）、方差（σ2）和预测区间覆盖率（P）进行片烟含水率均匀性评价。由表5可见，AE-BiRNN模型对每组样品含水率预测的平均绝对误差ε稳定在1%以内，表明模型具有较好准确性和实用性；松散回潮后片烟含水率在18%左右，且含水率分布的极差和方差较小，预测区间覆盖率较高，表明片烟含水率分布较为均匀。

表5 AE-BiRNN模型测试结果Tab.5 Test results of AE-BiRNN model

3 结论

为预测松散回潮后片烟含水率及评价片烟含水率分布状况，利用高光谱图谱合一和BiRNN序列建模能力的优势，提出一种嵌入点积注意力机制的双向循环神经网络结构AE-BiRNN。使用BiRNN网络提取片烟含水率光谱特征深层关联性信息，引入点积注意力机制对波长分配不同权重，起到选择特征波长的作用。对比PLSR、RF和LeNet、MLP方法，结果表明：AE-BiRNN模型预测片烟含水率精度最高，减少了光谱分析的预处理工作量，提高了模型收敛速度；通过快速分析片烟含水率分布状况，为松散回潮机工艺参数调整和改进提供帮助。该模型还可在仓储片烟含水率监测、烘烤片烟失水变化、烟草香料施加均匀性检测等方面推广应用。