基于GADF变换和多尺度CNN的哈密瓜表面农药残留可见-近红外光谱判别方法

喻国威，马本学,2*，陈金成,3，党富民，李小占，李 聪，王 刚

1. 石河子大学机械电气工程学院，新疆 石河子 832003 2. 农业农村部西北农业装备重点实验室，新疆 石河子 832003 3. 新疆农垦科学院机械装备研究所，新疆 石河子 832000 4. 农业部食品质量监督检验测试中心(石河子)，新疆 石河子 832000 5. 新疆农垦科学院分析测试中心，新疆 石河子 832000

引 言

哈密瓜风味浓郁，香甜爽口，是新疆“名优特”水果之一。哈密瓜在种植期间易遭受白粉病、叶枯病、枯萎病、蚜虫等病虫害的侵染，常使用化学农药进行防治。但是瓜农对使用农药的种类、浓度、频率以及最佳防治时期的选择等主要凭借经验判断、跟随模仿，缺乏科学使用农药的相关理念及技术，使得哈密瓜的农药残留问题日益严重[1]。果蔬农药残留的化学检测方法主要有气相色谱法(gas chromatography，GC)、高效液相色谱法(high performance liquid chromatography，HPLC)、气相色谱-质谱联用法(gas chromatography-mass spectrometry，GC-MS)和液相色谱-质谱联用法(liquid chromatography-mass spectrometry，LC-MS)等，检测精度和灵敏度较高，但设备体积较大、成本较高、操作复杂且具有破坏性，无法满足生产现场快速检测的需要[2]。可见-近红外(visible-near infrared，Vis-NIR)光谱技术所需设备体积较小，便于携带，不仅可实现果蔬品质快速无损检测，并且在果蔬农药残留无损检测方面具有较大潜力，如Zhang等[3]实现了冬枣表面不同梯度毒死蜱残留检测，Sun等[4]提出了对生菜表面氰戊菊酯和毒死蜱残留的鉴别方法，Yazici等[5]探索了草莓农药残留水平检测的可行性等。

目前，可见-近红外光谱解析常利用特定的预处理和特征变量筛选方法去除噪音和无关变量，这些方法虽然提高了模型精度，但是增加了模型复杂度，降低了普适性。深度学习算法减少了原始数据对预处理和特征筛选的依赖，可自动提取特征，为光谱数据解析提供了新理解[6]。Zhang等[7]提出一种端到端的深度光谱模型，可实现玉米、药片、小麦和土壤的可见-近红外光谱定量分析。Zhang等[8]提出一种含有全局平均池化层的一维卷积神经网络(one-dimensional convolutional neural network，1D-CNN)模型用于大肠杆菌和肉类的中红外光谱分析。Wu等[9]利用深度信念网络(deep belief network，DBN)实现了生菜两种农药残留近红外透射光谱的定性判别，测试准确率达到95%。

根据国家标准GB 2763—2021[10]，选择哈密瓜种植期间常用的2种农药(百菌清和吡虫啉)为研究对象。利用格拉姆角场(gramian angular fields, GAF)将哈密瓜表面农药残留的可见-近红外光谱信息映射于二维图像中，设计一种具有Inception结构的二维卷积神经网络(two-dimensional convolutional neural network，2D-CNN)模型融合多尺度深度特征，提高模型精度。利用GAF变换和多尺度CNN模型实现哈密瓜表面农药残留的无损鉴别，为可见-近红外光谱数据处理提供一种新理解，为大型瓜果表面农药残留的无损检测提供一种新思路。

1 实验部分

1.1 材料和样本

试验所用90个哈密瓜(西州蜜25号)样本均购买于石河子市农贸市场，百菌清(剂型： 可湿性粉剂，有效成分含量： 75%，山东百农思达生物科技有限公司)和吡虫啉(剂型： 可湿性粉剂，有效成分含量： 70%，山东海讯科技有限公司)均购买于石河子市农资市场。将90个哈密瓜平均分为3组，每组30个。将2种农药按有效成分含量分别与清水按照1∶1 000的比例配置农药溶液，配置方案为(1)1 g百菌清、750 g清水，(2)1 g吡虫啉、700 g清水。将配置好的百菌清和吡虫啉溶液分别均匀喷洒在两组哈密瓜表面，记为A组、B组。此外，为同时鉴别哈密瓜表面是否含有农药残留，将清水均匀喷洒在哈密瓜表面作为对照组，记为C组。最后，将制备好的样本置于室内干燥通风处10 h后，进行光谱数据采集。

1.2 仪器与数据采集

可见-近红外光谱采集系统主要由光谱仪(QE Pro-FL，Ocean Optics，USA)、光纤探头(QP600-2-VIS-NIROOS-00-5172-11，Ocean Optics，USA)、卤素灯光源(20 W，12 V，飞利浦照明)、载物台和计算机构成，如图1所示。光谱仪波长范围为347.65～1 142.05 nm，分辨率为0.69 nm，信噪比为1 000∶1。卤素灯光源分布在暗箱两侧，照明角度约为60°。

图1 可见-近红外光谱采集系统Fig.1 Vis-NIR spectra collection system

光谱采集设置为漫反射模式，每次采集1 044个光谱数据。积分时间100 ms，移动平均宽度设置为4，平均扫描10次。光纤探针距离哈密瓜表面约为3 cm。为了降低噪声的影响，光谱仪在测量前进行黑白校正。为增加光谱数据，每个哈密瓜沿赤道方向设置4个光谱采集点(相互间隔约90°)，每个采集点重复采集2次，取其平均为该采集点的光谱数据。最终，每个哈密瓜采集4条光谱，90个哈密瓜共采集360条光谱。

1.3 GAF变换

格拉姆角场(GAF)包括格拉姆角和场(gramian angular summation fields，GASF)和格拉姆角差场(gramian angular difference fields，GADF)，可以将一维数据转换为二维图像。本研究将GAF变换应用于光谱数据处理，将光谱数据转换为图像后，输入卷积神经网络进行分类。GAF变换具体操作步骤[11]： 首先，将光谱反射率x，缩放至区间[-1, 1]，记为X，如式(1)所示。计算缩放后光谱反射率的反余弦值，形成新的光谱序列φ，如式(2)所示。转换后的光谱序列通过三角和/差关系进行GASF/GADF变换，转换为沿对角线对称的二维彩色图像。GASF/GADF变换如式(3)和式(4)所示。

(1)

φi=cos-1Xi,i=1, 2, …, 1 044

(2)

(3)

(4)

式中，x为1 044个波长下光谱反射率的集合；xi为第i个波长下的光谱反射率，xi∈[0, 100]；Xi为区间缩放后第i个波长下的光谱反射率，Xi∈[-1, 1]；φi为第i个波长下区间缩放后光谱反射率的反余弦值，φi∈[0, π]；n为光谱波段数，n∈[1, 1 044]且n∈N+。

1.4 卷积神经网络设计

设计了一种包含Inception结构[13]的多尺度卷积神经网络模型，包括1层输入层(input layer，Input)，3层卷积层(convolution layer，Conv)，1层级联融合层(concatenate merginglayer，C-M)，1层平坦层(flatten，f)、2层全连接层(fully-connected layer，F)和1层输出层(Output layer，Output)，如图2所示。模型的输入为3通道的100像素×100像素的GAF图像，输出为哈密瓜表面农药残留类别的预测概率。Conv1层使用32个尺寸为3×3的卷积内核进行低层次特征的提取，滑动步幅(stride)为2。Conv2层利用并行的2个卷积模块(16个尺寸为1×1的卷积内核)和1个最大池化模块(内核尺寸为3×3)进行特征降维，加快训练速度。Conv3层利用3种不同尺寸(1×1，3×3和5×5)的卷积内核提取多尺度深度特征。C-M层采用级联融合的方式，将Conv3层提取的3种不同尺度的深度特征沿着深度维度进行合并(宽度和高度不变)，实现多尺度深度特征融合，如式(5)所示。f层将多维特征一维化后，输入全连接层。F1层的神经元个数为256，F2层的神经元个数为3。

图2 多尺度卷积神经网络结构Fig.2 The multi-scale CNN structure

v=(v1,v2,v3)

(5)

式(5)中，v1,v2,v3为经并行卷积操作后提取的3个深度维度的特征向量，v1∈Rl，v2∈Rm，v3∈Rn；v为深度维度的融合特征向量，v∈Rl+m+n。

卷积和池化操作的填充模式(padding)均为same，即利用零填充使网络层的输出与输入具有相同的空间尺寸。选择线性整流单元(rectified linear unit，ReLU)作为卷积层和全连接层的激活函数，softmax函数作为分类激活函数，多分类交叉熵函数(categorical crossentropy)作为损失函数。全连接层后添加Dropout层，Dropout率为0.2，防止模型过拟合。选择随机梯度下降(stochastic gradient descent，SGD)优化器对模型的训练过程进行优化，利用牛顿动量优化算法加速梯度下降并抑制震荡，每次参数更新后学习率衰减参数(decay)为1×10-6，动量参数(momentum)为0.7。

1.5 实验环境

硬件环境： 处理器(CPU)为Intel (R) Core (TM) I7-8700 CPU @ 3.20 GHz，图形处理器(GPU)为NVIDIA GeForce RTX2060。软件环境： 操作系统为Windows10 64位，配置NVIDIA CUDA Toolkit 10.1和深度神经网络加速库NVIDIA cuDNNv7.6.5，编程语言为Python 3.7.3，深度学习框架为TensorFlow-gpu 2.1.0，深度学习库为Keras 2.3.1。

2 结果与讨论

2.1 光谱分析

哈密瓜表面农药残留的原始光谱和平均光谱曲线如图3所示。从图3(a)中可以看出，不同农药残留的可见-近红外光谱反射率不同，但变化趋势相似。其中，420及670～680 nm附近的光谱吸收峰可能与叶绿素有关； 830～840 nm附近存在较弱的吸收峰，可能是C—H基团的三级倍频吸收特征； 960～980 nm附近吸收峰与哈密瓜表皮水分含量有关，可能是O—H基团的二级倍频吸收特性[13-14]。从图3(b)中可以看出，哈密瓜表面无农药残留的平均光谱反射率最高，两种农药残留的平均光谱曲线在750 nm后差异较为明显。

图3 哈密瓜表面农药残留的可见-近红外光谱(a)： 原始光谱； (b)： 平均光谱Fig.3 Vis-NIR spectra of pesticide residues on the Hami melon surface(a)： Raw spectra； (b)： Average spectra

为消除原始光谱中的噪声，采用标准化方法对光谱数据进行预处理，使其均值为0，方差为1。然后，利用GAF变换将一维光谱数据转换为二维图像，尺寸为100像素×100像素，分辨率为300 dpi。经标准化预处理的无农药残留、百菌清和吡虫啉残留平均光谱曲线，如图4(a1)，(b1)和(c1)所示； 对应的GASF图像，如图4(a2)，(b2)和(c2)所示； 对应的GADF图像，如图4(a3)，(b3)和(c3)所示。GASF与GADF图像通过颜色变化和交汇，将一维光谱信息映射在二维图像中。不同农药残留的GAF图像颜色特征存在差异，为利用GAF变换和2D-CNN模型实现哈密瓜表面农药残留的无损判别提供了依据。

图4 可见-近红外光谱的GAF图像(a1, a2, a3)： 无残留； (b1, b2, b3)： 百菌清残留； (c1, c2, c3)： 吡虫啉残留(1)： 标准化； (2)： 格拉姆角和场； (3)： 格拉姆角差场Fig.4 GAF image of Vis-NIR spectra(a1, a2, a3)： No residues； (b1, b2, b3)： Chlorothalonil residues； (c1, c2, c3)： Imidacloprid residues；(1)： Standardization； (2)： GASF； (3)： GADF

2.2 多尺度CNN模型结果及分析

将哈密瓜表面无残留、百菌清和吡虫啉残留的GAF图像数据集按5∶1的比例划分为训练集和测试集，训练集共300张图像，测试集共60张图像，标签1为无残留，标签2为百菌清残留，标签3为吡虫啉残留。模型训练的学习率(learningrate)为0.005，批量大小(batchsize)为32，迭代次数(epoch)为80。模型性能利用损失值(Loss)和准确率(Accuracy)指标进行评价。GASF和GADF图像的多尺度CNN模型训练结果如图5(a)和(b)所示。从图5可以看出，当准确率曲线逐步上升并趋于稳定和损失值逐步下降并趋于稳定时，GASF图像的训练集损失值和准确率分别为0.011和100.00%，GADF图像的训练集损失值和准确率分别为0.007和100.00%，故模型的训练效果较好。

图5 多尺度CNN模型训练结果(a)： 格拉姆角和场； (b)： 格拉姆角差场Fig.5 The training results of the multi-scale CNN model(a)： GASF； (b)： GADF

为进一步评估模型性能，选用训练数据集外的60张图像作为测试集对模型进行测试。利用混淆矩阵(confusion matrix)可以直观地看出多尺度CNN模型对测试集中各个类别样本的预测结果，如图6所示。矩阵的每一列代表样本的预测类别，每一行代表样本的真实类别，对角线代表每个类别被正确预测的样本数量。由图6(a)可以看出，无残留、百菌清和吡虫啉残留中均有样本被误判为其他类别，说明3类样本的GASF图像特征较为相似。图6(b)中3类样本的判别效果较好，不仅没有无残留样本被误判为农药残留，而且没有农药残留样本被误判为无残留，说明3种类别的GADF图像特征差异较为明显。结果表明，利用GADF数据转换方法和多尺度CNN模型对哈密瓜表面农药残留种类判别的准确率较高，因此后续不同CNN模型性能对比试验采用GADF图像作为模型输入。

图6 多尺度CNN模型混淆矩阵(a)： 格拉姆角和场； (b)： 格拉姆角差场Fig.6 The confusion matrixof the multi-scale CNN model(a)： GASF； (b)： GADF

2.3 模型性能对比

为验证本研究提出的GADF变换和多尺度CNN模型的有效性，选择AlexNet和VGG-16两种CNN模型以及支持向量机(support vector machine，SVM)和极限学习机(extreme learning machine，ELM)两种机器学习分类模型进行性能对比。CNN模型均选择SGD算法对训练过程进行优化。SVM模型采用径向基函数为核函数，并利用遗传算法对超参数进行寻优，最终惩罚系数c和核参数gamma分别设置为5.36和0.11。ELM模型隐含层神经元个数为6500，传递函数为Sigmoid。AlexNet模型的学习率为0.005，批量大小为64，迭代次数为200。VGG-16模型的学习率为0.001，批量大小为64，迭代次数为300。AlexNet和VGG-16模型的输入为二维GADF图像，SVM和ELM模型的输入为一维光谱数据，模型测试结果如表1所示。

由表1可以看出，CNN模型对于无残留样本的判别效果较好，没有1个无残留样本被误判，SVM和ELM模型在3个类别中均有误判样本，综合准确率较低。结果表明，可见-近红外光谱GADF变换结合CNN模型在哈密瓜表面有无农药残留判别中具有较大潜力。3种CNN模型的训练准确率均为100.00%，其中多尺度CNN模型训练耗时最短为14 s，AlexNet模型训练耗时稍长为25 s，VGG-16模型训练耗时最长为247 s。AlexNet和VGG-16模型的网络架构较深，虽然提高了模型的学习能力，但是增加了模型复杂度，训练耗费的时间较长，较多的池化层也增加了信息丢失的风险。多尺度CNN中的Inception结构引入并行卷积通道，并沿深度方向进行特征融合，提高了模型的特征提取能力； 组合小尺寸卷积内核，降低了信息丢失的风险； 在深度方向实现多尺度特征融合，提高了模型的特征提取能力[8]。不同分类模型测试性能结果表明，多尺度CNN模型比传统深度神经网络和机器学习模型更具有优势，利用可见-近红外光谱GADF变换结合多尺度CNN模型对哈密瓜表面农药残留种类判别的效果较好，综合判别准确率为98.33%。

表1 不同分类模型测试性能对比Table 1 Test performance comparisons of different classification models

3 结 论

提出一种基于可见-近红外光谱GADF变换和多尺度CNN模型的哈密瓜表面农药残留定性判别方法。利用GAF变换将一维可见-近红外光谱信息转换为二维彩色图像，构建哈密瓜表面农药残留可见-近红外光谱的GAF图像数据集，包括无残留、百菌清和吡虫啉残留。设计一种包含Inception结构的多尺度CNN模型，利用并行卷积模块获取多尺度深度特征，沿着深度方向进行特征融合，提升模型的特征提取能力。模型测试混淆矩阵结果表明，GADF变换对可见-近红外光谱特征的表达能力优于GASF变换。不同分类模型测试结果表明，CNN模型的判别效果均优于SVM和ELM模型，其中多尺度CNN模型性能最佳，训练耗时最短为14 s，训练集和测试集准确率分别为100.00%和98.33%。与传统单一深度的CNN模型相比，多尺度特征融合结构使模型轻量化的同时保证了模型的精度。今后的研究中，将进一步扩充哈密瓜表面农药残留的可见-近红外光谱数据集，提高多尺度CNN模型的泛化能力，实现多种类混合农药的精确判别。

致谢：感谢石河子大学机械电气工程学院波谱分析实验室的董万城老师和新疆农垦科学院分析测试中心唐宗贵、李会会老师在实验过程中提供的指导和帮助。