基于堆栈稀疏自编码器的小麦赤霉病高光谱遥感检测

林芬芳 陈星宇 周维勋 王 倩 张东彦,*

基于堆栈稀疏自编码器的小麦赤霉病高光谱遥感检测

林芬芳1,2,3陈星宇1周维勋1王 倩2张东彦2,*

1南京信息工程大学遥感与测绘工程学院, 江苏南京 210044;2农业生态大数据分析与应用技术国家地方联合工程研究中心(安徽大学), 安徽合肥 230601;3黄河中下游数字地理技术教育部重点实验室(河南大学), 河南开封 475004

小麦赤霉病具有发病快、周期短的特点, 利用深度学习特征提取方法建立病害严重度检测模型, 可为小麦赤霉病的防治提供科学指导。研究于2018—2020年间采集3个品种小麦在扬花期、灌浆期和成熟期的麦穗高光谱数据, 通过形态学处理去除麦芒, 提取出麦穗光谱曲线, 使用多源散射校正对光谱进行去噪处理, 再采用堆栈稀疏自编码器(Stacked Sparse Auto-encoder, SSAE)提取小麦赤霉病的光谱特征, 利用该特征分别结合Softmax分类器和偏最小二乘回归方法构建小麦赤霉病严重度判别和预测模型。通过预训练, 具有12～6个神经元的双层SSAE模型表现较好, 模型均方误差更低, 而且各个病害等级的特征差异明显; 以训练的SSAE模型提取的深度学习特征为基础分别建立赤霉病严重度等级判别模型和严重度预测模型, 在严重度等级判别的分类结果中, 模型的总体精度和Kappa系数分别为88.2%和0.84, 其中“淮麦35”品种的总体精度最高; 在严重度预测模型中, 模型对所有品种测试集的预测决定系数和均方根误差分别为0.927和0.062, 对各品种的预测决定系数均在0.95左右; 相比常见的几种小麦赤霉病光谱指数, 基于SSAE深度学习特征的赤霉病预测模型精度更高。高光谱遥感数据量大、光谱波段多, 堆栈稀疏自编码器通过在自编码器模型中加入稀疏表示的限定条件, 并增加隐含层数及隐含神经元数来构建更为复杂的模型, 所提取的光谱特征更能全方面地体现小麦赤霉病的光谱特征, 利用该特征构建的小麦赤霉病检测模型具有更高的精度, 可为精准监测小麦赤霉病提供科学依据。

赤霉病; 堆栈稀疏自编码器; 高光谱; 检测; 小麦

小麦赤霉病(FHB, Fusarium head blight)是世界范围内最重要的小麦病害之一, 严重影响小麦的产量和品质。该病不仅引起小麦大幅减产, 受其污染的粮食或饲料, 可致人畜中毒, 严重危及到人类和动物的食品安全与健康[1-2]。近10年来, 我国小麦种植区域发生赤霉病大流行的频率明显提高。因此, 在小麦关键生长期, 能够及时准确的监测赤霉病的发展动态, 实现早发现早处理, 对提高小麦的质量和产量至关重要[3]。由于传统的小麦赤霉病监测方法主要依靠人工观测及其经验, 存在费时费力、过程冗长繁琐、时效性差等弊端, 因此研究快速、精准的小麦赤霉病检测方法成为热点。

作物感染病害后, 内部生理指标会发生变化, 作物的光谱在不同波段会表现出不同吸收和反射特性的变化, 因此使用遥感技术对小麦病害进行检测具有理论基础和技术支撑[4-6]。Qiu等[7]利用数码相机获取的RGB图像, 提出深度卷积神经网络可以准确地检测小麦麦穗和病斑区域; 之后, 相关学者继续挖掘不同深度学习方法在小麦赤霉病上的识别潜力[8-10]; Zhang等[11-12]尤其考虑到病害样本数量和大田复杂背景的影响, 针对小样本提出了多特征机器学习的小麦赤霉病斑分割方法, 而对于大样本提出了卷积神经网络(convolutional neural network, CNN)和Unet++等多种深度学习方法的结合来识别赤霉病,并将这些方法应用到小麦赤霉病喷药防治效果评估上。数码图像虽然容易获取, 但光谱特征有限且不易推广到大面积的小麦赤霉病检测上。相比之下, 高光谱遥感具有波段多、光谱范围宽以及可提供光谱和空间域信息的特点, 其中光谱信息能充分反映小麦内部生物物理化学变化, 从而提高小麦赤霉病识别的准确性[13-15]。小麦赤霉病高光谱遥感检测的关键是病害敏感光谱特征的提取。为了有效分析小麦赤霉病光谱特征, 不同光谱预处理方法、光谱特征位置分析法、光谱指数法等被应用到小麦赤霉病检测中[16-18]。Whetton等[19-20]分别开展实验室和田间试验, 利用高光谱成像技术通过偏最小二乘回归和波段统计方法提取小麦赤霉病光谱特征并进行病害识别; Zelazny等[21]分析比较了光谱相减、导数、标准正态变量变换等光谱预处理方法对小麦赤霉病光谱特征的影响。另外, Ma等[22-23]发现将光谱波长、植被指数和小波特征等多种光谱特征融合能有效地提高小麦赤霉病的检测精度。光谱植被指数是分析和检测植物生理和化学变化的常用方法, 许多植被指数已经被构建用于作物病害识别并制图[24]。根据小麦赤霉病的光谱响应, 一些学者提出了检测小麦赤霉病的红边赤霉病指数、赤霉病病害指数、赤霉病分类指数等, 这些指数的提出因试验条件、小麦品种和生长期等因素而不同。Bauriegel等[25]利用665～675 nm和550～560 nm范围内的光谱差异提出了赤霉病指数(head blight index, HBI), 该指数可以作为赤霉病识别的野外分类方法。Liu等[26]基于Sentinel-2数据提出了红边赤霉病指数(red-edge head blight index, REHBI), 结合冠层尺度上的高光谱数据在大尺度区域上进行小麦赤霉病监测, 预测模型决定系数2为0.82。Zhang等[27]通过各个生长期下赤霉病的最佳特征波长, 提出基于384～1050 nm光谱数据的赤霉病指数(Fusarium disease index, FDI), FDI显示出较强的小麦赤霉病严重程度估测能力。丁文娟[28]通过光谱数据的一阶微分处理仿照光谱归一化微分指数构建了赤霉病指数(wheat scab index, WSI)。Zhang等[29]通过高光谱显微图像也构建了一个小麦赤霉病分类指数(fusarium classification index, FCI), 结果显示了FCI对健康小麦和染赤霉病小麦的检测潜力。

随着深度学习方法的日趋成熟, 其越来越广泛运用于农作物病害检测。但是, 深度学习方法用于小麦赤霉病的高光谱特征挖掘的研究较少。Jin等[30]利用近地面获取的高光谱遥感图像比较了不同卷积神经网络模型对小麦赤霉病的检测能力, 结果发现具有卷积层和双向递归层的混合神经网络能有效地从背景和健康中区分出染病麦穗。常规光谱数据处理方法对光谱特征的提取不够透彻、深层和精准, 从而影响病害的识别。深度学习方法虽然较传统的机器学习方法精度有所提高, 但是一些监督学习的深度学习方法在数据标注方面还需要人工进行, 这个过程需要占据较多时间, 并且数据标注的精度对一个网络训练的优良程度有很大的影响。堆栈稀疏自编码器(Stacked Sparse Auto Encoder, SSAE)深度学习算法是一种无监督方法, 相比于其他模型, 它不需要对数据进行人工标注, 另外, 该模型的重点是学习获得一个可以良好代表输入数据的特征, 它的输出层后可以连接分类器或回归模型。

为了探索一种快速和精准监测小麦赤霉病的方法, 本研究利用多年和多个品种的小麦赤霉病高光谱遥感数据, 在SSAE参数优化的基础上深度提取小麦赤霉病光谱特征, 以建立鲁棒性强的小麦赤霉病病害严重度等级识别和严重度估测模型; 光谱病害指数是针对某个特定病害而建立的一种光谱指数,在病害监测上具有简单和快速的特点, 本研究探讨基于SSAE的小麦赤霉病深度学习光谱特征与常见的小麦赤霉病病害光谱指数应用于小麦赤霉病的检测能力, 为小麦赤霉病的防控提供科学依据。

1 材料与方法

1.1 试验设计

2018—2020年在安徽省农业科学院试验田(31°89′N, 117°13'E)开展小麦赤霉病试验, 试验品种分别为“西农979”、“淮麦35”、“漯麦10”。其中, “西农979”属于中抗感赤霉病, “淮麦35”和“漯麦10”属于易感赤霉病。一块(10 m×10 m)的试验区分为接种区和控制区。在接种区, 使用小型喷雾器将带有镰刀菌属的孢子悬浮液喷洒在扬花初期的麦穗上。扬花期雨水多、温度高, 适宜赤霉病的生长。另外, 赤霉病是一种传染性较强的病害, 当一株小麦成功感染赤霉病后会作为感染源继续传染周围的小麦。在控制区, 将浓度为1500 g hm–2的多菌灵杀菌剂喷洒在麦穗上, 以防止控制区的小麦感染赤霉病。其他田间管理技术按照当地农艺措施在2个小区进行。

1.2 研究方法流程

图1显示了研究所采用方法的示意流程图。研究过程包括病害高光谱遥感数据获取、病穗光谱提取和小麦赤霉病严重度计算、光谱数据预处理、基于堆栈稀疏自编码器深度学习算法的病害光谱特征提取、赤霉病检测模型构建、基于不同方法的赤霉病检测模型比较。

图1 研究方法流程图

1.3 数据采集与处理

1.3.1 高光谱数据采集与试验数据集选取 小麦赤霉病穗的高光谱遥感数据使用SOC710E (Surface Optics Corporation, 美国)成像光谱仪进行获取。成像光谱仪SOC710E的光谱范围在400～1000 nm, 光谱分辨率为2.34 nm, 该仪器的其他性能参数见Zhang等[27]。

在天气晴朗、无风少云的田间自然环境下, 快速采摘麦穗并放置在黑色背景布上, 然后利用放置在高度可调三脚架上的SOC710E进行麦穗的高光谱遥感图像采集。数据采集时, 镜头垂直向下朝向样本, 调整镜头与背景布间的距离和曝光时间使麦穗能够清晰成像。为准确获取麦穗的反射率, 在测量麦穗高光谱之前, 进行白板和暗电流的测量。在样品扫描前采集暗电流强度图像, 通过覆盖相机镜头去除暗电流噪声。同样, 在暗电流图像之后立即收集99%反射标准的白板强度。将这两幅图像应用于随后的样本强度图像, 具体公式如下所示。

式中,为麦穗反射率,0为麦穗样本电流强度,w和C分别为白板和暗电流强度。

利用成像光谱仪连续3年在该试验场采集扬花期、灌浆期和成熟期的小麦麦穗高光谱遥感数据。最后将4576个样本作为试验数据, 其中2018年为631个, 2019年为1680个, 2020年为2265个。此外, 该仪器获取的数据在900～1000 nm范围内出现了较大的噪声, 因此本文只采用400～900 nm的高光谱数据。

1.3.2 高光谱数据预处理 为准确获取染病小麦麦穗的光谱信息, 必须对成像光谱仪SOC710E采集到的麦穗高光谱遥感图像进行预处理, 包括麦穗光谱曲线提取和光谱校正。小麦麦穗的麦芒对麦穗的光谱有影响, 因此必须去除以提取纯麦穗光谱曲线。首先将原始高光谱图像中的红色(660 nm)、绿色(560 nm)和蓝色(480 nm) 3个波段提取组成RGB图像(图2-a)。接着对B通道的灰度图像进行形态学处理, 去除麦穗中的毛刺、孤点等(图2-b), 最后对获得的图像进行二值化处理(图2-c), 将麦穗区域从背景分离出来以提取纯麦穗的光谱曲线。形态学是图像处理的基本数学理论[31], 包括腐蚀与膨胀、开运算与闭运算、击中与击不中变换、骨架提取、形态学梯度等基本运算。本研究采用腐蚀与膨胀和开运算与闭运算进行麦穗麦芒的去除。

图2 麦穗形态学处理

(a) 原始影像; (b) 形态学处理后影像; (c) 二值化影像。

(a): the original image; (b): the image after morphological processing; (c): binary image.

田间自然光条件下采集高光谱图像数据时, 信号会受到散射效应和噪声的影响, 影响的程度取决于测量过程中水分变化、光程长度变化、仪器光学以及探测器的漂移和距离。为获取地物准确的光谱信号, 必须进行光谱数据预处理, 否则会导致光谱基线中的平行位移、斜率和强度效应以及路径长度差异。多元散射校正(Multiplicative Scatter Correction, MSC)方法可以有效消除光谱中的基线效应, 包括平移和偏移[32]。它首先要建立一个“理想光谱”, 以该光谱为标准对所有其他样品的光谱进行修正。实际上, “理想光谱”很难得到, 一般取所有样品光谱的平均值作为一个理想的标准光谱。平均光谱计算公式如下:

接着, 将平均光谱和样本光谱进行线性回归, 通过最小二乘法计算基线平移量和偏移量。

最后利用基线平移量和偏移量, 对每个样本光谱进行校正。

1.4 赤霉病严重度计算及其分级

参考国家农业行业标准(GB/T 15796-2011)[33], 以及结合植保专家调查结果。小麦麦穗赤霉病严重度(disease index, DI)计算公式如下:

式中,lesion为一个麦穗中病斑区域面积,all为去除麦芒后整颗麦穗面积。

为准确计算麦穗赤霉病严重度, 关键是从整颗麦穗中分割病斑区域。赤霉病病斑分割方法主要包括背景分离、麦芒去除、色度空间转换和OTSU阈值分割4个步骤。前期提取光谱曲线已经进行了背景分离和麦芒去除的处理, 因此只需再进行色度空间转换和OTSU阈值分割。色度空间转换是将图像从RGB颜色空间转换到YDbDr色彩空间。感染赤霉病的麦穗中, 病斑区域偏黄, 健康部分偏绿色, 由于RGB颜色空间中的3个颜色分量之间相关性大,不利于病斑分割, 而在YDbDr色彩空间中的Dr分量下(图3-a), 赤霉病病斑的颜色明显区别于背景和健康区域。在Dr分量下, 利用OTSU阈值分割方法分割赤霉病斑区域(图3-b)。OTSU阈值分割算法, 又称最大类间方差法, 是一种自适应的阈值确定方法[34-35]。该方法依据感兴趣区域与背景区域在灰度图像中的类间方差确定图像的全局最佳分割阈值。最后, 在麦穗病斑图像中统计病斑区域所占像素以计算小麦麦穗赤霉病严重度。

图3 YDbDr空间下麦穗的Dr分量(a)和麦穗的OTSU阈值分割结果(b)

根据中华人民共和国国家标准GB/T 15796- 2011, 并结合实际情况, 本研究将赤霉病病害严重度划分为4个等级(表1)。其中, 等级1为健康麦穗, 等级2为轻度染病, 等级3为中度染病, 等级4为重度染病。

1.5 堆栈稀疏自编码器算法

自编码器是一种无监督学习的人工神经网络, 其网络结构包含输入层、输出层、隐含层以及一个偏置项系数[36]。它能够对输入数据进行编码, 使其进行降维, 从而学习到输入数据的隐含特征, 同时用学习到的新特征进行解码, 重构出原始输入数据。堆栈稀疏自编码器(Stacked Sparse Auto Encoder, SSAE)是通过计算单个稀疏自编码器的输出与原输入的误差, 然后不断地调节该稀疏自编码器的参数, 将得到的结果作为下一个稀疏自编码器的输入, 依次层层叠加, 通过多次的训练, 提取出最终的隐含层特征, 以提高模型的泛化能力[37-38]。其过程可表示为:

表1 小麦赤霉病病害严重度等级

DI: disease index.

1.6 病害检测模型构建方法

1.6.1 Softmax分类器 为判别小麦赤霉病严重度等级, 本研究采用Softmax模型作为分类器。Softmax分类器是Logistic模型在多分类问题上的推广, 在多分类问题中, 待分类的类别数量需要大于2, 且类别之间互斥。它的输入值是一个向量, 向量中元素为任意实数的评分值, 之后输出一个向量, 其中每个元素值在0～1之间, 且所有元素之和为1 (归一化的分类概率)。

Softmax利用交叉熵损失作为其损失函数:

L= –log10(f()) (7)

在使用Softmax分类器的分类任务中, 其中样本x为第类的概率为:

图中第1个框表示数据输入层, 第2个框表示第1层SAE, 第3个框表示第2层SAE, 第4个框表示输出层, 第5个框表示连接的分类器或回归方法。

The first box means the data input layer, the second box for the first layer SAE, the third box for the second layer SAE, the fourth box for the output layer, and the fifth box for the connected classifiers or regression methods in the figure.

其中=(x,), 损失L= –log10((=|x)), 因此损失函数为:

1.6.2 偏最小二乘回归 除了对小麦赤霉病严重度等级进行判别以外, 本文利用偏最小二乘回归方法估算小麦赤霉病严重度DI。该方法是一种通过投影分别将预测变量和观测变量投影到一个新空间, 来寻找预测模型的统计学方法。

在本文中, 首先进行变量的设置: 将第2层自编码器提取的每个样本的特征值设为自变量= [12, …, x], 自变量的个数等于特征的层数; 每个小麦麦穗样本的赤霉病严重度DI作为因变量, 对自变量和因变量进行标准化, 求出其相关系数矩阵, 提取出自变量组和因变量组的成分, 最后得到因变量和自变量组之间的回归方程, 即模型建立完成。

1.7 精度评价指标

在构建的严重度等级判别模型中采用误差矩阵作为分类结果的评价指标。一般误差矩阵的左边代表的是实际的类别, 上部代表的是预测的类别。误差矩阵中对角线上列出的是正确分类的每类数量, 最右边一列是每类别在实际中的总数量, 而最后一行是每类别在预测上的总数量。根据该矩阵, 可以计算得到总体分类精度(overall accuracy, OA)、Kappa系数、生产者精度(producer accuracy, PA)和用户精度(user accuracy, UA)。

为了客观评价偏最小二乘回归模型对数据的拟合效果和预测能力, 本文使用了均方根误差(root mean square error, RMSE)和决定系数(coefficient of determination,2)两项指标对模型的拟合效果进行检验评价。RMSE代表了预测值与真实值之间差值的标准差。2用于度量因变量的变异中可由自变量解释的部分所占的比例,2越接近1, 表明回归平方和占总平方和的比例越大, 回归线与各观测点越接近, 回归的拟合程度就越好。

2 结果与分析

2.1 感染赤霉病的小麦麦穗反射光谱数据分析

将不同品种和不同病害等级的反射光谱数据经过多元散射校正后取平均值并绘制成图(图5)。在530～570 nm的绿光波段范围, 病害程度越深, 麦穗的反射峰越小, 几乎趋近于直线; 在670～700 nm波段范围, 各个品种的健康麦穗由于高叶绿素含量呈现明显的低反射率, 随着病害的加重, 各个品种的麦穗反射率均在增加, 且吸收特征越来越弱, 但不同品种在该波段范围的反射特征存在差异; 在靠近红边区域的近红外范围, 结果刚好相反, 随着病害程度的提高, 各个品种的麦穗反射率均在降低。此外, 由于年份、光照、小麦生长状况等差异, 品种“西农979”的光谱反射率低于其他2个品种, 尤其是在700 nm以后的波段范围。

图5 不同品种和病害等级下经MSC校正后的小麦麦穗反射光谱曲线

图中不同颜色代表不同的病害等级, 其中黑色表示健康, 红色表示轻度, 蓝色表示中度, 绿色表示重度。

Different colors represent disease levels, among which, black for healthy, red for slight, blue for moderate, and green for serious.

2.2 堆栈稀疏自编码器的参数优化

最优堆栈稀疏自编码器架构的构建需要设置2个关键参数, 分别是隐含层和编码神经元的数量。一般来说, 深层网络比单层网络可以学习更多的抽象特征。隐含层数或隐含层神经元数增加, 能得到更抽象的特征, 但是层数或神经元数量过多, 容易导致模型陷入过拟合状态[39-43]。本文构建的SSAE模型使用2层隐含层, 2层的神经元个数组合可以选择为18～12、18～6和12～6, 第1层和第2层预训练迭代次数分别设置为200和50, L2权重正则化系数为0.001, 稀疏正则化系数为4, 稀疏比例为0.05, 解码器传递函数为Purelin。将样本的光谱作为输入数据, 通过对模型的训练, 不同神经元个数组合的训练均方误差如图6所示, 可见, 具有12～6个神经元的双层SSAE模型比具有18～12和18～6个神经元的模型表现更好, 模型均方误差更低。

SSAE的本质是通过堆栈多层稀疏自编码器SAE (Sparse Auto Encoder, SAE)的深度网络, 其前一层SAE获得的特征作为输入被送入到下一层SAE中, 以递归编码方式获得某层特征。通过这种方式, SSAE有潜能地从输入数据中提取更为抽象和有用的高阶特征表示, 尽可能地复现输入信号的高阶特征。图7给出了不同层提取的各病害等级的麦穗赤霉病深度学习特征。当神经元数量高于10时, 第1层SAE所提取的各病害等级的特征差异较明显, 各病害等级的特征值从大到小依次为健康、轻度、中度和重度; 当神经元数量高于2时, 第2层SAE所提取的各个病害等级的特征区分度越来越明显。最后, 通过预训练, 第1层和第2层的神经元数量分别为12和6时, SSAE模型的结构体系表现最优。

2.3 小麦赤霉病病害程度检测

2.3.1 病害严重度等级判别 将本文构建的SSAE模型的第2个隐含层训练得到的高阶特征作为特征输入, 利用分类器softmax构建小麦赤霉病严重度等级判别模型。通过所有品种的综合测试集验证, 模型的总体精度OA为88.2%, Kappa系数为0.84, 各病害等级的生产者精度如下: 健康为90.5%、轻度为82.6%、中度为89.8%、重度为90.1%, 各病害等级的用户精度如下: 健康为83.6%、轻度为85.7%、中度为88.6%、重度为93.6%。可见, 基于深度学习特征建立的病害等级判别模型的总体精度达85%以上, 病害程度越高, 模型的判别能力越强。

图6 各层不同神经元数量组合下模型的训练均方误差

图7 每层SAE提取的各病害等级特征

(a) 第1层; (b) 第2层。不同线型代表不同的病害等级, 其中双点划线表示健康, 短划线表示轻度, 直线表示中度, 点线表示重度。

(a): the first layer; (b): the second layer. Different types of lines represent disease levels, double dotted lines for healthy, dashed lines for slight, straight lines for moderate, and dotted lines for serious.

按照分品种统计(图8和图9), 3个品种的总体分类精度均达到了85%以上, 其中, “淮麦35”的总体精度最高, 其值为89.71%。3个品种的Kappa系数分别为0.798、0.841、0.824, “淮麦35”最高, 其次是“漯麦10”和“西农979”。从模型对每个品种的各病害等级的判别精度上分析, 针对品种“淮麦35”, 除了轻度等级, 模型对其他等级的判别精度均达90%以上; 对于品种“漯麦10”, 模型对各等级判别精度比较均衡, 用户精度基本在88%～90%之间; 对于品种“西农979”, 模型对健康、中度和重度3个等级的判别精度较高, 用户精度在87%～92%之间, 但对轻度等级的识别精度较低, 用户精度仅为68.8%。经过分析, 病害轻度等级较多地错分到健康和中度, 这可能与等级划分有关。

图8 不同品种下小麦赤霉病严重度等级判别模型的总体精度和Kappa系数

图9 不同品种下各病害等级的生产者精度(a)和用户精度(b)

2.3.2 病害严重度DI预测 病害程度等级是以一定病害严重度范围定义的, 是对病害程度的一个大概性质确定, 而病害严重度DI是对病害程度的一种更精准的判定。因此, 本文以SSAE算法提取的小麦赤霉病深度学习光谱特征为输入, 利用偏最小二乘回归方法预测小麦赤霉病严重度DI。图10给出了所有品种和各品种测试集的预测精度。从图中可知, 所有品种测试集预测的决定系数2和均方根误差RMSE分别为0.927和0.062, 预测的总体精度较高。按照品种分析, “西农979”、“淮麦35”和“漯麦10”的2分别为0.947、0.953和0.954, RMSE为0.058、0.045和0.049。综合判断, “淮麦35”的预测精度最高, 其次是“漯麦10”和“西农979”。品种抗性和样本量等因素都会影响病害检测。“西农979”属于中抗感赤霉病, “淮麦35”和“漯麦10”属于易感赤霉病, 相对而言, 后两者更容易受病害影响。

图10 预测模型精度

(a) 所有品种测试集; (b) 西农979测试集; (c) 淮麦35测试集; d) 漯麦10测试集。

(a): all varieties test set; (b): Xinong 979 test set; (c): Huaimai 35 test set; (d): Luomai 10 test set.

3 讨论

利用高光谱数据中少数几个特征波段以一定的数学形式组合起来形成光谱指数被认为是一种简单高效的光谱数据处理方法。目前, 针对小麦赤霉病的光谱指数被陆续提出, 相对于常规的植被指数, 这些指数是根据小麦赤霉病的光谱响应特征构建的, 具有唯一性、特异性和高检测力的特点。这些指数包括Bauriegel等[25]提出的赤霉病指数(HBI)、Liu等[26]的红边赤霉病指数(REHBI)、Zhang等[27]的赤霉病指数(FDI)、丁文娟[28]提出的赤霉病指数(WSI)和Zhang等[29]构建的小麦赤霉病分类指数(FCI)。表2详细列出了这些指数的全称和计算公式。这些指数的构建都是根据感染赤霉病的小麦麦穗的光谱响应特征。图6显示了染病麦穗的反射光谱特征主要体现在绿光波段、红光波段以及近反射陡坡的近红外波段范围。这个结果与上述学者构建赤霉病光谱指数的最优光谱特征波段是一致的。尽管如此, 每个光谱指数只是利用了某种病害的最显著光谱特征而设计的,但是影响小麦赤霉病的因素是复杂的, 这些因素可能是作物品种、生育期、温度、湿度、土壤肥力等, 由此导致的病害光谱特征有些微小的差异, 这些差异是常规的光谱特征分析方法无法检测到的。高光谱遥感数据量大、光谱波段多, 往往需要更复杂的模型对数据进行分析与识别。深度学习模型通过增加隐含层数及隐含神经元数来构建更为复杂的模型,层数越多, 所提取的特征越抽象, 深度学习模型相比于浅层学习模型有能力更好地逼近非线性函数[44-45]。小麦赤霉病的全波段光谱数据可以全部放进深度学习模型中, 在模型的自学习中病害光谱特征可以被全方面地深度挖掘。

560表示在波长560 nm处的反射率, 其他以此类推;R、Re3和NIR分别代表红光波段、红边3波段和近红外波段的反射率; SD450–488和SD500–540分别表示在450～488 nm和500～540 nm波段范围内的一阶微分值。

560means the reflectance at 560 nm, and so on.R,Re3, andNIRrepresent the reflectance of red band, red edge band 3, and near infrared band, respectively. SD450–488and SD500–540represent the first-order differential values in the band range of 450–488 nm and 500–540 nm, respectively.

本文比较了深度学习特征和上述小麦赤霉病光谱指数对赤霉病严重度的预测能力(图11)。本文建立的基于SSAE深度学习特征的赤霉病预测模型精度均高于基于上述赤霉病光谱指数建立的模型。其中, 分别利用FDI和FCI构建的回归模型相对较高, 决定系数2在0.8～0.9之间, 其次是分别基于HBI和WSI指数建立的模型, 决定系数在0.65～0.75之间。相对而言, 通过赤霉病光谱指数REHBI建立的模型精度较低,2和RMSE分别仅为0.35和0.18。Zhang等[27]设计的小麦赤霉病光谱指数FDI所使用的数据是2018年扬花期至成熟期获取的“西农979”麦穗高光谱遥感数据, 属于本文所用数据的其中一部分, 模型的预测精度2接近0.90。可见, 光谱指数FDI一定程度上能够反映小麦赤霉病的光谱特征, 但是鉴于数据获取和光谱特征提取的不够全面和精细, FDI无法真正体现小麦赤霉病的深度光谱特征。另外, 由于光谱指数设计的简单性会丢失小麦赤霉病的细微光谱特征。红边赤霉病指数REHBI是Liu等[26]利用小麦冠层高光谱遥感数据按照Sentinel-2遥感数据的多光谱通道而设计的, 用于在区域范围内检测小麦赤霉病。虽然Sentinel-2遥感数据的通道多, 主要针对植被的遥感监测, 但是较低的光谱分辨率不易探测到小麦赤霉病的精细光谱特征。

图11 深度学习特征和各小麦赤霉病光谱指数预测精度比较

(a): SSAE; (b): WSI; (c): FCI; (d): FDI; (e): REHBI; (f): HBI.

利用堆栈稀疏自编码器提取的深度特征进行小麦赤霉病严重度预测与直接使用小麦赤霉病光谱指数相比可提高预测精度。但是由于深度学习模型参数调整复杂, 选取不当可使模型陷入局部最小或过拟合, 影响判别或预测精度。本文在隐含层内神经元数对模型精度的影响进行了试验测试, 表明参数设置过大或过小均会对判别或预测精度产生影响。另外, 深度学习模型可以获得令人满意的精度, 然而该方法以牺牲一定的时间为代价。高光谱遥感数据的光谱波段几十个甚至上百个, 数据量大, 而且深度学习需要的样本量大, 因此有必要加快判别或预测方法的执行时间。

4 结论

本文针对传统光谱数据处理方法存在的不足, 提出利用堆栈稀疏自编码器深度学习算法从3年的不同品种小麦麦穗高光谱遥感数据中提取小麦赤霉病的深层光谱特征, 并结合分类器和偏最小二乘回归方法判别和预测赤霉病严重度。通过预训练和测试, 具有12～6个神经元的双层SSAE模型的结构体系表现最优; 模型对所有品种的测试集的总体精度和Kappa系数分别为88.2%和0.84, 但模型对病害轻度等级的识别精度较低; 利用SSAE特征结合偏最小二乘回归方法对赤霉病严重度进行预测, 模型对所有品种测试集的预测决定系数和均方根误差分别为0.927和0.062, 其中, “淮麦35”的预测精度最高。此外, 与常见的小麦赤霉病光谱指数相比, 堆栈稀疏自编码器深度学习方法可以更全面地深度挖掘小麦赤霉病光谱特征, 由此建立的模型判别和预测精度更高。

[1] 张昊, 陈万权. 小麦赤霉菌群体结构和病害监控技术研究进展. 植物保护学报, 2022, 49: 250–262. Zhang H, Chen W Q. Research progresses on population structure of pathogen and monitoring and controlling technology of Fusarium head blight in wheat., 2022, 49: 250–262 (in Chinese with English abstract).

[2] 陶晡, 齐永志, 屈赟, 曹志艳, 赵绪生, 甄文超. 基于增强回归树的海河平原小麦赤霉病预测模型构建与验证. 中国农业科学, 2021, 54: 3860–3870. Tao B, Qi Y Z, Qu Y, Cao Z Y, Zhao X S, Zhen W C. Construction and verification of fusarium head blight prediction model in Haihe plain based on boosted regression tree., 2021, 54: 3860–3870 (in Chinese with English abstract).

[3] 邢瑜琪, 姚卫平, 户雪敏, 戴纪琛, 张太学, 黄卫利, 胡小平. 基于监测预警的小麦赤霉病药剂防治效果评价. 植物保护, 2021, 47: 323–326. Xing Y Q, Yao W P, Hu X M, Dai J S, Zhang T X, Huang W L, Hu X P. Evaluation of control effects of pesticides on wheat scab based on monitoring and early warning system., 2021, 47: 323–326 (in Chinese with English abstract).

[4] 黄文江, 师越, 董莹莹, 叶回春, 邬明权, 崔贝, 刘林毅. 作物病虫害遥感监测研究进展与展望. 智慧农业, 2019, 1(4): 1–11. Huang W J, Shi Y, Dong Y Y, Ye H C, Wu M Q, Cui B, Liu L Y. Progress and prospects of crop diseases and pests monitoring by remote sensing., 2019, 1(4): 1–11 (in Chinese with English abstract).

[5] 孙瑞琳, 孙全, 孙成明, 刘涛, 李冬双, 吴峰峰. 基于不同平台的小麦病虫害遥感监测研究进展. 中国农机化学报, 2021, 42(3): 142–150. Sun R L, Sun Q, Sun C M, Liu T, Li D S, Wu F F. Recent advances in remote sensing monitoring on wheat pests and diseases based on different platforms., 2021, 42(3): 142–150 (in Chinese with English abstract).

[6] Zhang N, Yang G, Pan Y, Yang X, Zhao C. A review of advanced technologies and development for hyperspectral-based plant disease detection in the past three decades.(Basel), 2020, 12: 3188.

[7] Qiu R C, Yang C, Moghimi A, Zhang M, Steffenson B J, Hirsch C D. Detection of fusarium head blight in wheat using a deep neural network and color imaging.(Basel), 2019, 11: 2658.

[8] 鲍文霞, 孙庆, 胡根生, 黄林生, 梁栋, 赵健. 基于多路卷积神经网络的大田小麦赤霉病图像识别. 农业工程学报, 2020, 36(11): 174–181. Bao W X, Sun Q, Hu G S, Huang L S, Liang D, Zhao J. Image recognition of field wheat scab based on multi-way convolutional neural network., 2020, 36(11): 174–181 (in Chinese with English abstract).

[9] 邓国强, 王君婵, 杨俊, 刘涛, 李冬双, 孙成明. 基于图像和改进U-net模型的小麦赤霉病穗识别. 麦类作物学报, 2021, 41: 1432–1440. Deng G Q, Wang J C, Yang J, Liu T, Li D S, Sun C M. Identification of fusarium head blight in wheat ears based on image and improved U-net model., 2021, 41: 1432–1440 (in Chinese with English abstract).

[10] 戴雨舒, 仲晓春, 孙成明, 杨俊, 刘涛, 刘升平. 基于图像处理和Deeplabv3+模型的小麦赤霉病识别. 中国农机化学报, 2021, 42(9): 209–215. Dai Y S, Zhong X C, Sun C M, Yang J, Liu T, Liu S P. Identification of fusarium head blight in wheat-based on image processing and Deeplabv3+ model., 2021, 42(9): 209–215 (in Chinese with English abstract).

[11] Zhang D Y, Wang Z C, Jin N, Gu C Y, Chen Y, Huang Y B. Evaluation of efficacy of fungicides for control of wheat fusarium head blight based on digital imaging., 2020, 8: 109876–109890.

[12] Zhang D Y, Gu C Y, Wang Z C, Zhou X G, Li W F. Evaluating the efficacy of fungicides for wheat scab control by combined image processing technologies., 2021, 211: 230–246.

[13] 张凝, 杨贵军, 赵春江, 张竞成, 杨小冬, 潘瑜春, 黄文江, 徐波, 李明, 朱西存, 李振海. 作物病虫害高光谱遥感进展与展望. 遥感学报, 2021, 25: 403–422. Zhang N, Yang G J, Zhao C J, Zhang J C, Yang X D, Pan Y C, Huang W J, Xu B, Li M, Zhu X C, Li Z H. Progress and prospects of hyperspectral remote sensing technology for crop diseases and pests., 2021, 25: 403–422 (in Chinese with English abstract).

[14] Behmann J, Steinrucken, Plumer L. Detection of early plant stress responses in hyperspectral images., 2014, 93: 98–111.

[15] Zhang J C, Huang Y B, Pu R L, Gonzalez-moreno P, Yuan L, Wu K H, Huang W J. Monitoring plant diseases and pests through remote sensing technology: a review., 2019, 165: 104943.

[16] Xiao Y X, Dong Y Y, Huang W J, Liu L Y, Mm H Q. Wheat fusarium head blight detection using UAV-based spectral and texture features in optimal window size.(Basel), 2021, 13: 2437.

[17] Liu L Y, Dong Y Y, Huang W J, Dd X P, Ma H Q. Monitoring wheat fusarium head blight using unmanned aerial vehicle hyperspectral imagery.(Basel), 2020, 12: 3811.

[18] Alisaac E, Behmann J, Kuska M T, Dehne H W, Mahlein A K. Hyperspectral quantification of wheat resistance to fusarium head blight: comparison of two fusarium species., 2018, 152: 869–884.

[19] Whetton R L, Hassall K L, Waine T W, Mouazen A M. Hyperspectral measurements of yellow rust and fusarium head blight in cereal crops: Part 1: Laboratory study., 2018, 166: 101–115.

[20] Whetton R L, Waine T W, Mouazen A M. Hyperspectral measurements of yellow rust and fusarium head blight in cereal crops: Part 2: On-line field measurement., 2018, 167: 144–158.

[21] Zelazny W R, Chrpova J, Hamouz P. Fusarium head blight detection from spectral measurements in a field phenotyping setting: a pre-registered study., 2021, 211: 97–113.

[22] Ma H Q, Huang W J, Jing Y S, Pignatti S, Laneve G, Dong Y Y, Ye H C, Liu L Y, Guo A T, Jiang J. Identification of fusarium head blight in winter wheat ears using continuous wavelet analysis.(Basel), 2020, 20: 2001.

[23] Ma H Q, Huang W J, Dong Y Y, Liu L Y, Guo A T. Using UAV-based hyperspectral imagery to detect winter wheat fusarium head blight.-, 2021, 13: 3024.

[24] Thenkabail P S, Smith R B, Depauwd E. Hyperspectral vegetation indices and their relationships with agricultural crop characteristics., 2000, 71: 158–182.

[25] Bauriegel E, Giebel A, Geyer M, Schmidt U, Herppich W B. Early detection of fusarium infection in wheat using hyper-spectral imaging., 2011, 75: 304–312.

[26] Liu L Y, Dong Y Y, Huang W J, Du X P, Ma H Q. A disease index for efficiently detecting wheat fusarium head blight using Sentinel-2 multispectral imagery., 2020, 8: 52181–52191.

[27] Zhang D Y, Wang Q, Lin F F, Yin X, Gu C Y, Qiao H B. Deve­lopment and evaluation of a new spectral disease index to detect wheat fusarium head blight using hyperspectral imaging.(), 2020, 20: 2260.

[28] 丁文娟. 基于不同尺度的冬小麦赤霉病高光谱遥感监测. 安徽大学硕士学位论文, 安徽合肥, 2019. Ding W J. Hyperspectral Remote Sensing Monitoring of Winter Wheat Head Blight Based on Different Scales. MS Thesis of Anhui University, Hefei, Anhui, China, 2019 (in Chinese with English abstract).

[29] Zhang N, Pan Y C, Feng H K, Zhao X Q, Yang X G, Ding C L, Yang G J. Development of fusarium head blight classification index using hyperspectral microscopy images of winter wheat spikelets., 2019,186: 83–99.

[30] Jin X, Jie L, Wang S, Qi H, Li S. Classifying wheat hyperspectral pixels of healthy heads and fusarium head blight disease using a deep neural network in the wild field.(Basel), 2018, 10: 395.

[31] 何晓军, 徐爱功, 李玉. 基于模糊相似性的彩色形态学图像处理方法. 计算机应用研究, 2019, 36(1): 258–263. He X J, Xu A G, Li Y. Color morphological image processing method based on fuzzy similarity., 2019, 36(1): 258–263 (in Chinese with English abstract).

[32] Zhang X, Sun J, Li P, Zeng F, Wang H. Hyperspectral detection of salted sea cucumber adulteration using different spectral preprocessing techniques and SVM method.-, 2021, 152: 112295.

[33] 中华人民共和国农业部. 小麦赤霉病测报技术规范, GB/T 157962011, 2011. Ministry of Agriculture. Rules for Monitoring and Forecast of the Wheat Head Blight (Schw. /(Schw.) Petch), GB/T 15796–2011, 2011 (in Chinese).

[34] Otsu N. A threshold selection method from gray-level histograms.-, 1979, 9: 62–66.

[35] Wang D Y, Fu Y Y, Yang G J, Yang X D, Liang D, Zhou C Q, Zhang N, Wu H, Zhang D Y. Combined use of FCN and Harris corner detection for counting wheat ears in field conditions., 2019, 7: 178930–178941.

[36] 马红强, 马时平, 许悦雷, 吕超, 辛鹏, 朱明明. 基于改进栈式稀疏去噪自编码器的图像去噪. 计算机工程与应用, 2018, 54(4): 199–204. Ma H Q, Ma S P, Xu Y L, Lyu C, Xin P, Zhu M M. Image denoising based on improved stacked sparse denoising auto- encoder., 2018, 54(4): 199–204 (in Chinese with English abstract).

[37] Bai Y, Xiong Y, Huang J, Zhou J, Zhang B. Accurate prediction of soluble solid content of apples from multiple geographical regions by combining deep learning with spectral fingerprint features., 2019, 156: 110943.

[38] Ahman M, Alqarni M A, Khan A M, Hussain R, Mazzara M, Distefano S. Segmented and non-segmented stacked denoising autoencoder for hyperspectral band reduction., 2019, 180: 370–378.

[39] 戴晓爱, 郭守恒, 任清, 杨晓霞, 刘汉湖. 基于堆栈式稀疏自编码器的高光谱影像分类. 电子科技大学学报, 2016, 45: 382–386. Dai X A, Guo S H, Ren Q, Yang X X, Liu H H. Hyperspectral remote sensing image classification using the stacked sparse autoencoder., 2016, 45: 382–386 (in Chinese with English abstract).

[40] Zhao C H, Wan X Q, Zhao G P, Cui B, Liu W, Qi B. Spectral-spatial classification of hyperspectral imagery based on stacked sparse autoencoder and random forest., 2017, 50: 47–63.

[41] Wan X Q, Zhao C H. Local receptive field constrained stacked sparse autoencoder for classification of hyperspectral images., 2017, 34: 1011–1020.

[42] Shao Z F, Zhang L J, Wang L. Stacked sparse autoencoder modeling using the synergy of airborne LiDAR and satellite optical and SAR data to map forest above-ground biomass.-, 2017, 10: 5569–5582.

[43] Zhang L J, Shao Z F, Liu J C, Cheng Q M. Deep learning based retrieval of forest aboveground biomass from combined LiDAR and Landsat 8 data.(Basel), 2019, 11: 1459.

[44] Fan Y Y, Zhang C, Liu Z Y, Qiu Z J, He Y. Cost-sensitive stacked auto-encoder models to detect striped stem borer infestation on rice based on hyperspectral imaging.-, 2019, 168: 49–58.

[45] Yang D, Yuan J H, Chang Q, Zhao H Y, Cao Y. Early determination of mildew status in storage maize kernels using hyperspectral imaging combined with the stacked sparse auto-encoder algorithm., 2020, 109: 103412.

Hyperspectral remote sensing detection ofin wheat based on the stacked sparse auto-encoder algorithm

LIN Fen-Fang1,2,3, CHEN Xing-Yu1, ZHOU Wei-Xun1, WANG Qian2, and ZHANG Dong-Yan2,*

1School of Remote Sensing and Geomatics Engineering, Nanjing University of Information Science and Technology, Nanjing 210044, Jiangsu, China;2National Engineering Research Center for Agro-Ecological Big Data Analysis and Application (Anhui University), Hefei 230601, Anhui, China;3Key Laboratory of Geospatial Technology for the Middle and Lower Yellow River Regions (Henan University), Kaifeng 475004, Henan, China

(FHB) has the characteristics of rapid onset and short cycle. The deep learning feature extraction method was used to establish a disease severity detection model to provide guidance for the prevention and control of FHB. The hyperspectral data of wheat ears from flowering to maturity under three varieties from 2018 to 2020 were collected. The spectral curves of wheat ears were obtained by morphological processing and multi-source scattering correction. Then spectral features of FHB were extracted by stacked sparse auto-encoder (SSAE), combined with Softmax classifier and the partial least squares regression method to detect FHB. Through pre-training, the two-layer SSAE model with 12–6 neurons performed better, the mean square error of the model was lower, and the characteristics of each disease level were significantly different. The deep learning features extracted by the trained SSAE model were the basis of the establishment of FHB disease severity level discrimination model and severity prediction model. The overall accuracy and Kappa coefficient of the model were 88.2% and 0.84, respectively, and the accuracy was the highest for the variety of ‘Huaimai 35’. The prediction coefficient of determination (2) and root mean square error (RMSE) of the model for the test set of all varieties were 0.927 and 0.062 in the severity prediction model, respectively, and2for each variety was around 0.95. The FHB prediction model based on SSAE deep learning features has higher accuracy than those with several common FHB spectral indices. Hyperspectral remote sensing had the characteristics of large amount of data and many spectral bands. The stack sparse auto-encoder builded a more complex model by adding the limiting conditions of sparse representation to the auto-encoder model, and increasing the number of hidden layers and hidden neurons. The extracted spectral features can better reflect the spectral characteristics of FHB in all aspects, so the detection model of FHB constructed by using these features has higher accuracy, which provides a reference for timely and accurate monitoring of FHB.

; stacked sparse auto-encoder; hyperspectral; detection; wheat

2023-02-10;

2023-02-28.

10.3724/SP.J.1006.2023.21060

通信作者(Corresponding author):张东彦, E-mail: zhangdy@ahu.edu.cn

E-mail: linfenfang@126.com

2022-09-07;

本研究由国家自然科学基金项目(42271364), 江苏省科技计划项目(BK20211287)和黄河中下游数字地理技术教育部重点实验室(河南大学)开放课题项目(GTYR202104)资助。

This study was supported by the National Natural Science Foundation of China (42271364), the Science and Technology Plan in Jiangsu Province (BK20211287), and the Open Fund of Key Laboratory of Geospatial Technology for the Middle and Lower Yellow River Regions (Henan University), the Ministry of Education (GTYR202104).

URL: https://kns.cnki.net/kcms/detail//11.1809.S.20230228.0956.002.html

This is an open access article under the CC BY-NC-ND license (http://creativecommons.org/licenses/by-nc-nd/4.0/).