基于可见光谱与轻量级卷积神经网络的冬小麦分蘖数估算

李云霞，马浚诚，刘红杰，张领先*

1.中国农业大学信息与电气工程学院，北京 100083 2.中国农业科学院农业环境与可持续发展研究所，北京 100081 3.商丘市农林科学院，河南 商丘 476000

引 言

分蘖数是表征冬小麦长势优劣，指导田间农艺管理措施的重要形态指标。同时，分蘖数是冬小麦产量的主要构成因素，分蘖的多少及壮弱是冬小麦产量的重要影响因素之一。冬小麦分蘖发生在越冬前和返青后，观测冬小麦分蘖情况，可以充分了解冬小麦苗期的长势，可为冬小麦种植过程田间农艺管理举措提供决策支持，对冬小麦的穗发育以及成穗品质具有重要的现实意义[1]。

冬小麦分蘖数观测的传统方法是人工田间采样，具有破坏性，影响作物的正常生长，且耗费人力物力，无法满足农业信息化背景下高通量、快速的作物长势参数获取需求[1]。准确、快速、高效的冬小麦分蘖数获取方法的研究十分重要。国内外许多学者利用多光谱和高光谱技术开展对作物分蘖数的观测研究[1-3]，通常是将作物冠层反射率转换为植被指数，进而反演获得作物的分蘖数。基于光谱分析方法可以较好地实现作物分蘖数的观测，但是仍然存在三个问题：(1)需要专门的光谱数据获取设备，通常仪器较为昂贵，普及性有限；(2)非可见光谱数据需要较为繁多的专业预处理过程；(3)智能移动设备成本低，使用便捷，已广泛普及，然而目前存在的分蘖数估算模型体量大，不适宜嵌入移动终端设备，缺乏小体量、高准确度的估算模型。

与其他波段光谱数据的获取相比较，可见光RGB图像的获取设备成本低廉、获取时间灵活、获取方式便捷、预处理简易，可以最大限度地降低人力物力成本[4]。深度学习中的卷积神经网络在图像处理领域兴起，卷积神经网络无需人工提取图像特征，以图像作为模型的输入，对图像预处理要求简单。该技术在农业领域的应用发展，为作物长势参数无损测量提供了新工具，如叶面积指数[5]、地上生物量[6]、麦穗数[7]、产量[8]等的估算与检测。上述研究通常是基于经典的非轻量级卷积神经网络，例如，AlexNet，ResNet等。然而经典的非轻量级卷积神经网络通常具有复杂的网络结构、大量的参数和计算量，应用于移动设备时存在存储难和运行慢的问题。针对嵌入移动终端设备的需求，轻量级卷积神经网络具有更大的优势，相较于非轻量级卷积神经网络中的常规卷积，具有更少的参数量，也降低了浮点计算量，更适合嵌入移动终端设备中，例如，MobileNetV2，SqueezeNet[9]，ShuffleNet，均是常用的轻量级卷积神经网络。轻量级卷积神经网络在农业领域中正逐渐发展应用，目前基于轻量级卷积神经网络的应用主要集中于识别与分类任务，如叶部病害的识别分类[10]，果实的识别[11]。这为轻量级卷积神经网络应用的可行性提供了依据，然而，将轻量级卷积神经网络应用于回归任务的研究和讨论较少，如作物分蘖数估算。

利用连续两年采集的田间冬小麦冠层可见光RGB图像，基于可见光RGB图像的特点，结合MobileNetV2以及迁移学习方法构建冬小麦分蘖数估算模型，并验证模型在不同植株密度数据上的鲁棒性以及在不同生长季变化数据上的泛化性。

1 实验部分

1.1 数据采集

冬小麦试验设置在河南省商丘市农林科学院小麦试验基地。该试验基地是温带季风气候，属于中国黄淮冬小麦产区。试验采用适宜当地土壤和生长气候的周麦22作为种植品种，连续种植2017年—2018年和2018年—2019年两个生长季。在两个生长季中，冬小麦种植时间分别为2017年10月14日和2018年10月15日。两个生长季施肥与灌溉措施设置相同，均施用27∶16∶5(27%N, 16%P2O5, 5% K2O)的缓释肥，施用量为750 kg·hm-2，施用时间与方式均为播种前一次性撒施；灌溉方式均是在播种期充分灌溉一次，起身期每亩补充灌溉25～30 m3。本研究设置大小为2.4 m×5 m的试验小区，依据三种植株密度120，270和420 株·m-2各设置4个重复，共设置12个试验小区。每个试验小区内以白色边框设置3个互不重叠、尺寸为1 m×1 m的图像采样区。此次试验连续采集了冬小麦2017年—2018年和2018年—2019年两个生长季的冠层可见光RGB图像数据和田间测量数据，数据采集前均对田间杂草进行处理。数据采集时间跨度是自第一年的11月下旬至次年的3月中旬，涵盖冬小麦分蘖的两个盛期。其中，2017年—2018年生长季共进行了17次数据采集，2018年—2019年生长季共进行了20次数据采集，数据采集详情如表1所示。

表1 冬小麦冠层图像数据采集日期

试验数据采集分为可见光RGB图像数据采集和田间测量数据采集，二者同时进行，一般每隔3～5 d在晴天或少云天气进行一次采集。田间测量数据获取的方法是田间采样和试验室测量的方式，田间使用随机采样法在试验小区的非图像采集区域随机采集5个冬小麦样本株，分别标号封装带回试验室。5名具有冬小麦栽培以及田间管理相关知识的工作人员在互不干扰情况下分别对样本株进行分蘖数统计。针对每个试验小区，对获得的人工样本株分蘖数取中值，并作为该试验小区的分蘖数田间测量值。冬小麦分蘖图像如图1所示。

图1 冬小麦分蘖示例

以数码相机(EOS 600D，Canon，佳能中国)作为冬小麦冠层图像田间采集工具。为保证图像采集的普遍性并真实反映田间环境，图像采集中数码相机关闭闪光灯、无光学变焦；镜头位于冬小麦冠层上方与地面垂直1.5 m处。田间获取的冬小麦冠层原始图像分辨率为5 184×3 456，保存格式为.jpg。根据以上数据采集要求，2017年—2018年生长季共采集冬小麦冠层图像612张，2018年—2019年生长季共720张。

利用采集的初始图像训练冬小麦冠层分蘖数估算模型，需对初始数据图像进行以下预处理操作：(1)裁剪获得白色标记边框内的图像采样区域；(2)调整裁剪后图像像素尺寸为卷积神经网络输入图像尺寸；(3)将统一尺寸后的图像以2∶1划分为训练验证集和测试集，然后再将训练验证集以8∶2划分为训练集和验证集；(4)训练集和验证集数据图像进行数据扩充[6]。预处理后图像示例，如图2所示。

图2 预处理后冬小麦冠层图像

1.2 冬小麦分蘖数估算模型构建

基于轻量级卷积神经网络和可见光RGB图像构建冬小麦分蘖数估算模型主要包括数据获取、分蘖数模型构建、分蘖数估算三个步骤，如图3所示。

图3 冬小麦分蘖数估算流程

MobileNetV2，SqueezeNet，ShuffleNet是目前常用的轻量级卷积神经网络，与经典的非轻量级卷积神经网络比较具有更小的参数量和计算量，更适合嵌入移动终端设备。MobileNetV2，ShuffleNet通过设计网络结构的方式减小模型体量，提升运行效率，SqueezeNet则是通过压缩模型的方式实现。MobileNetV2采用深度可分离卷积，利用线性瓶颈层结构更好地提取图像高维空间和低维空间的特征，有效避免信息丢失，模型中的反向残差结构增加信息维度以提升模型提取特征的能力，进而提升模型的性能。ShuffleNet采用通道混洗(channel shuffle)的方式对组卷积中的特征信息进行重组，使得特征信息可以在不同组之间流转，在保证模型精度的同时减少模型的计算量。SqueezeNet采用Fire模块降低参数量，采用延迟降采样的方式保留更多的特征信息，进而在有限的参数量下提高模型的性能。针对小样本数据，基于共享参数的迁移学习方法可以有效提高模型的鲁棒性，避免过拟合现象，基于卷积神经网络与迁移学习的方法在形态学分割[10]、病害识别[10]、果实识别[11]品质检测[12]等农业领域有较好的应用。本研究将3个轻量级卷积神经网络模型在ImageNet数据库上进行预训练，并将获得的权重保存为初始权重。

为实现冬小麦分蘖数估算这一回归任务，3个轻量级卷积神经网络改进为T-MobileNetV2，T-SqueezeNet，T-ShuffleNet，分别如图4(a, b, c)所示。具体地，将原网络中与分类任务相关的分类层、分类输出层替换为与回归任务相关的全连接层、dropout层以及回归输出层。回归输出层的损失函数Loss，如式(1)所示

图4 轻量级卷积神经网络结构调整图

(1)

式(1)中，R是响应总数，ti为目标输出，yi为网络对第i个响应的预测值。

全连接层参数中的隐含神经元数量设置为1，对应输出分蘖数；权重学习率因子设置为10，偏差学习率因子设置为10，以提升权重迁移后网络学习的速率。模型训练时采用动量梯度下降法，初始学习率设置为网络训练时收敛的最大学习率，批处理大小设置为32，最大训练次数设为50。通过网络层和参数的调整与设置，模型可以更加适应冬小麦分蘖数估算任务。

1.3 模型评价指标

为了评价试验中卷积神经网络在冬小麦分蘖数估算任务中的性能，以决定系数(R2)、均方根误差(root mean square error，RMSE)、归一化均方根误差(normalized root mean square error，NRMSE)作为评价指标。R2越高，RMSE和NRMSE越低表示估算值与实测值之间拟合度越高，估算结果越准确。R2，RMSE和NRMSE按照式(2)、式(3)和式(4)进行计算。

(2)

(3)

(4)

2 结果与讨论

基于3个轻量级卷积神经网络MobileNetV2，SqueezeNet，ShuffleNet构建冬小麦分蘖数估算模型，并进行对比优选试验，将表现最佳的轻量级卷积神经网络模型与经典的非轻量级卷积神经网络AlexNet，ResNet18，ResNet50比较分析。基于不同植株密度的数据集和不同生长季的数据集，对表现最佳的轻量级卷积神经网络进行鲁棒性和泛化能力试验。本研究硬件环境为Intel Xeon处理器，32GB内存，英伟达显卡NVIDIA Quadro P4000，使用的软件为MATLAB 2019b(Mathworks，U.S.)。

2.1 基于轻量级卷积神经网络的冬小麦分蘖数估算模型结果

基于3个轻量级卷积神经网络构建了T-MobileNetV2，T-SqueezeNet，T-ShuffleNet分蘖数估算模型，利用2017年—2018年生长季数据进行冬小麦分蘖数估算训练验证与测试，测试结果如表2所示。在3个基于轻量级卷积神经网络构建的模型中，T-MobileNetV2表现最优，具有最高的R2(R2=0.7)，最低的RMSE(RMSE=1.6)和NRMSE(NRMSE=0.2)。由此可得，基于轻量级卷积神经网络MobileNetV2构建的模型可以最优完成冬小麦分蘖数估算的任务。

表2 轻量级卷积神经网络冬小麦分蘖数估算结果

2.2 与非轻量级卷积神经网络对比试验结果

为了验证模型的估算效果，以及基于轻量级卷积神经网络构建的模型在嵌入移动终端设备时的优势，基于相同的数据和试验环境，以基于非轻量级卷积神经网络AlexNet，ResNet18，ResNet50构建的分蘖数估算模型和基于轻量级卷积神经网络构建的分蘖数估算模型T-MobileNetV2进行冬小麦分蘖数估算对比试验。AlexNet，ResNet18，ResNet50模型深度分别为8，18和50。AlexNet网络深度最小，但具有经典简洁的卷积神经网络结构；ResNet系列网络采用残差结构，解决了卷积神经网络不断增加深度而导致的梯度消失或梯度爆炸的问题。这些模型均是在农业中应用广泛的非轻量级卷积神经网络，因此，选为本研究的对比模型。四个卷积神经网络对比试验结果如表3所示。由表可见，与非轻量级卷积神经网络相比较，轻量级卷积神经网络模型T-MobileNetV2体积具有明显优势，R2相差0.1～0.2，但是模型体积相差2.3～16.1倍。明显可见，轻量级卷积神经网络模型在保证模型性能的同时具有更小的体量，更加适合嵌入移动终端设备。

表3 基于不同卷积神经网络冬小麦分蘖数估算比较试验结果

2.3 不同植株密度下分蘖数估算结果

植株密度是影响冬小麦分蘖的重要因素，为了验证轻量级神经网络估算模型T-MobileNetV2在不同植株密度下的鲁棒性，本研究将数据集按照三种植株密度120，270和420 株·m-2进行划分，然后利用估算模型T-MobileNetV2进行测试，结果如表4所示。该冬小麦分蘖数估算模型在不同植株密度下表现鲁棒，其中R2的值在120和270 株·m-2下优于在420 株·m-2下的值，而误差NRMSE则均为0.2。

表4 不同植株密度下轻量级卷积神经网络冬小麦分蘖数估算结果

2.4 泛化能力试验结果

为验证基于MobileNetV2构建的冬小麦分蘖数估算模型在不同生长季数据上的泛化能力，本研究进行了泛化能力验证试验。T-MobileNetV2保留了在2017年—2018年生长季图像数据上训练的权重，然后基于2018年—2019年生长季图像数据进行再学习，结果如图5(a,b)所示。比较T-MobileNetV2在2018年—2019年生长季图像数据集上再学习前后的表现可知，R2由0.2提升至0.6，增长了2倍，NRMSE由0.290下降至0.268，下降了7.6%。由此可见，T-MobileNetV2经过再学习性能整体提升，对不同生长季数据的差异具有较好的适应性，表明模型具有较好的泛化能力。

图5 2018年—2019年生长季数据分蘖数估算结果

3 结 论

基于冬小麦冠层可见光谱图像，结合轻量级卷积神经网络MobileNetV2研究冬小麦分蘖数估算方法，获得如下结论。

(1)基于连续两个生长季的冬小麦冠层可见光谱图像，利用3个常用轻量级卷积神经网络MobileNetV2, SqueezeNet, ShuffleNet和3个经典非轻量级卷积神经网络AlexNet，ResNet18，ResNet50，针对冬小麦分蘖数估算进行了比较研究。结果表明基于可见光谱图像和T-MobileNetV2的冬小麦分蘖数估算R2是0.7，RMSE是1.6，NRMSE是0.2，取得了最佳的效果，且具有较小的体积，可以较好地实现对冬小麦分蘖数的估算，并且适合嵌入移动终端设备。这也表明了轻量级卷积神经网络在该方面应用的可行性。

(2)利用轻量级卷积神经估算设备T-MobileNetV2在三个不同植株密度120，270和420 株·m-2的可见光谱图像数据上进行比较试验，验证估算模型的鲁棒性。试验结果表明，该估算模型针对不同植株密度下的可见光谱图像数据表现鲁棒。

(3)基于2017年—2018年生长季图像数据构建冬小麦分蘖数估算模型T-MobileNetV2，在2018年—2019年生长季图像数据进行再学习，验证模型针对不同生长季数据的泛化能力。试验结果表明，T-MobileNetV2在两个生长季上估算结果，R2分别为0.7和0.6。结果表明T-MobileNetV2具有较好的泛化能力和季节适应性。