基于双解码机制的田间玉米冠层图像分割及昼夜节律解析

贾海峰 王廷超 洪小丽 舒坤良 黄帅 谭化

摘要：田间作物生长动态监测一直是农业研究的重要方向之一，实时动态监测能够为指导农业生产提供数据支撑。但是传统长势监测方法多用于白天而忽略了夜间作物的生长状态，无法充分满足对作物生长全过程实时准确的监测需求。为了更精确地了解玉米作物的生长全过程，探究玉米作物的产量潜力，实现对田间玉米作物昼夜生长动态监测，提出了一种适用于日间和夜间的田间作物图像分割网络（day-night crop segmentation network，DNCSN），该方法综合利用迁移学习和双解码器注意力机制，实现了对昼夜时序图像数据中玉米作物冠层的准确分割。结果表明，本研究提出的DNSCN模型与对比模型相比，具有更高的分割精度（P=0.942 7，R=0.910 6，F=0.926 3）和更好的稳定性。最后，本研究以玉米作物为试验样本，使用提出的DNSCN模型对田间玉米时序图像进行了分析，发现日间整体增长速率呈下降趋势，而夜间则存在快速增长阶段，在02：00时玉米冠层增长达到最大值，夜间玉米冠层增长速率明显大于日间。本研究提出的DNSCN模型可为实现作物昼夜生长实时动态监测提供有效方法。

关键词：玉米；深度学习；图像分割；夜间图像；动态监测

中图分类号：S126；TP391.41  文献标志码：A

文章编号：1002-1302（2023）24-0184-06

田间作物的生长动态监测是农业生产系统的核心，能够帮助研究人员更好地了解作物的生长过程，从而达到优化农作物产量潜力的可能［1-2］。通过实时监测，可以确定最佳的施肥、灌溉和病虫害防治策略，以及适时收获［3］。近年来，基于图像分析的方法被广泛应用于农作物长势监测［4-5］。但传统的长势监测多集中于白天而忽略夜间，日间图像分析方法虽然在一定程度上能够提供有关作物生长的信息，但无法充分满足对作物生长全过程的实时、准确监测的需求［6-7］。在这一背景下，夜间图像分割技术提供了一个全新的视角，使我们能够深入了解田间作物在光线不足条件下的生长情况，进而实现作物生长全过程的实时、准确监测。

夜间图像分割是计算机视觉领域的前沿研究方向，旨在将夜晚拍摄的图像分解成不同的像素区域，从而识别出田间作物及其特征［8］。这项技术依赖于先进的图像处理算法和深度学习模型，能够从夜间图像中提取出关键信息，如作物的位置、大小、生长状态以及其他潜在的表型参数［9］。通过夜间图像分割实时地监测田间作物的生长动态，从而优化农业管理和决策。为了弥补夜间的环境限制，先前的研究主要集中于低光相机图像恢复［10-11］。例如，将输入图像通过拉普拉斯金字塔进行划分，通过拉普拉斯金字塔输入，精确学习了原始图像的高频分量，从而最大化了低光图像的高频分量实现夜间图像分割［12］。此外，已有研究发现HSL颜色空间的L通道图像在低光恢复中是非常重要的。通过将恢复的L通道图像与低光色调和饱和度分量连接来获得最终图像，能有效提升夜间图像分割精度［13］。然而，改变图像亮度并在分割模型中使用相对复杂，因为这一过程需要图像恢复和分割2个过程。

为了克服上述问题，本研究提出了一种适用于日间和夜间图像的田间作物分割网络（day-night crop segmentation network，DNCSN），该模型无需图像恢复即可在夜间图像中自动分割作物冠层。本研究将介绍DNCSN用于日间和夜间作物冠层图像分割的原理，探讨并展示其在田间作物生长动态监测中的应用潜力，有望为现代育种和栽培研究提供强有力的工具。

1 材料与方法

1.1 数据来源

本研究使用2组数据集进行模型训练。其中一组数据集是开源数据集，包含300张田间植物的冠层图像机及其对应标签，图像的分辨率为512×512。开源数据集主要用于训练模型对田间植物冠层进行分割，进一步配合迁移学习机制来实现田间玉米冠層分割。此外，本研究设计了田间试验获取了田间玉米冠层图像。田间试验于2023年5月在吉林省农业科学院公主岭试验基地（43°05′～45°15′N，124°18′～127°05′E）开展。使用3 m高的固定装置搭配EOS5DⅢ数码相机拍摄田间时序定点监测图像。采集的田间玉米冠层图像分辨率为 1 920×1 080。在玉米播种1周后进行持续监测，图像的获取间隔为1 h。图1展示了研究使用的部分图像数据集。

1.2 DNCSN模型框架

本研究构建了一种基于编码器-解码器结构的昼夜农田场景图像分割网络，并命名为DNCSN。该网络利用迁移学习策略实现开源数据集到田间定点监测的昼夜图像数据集的多目标域适应图像分割。首先，利用迁移学习实现开源数据集到日间玉米图像的分割任务，因为这2组数据都在日间拍摄，光照相似。然后，以日间拍摄的图像数据的预测值作为伪标签，训练夜间获取的田间图像数据集。利用设计的双解码器模块，使不同时间获取的图像亮度分布接近。进一步，结合权重共享的语义分割网络，对其进行预测。并且引入调整权重的机制，以处理日间-夜间图像的偏差和对日间图像的错误预测所造成的误差。

综上所述，DNCSN网络包括1个源域 和2个目标域，其中源域表示网络收集的开源数据集，2个目标域分别表示Dark Zurich-D（日间拍摄）、Dark Zurich-N （夜间拍摄）。因此，在训练的过程中，只有网络收集的开源数据集具有ground truth 用于有监督的分割训练。所提出的DNCSN同时进行从源域到日间图像和从源域到夜间图像的域适应训练。DNCSN模型的整体框架如图2所示。

1.3 双解码器模块

在本研究提出的DNCSN模型中，2种解码器分别针对日间和夜间的玉米植株分割进行设计。在第1种解码器中，主要关注迁移学习后玉米植株的分割任务，同时该解码器也被用于去除日间图像中的非对象部分。从迁移学习的最终层提取的特征图被应用于解码器的最终层中，带有空间注意力机制，使得在上模型中充分训练的作物植株区域可以用于提高对日间玉米植株详细分割的准确性。第2种解码器设计了针对夜间图像的不同分割任务通过这种多层次的处理和融合策略，DNCSN能够在低光环境下对玉米植株进行准确的分割，从而提高了模型的性能。将注意力集中在训练细节区域的玉米植株解码器上，可以防止信息丢失。此外， 为了准确检测背景和作物区域，通过双解码器级联来获得最终的输出。具体的双解码器连接方式结构图如图3所示。图3中A、B、C分别代表对应层输出的特征结果。

1.4 损失函数

在DNCSN模型中，应用了2组损失函数，分别如公式（1）和公式（2）所示。

其中：B表示批量大小；x和y表示像素坐标；G表示标签图像；e表示预测结果灰度值。该方程与骰子损失有关，常用于对特定区域进行分割。如前所述，在第2个模型中应用了焦点损失和骰子损失作为默认值［14］。在DNCSN模型中使用的焦点损失具体公式如下：

其中：N表示批处理的大小；a表示损失置信度。

1.5 评价指标

在计算机试验中，使用平均交并比（mIoU）、精确度（P）、召回率（R）和F1分数（F）作为评价指标进行模型性能对比测试［15］。IoU的计算公式如下：

其中：TP表示图像中玉米植株部分预测正确的像素数量；FP和FN分别指示玉米植株被预测为背景的像素数量以及背景被预测为玉米植株的像素数量。精确度（P）、召回率（R）和F1分数（F）的计算方式如公式（5）至公式（7）所示。

2 结果与分析

所有的计算机试验在1台Ubuntu 20.04系统的台式工作站上进行。该工作站搭载了Intel CoreTM i7-9700 F中央处理单元（CPU）、16 GB RAM和NVIDIA GeForce RTX 3060（GPU）。使用Pycharm编译器，以Tensorflow 2.6.0为框架构建了DNCSN模型。训练过程中，Batch Size大小设置为4，训练持续500个Epoch。

2.1 DNCSN分割效果

使用训练好的DNSCN模型对不同生育期的田间玉米图像进行分割，分割结果的可视化效果如图4所示。图4中，选择了4组不同生育期的玉米冠层图像进行展示。每组图像中包含弱光、暗光和明亮3种典型图像数据。弱光图像获取于04：00，明亮图像获取于14：00，暗光图像获取于21：00。可以看出，DNSCN模型能够有效地分割来自日间和夜间获取的田间玉米图像。

2.2 模型分割精度比较结果

为了验证所提出的DNSCN模型的可靠性，将其与SegNet、FCN-8s、U-Net、DeepLab V3以及SegFormer等主流深度学习模型［16-20］进行对比。对比模型都以迁移学习后的田间图像伪标签作为训练数据。具体的模型对比结果见表1。

由表1可知，仅SegFormer模型的召回率高于DNSCN模型。总体看来，本研究提出的DNSCN模型相比其他模型具有更高的分割精度。为了进一步量化不同模型的分割结果，以正判（玉米植株或背景被正确判定）和误判（玉米植株被预测为背景或背景被预测为玉米植株）的像素点数量为依据绘制了不同模型分割结果的混淆矩阵。由表2可以看出，DNSCN模型对于误判具有较低的错误率，相比之下，本研究提出的DNSCN模型具有更好的稳定性。

2.3 模型计算效率比较结果

为了衡量模型的计算效率，在测试过程中输出了模型的每秒浮点运算次数（FLOPs）、模型参数量（Parameters）以及GPU内存占用量（GPU Memory），具体的统计结果见表3。从表3可以看出，本研究提出的DNSCN模型在计算过程中的每秒浮点运算次数仅低于SegFormer模型，参数量仅低于FCN-8s模型，但是GPU内存占用量比较大，该模型在计算效率方面并不占优势，主要是因为双解码器机制影响了模型的计算效率。但是，牺牲一些计算效率，提升模型精度是可取的。因为，一些细微的变化足以影响数据分析结果。

2.4 田间玉米昼夜长势差异分析

使用本研究提出的DNSCN模型对田间玉米时序图像进行分析。选取08：00—17：00时间段图像作为日间时序图像数据，20：00—05：00作為夜间时序图像数据，分别分析日间和夜间的田间玉米冠层变化规律。在分析过程中，避开了玉米拔节期数据，选择长势较为稳定时期的玉米图像，以更客观地分析日间和夜间的玉米变化。为了更好地量化玉米冠层动态变化规律，以像素点数量为基本单位，使用多组数据的均值作为动态变化监测结果，利用移动平均方法拟合了日间和夜间玉米冠层变化曲线。从图5可以看出，日间和夜间玉米冠层都在增长，夜间增长速率明显大于日间。其中，日间整体增长速率呈下降趋势；而夜间则存在快速增长阶段，在02：00左右，玉米冠层增长达到最大值。

3 讨论与结论

作为一种适用于日间和夜间作物图像分割的方法，相关研究提出先提升夜间图像亮度或降低日间图像亮度使两者统一再进行分割。这些方法没有对每个模型的任务分别应用反向传播，而是同时进行，容易导致训练不足的可能性。而本研究提出的DNSCN模型则利用双解码器并行的机制，能够同时分割日间和夜间图像，且所有的权重都被设计为共享，具有新意。DNSCN模型的优势可以归纳为以下几个方面。首先，本研究提出的DNSCN模型在没有弱光恢复的情况下进行作物分割，证明了本研究提出的双解码器机制跳过弱光图像恢复过程的有效性。其次，在输出目标特征图的解码器中加入注意力模块，对作物区域进行聚焦。在对目标区域进行粗略训练后，可以对作物区域进行详细评估。此外，本研究提出了相应的损失函数，从而准确地执行了日间和夜间的田间玉米图像分割任务。可以通过找到训练任务之间的平衡点来降低过拟合的风险。但是，DNSCN模型中使用了2个解码器，使其计算效率比现有的方法慢。

从对玉米冠层变化的分析结果可以看出，夜间玉米长势明显高于日间，不排除在日间中午日照强的时间段玉米存在萎蔫从而对分析结果造成一定的影响。但是，利用移动平均方程仍然能够解析并定量化描述田间玉米冠层的动态变化规律。进一步，本研究所提出的方法能够用于高时序的田间动态表型监测过程，能够给育种和栽培学者提供一定帮助。

本研究提出了一种适用于日间和夜间图像分割的DNSCN算法，能够有效地解析田间玉米冠层的动态变化规律。通过与现有的方法进行比较，证明了本研究所提出的DNSCN模型的优势，双解码器的注意力机制模块能够有效提升模型对于日间和夜间图像的分割精度。此外，利用DNSCN模型对昼夜玉米冠层的动态变化规律进行了解析，为动态表型监测提供了应用案例。随着计算机农业应用的不断深入，期望为智慧栽培和育种研究提供有力的支持。

参考文献：

［1］Cheiere T，Lorin M，Corre-Hellou G. Choosing the right associated crop species in soybean-based intercropping systems：using a functional approach to understand crop growth dynamics［J］. Field Crops Research，2023，298：108964.

［2］杨建宁，张井超，朱 艳，等. 便携式作物生长监测诊断仪性能试验［J］. 农业机械学报，2013，44（4）：208-212，201.

［3］陈建福，赵 亮，岳云开，等. 无人机多光谱遥感在作物生长监测中的应用研究进展［J］. 作物研究，2022，36（4）：391-395.

［4］Kazemi F，Ghanbari Parmehr E. Evaluation of RGB vegetation indices derived from UAV images for rice crop growth monitoring［C］//ISPRS Annals of the Photogrammetry，Remote Sensing and Spatial Information Sciences，GeoSpatial Conference 2022-Joint 6th SMPR and 4th GIResearch Conferences. Tehran，Iran （virtual），2023：385-390.

［5］祁佳峰，郭 鹏，刘 笑，等. 基于无人机高清影像的棉花苗期长势监测及后期长势预测［J］. 江苏农业科学，2023，51（16）：170-178.

［6］杨 斯，黄铝文，张 馨. 机器视觉在设施育苗作物生长监测中的研究与应用［J］. 江苏农业科学，2019，47（6）：179-187.

［7］Zhao J，Zhang X，Gao C，et al. Rapid mosaicking of unmanned aerial vehicle （UAV） images for crop growth monitoring using the SIFT algorithm［J］. Remote Sensing，2019，11（10）：2-19.

［8］王 艳，祁 萌. 基于遗传算法和阈值分割的夜间苹果识别方法［J］. 机械设计与研究，2020，36（3）：220-225，233.

［9］项 荣，张杰兰. 基于改进PCNN的番茄植株夜间图像分割算法［J］. 农业机械学报，2020，51（3）：130-137.

［10］王玺琨，刘 艳，张清祎，等. 一种光照条件自判断的夜间灰度图像增强算法［J］. 上海师范大学学报（自然科学版），2021，50（1）：101-107.

［11］Sun L，Wang K W，Yang K L，et al. See clearer at night：towards robust nighttime semantic segmentation through day-night image conversion［J/OL］. （2019-08-16）［2023-08-12］. https：//doi.org/10.48550/arXiv.1908.05868.

［12］何吉上，钟映春. 融合拉普拉斯金字塔与Unet的Meckel腔图像分割研究［J］. 工业控制计算机，2023，36（7）：92-95.

［13］Kumar J B，Kaushalya G B M，Bhola P，et al. Prediction of total soluble solids and pH of strawberry fruits using RGB，HSV and HSL colour spaces and machine learning models［J］. Foods，2022，11（14）：2-24.

［14］Jatin S，Cameron B，Zhiyi S，et al. Batch-balanced focal loss：a hybrid solution to class imbalance in deep learning［J］. Journal of Medical Imaging，2023，10（5）：1-12.

［15］马博渊，姜淑芳，尹 豆，等. 图像分割评估方法在显微图像分析中的应用［J］. 工程科学学报，2021，43（1）：137-149.

［16］胡春华，刘 炫，计铭杰，等. 基于SegNet与三维点云聚类的大田杨树苗叶片分割方法［J］. 农业机械学报，2022，53（6）：259-264.

［17］李凯雨，张 慧，马浚诚，等. 基于语义分割和可见光谱图的作物叶部病斑分割方法［J］. 光谱学与光谱分析，2023，43（4）：1248-1253.

［18］李 萍，刘 裕，师晓丽，等. 基于多尺度残差空间注意力轻量化U-Net的农业害虫检测方法［J］. 江苏农业科学，2023，51（3）：187-196.

［19］乌 兰，苏力德，贾立国，等. 基于改进DeepLab v3+网络的马铃薯根系图像分割方法［J］. 农业工程学报，2023，39（3）：134-144.

［20］田雪偉，汪佳丽，陈 明，等. 改进SegFormer网络的遥感图像语义分割方法［J］. 计算机工程与应用，2023，59（8）：217-226.