基于自旋式Unet++网络的小麦条锈病菌夏孢子自动检测方法

周晋兵,陈鹏,雷雨,黄林生,赵晋陵,梁栋

(安徽大学互联网学院/农业生态大数据分析与应用技术国家地方联合工程研究中心,安徽 合肥 230601)

小麦条锈病是危害小麦产量最严重的病害之一,严重威胁我国的粮食生产安全[1]。该病主要由条形柄锈菌引起,发病时会在叶片正面生成大量夏孢子堆,后期导致叶片干枯死亡。作为一种大区流行性的气传真菌病害,条锈病已广泛分布于我国的西北、华北、长江中下游等地区。1950年来,小麦条锈病对麦地年均影响面积可达400万hm2,导致产量下降1 200万t[2]。近些年的研究表明[3],小麦条锈病的主要传播媒介是条锈病孢子,其中影响最大的是夏孢子。夏孢子菌源通过气流活动侵染我国大部分小麦产地,从而引起大规模暴发和流行[4-6]。如何快速进行早期夏孢子菌源精准检测对于小麦条锈病的早期预防与防治至关重要,对于减少小麦产量损失,保障粮食安全有着重要意义。

随着计算机技术的发展以及各种仪器设备不断推陈出新,多种先进技术与高端设备被应用到农业病虫害的监测中,小麦条锈病的早期监测为小麦高产提供了重要的技术保障。冷伟锋等[7]通过卫星热红外遥感影像,建立温度拟合方程与地理信息相结合,实现小麦条锈病菌越夏区的精准勘界。刘琦等[8]通过偏最小二乘法建立小麦条锈病潜育期小麦叶片冠层光谱识别模型,测试准确率为94.33%,提供了一种早期监测小麦条锈病的无损高效方法。竞霞等[9]利用光谱的细微信息,构建了两波段和三波段分数阶微分光谱指数,通过遥感监测小麦条锈病,相关指数为0.875。苏宝峰等[10]利用无人机采集小麦光谱图像,结合随机森林、随机蛙跳和SVM算法,使条锈病发病分类的F1值达到0.985。

以上针对小麦条锈病的监测与分类的研究往往需要结合高光谱信息进行遥感监测,此类方法覆盖面积大,成本较高,且不够精确。近些年来,研究者开始研究通过监测真菌孢子从而进行病害的早期预防,已取得了不错的成果。李小龙等[11]对小麦条锈病夏孢子显微图像进行最近邻插值、K-means聚类分割、形态学操作修饰和分水岭分割等处理,实现了夏孢子的自动计数和标记,但步骤繁杂,不易操作。雷雨等[12]基于ARK-1123C型嵌入式工控器和显微镜CCD数字摄像头,提出了一种高效、高精度的夏孢子显微图像采集设备,该设备可远程实时采集4 096×3 288的夏孢子显微图像,但未能实现夏孢子的自动检测。Liang等[13]通过改进Unet网络对小麦白粉病孢子图像进行分割检测,实现了91.4%的分割率,但未实现粘连孢子的分割性能。雷雨等[14]结合夏孢子的形态特征,改进CenterNet网络,检测精确率达98.77%,但在分割重叠率方面有待提高。

小麦条锈病的发生与条锈病夏孢子有着密切联系,因此通过检测空气中夏孢子的浓度,可以在小麦条锈病早期判断病害的发展,及早进行防治。因此,本文提出了一种基于自旋式Unet++的夏孢子检测模型,通过改进现有Unet++[15]网络的连接结构,并改进椭圆热力图的计算方法,实现小麦条锈病菌夏孢子显微图像的精准检测。

1 材料与方法

1.1 试验材料

夏孢子样本采用小麦抗病品种繁育而成。使用文献[12]中的小麦条锈病夏孢子显微图像远程采集设备,获得放大400倍的1 024×822像素显微图像,由于设备载玻片表面涂抹凡士林,图像背景为黄色。夏孢子数据采集步骤:1)载玻片涂抹凡士林;2)空气孢子负压吸附;3)显微图像采集;4)数据远程传输;5)数据预处理(旋转、平移等操作)制作数据集,为防止检测框边界超出图像边缘,将原图像变换至背景相近图像中,使图像比例变为1 366×1 366。样本图像如图1所示。

图1 样本图像Fig.1 Sample picture

1.2 Unet++网络改进

Unet++一直被应用于医学图像分割领域的特征提取网络,具有特征能力强,分割效果好的特点,它是基于Unet[16]网络通过添加密集的跳跃连接改进的,通过添加大量的跳跃连接可极大增强网络的特征提取能力。此外,Unet++还具备可剪枝的特点,由于网络连接的特殊性,测试数据时可以将训练时的网络进行剪枝,使最终的模型内存占用非常小。原始Unet++网络如图2所示。

图2 Unet++网络结构Fig.2 Unet++ network structure

从图2可见,由于Unet++密集的跳跃连接,使Unet++在训练过程中可融合不同尺度层的特征,最终输出层可获得多尺度融合后的特征图,特征图与输入图像尺度一致。因此,本文通过设置Unet++网络的输出通道与输入通道一致,并使输出尺寸相同,将该网络的输出反向连接至输入端形成一种自旋结构,并增加超参数K控制自旋次数,可达到迭代训练的目的,改进后的Unet++网络如图3所示。

图3 自旋Unet++模型的网络结构Fig.3 Network structure of spin Unet++ model

1.3 改进的椭圆映射计算方法

文献[14]提出了一种CenterNet的关于椭圆框热力图的计算方式,该方式可通过椭圆框计算矩形热力图。但该方法存在一定的局限性,矩形由椭圆映射而来,得到的矩形往往不能较好贴合原目标,存在部分背景区域,影响分割精度。数据集中孢子的旋转角度在0～360°,在某些角度中使用单一映射矩形可能使映射后的矩形中无效背景占比较多,而影响检测精度,本文提出一种改进的椭圆映射矩形加权方法,计算映射矩形,减少背景在映射矩形中的占比,计算公式见式(1)和式(2),映射样例如图4所示。

图4 加权映射矩形Fig.4 Weighted mapping rectangleRa和Rb分别为矩形长和宽,a为椭圆长轴,b为椭圆短轴,θ为椭圆旋转角度。Ra and Rb respectively represent the length and width of the rectangle,a represents the major axis of the ellipse,b represents the minor axis of the ellipse,and θ is the rotation angle of the ellipse.

Ra=λa+a(1-λ)cosθ

(1)

Rb=λb+b(1-λ)sinθ

(2)

式中:Ra和Rb分别为矩形长和宽,λ为加权系数,a为椭圆长轴,b为椭圆短轴,θ为椭圆旋转角度。

1.4 小麦条锈病夏孢子检测模型构建

CenterNet[17]模型是一种无锚框的目标检测算法,该算法通过计算目标的中心点和尺寸检测目标的位置尺寸,该类检测框架在保证检测精度的同时,可取得较高的检测速率,因此拟采用CenterNet框架作为检测网络构建基础。整个框架可分为2部分:特征提取网络模块和预测模块。特征提取网络模块采用VGG[18]、Resnet[19]等常用网络可取得不错的效果,但该类网络对于目标分割精度较低。采用1.2节提出的改进的自旋式Unet++网络替代常见的Resnet特征提取网络,增强特征提取能力,减少模型的漏检率。原始CenterNet框架的预测模块计算可得到图像的预测热图[20]、中心点位置和目标宽高,最终得到矩形检测框。但是,小麦条锈病夏孢子目标形态一般呈圆形或椭圆形,采用矩形检测框检测精度较差,存在较多的背景区域会影响检测效果,因此采用带角度的椭圆检测框分割图像中的夏孢子。此外,由于热力图计算需基于矩形框,使用1.3节中的映射矩形加权计算公式计算椭圆映射后的矩形,以提高模型检测的精确率。将1.1节中所述数据集输入1.2节的自旋式Unet++网络,训练后通过检测头可输出带有检测框和计数的检测图像。改进后的小麦条锈病夏孢子检测模型网络框架如图5所示。

图5 改进的小麦条锈病菌夏孢子检测模型网络结构Fig.5 Network structure of improved detection model of urediniospores of wheat stripe rust pathogen

2 结果与分析

2.1 不同自旋系数对比

使用同一数据集在原始模型及改进模型进行相同批次训练,所有模型均在同一软、硬件环境下训练,操作系统为Windows11,处理器为5950X,显卡为1块GPU3090,显存大小24 GB。训练使用Pytorch1.7深度学习框架,数据集图像21 420幅。其中14 400幅作为训练集,3 600幅作为验证集,剩余图像作为测试集。测试集按照图像中孢子数分为10个以下、10～30个、30个以上3类分别进行测试。训练中样本批尺寸(batch size)为4,训练20个周期(epoch),学习率为1.25×10-4,训练完成后网络模型文件格式保存为.pth格式。

使用本文改进Unet++网络进行训练,映射矩形加权系数λ=0.5,对比模型使用原始CenterNet(不修改特征提取网络)和文献[14]模型(特征提取网络为本文自旋式Unet++网络,映射矩形使用文献[14]所述R4方式),并使用不同自选系数K在相同训练环境下进行对比试验,得到的试验数据如表1和表2所示。

表1 不同自旋系数的精确率和召回率Table 1 Precision and recall of different spin coefficients %

从表1、表2可见,改进的Unet++结构随着自旋次数的增加,分割率均有所提高。在自旋次数K=3时,文献[14]检测网络的分割率最高,达到了86.96%,原始CenterNet模型分割率仅为76.10%,提升了10.86百分点。这是由于原始Unet++本身被应用于医学图像分割中,经过本文的自旋式连接可极大增强其特征提取能力,从而提高网络的分割率。但网络的精确率下降,计数精确率尚有不足。本文又提出改进的加权映射矩形计算公式提升其精确率。从表1和表2可见,使用改进的加权映射矩形计算公式之后,本文所提算法在K=3自旋时,精确率达到99.03%,较原始CenterNet精确率提高0.49百分点。这是因为改进后的矩形计算公式可更加准确计算出椭圆映射后的矩形,使检测框更加贴合孢子目标。

2.2 不同加权系数对比

选择K=3作为试验自旋系数,在相同条件下,分别使用不同映射矩形加权系数(λ=0.1、0.3、0.5、0.7、0.9)在特征提取网络使用改进Unet++(K=3层的自旋连接)网络时,进行相同环境下训练,试验对比数据如表3所示。从表3可见,通过改变加权系数的大小,改进网络的精确率在加权系数λ=0.5时达到最高,为99.03%,较文献[14]中计算方式精确率提高0.26百分点,分割率提高2.82百分点。较原始CenterNet模型精确率提高0.49百分点,分割率提高10.35百分点。当加权系数λ=0.9时,分割率达到最高,为87.56%,但精确率下降。因此,在保证网络具有较高计数精确率的前提下,并获得较高分割率,选择加权系数λ=0.5进行后续试验。

表3 不同加权系数的精确率和召回率Table 3 Precision and recall rate of different weighting coefficients %

2.3 不同孢子密度对比

使用原始CenterNet模型、文献[14]中改进CenterNet模型及本文改进模型,对不同孢子密度的待检测图像进行试验,试验结果见表4。在本文改进模型中分别使用1.3节映射矩形计算公式与文献[14]中映射矩形计算公式进行对比试验,2种计算方法检测结果如图6所示。

表4 3种算法对不同密度孢子的检测结果Table 4 Detection results of three algorithms for spores with different densities %

图6 2种映射矩形计算方式检测结果Fig.6 Detection results of two mapping rectangle calculation methods

从图6可看出,本文使用的改进映射矩形计算方法得到的检测框(红框)比文献[14]的检测框(绿框)更贴近于孢子目标,这是因为通过加权计算公式可使映射矩形计算的热图更加准确,从而影响了最终检测精度与分割率,有利于粘连孢子的分割。从表4可看出,对于不同孢子数的夏孢子图像,由于孢子密度增加,检测难度亦会增加。且当孢子数增加至30个以上时,在图像中会产生大量粘连现象,使检测结果易产生误检和漏检。但本文所提改进模型在3种密度下的精确率和分割率均达到了最高,平均精确率为99.03%,平均分割率达到86.45%。此外,改进后的内存占用仅46.8 MB,较原始CenterNet模型(内存占用138 MB)降低66.09%,使改进模型更易于部署到服务器或者远程设备上。

网络训练后的检测图像结果如图7所示,使用绿色掩膜在孢子目标进行标记,并在图像右上角标记孢子计数结果。本文提出的网络可较好检测并分割显微图像中孢子目标,且分割框与目标重合度较高。对于图像中的杂质,并未出现误检。因此,本文提出的基于改进Unet++的小麦条锈病夏孢子检测算法可为小麦条锈病夏孢子显微图像目标检测提供一种有效的方法。

图7 不同密度下的检测结果Fig.7 Test results under different densities

3 结论

1)为解决小麦条锈病夏孢子检测算法仍存在分割率低的问题,基于CenterNet目标检测框架,本文通过改进特征提取网络提高其检测精度,并提出加权映射矩形计算公式以增加其分割精度。构建了自旋式Unet++特征提取网络,通过控制Unet++网络的输入和输出尺度一致,并增加超参数K控制其自旋次数进行自旋连接;将热图中的映射矩形计算方法改进为加权映射矩形计算方法,通过椭圆检测出夏孢子的位置并进行分割,提出了一种基于自旋式Unet++的小麦条锈病夏孢子检测算法。

2)在测试集上的试验表明,基于自旋式Unet++的小麦条锈病夏孢子检测算法,平均识别精确率为99.03%,分割率为86.45%,达到了精准检测的应用需求,较原始CenterNet模型分割率提高10.35百分点,精度提高0.49百分点,内存占用降低66.09%,使改进模型更易于部署到服务器或者远程设备上。因此,本文提出的基于改进Unet++的小麦条锈病菌夏孢子检测模型可为小麦条锈病病害的早期预防提供一种有效的方法。

3)本文所提出的方法通过检测显微图像中的夏孢子取得了较好效果,为麦田真实场景复杂环境下的夏孢子检测研究奠定了技术基础。下一步将采集不同病害胁迫环境下的夏孢子显微图像数据集,应用并改进本文提出的方法以使其具有更高的普适性和更强的鲁棒性。