王兴旺 ,郑汉垣 ,王芳
(1.上海农林职业技术学院,上海 201699;2.上海大学 计算机工程与科学学院,上海 200444;3.上海青浦白鹤草莓研究所,上海 201711)
白鹤草莓是上海市青浦区特色水果产品[1],于1983年秋开始种植[2],果品味道甜美、色泽鲜亮、香气浓郁、口感极佳,深受广大消费者青睐[3],种植面积约 434 hm²,总产量约 11 700 t[4]。白鹤草莓已列入了地理标志登记保护农产品名单[5],品种除了有红颜、章姬等传统品种外[6],还引进了红玉、雪兔、甜查理等特色品种[7],果品颜色不但有红色,还培育了粉色和白色等品种[8]。2021年,白鹤草莓的培育品种和栽培技术在上海推广种植面积约4300 hm²,目前正在向江苏、浙江乃至全国推广。随着白鹤草莓生产规模扩大,病虫害防治问题显得尤为重要,常见的白鹤草莓病虫害主要包括60余种,由于白鹤草莓病虫害防控难度较大,经常造成白鹤草莓减产和品质下降[9-11]。由于白鹤草莓病虫害图像具有灰度不均匀、背景和目标灰度差别小等特点,常见的病虫害识别模型无法对白鹤草莓病虫害图像进行准确识别,需要专家到现场进行人工识别与判断,阻碍了现代农业的发展,严重降低了白鹤草莓病虫害防控工作效率。
为了提升病虫害识别效率,加强病虫害防控,科研人员做了大量的研究工作。姚建斌等[12]提出了基于迁移学习和神经网络的病虫害识别方法,对小麦病虫害识别展开试验并取得了良好的识别效果;Parraga-Alava等[13]建立了用于蚜虫检测和柠檬叶片浸染严重程度的图像数据集,为蚜虫和柠檬病害的识别提供了充足的数据信息;刘晓锋等[14]创建了一种新的空间残差收缩网络农作物病虫害识别模型并取得了较好的试验效果;Yang等[15]创立了一种基于多颜色空间特征的温室害虫自动识别方法并进行了应用,识别效果显著;Zhou等[16]给出了一种高效小型的害虫识别卷积神经网络,并将研究成果进行了试验论证。
对于前人的研究工作而言,病虫害识别模型水平集对于白鹤草莓灰度不均匀病虫害图像分割效果不够理想,造成识别结果有偏差。对于白鹤草莓背景和目标灰度差别小病虫害图像,由于拟合参数的设定规则限制,忽略了图像边缘信息降低了识别结果的准确性。文章从白鹤草莓病虫害防控需求出发,从能量函数、灰色关联度等技术层面进行改进和创新,建立了一种基于灰色关联度的能量函数CV模型(GCD-EF-CV),在白鹤草莓生产基地进行了系列试验并将病虫害识别模型应用于白鹤草莓实际生产。
试验以白鹤草莓为试材,试验地为上海市青浦区白鹤草莓生产基地,该基地雨水充沛,无霜期长,全年日平均气温约17.6 ℃,年降水量约990.2 mm,全年日照总时数约1756 h。试验地土壤有机质丰富,含氮量约4.1%,含磷量约0.1%,适宜草莓种植。试验材料株距约45 cm,行距约30 cm,大棚栽培,壮苗单株鲜重约30 g,株高15~18 cm,每年3月定植。
使用索尼a7m4 ILCE-7M4单反高清数码相机在上海市青浦区白鹤草莓生产基地拍摄,拍摄时间为2020年3月至2021年7月,获取白鹤草莓病虫害图像数据,研究人员在病虫害专家的指导下对病虫害进行确认。除此之外,上海青浦白鹤草莓研究所在病虫害防控工作中也积累了相当数量的病虫害图像数据。为了满足模型训练的要求,本研究在Plant Village官方网站获取了大量的病虫害图像数据,考虑到模型的可扩展性需求,数据中除了草莓之外,还包括苹果、梨、香蕉、柑橘、石榴、荔枝等多种水果病虫害图像。对白鹤草莓病虫害图像数据进行了随机抽取,病害和虫害的数据样本量不足通常会引起病虫害识别模型的过拟合,为了避免过拟合现象,通过改变图像长度、宽度、光线或者对图像进行翻转等方法对数据样本进行了扩充。其中训练数据、测试数据、验证数据分别占数据总量的60%、20%、20%,主要用于模型的训练、泛化能力评估、模型的修正。
文章在白鹤草莓病虫害识别试验中将提出并建立的GCD-EF-CV模型与经典的病虫害识别模型进行对比分析,将病虫害数据集(合计98 635张)划分为训练集、验证集和测试集,所占比例分别为60%、20%、20%。试验硬件环境为:Core i7-4770TE Quad CR 3.3 GHz FCLGA1150,16 GB Video Memory。试验服务器版本:Tableau Server version 20182.18.1214.0751。试验软件环境为:Windows 10 Education Edition, CuDNN 5.1.5,Python 3.9.6。
1.2.1 模型平稳性与适应性检验
文章采用白噪声检验法对GCD-EF-CV模型的平稳性与适应性进行检验,所使用的软件为Eviews10.0。
1.2.2 模型识别准确性检验
白鹤草莓病虫害多达60余种,其中危害比较严重的病虫害主要有草莓炭疽病、叶斑病、白粉病、蚜虫、红蜘蛛、蓟马等,文章利用GoogleNet、AlexNet、VGG19、CV、GCD-EF-CV 等病虫害识别模型对白鹤草莓6种病虫害进行识别。
1.2.3 模型性能检验
为了检验模型的性能,将训练和测试的样本数量比例设置为3∶1,共训练8轮,GCD-EF-CV模型与 GoogleNet、AlexNet、VGG19、CV 等 4种病虫害识别模型从训练准确率、测试准确率、训练损失、测试损失、平均单张识别时间等指标进行比较。
1.2.4 白鹤草莓生产应用
将5种病虫害识别模型应用于白鹤草莓实际生产过程中,应用时间为2021年10月至2022年7月,挑选了5个面积大小相同的白鹤草莓种植大棚 ,每 个 大 棚 分 别 应 用 GoogleNet、AlexNet、VGG19、CV、GCD-EF-CV进行管理和数据统计,将模型转化为软件程序根据病虫害图像进行识别,确定病虫害种类后利用化学药剂进行防治。如识别出叶螨虫害,应立即选用1800~2000倍液联苯肼酯悬浮剂(43%含量)进行灭杀。将不同病虫害识别模型管理的白鹤草莓进行品质测定,品质指标主要包括单果重、可溶性糖、可溶性固形物、Vc和优果率等。
白鹤草莓病害图像数据主要包括草莓蛇眼病、草莓褐色轮斑病、草莓V型褐斑病、草莓灰斑病等35种病害图像数据,虫害图像数据主要包括角斑古毒蛾、小白纹毒蛾、草莓根蚜、截形叶螨等33种虫害图像数据,共得到白鹤草莓病虫害图像数据98 635张。
2.2.1 CV模型
基于区域信息的无边缘主动轮廓模型(CV)是白鹤草莓病虫害图像识别常用模型[17],闭合曲线C将白鹤草莓病虫害图像I(x,y)分为两种同质区域,第1种区域为目标区域in(C),平均灰度为g1,第2种区域为背景区域out(C),白鹤草莓病虫害图像平均灰度为g2,则目标区域和背景区域平均灰度定义如公式(1)和公式(2)所示:
进行变分水平集处理,得到梯度下降流为:
CV模型的实现步骤如下:
第1步:初始化白鹤草莓病虫图像轮廓曲线;
第2步:利用公式(1)计算出目标区域平均灰度值,利用公式(2)计算出背景区域平均灰度值;
第3步:利用公式(3)计算得到un+1;
第4步:再次初始化符号距离函数,判断是否满足▽u=1;
第5步:当un+1有稳定解时得到分割识别结果,否则执行第2步,再次计算。
CV模型在对白鹤草莓病虫害图像进行分割识别时,如果是在灰度均匀的情况下具有较好的分割识别效果,但CV模型的不足是对于灰度不均匀白鹤草莓病虫害图像识别不准确,降低了白鹤草莓病虫害防控工作效率。
2.2.2 EF⁃CV模型
为了解决CV模型对于灰度不均匀白鹤草莓病虫害图像识别不准确问题,文章对CV模型进行改进和优化,在能量泛函中添加能量函数,对闭合曲线内外灰度均值进行演化,克服了传统水平集无法准确分割灰度不均匀病虫害图像的缺点,从而提升了CV模型对于灰度不均匀病虫害图像的识别准确率,提出并建立了带有能量函数的CV 模型(EF-CV)。
能量函数如公式(4)所示:
公式(4)中
白鹤草莓病虫害图像曲线内外的平均灰度为:
白鹤草莓病虫害图像内外区域所对应的水平集分别为:
嵌入函数能量泛函写为:
采用变分法得到梯度下降流为:
最小化能量泛函为:
为了计算方便,用正则化的αε(u)近似代替α(u)函数,取正则化函数为:
最小化能量泛函可写为:
对公式(13)求稳态解即可以得到分割识别结果。
2.2.3 GCD⁃EF⁃CV模型
EF-CV模型能够较好提升灰度不均匀白鹤草莓病虫害图像识别准确率,该模型对于背景和目标灰度差距较大的图像识别效果佳,对于背景和目标灰度差别小的图像的识别效果不够理想,为增强背景和目标灰度差别小的图像识别效果,文章对EF-CV模型进行改进,将灰色关联度作为图像边缘信息,全局项和边界信息项共同作用分割白鹤草莓病虫害图像目标,提出并建立了基于灰色关联度的能量函数CV模型(GCD-EF-CV)。
灰色关联度计算主要分为3个步骤:
1、确定参考数列xo(k)和待比较序列xj(k),其中k表示序列的项数,j表示序列号。
2、计算灰色关联系数,
其中,
3、比较数列和与参考数列之间的关联度。
结合全局信息项和边界信息项,定义新的能量模型为:
全局项对应的能量项为:
灰色关联的边界信息的能量项为:
式(18)中,λ为权系数,图像分割新方法的能量模型为:
GCD-EF-CV模型中,全局项和边界信息项共同作用分割白鹤草莓病虫害图像中的目标,当轮廓曲线离目标较远时,在全局项的作用下曲线快速向边界运动;当曲线运动至目标边缘附近时,边界信息项约束曲线停止在目标边缘,从而得到分割识别结果。利用变分法最小化能量函数定义对应的梯度下降流为:
2.2.4 GCD⁃EF⁃CV实现步骤
第1步:读取白鹤草莓虫害图像I;
第2步:利用公式(6)和(7)计算出曲线内外的灰度均值;
第3步:利用公式(8)对水平集函数进行初始化;
第4步:利用公式(15)计算白鹤草莓虫害图像对应的灰色关联度;
第5步:利用公式(17)和(18)计算相应的各项能量;
第6步:根据演化方程公式(20),进行轮廓演化;
第7步:检查水平集是否收敛,如果收敛则停止演化,不收敛重新执行第2步;
第8步:白鹤草莓病虫害图像分割识别结束,将结果输出。
2.3.1 模型平稳性与适应性检验
计算结果如表1所示。Q统计量的P值如果有小于0.05的值出现,表明模型残差序列存在自相关现象,必须重新建模;如果P值均大于0.05,表明模型顺利通过白噪声检验。GCD-EF-CV模型的各阶P值均大于0.05,通过了白噪声检验,说明模型的平稳性与适应性较好,该模型能够对白鹤草莓病虫害进行稳定识别。
表1 GCD⁃EF⁃CV模型平稳性与适应性检验Table 1 Stability and adaptability test of GCD-EF-CV model
2.3.2 模型识别准确性检验
识别结果如表2所示。GCD-EF-CV模型的平均识别准确率相对于 GoogleNet、AlexNet、VGG19、CV四种模型提升效果明显,分别提升了17.81%、21.83%、19.17%、11.95%,对于CV模型能量泛函的改进和图像边缘信息的灰色关联处理效果较好。
表2 模型病虫害识别准确率比较Table 2 Comparison of the model accuracy for pest and disease recognition 单位:%
研究从白鹤草莓图像数据中随机抽取24种病虫害图像(病害和虫害各12种)进行病虫害识别试验,每种病虫害可抽取多张图片,为了便于观察试验从每个种类中抽取1张,统一抽取样本数量为12,病害识别结果如图1所示,虫害识别结果如图2所示。
图2 不同模型虫害识别结果Fig.2 Pest identification results of different models
图1 中 ,GoogleNet、AlexNet、VGG19、CV、GCD-EF-CV五种模型识别错误的白鹤草莓病害图像(柔化边缘矩形图像,如GoogleNet模型的样本 3)分别为 3张、4张、3张、1张、0张。图2中,GoogleNet、AlexNet、VGG19、CV、GCD-EF-CV五种模型识别错误的白鹤草莓虫害图像分别为3张、4张、3张、2张、1张。综合图1和图2的试验结果,AlexNet模型的识别错误最多,总数量达到8张,GCD-EF-CV模型的识别错误最少,仅为1张,GCD-EF-CV模型对于白鹤草莓病虫害图像识别错误率最低,该模型可以有效的对白鹤草莓病虫害图像进行识别。
2.3.3 模型性能检验
数据统计如表3所示。表3中,AlexNet模型的训练准确率和测试准确率最低,GCD-EF-CV模型的训练准确率和测试准确率较高。GCDEF-CV模型训练准确率为88.48%,与GoogleNet、AlexNet、VGG19、CV 四种病虫害识别模型相比分别提升了14.54%、24.41%、20.58%、10.23%;GCD-EF-CV模型测试准确率为95.67%,与 GoogleNet、AlexNet、VGG19、CV 四种病虫害识别模型相比分别提升了18.01%、23.68%、19.33%、10.70%。GCD-EF-CV模型的训练损失和测试损失在5种模型中最小且数值相近,说明该模型造成的数据损失少且数据消耗稳定。GCD-EF-CV模型的平均单张识别时间为32 ms,与CV模型相同,说明对于CV模型的改进并不影响模型的识别速度。综合来看,GCD-EFCV模型性能良好。
表3 不同模型的病虫害识别性能比较Table 3 Performance comparison of different models for disease and pest identification
不同病虫害识别模型对白鹤草莓主要病害防效数据统计如表4所示。
表4 中统计了 GoogleNet、AlexNet、VGG19、CV、GCD-EF-CV五种病虫害识别模型对灰霉病、褐斑病、白粉病3种主要病害的病情指数和防控效果(简称防效)数据。其中,病情指数=Σ(各级得病株数×各级对应值)/(总株数×最高级别值)×100,用P表示病斑面积除以叶片面积的百分比,J表示级数。当P=0时,J=0;当P≤15%时,J=1;当 15%
70%时,J=5。防效(%)=[(无模型病情指数-模型病情指数)/无模型病情指数]×100。灰霉病的病情指数变化区间为5.74至14.65,其中GCDEF-CV的病情指数最低,AlexNet的病情指数最高,说明GCD-EF-CV管理的灰霉病最轻微,防控的最好。GCD-EF-CV的灰霉病防效为88.54%,相对于 GoogleNet、AlexNet、VGG19、CV 四种模型的防效分别提升了26.04%、28.73%、17.21%、10.19%。GCD-EF-CV对于褐斑病和白粉病表现出相似的防控效果,在5种模型中达到最优。
表4 不同模型对白鹤草莓主要病害防效Table 4 Performance comparison of different models for identifying the control effects of main diseases on white crane
不同病虫害识别模型对白鹤草莓主要虫害防效数据统计如表5所示,表5统计了GoogleNet、AlexNet、VGG19、CV、GCD-EF-CV 五种病虫害识别模型对蚜虫、白粉虱、蓟马3种主要虫害的防控效果数据。
表5 不同模型对白鹤草莓主要虫害防效Table 5 Performance comparison of different models for identifying the control effects of main pests on white crane strawberry 单位:%
表5中,蚜虫的虫口减退率变化区间为71.25%至91.08%,差异相对显著,其中GCDEF-CV的虫口减退率最高,达到91.08%,相对于GoogleNet、AlexNet、VGG19、CV 四种模型分别提升了27.83%、36.88%、15.82%、6.89%,蚜虫的防效变化区间为62.12%至86.24%,GCD-EFCV的防效较好,达到86.24%,相对于GoogleNet、AlexNet、VGG19、CV 四 种 模 型 分 别 提 升 了25.82%、38.83%、21.23%、7.69%。GCD-EFCV对于白粉虱和蓟马2种虫害在虫口减退率和防效2个指标中表现出相似的防控效果,说明文章建立的病虫害识别模型具有较强的实用性和稳定性。
不同的病虫害识别模型对白鹤草莓品质影响不同(表6),GCD-EF-CV的单果重最大,达到40.156 g,VGG19的单果重为 39.269 g,是最小值,增长率为2.26%,说明GCD-EF-CV对增大白鹤草莓单果重有帮助作用,且在5种模型中达到最优;不同模型的可溶性糖比较接近,差别较小;GCD-EF-CV的可溶性固形物达到最大值,为13.75%,最小值为GoogleNet 的12.45%,增长率为10.44%,GCD-EF-CV对增大可溶性固形物作用较大;Vc最大值为GCD-EF-CV的14.58 mg·g-1,最小值为 AlexNet的 11.25 mg·g-1,增长率为29.58%,表明GCD-EF-CV对增加白鹤草莓的营养成分作用较大;GCD-EF-CV的优果率达到95.55%,领先于其它4种模型,GCD-EF-CV对于白鹤草莓病虫害防控效果最好,优果率最高。
表6 不同模型对白鹤草莓品质影响Table 6 Effects of different models on the quality of white crane strawberry
从统计学角度来分析病虫害识别模型对白鹤草莓的品质的影响,其中单果重、可溶性糖、可溶性固形物3个指标的P值分别为0.712、0.738、0.653,均大于0.05,说明病虫害识别模型对于3个指标的影响不显著,Vc的P值为0.039 6,P<0.05,说明病虫害识别模型对于vc影响显著,优果率的P值为0.041 6,P<0.05,说明病虫害识别模型对于优果率影响显著。综上病虫害识别模型对于白鹤草莓的营养成分Vc和优果率2项指标有较好的促进作用,其中GCD-EF-CV达到最优。
GoogleNet[18-20]、AlexNet[21-23]、VGG19[24-27]、CV[28-31]是4种比较经典的常用病虫害图像识别模型,可用于白鹤草莓病虫害识别,常用病虫害识别模型可以对白鹤草莓病虫害进行识别,但对于灰度不均匀病虫害图像以及背景和目标灰度差别小病虫害图像识别结果不够准确,降低了白鹤草莓病虫害防控效率。
对于常用病虫害识别模型而言,其水平集无法准确分割灰度不均匀病虫害图像,导致对灰度不均匀白鹤草莓病虫害图像识别不准确,文章对CV模型进行改进和创新,在能量泛函中添加能量函数,对闭合曲线内外灰度均值进行演化,克服了传统水平集无法准确分割灰度不均匀病虫害图像的弊端,提出并建立了带有能量函数的CV 模型(EF-CV)。相对于常用病虫害识别模型,EF-CV能够较好的提升白鹤草莓灰度不均匀病虫害图像识别准确率,实现对该类图像的准确识别,但对于背景和目标灰度差别小白鹤草莓病虫害图像仍然识别不够准确,需要进一步改进。
常用病虫害识别模型在进行病虫害图像识别时,当遇到背景和目标灰度差别小病虫害图像时,通常会利用图像的全局统计信息灰度值作为拟合参数,由于忽略了图像边缘信息造成识别效果不理想。文章引入灰色关联度技术来改进病虫害识别模型,将其作为图像边缘信息,全局项和边界信息项共同作用分割白鹤草莓病虫害图像目标,实现准确识别,文章提出并建立了基于灰色关联度的能量函数CV模型(GCD-EF-CV)。GCD-EFCV能够解决现有病虫害识别模型对灰度不均匀病虫害图像以及背景和目标灰度差别小病虫害图像无法准确识别问题,通过开展试验研究,GCDEF-CV对于草莓炭疽病、叶斑病、白粉病、蚜虫、红蜘蛛、蓟马等病虫害平均识别准确率达到95.72%,领先于常用病虫害识别模型。文章将GCD-EF-CV应用于白鹤草莓实际生产,相对于常用病虫害识别模型而言,GCD-EF-CV对于白鹤草莓病虫害虫口减退率和防效有明显的提升,且对于白鹤草莓品质有较好的促进作用。
利用能量函数、灰色关联度等技术对CV模型进行改进和创新建立的GCD-EF-CV病虫害识别模型能够对灰度不均匀病虫害图像以及背景和目标灰度差别小病虫害图像进行准确识别,该模型具有识别准确率高、识别速度快、稳定性和适应性强等特点,GCD-EF-CV可用于白鹤草莓病虫害识别与防控等研究领域。