基于深度学习、 小波变换和可见光谱的茶树冻害程度评估

李 赫,王 玉,范 凯,毛艺霖,丁仕波,宋大鹏,王梦琪,丁兆堂*

1. 山东省农业科学院茶叶研究所,山东 济南 250108 2. 青岛农业大学茶叶研究所,山东 青岛 266109 3. 日照市农业科学研究院茶叶研究所,山东 日照 276827

引 言

茶树(CamelliasinensisL.)是中国、 印度、 斯里兰卡、 肯尼亚等国家最重要的经济作物之一。 由于茶树具有不耐寒性,中国北方的茶树容易遭受低温天气,导致茶树大面积冻死,大大降低了寒冷地区茶树的产量[1]。 有必要了解茶园冻害情况,分析冻害原因,提出预防措施。 及时进行灾后恢复,将茶叶生产的损失降到最低。

茶树的受冻过程往往首先表现在叶片上,只有在极端寒冷的情况下,根部才会受损死亡。 因此,叶片冻害的识别和分类对茶园冻害的评价和防治具有重要意义。 目前,茶园冻害程度的识别主要依靠人工观测和计算,主观性强,耗时长。 近年来,深度学习的目标检测算法发展迅速,一系列框架的出现为精确的目标定位和检测奠定了基础。 例如,R-CNN作为深度学习对象检测应用领域的先驱,将传统机器学习与深度学习相结合。 随即出现一些目标检测网络的优化算法,如SPP-net (spatial pyramid pooling networks)[2],Faster R-CNN(faster regions with convolutional neural network)[3],YOLO (you only look once)[4]等,这些深度学习的方法在作物病害和虫害的识别和分类取得了较好的进展。 例如,研究人员采用深度卷积神经网络(DCNN)对黄瓜叶部的病害进行识别,将随机森林、 支持向量机和AlexNet网络对叶部病害的检测结果与DCNN的叶部病害的检测结果进行了比较。 结果表明,DCNN模型的准确率为93.4%明显高于其他常规分类器[5]。 研究人员采用YOLO V3对水稻的5种虫害进行识别,结果表明,YOLO V3平均精度为91.93%,这说明YOLO V3网络可以很好地识别水稻的虫害[6]。 上述研究为采用深度学习方法评价茶树叶片冻害程度提供了重要的参考。

图像增强技术是图像识别的前提,可以提高采用深度学习方法进行目标检测的精度。 例如研究人员通过对传统方法进行改进,提出了一种利用奇异值分解(SVD)的图像增强方法。 该方法对图像的不同颜色空间、 颜色索引以及彩色到灰度转化进行综合特征的提取; 然后采用区域生长法对病斑进行分割[7]。 谢新辉等[8]提出一种基于傅里叶变换的指纹图像增强方法,通过对图像分块进行傅里叶变换,用求期望值的方法获取指纹图像的频率、 方向以及能量分布,在此基础上根据指纹纹线分布以及脊线方向变化剧烈的特殊性,采用在径向滤波器滤波后增加角方向滤波器的滤波方法,对图像进行滤波增强。 结果表明,基于傅里叶变换的指纹图像增强方法能够提高识别指纹的精度。 然而,采用傅里叶变换在精确分析时存在很大的局限性,只能实现基本、 大致上的定位。 本研究提出一种基于小波变换的图像增强技术,在傅里叶变换的基础上进行了本质上的改变,通过不断改变时间窗的宽度,实现对信号低频部分采用较低的时间分辨率而实现精确的频率定位,对信号高频部分采用较低频率分辨率以实现精确的时间定位。

目前对于茶树冻害程度的快速准确评估相关研究较少,本工作提出一种基于深度学习的茶树冻害评估框架。 首先利用Faster R-CNN网络对茶树的冻害叶片进行提取,再将提取到的茶树的冻害叶片图像进行小波变换增强处理,从而得到了四张频率的图像; 然后将四个频率的图像输入到VGG(visual geometry group network)16[9]网络对冻害叶片进行分级。 最后根据得到的茶树不同分级的冻害叶片权重系数,对茶树整体的冻害程度进行评估。

1 实验部分

1.1 数据采集

为了提高模型的识别效果,采集了大量的训练图像。 2020年12月,在山东省日照市茶叶研究所(北纬35°40′,东经119°33′,海拔23 m)采集了图像。 使用CANEO-EOS 6D相机采集茶树树冠图像。 图像以JPEG格式存储,分辨率分别为3 024×4 032。 拍摄角度和拍摄距离随机。 共采集了1 000张图像。 图1显示了茶树冻害的树冠照片。 图1(a)是鸠坑品种,图1(b)是中茶108品种。

图1 茶树受冻害的树冠图像(a): 鸠坑; (b): 中茶108Fig.1 Image of tea plant crown damaged by freezing(a): Jiukeng; (b): Zhongcha 108

1.2 图像的标记

对茶树叶片的受冻害程度进行分级,分为轻度,中度,重度。 表1为不同冻害程度茶树叶片的症状。 将训练图像的分辨率调整为1 800×1 800,采用MATLAB软件中的Imagelabeler 9.2对800张增强照片进行标记,得到训练集。 一、 二、 三级分别用红色、 橙色、 蓝色三种颜色标记,图2为标记的冻害图像。 图2(a)是鸠坑品种,图2(b)是中茶108品种。 标签数据以mat格式保存。 将其转换成表格数据集格式,输入Faster R-CNN网络。

表1 不同冻害程度茶树的症状及影响Table 1 Symptoms and effects of tea plants with different degrees of freezing injury

图2 标记的茶树冻害图像(a): 鸠坑; (b): 中茶108Fig.2 Marking image of freezing injury of tea plant(a): Jiukeng; (b): Zhongcha 108

1.3 Faster R-CNN

图3为Faster R-CNN的结构框架,首先采用卷积网络提取图像的特征,并计算特征图。 选择了具有良好特征抽取能力的AlexNet[10]、 ResNet50[11]、 VGG19三种特征提取器分别作为提取特征的主干。 表2列出了三个特征提取器的层数和性能。 区域候选网络(RPN)负责接收特征提取器提取到的特征图。 将图像分为两类: 冻害叶片和背景; 此时只能区分出冻害叶片的大概区域和背景,无法对冻害叶片进行细致的分类。 然后,感兴趣区域池化层收集输入的特征图和提议,综合这些信息后提取提议,计算形成特征图,送入后续的全连接层来判定目标的类别。 采用提议特征图计算提议的类别,同时边框回归器调整感兴趣区域的中心点位置和长宽比,目的是更精准地检测到冻害叶片。

表2 深度特征提取器的特性及其在ImageNet挑战中的性能Table 2 Characteristics of depth feature extractor and its performance in ImageNet challenge

图3 Faster R-CNN的结构框架Fig.3 Structural framework of Faster R-CNN

1.4 冻害叶片图像的二维离散小波变换

小波变换可以通过选取合适的滤波器,减小或去除所提取冻害叶片图像的不同特征之间的相关性。 为了更好提取茶树冻害叶片的特征信息,将冻害叶片图像通过小波变换进行增强处理。 小波变换将图像转换为信号,然后将信号按低频率和高频率分离,从而得到四个分量,如图4(a)所示。 其中,LL分量代表图像的低频信息,HL分量代表图像水平方向上的高频信息,LH分量代表图像垂直方向上的高频信息,HH分量代表图像对角线上的高频信息。 图4(b)显示了经过小波变换处理后第一级冻害程度的叶片图像。 图4(c)显示了经过小波变换处理后第二级冻害程度的叶片图像。 图4(d)显示了经过小波变换处理后第三级冻害程度的叶片图像。

图4 小波变换处理后不同程度冻害的叶片图像(a): 示意图; (b): 一级冻害叶片; (c): 二级冻害叶片; (d): 三级冻害叶片Fig.4 Leaf images of different degrees of freezing damage after wavelet transform(a): Sketch map; (b): First level frost damaged leaves; (c): Secondary frost damaged leaves; (d): Third level frost damaged leaves

在小波变换对图像的分解过程中,LL分量可以进行多次循环,直到满足要求,本研究LL分量只循环一次。 对于大小为A×B的图像f(x,y)的离散小波变换公式为

(1)

式(1)中,j0是一个任意的开始尺度;wφ是在尺度j0处的近似系数;φj0,a,b(x,y)表示尺度函数。

1.5 VGG16

将小波变换处理后的图像用cat连接,输入到VGG16网络来进一步分类不同程度的冻害叶片。 VGG16 共有16层包括13个卷积层和3个全连接层,如图5所示。 首先将VGG16 输入的图像大小调整为224×224,然后输入到含有64个卷积核的2个卷积层对图像进行卷积,再进行最大池化操作,又输入到含有 128 个卷积核的2个卷积层,两次卷积后进行最大池化操作,再经过三次含有256个卷积核的卷积之后,进行最大池化操作,然后重复两次三个含有512个的卷积核卷积之后再进行最大池化操作,最后将提取后的特征图送入到三个全连接层中。 全连接层将卷积层提取到的特征图进行整合,判断叶片的冻害程度。

图5 VGG16的网络框架Fig.5 Network framework of VGG16

2 结果与讨论

2.1 实验环境和评估方法

实验处理数据的环境中,硬件: 处理器Inter Xeon CPU E5-2640 v4 @2.4GHz 2.40 GHz(2个处理器); 机带RAM: 128 GB。 软件环境: CUDA Toolkit 10.1; CUDN V7.6.0; Python 3.8; MATLAB 2020; Pytorch-GPU 1.6.0; 操作系统: Windows10。

为了评估模型对所有冻害叶片整体检测的性能,采用准确率指标。 为了评估模型对每个级别冻害程度检测的性能,采用精准率和召回率指标。 为了评估模型对每个级别冻害程度检测的综合性能,采用F1分数指标。 如式(2)—式(5)

(2)

(3)

(4)

(5)

式(2)—式(5)中,A为冻害叶片检测的准确率;P为冻害叶片检测的精确率;R为冻害叶片检测的召回率;F为冻害叶片检测的F1分数;TP为指标签为正样本,分类为正样本的数目。FP标签为负样本,分类为正样本的数目。FN指标签为正样本,分类为负样本的数目[12]。

2.2 Faster R-CNN提取茶树冻害叶片

2.2.1 Faster R-CNN的训练

使用800张图像训练模型,200张图像测试模型的精度。 用各种参数组合对模型进行了测试。 最终选择的最大迭代、 学习率、 学习率下降因子分别为20、 0.000 1和0.001。

2.2.2 Faster R-CNN提取茶树冻害叶片

为了更好地对茶树的冻害叶片进行分级,使用Faster R-CNN提取茶树冻害叶片。 表3为三种特征提取器作为主干网络对茶树冻害叶片的提取结果,表明VGG19模型的查准率最高,ResNet50的查全率最高,AlexNet模型的查准率和查全率都最低。 因此,单凭查准率和查全率很难判断出哪个模型最好。 比较三个模型的F1分数,ResNet50的F1分数最高为92.96%,ResNet50模型提取茶树冻害叶片的综合性能最好。 采用ResNet50模型为主干网络提取茶树冻害叶片。

表3 三种不同特征提取器的Faster R-CNN模型的精度Table 3 Accuracy of Faster R-CNN model of three different feature extractors

2.2.3 Faster R-CNN对茶树冻害叶片分级

分析了Faster R-CNN对不同冻害程度的叶片分级结果,如表4。 结果表明,Faster R-CNN能较好的区分一级冻害程度的叶片; 然而,对于分类第二级和第三级冻害程度叶片,结果较差,且F1分数都低于75%。 分析认为第二级和第三级冻害程度的叶片存在一定的相似性。 因此需要应用二维离散小波变换技术对冻害叶片的纹理特征进一步的放大,然后小波变换与卷积神经网络结合对冻害叶片进行细致区分。 图6为Faster R-CNN对不同冻害程度的叶片的分级图像。

表4 Faster R-CNN对不同冻害程度的叶片分级结果Table 4 Classification results of leaves with different degrees of freezing injury by Faster R-CNN

图6 Faster R-CNN模型评估不同冻害程度的茶树叶片Fig.6 Faster R-CNN model for evaluating tea leaves with different degrees of freezing injury

2.3 VGG16模型对茶树冻害叶片分级

2.3.1 VGG16模型的训练

将Faster R-CNN提取到的1600张冻害叶片,按照7∶1∶2分为训练集、 测试集、 验证集。 将冻害叶片进行小波变换处理,将处理后的叶片信息输入到VGG16网络进行训练。 初始学习率为0.001,epoch为50,Batchsize为32,momentum parameter为0.9。 为防止模型过拟合,每循环27次学习率降低三分之一,最终学习率为0.000 037。 另外,该模型使用Adam优化器,其收敛速度快、 参数调整简单。 图7为VGG16模型训练过程的损失率和准确率的变化趋势。

图7 VGG16模型训练过程的损失率和准确率的变化趋势Fig.7 Variation Trend of loss rate and accuracy rate during VGG16 model training

2.3.2 VGG16网络对不同程度的冻害叶片分级

为了验证VGG16网络的性能,将VGG16网络与其他的网络(SVM[13]、 AlexNet、 ResNet18)在相同的测试环境中对相同的测试集进行了试验。 为了比较小波变换处理后的冻害图像能否提高网络精度,将小波变换处理后的图像和未经过小波变换处理的图像输入到不同的网络进行训练。 表5为茶树不同冻害程度图像在不同网络的测试准确率。 结果表明,基于图像经过小波变换处理的VGG16模型的总体准确率是为89%,是8个网络中总体准确率最高的模型。 图像经过小波变换处理后模型的总体准确率比图像未经过小波变换处理模型的总体准确率高2%～6%,其中VGG16模型提升最大。 结果表明,图像经过小波变换处理能提高网络模型泛化能力。

表5 不同网络和不同处理图像评估茶树不同程度冻害叶片Table 5 Evaluation of different degrees of freezing injury of tea leaves by different networks and different processed images

为了进一步比较不同模型对每个冻害程度叶片的分类性能,通过精准率,召回率和F1分数指标评估图像经过小波变换处理后4个网络模型,如图8(a,b,c)所示。 结果表明,对于第一级冻害程度叶片和第三级冻害程度叶片的分级,VGG16,AlexNet、 ResNet50模型的F1分数都大于85%,其中VGG16的精准率和召回率最高。 对于第二级冻害程度叶片的分类,VGG16的精准率为83.5%,召回率为84.3%,F1分数为83.9%,在四个模型中精度最高。 基于小波变换的VGG16模型可以较好地对茶树叶片冻害程度进行分级。

图8 基于小波变换处理后不同网络评估茶树叶片的冻害程度(a): 一级冻害程度叶片; (b): 二级冻害程度叶片; (c): 三级冻害程度叶片Fig.8 Evaluation of freezing injury degree of tea leaves based on different networks after wavelet transform(a): First level frost injury degree; (b): Secondary level frost injury degree; (c): Third level frost injury degree

2.4 茶树冻害程度整体评价

茶树叶片的冻伤数量和冻伤程度是判断茶树冻害程度的关键指标[14]。 为了评价茶树的整体冻害程度,对第一级、 第二级、 第三级冻害程度的叶片做加权平均计算。 第一级冻害程度的叶片权重系数为0.5,第二级冻害程度的叶片权重系数为0.3,第三级冻害程度的叶片权重系数为0.2。 表6为茶树受冻害程度的评分标准。 计算公式如式(6)

表6 茶树受冻害程度的评分标准Table 6 Scoring criteria of freezing injury degree of tea plants

(6)

式(6)中,D为茶树受冻害程度的评分,X1为第一级冻害叶片的数量,X2为第二级冻害叶片的数量,X3为第三级冻害叶片的数量。

3 结 论

提出了一种基于深度学习、 小波变换和可见光谱的茶树冻害程度评估框架。 首先采用Faster R-CNN网络对茶树的冻害叶片进行提取。 其次将提取到的茶树的冻害叶片图像进行小波变换增强处理,从而得到了四张频率图像。 然后将小波变换处理后的图像被输入VGG16网络这对冻害叶片进行分级。 最后根据得到的茶树不同分级的冻害叶片权重系数,对茶树整体的冻害程度进行评估。 结果表明,Faster R-CNN模型提取茶树冻害叶片的查准率为93.33%,查全率为92.57%,能保证几乎所有的受冻害叶片都能被提取出来,为进一步对冻害叶片分级奠定基础。 VGG16模型的整体准确率为89%。 高于其他模型(SVM、 AlexNet、 ResNet18)的准确率。 冻害叶片图像经过小波变换处理后能提升模型准确率2%～6%。 本实验框架可以准确地将茶树冻害叶片进行分级,对于茶园冻害程度的评估具有重要价值,同时对评价茶树抗逆性、 指导茶园越冬管理具有重要意义。 对于其他作物冻害程度的评估提供了参考。