基于无人机可见光影像和卷积神经网络的棉花生长参数监测

蒋楠,戴建国,薛金利,张国顺,何相良

(兵团空间信息工程技术研究中心/石河子大学信息科学与技术学院,新疆 石河子 832003)

棉花是我国首要的经济作物及第二大农作物,快速、准确地监测棉花生长信息,对棉田精准管理、合理安排生产计划等具有重要的价值和意义[1]。棉花花蕾期分为现蕾期和开花期,是棉花生长管理的重要时期之一,实时获取并分析棉花花蕾期生长参数是棉田精细化管理的基础。

地上生物量(above ground biomass,AGB)、叶面积指数(leaf area index,LAI)、株高(plant height,PH)等生长参数能很好地反映作物表型信息[2-3],是衡量棉花长势情况的重要指标。传统的生长参数测量方法主要通过田间破坏性采样和人工分析计算,但这种方法费时费力,且工作效率低,存在较大的局限性[4]。由于遥感技术具有大面积同步观测的特点,多年来在农业中得到广泛应用,但卫星遥感存在时空分辨率低,易受天气影响等缺点,难以满足农田尺度的生物量精确监测需求[5-6]。相比于卫星遥感,无人机遥感平台具有成本低、时效性高、复用性强、操作简单以及地面分辨率高等优势,能够实时采集田间图像,在实际运用中展现了巨大潜力,是目前无损测量生物量的主要方法之一[7-9]。

目前,众多国内外学者利用无人机遥感技术进行高通量作物表型信息提取,对多种生长参数进行测量。如BENDIG J等[10]使用作物表面模型(CSMs)结合无人机RGB影像提取株高(R2=0.920),建立不同品种大麦的株高与地上鲜生物量和干生物量监测模型,最好模拟结果R2分别是0.71和0.68。张正建等[7]利用无人机可见光影像,建立了归一化绿红差异指数(NGRDI)与草地生物量监测模型(R2=0.856,MAE=94 g/m2,RMSE=124 g/m2)。牛庆林等[2]基于无人机数码影像实现了玉米株高提取(R2=0.93,RMSE=28.69 cm,nRMSE=17.90%),并构建了叶面积指数监测模型(R2=0.73,RMSE=0.35,nRMSE=23.49%)。上述研究结果表明,无人机遥感在作物生长参数监测方面取得了大量成果,但模型所用特征太过依赖人工设计与提取,泛化能力较差,难以拓展应用。

近年来,深度学习技术迅速发展,在图像识别[11-12]领域取得了巨大突破,为遥感影像处理提供了新思路。卷积神经网络(convolutional neural network,CNN)是目前深度学习领域中非常具有代表性的网络之一,能够直接以图像作为输入,自动提取并识别图像特征,在农业遥感影像识别以及作为生长参数方面具有良好的效果。如王璨等[13]提出了基于卷积神经网络提取多尺度分层特征的玉米杂草识别方法,实现了稳定、高效的玉米与杂草识别,平均目标识别准确率达98.92%。马俊诚等[14]利用三脚架垂直拍摄获取冬小麦冠层图像,结合卷积神经网络模型,实现了冬小麦苗期地上生物量和叶面积指数监测,R2分别为0.791 7和0.825 6。AICH S等[15]利用彩色图像和高程图,结合反卷积网络实现了出苗率和生物量预测,其中出苗率的平均绝对差(mean absolute difference,MAD)和标准绝对差(standard absolute difference,SDAD)分别为1.05和1.40,生物量的MAD和SDAD分别为1.45和2.05。

新疆是全国棉花种植中心,精细化管理需求迫切,而无人机遥感结合深度学习技术在农业遥感影像识别和长势监测中展现了强大优势。因此,本文针对棉田环境下人工采集信息效率低、传统模型泛化能力弱等问题,利用卷积神经网络,以棉花无人机可见光影像为输入,建立棉花花蕾期生长参数监测模型,实现棉花地上生物量、叶面积指数、株高的快速监测,为棉田精细化管理和棉花估产提供有效支撑。

1 材料与方法

1.1 研究区概况

研究区位于新疆兵团石河子市蘑菇湖村,该地区位于天山北麓中段,准格尔盆地南缘,古尔班通古特大沙漠边缘,属于典型温带大陆性气候。实验区土壤肥沃且滴灌便利,夏季炎热,热量丰富,昼夜温差大,光照条件充足,非常适宜棉花生长;该区土壤为沙性土壤,棉花种植品种为天云0769,种植方式采用一膜六行、一米15穴、一穴一粒式的机械种植方式,于2019年4月20日滴出苗水。

1.2 地面数据获取

研究区设置如图1所示。

图1 实验设计

该区域大小为长46 m×宽40 m,共占20个地膜,设置13个地面控制点用于后续影像裁剪。在研究区设置5个区域,每个区域划分5个样方,共25个样方,样方大小为2.3 m×2.3 m,在每个样方采用五点采样法采集5株棉花,数据内容包括叶面积、地面生物量、株高。其中,株高是将样方采集植株的平均值作为样方株高参数;叶面积获取方式是通过将植株叶片与固定面积的硬币摆放在一起,获取两者图像,结合图像处理技术计算叶面积,进而结合样方植株数计算该样方叶面积指数;地面生物量通过对采集的植株进行高温杀青,恒温烘干称重[5,16],再将各参数5点数据平均后乘以样方植株数,从而获得该样方的地上生物量数据。

1.3 无人机数据获取

本文研究飞行平台采用大疆DJI Inspire 1 Pro四旋翼无人机,最大飞行速度18 m/s,轴距559 mm,起重限额3.5 kg,最大续航时间18 min。平台搭载的传感器为CMOS大疆禅思X5可见光相机,支持自动对焦,单幅照片最大分辨率为4 608 pixel×3 456 pixel。于2019年6月29日、7月12日分别采集棉花现蕾期、开花期的可见光影像。影像获取时间为正午12:00,航线设计任务高度40 m,航向重叠率70%,旁向重叠率70%,地面分辨率(GSD)为1 cm。为保证影像质量,拍摄模式为悬停拍照。

1.4 无人机数据预处理

使用Pix4D mapper 摄影测量软件对数据进行预处理。首先将原始照片数据导入软件,读取照片定位姿态系统(position and orientation system,POS)数据,包含GPS和无人机姿态数据,设置照片相机配置信息,然后设定拼接过程中的匹配特征点数量和输出影像类型,生成点云和纹理信息,最后输出数字正射影像(Digital Orthophoto Map,DOM)。裁剪影像软件采用ArcGIS map,裁剪流程如下:先根据地面控制点确定试验区掩模区域,划分研究区掩模;再使用掩模提取工具进行感兴趣区域裁剪,生成研究区栅格数据;最后通过数据转换输出研究区可见光影像。

1.5 数据集制作

影像裁剪完成后,根据地面控制点对影像进行切分,获取地面测量数据对应的图像,2幅影像共150张可见光图像,然后对数据集进行以下扩充:先对原始图像分别进行90°、180°、270°旋转以及水平和垂直翻转;再将可见光RGB图像颜色空间转换为HSV颜色空间,通过修改亮度值V和饱和度S实现图像亮度和饱和度的调整,模拟天气光照的变化;最后针对棉田环境复杂的情况,对图像进行锐化和添加噪声,进一步增加数据集。

通过以上扩展,共得到1 500张图像数据。将数据集按照7∶2∶1划分为训练集、验证集、测试集。

1.6 模型搭建

为更广泛探索卷积神经网络在作物生长参数监测中的适用性,考虑到网络框架的区别,本研究分别搭建基于AlexNet[17]、VGGNet[18]、GoogleNet[17,19]3种不同框架的卷积神经网络模型。

1.6.1 AlexNet模型

AlexNet网络框架是深度学习在图像识别处理方面第一个取得重要成果的框架,第1次使用了Relu激活函数、丢弃率Dropout和局部归一化LRN等超参数。本文搭建的AlexNet模型结构如图2所示,模型输入为花蕾期图像,图像像素为213×213,共包含3个卷积层、3个池化层、3个局部归一化层和3个全连接层,上一层的输出作为下一层的输入;其参数包括卷积核大小、卷积步长、卷积核数量、图像大小、归一化半径共5个模型参数。

图2 AlexNet模型框架

卷积层中,卷积层1和卷积层3的卷积核大小为5×5,卷积层2卷积核大小为3×3,步长均为1;池化层中,池化层1卷积核大小为3×3,其他卷积核大小均为2×2,步长为2,池化后图像尺寸缩小一倍。局部归一化层半径为4;全连接层1的神经元个数为2 000,全连接层2神经元个数为500。全连接层3为一个神经元,作为模型输出层,输出监测结果。此外,为了方便参数计算,除卷积层2外,其余卷积层和池化层均采用了边界扩充(padding=‘SAME’)。

1.6.2 VGGNet模型

与AlexNet框架相比,VGGNet框架在其网络设计的基础上去除了LRN层,并将卷积层改为多个卷积层组合,其目的是提取更深层次的图像特征。本文所搭建的VGGNet模型框架如图3a所示,以卷积块代替AlexNet模型中的卷积层,每个卷积块由2到3个卷积层组成,卷积核大小均为3×3。池化层参数未做修改,且不使用LRN层,卷积块和池化层的特征图数分别为 32、64、64。此外,只使用了2个全连接层,第1个全连接层包含1 000个神经元节点,第2层作为输出层,同样由1个神经元组成。

图3 对比试验模型结构

1.6.3 GoogLeNet模型

GoogLeNet框架的特点是引入了Inception结构[19],替代AlexNet模型的部分卷积层。Inception层结构如图3b所示,将神经网络中3种常用的卷积核(1×1,3×3,5×5)构成的3个卷积层与1个3×3卷积核的池化层堆叠在一起,既增加了网络的宽度,也增加了网络在尺度方面的适应性,使得模型能够提取不同感受野下的图像特征,从而提高特征的丰富性,其中,3×3和5×5卷积层前以及池化层后增加的1×1卷积层的目的是为了减少维度,减少模型参数量,提高计算速度。本文搭建的GoogLeNet模型是在AlexNet模型的基础上,将卷积层2和3替换为Inception层,并移除了LRN层,其余参数未做任何改动。

1.7 评价指标

本研究对模型监测结果与地面实测结果进行线性回归分析,使用决定系数R2、均方根误差RMSE、平均绝对百分比误差MAPE定量评价模型监测的准确率,R2、MAPE、RMSE采用文献[20]中计算公式。

2 实验与结果

2.1 模型训练

本文训练卷积神经网络模型所用操作系统为Windows 10,编写语言为python,采用Tensor Flow开发框架。为减少模型训练时间,使用GPU加速模型训练,GPU为Nvidia Geforce GTX 1080Ti,显存11 GB。训练过程中3种模型均采用动量梯度下降算法为模型优化算法,动量因子为0.9;以均方误差MSE作为模型损失函数,学习率设为0.000 1,一次训练所取样本数为32,最大迭代次数15 000,模型稳定后停止迭代。模型训练结果如图4所示,其中a、b、c分别为株高、地上生物量和叶面积指数3种参数的训练集和验证集损失函数曲线。从图4可以看出,模型的损失函数均逐渐降低,最终达到收敛。其中株高的损失函数收敛最快,地上生物量的损失函数收敛较慢,在4 000次左右减缓波动频率,最终模型达到收敛。

图4 损失函数曲线

2.2 结果与分析

2.2.1 不同模型对比分析

将训练完成的模型应用于测试集,监测值与真实值之间的线性回归关系如图5所示,其中a、b、c为AlexNet模型的训练结果,d、e、f为VGGNet模型的训练结果,g、h、i为GoogLeNet模型的训练结果。

图5 模型训练结果

从图5可以看出:3种模型的预测结果与地面实测数据均有较好的线性关系,可以有效实现棉花花蕾期株高、地上生物量和叶面积指数的准确监测。

对比各项评价指标可知:AlexNet框架的模型表现性能最佳,其中株高的决定系数R2为0.854 52,RMSE为3.157 9 cm,MAPE为3.402%;地上生物量的决定系数R2为0.951 17,RMSE为38.903 53 g/m2,MAPE为6.288%;叶面积指数的决定系数R2为0.964 62,RMSE为0.096 63,MAPE为8.234%。通过对比网络结构可以发现,AlexNet模型结构简洁,网络深度不高,提取的特征适用于各项生长参数监测。相比于AlexNet模型,VGGNet模型卷积层数较多,提取的特征过于复杂,泛化能力有限,存在一定的局限性,从而导致整体预测结果较差,尤其是在叶面积指数监测中,决定系数R2为0.889 36,MAPE为8.056%,RMSE为0.155 18,远低于AlexNet模型的预测结果,而在GoogLeNet结构中,由于Inception结构的特殊性,提取的图像特征尺度更广,提高了特征的适用性,整体精度得到较大提升,叶面积指数预测结果略高于AlexNet模型,决定系数R2为0.970 61,RMSE为0.043 91,MAPE为8.644%,但株高、地上生物量方面的监测准确率略低于AlexNet模型。

2.2.2 不同生育期对比分析

为更广泛探索卷积神经网络对花期与蕾期生长参数监测性能的差异性,本文将蕾期和花期的实测数据与预测值分别进行线性拟合,图6是3种模型的拟合结果,其中纵坐标前25个为蕾期的数据,后25个为花期的数据,红实线为花蕾期实测数据的线性拟合结果,蓝实线为蕾期预测值的拟合结果,蓝划线为花期预测值的拟合结果。

图6 3种模型的拟合结果

对比线性拟合方程后发现,3种模型在花期时的截距和斜率比蕾期更接近实测数据的拟合方程。其中,地上生物量的拟合结果最明显,实测数据的截距和斜率为236.265 11、13.192 58,而3种模型在蕾期的截距和斜率分别为335.801 78、6.453 84;363.659 6、6.453 84;322.926 97、6.875 1;花期的截距和斜率分别为184.518 37、13.791 92;174.965 14、13.602 85;225.661 84、13.795 64。对比花期和蕾期与实测数据的误差可以看出,花期的误差低于蕾期的误差,且3种模型预测结果均显示出棉花生长参数预测在花期的监测精度比蕾期更加精准。

通过分析棉花花蕾期的生育特征以及对比蕾期和花期的图像(图7)发现,蕾期和花期拟合结果存在差异。究其原因主要如下:花蕾期是营养生长与生殖生长并进的阶段,生长速度达到整个棉花生长阶段的高峰,使得花期的叶面积迅速增大,而卷积神经网络在图像中对大目标的识别比小目标物识别的误差更小,所以有花期监测精度高于蕾期监测精度的估算结果;由于花蕾期快速生长发育的特点,垄间的落叶被叶片遮盖住,得到蕾期的图像中棉花落叶量高于花期这一结论,其对模型识别结果产生了一定影响,导致不同时期生长参数拟合结果存在差异,主要体现在地上生物量监测方面;由于蕾期叶片小于花期叶片,蕾期图像垄间土壤区域遮盖较小,致使蕾期图像噪音大于花期,对模型识别监测产生影响。

图7 输入图像

3 结论

AlexNet、VGGNet、GoogLeNet 3种框架的卷积神经网络能够对花蕾期棉花的株高、地上生物量、叶面积指数进行较为精确的监测,决定系数R2在0.801以上,其中AlexNet网络框架简洁,层次分明,监测精度最高。花期的监测精度普遍高于蕾期的监测精度,其中地上生物量的差异最为显著。因此,基于卷积神经网络的图像分析方法可以对棉花生长参数进行较为精确的提取,本文的方法可为大尺度棉花长势参数估算研究提供参考和借鉴。