基于无人机近地面多光谱图像的蛇龙珠葡萄成熟度判别

杨圣慧， 郑永军， 刘星星， 张天罡， 张小栓， 徐丽明

中国农业大学工学院， 北京 100083

引 言

酿酒葡萄一般按地块进行种植和管理。 对于同一种植区域内同一酿酒葡萄品种而言， 通常选择批量采收的方式。 由于采收期能够影响葡萄品质[1]、 进而影响葡萄酒质量[2]， 因此在采收前需要不断判别葡萄成熟度， 确定该区域的最佳采收时间。 蛇龙珠(Cabernet Gernischt)是一种典型的酿酒葡萄。 传统的蛇龙珠成熟度判别主要依据样本理化指标的化验结果， 即把田间采集的果实在实验室榨汁后滴定， 测得总糖、 酸度等结果， 与往年指标对比， 或建立各理化指标与成熟度的关系模型， 最终确定采收时间。 该方法准确性好， 但是步骤多、 周期长、 存在较大的滞后性， 可能导致葡萄错过最佳采收期； 同时， 传统方法对检测条件要求较高、 人工劳动强度较大， 不适宜按地块对蛇龙珠进行监测。 因此， 建立快捷、 准确的方法对蛇龙珠成熟度进行判别， 进而确定期最佳采收时间， 对于保证葡萄品质、 提升葡萄酒质量， 具有实际意义和经济价值。

光谱技术可实现对作物成熟度的快速准确识别， 目前对在草莓、 烟叶、 冬枣等多种样品均获得良好的结果。 在葡萄检测上， 主要用于糖度、 含水量等指标的检测， 如： Daniels等研究了用傅里叶变换近红外光谱测定整串鲜食葡萄果实中可溶性固形物(TSS)、 可滴定酸度(TA)、 TSS/TA、 氢离子浓度(pH)和BrimA(TSS-k x TA)等关键指标的方法， 采用移动平滑窗(MSW)和乘法散射校正(MSC)对光谱进行预处理， 建立了葡萄成熟度与感官品质参数的偏最小二乘回归模型[3]； 蔡正云等则对比了四种特征波长选择方法对宁夏赤霞珠含水量的检测效果[4]； Avila等利用计算机分析了250粒葡萄籽与200枚橄榄的成熟度情况， 开发了基于支持向量机的成熟度颜色尺度判别方法， 并利用了K-fold交叉验证证明了方法的有效性[5]。 这些研究所得结果和模型精度较高， 但是存在没有结合田间实际条件对葡萄成熟度进行判别的局限， 也很少将研究成果进行实际应用。

随着无人机技术的不断发展， 轻量化、 集成化的多光谱采集设备可装载于无人机， 便于实现机动、 快速、 高效的光谱信息采集作业[6]。 目前利用无人机机载光谱设备的研究， 主要涉及装置研发[7]、 作物疾病监测[8]、 营养物质含量[9]等方面。 例如， 苏宝峰等通过无人机飞行平台搭载热成像仪和多光谱相机， 对田块尺度的蒸散发进行估算， 通过优化蒸散发模型、 利用多光谱数据校正温度参数， 得到分米级高分辨率结果[10]， 具有便捷性和实际应用价值； Oliveira等采用光谱图像结合机器学习的方法， 对青贮草场产量和质量进行了判别， 误差≤20%[11]； Hurley等采用无人直升机搭载高光谱相机， 在75 m高空对葡萄园进行了拍摄， 研究水胁迫对茎水势的影响[12]。 这些研究结果证明无人机搭载光谱检测设备， 结合适当的模型与方法， 可以具有良好的精度， 但尚未应用于葡萄成熟度的预测。 与本研究相近的研究， 是2016年Anderson等对葡萄成熟度的预测。 该研究采用了多光谱图像， 结合常用的化验手段， 对葡萄的氮、 磷、 镁等元素含量进行了窄带归一化差分指数与比值参数分析， 相关系数在0.80以上[13]。 但是该研究是为葡萄微元素含量的无人机预测奠定基础， 尚未利用无人机的实际监测， 且采集的图像为地面图像(ground-level)而非大地块内的区域葡萄图像， 检测指标也非TSS等成熟度常用指标。

本研究采用多旋翼无人机搭载光谱相机， 对某一区域内的蛇龙珠成熟过程进行定期跟踪拍摄， 并基于田间原位光谱图像的处理与成熟度指标的选择， 构建“光谱信息—成熟度”模型， 采用光谱信息代替理化指标成熟度化验， 简化成熟度判别过程， 快速、 准确完成针对区域地块的酿酒葡萄成熟度的监测任务， 解决传统方法采样量大、 化验繁琐等问题。

1 实验部分

1.1 图像采集设备

试验于2016年9月24日至10月12日在山东蓬莱君顶酒庄开展， 此时间段为当年蛇龙珠由未成熟至采收的时间。 试验对象为田间生长的蛇龙珠。 如图1(a)所示， 图像采集系统由无人机飞行平台、 多光谱相机、 移动端、 计算机等构成。 飞行平台采用大疆精灵DJI Phantom四旋翼无人机[图1(b)]， 有效载荷约2 kg， 续航时间约20 min； 移动端为手机客户端， 通过安装DJIGS Pro配套软件， 与遥控器相连， 实时获取无人机位置、 速度、 高度等信息； 多光谱相机选用ADC Micro型[图1(c)]， 尺寸75 mm×59 mm×33 mm， 重量90 g， 光谱范围520～920 nm， 镜头焦距8.43 m， 光圈f/3.2， 镜头水平视角37.67°、 垂直视角28.75°， 图像尺寸320万像素(2 048×1 536)， 3通道输出(红、 绿、 近红外波段)， 采集时间0.5～6 s。

图1 多光谱图像采集设备

1.2 田间多光谱图像采集

如图2(a)所示， 在天气晴朗、 能见度较好时拍摄一小片区域内蛇龙珠的近地面光谱图像， 每2～3 d采集1次， 采集时间为下午2：00—3：00。 无人机拍摄时与冠层顶端平均距离0.5～0.8 m。

图2 田间多光谱图像采集

每次采集时遵循“S”型采样， 如图2(b)所示， 具体过程为：

(1)选定采样点： 每次采样， 随机选取三行葡萄藤， 再分别从每行中随机选取3个点；

(2)采集前： 在相同环境与光照下， 拍摄配套的标定白色板；

(3)采集中： 无人机从第Ⅰ行的第1点出发， 沿采集路线飞行， 依次到达采样位置后拍摄图像， 其中多光谱相机镜头垂直向下， 拍摄时间为每张5 s； 同时， 分别在每个采样点随机摘取6粒葡萄果粒；

(4)采集后： 导出图像， 进行图像分析。 采集到的多光谱图像样例1， 2， 3， 4分别如图3(a, b, c, d)所示。

1.3 多光谱图像处理

利用多光谱相机配套的PixelWrench2 x64图像处理软件， 对采集的多光谱图像进行处理。 每张图像可得到仅含红色(R)分量、 绿色(G)分量、 近红外(NIR)分量的图像。 以图3(a)中的图像样例1为例， 处理结果如图4(a, b, c)所示。

图3 采集到的多光谱图像示例

图4 PixelWrench2 x64软件处理得到的各分量图像示例

分别选取叶片较为集中的区域(局部区域)和整张图像区域(整体区域)， 得到如图5(a,b)所示的各分量值和分布直方图， 将各分量值作为分析指标。 其中， 处理所得的红色曲线、 绿色曲线、 蓝色曲线分别为NIR， R和G分量的分布值； 右侧NIR， Red和Green值为整体区域或局部区域内上述分量的平均值。

图5 多光谱图像各分量指标结果

1.4 蛇龙珠成熟度指标选择与检测

一般选用果实的糖、 酸、 酚类物质作为蛇龙珠成熟度预测指标。 从理化指标与葡萄酒质量的关系来看， 果实含糖量和葡萄酒的关系最为密切。 结合检测价值、 数据获取难度、 数据量需求、 成本等因素综合分析， 最终选用检测难度低、 成本低、 参数代表性较强的总糖指标作为建模参数。

采用PAL-1手持式糖度仪[如图6(a,b)所示]， 对葡萄粒的总糖进行检测。 首先， 将采集到的葡萄利用榨汁机带皮榨汁； 得到葡萄汁后， 用胶头滴管吸取并滴在PAL-1手持式糖度仪的检测镜上； 按下“START”键得到总糖检测数值， 读数并记录。 在每次检测结束后， 用蒸馏水冲洗检测镜， 然后用拭纸擦净， 减小下一次测量误差。

图6 PAL-1手持式糖度仪及其实际测量

2 结果与讨论

2.1 多光谱图像各分量检测结果

选取每日各分量数据量的80%(约6张图像)求出平均值， 作为局部区域和整体区域的各分量值， 结果如表1所示； 其余20%数据(约2～3张图像)的平均值作为当天各分量的验证集。

表1 局部区域与整体区域的各分量值

2.2 总糖含量检测结果

选取每日果粒样本量的80%求出平均值， 作为总糖含量的模型集， 结果如表2所示； 其余20%数据的平均值作为当天总糖含量的验证集。

表2 模型集的葡萄总糖含量

2.3 颜色指标选择

各分量值随日期变化的数据点如图7(a, b, c)所示。 其中， 横坐标“次数”按序对应实验日期， 纵坐标为各分量值； 红色曲线表示整体G分量值变化， 黑色曲线表示局部G分量值变化。

图7 各分量值随日期的变化

由图7(a,b,c)分别可知， R分量、 G分量随日期延长均呈现上升规律， NIR分量随日期呈现一定程度的下降规律。

为选出更具相关性的分量指标， 采用线性回归方法， 对“分量值(y)—日期(x)”的关系进行拟合， 观察回归方程、R2、F值、P值四个结果(如表3所示)。

表3 各颜色指标的回归拟合统计

由表3可知， R分量、 局部G分量和局部NIR分量与日期呈显著性关系。 其中， R分量与日期呈非常显著的正相关， 且局部R分量呈最显著相关关系。 分析认为蛇龙珠在成熟过程中叶片变红密度增加。 虽然局部G分量的p值也小于0.05， 但是整体G分量并不显著。 综上所述， 选取局部R分量为颜色评价指标。

2.4 多光谱局部R分量与蛇龙珠成熟度关系模型

将表1中的局部R分量与表2中总糖含量按日期对应， 分别进行线性回归和对数回归， 得到图8和表4的结果。

由图8(a,b)和表4可知， 虽然两种模型均呈现显著性相关(p-value<0.05)， 但是相比于线性拟合方式， 对数拟合的显著性水平、 调整后R2、F值等关键指标明显高于线性拟合， 说明蛇龙珠总糖含量变化更符合对数增长方式。 因此， 选取对数拟合公式作为最终的多光谱图像R分量与葡萄成熟度的关系模型如式(1)所示。

图8 多光谱图像局部R分量与总糖含量回归建模分析

表4 多光谱图像局部R分量与总糖含量回归分析结果

(1)

式(1)中，x为局部R分量值；y为总糖含量。

式(1)表明， 蛇龙珠从未成熟至采收的时间段内， 总糖不断累积， 但累积速度为先快速后缓慢。

将实际检验的总糖含量作为标准值， 利用式(1)将验证集的多光谱图像R分量数据带入， 计算出预测总糖含量， 与标准值进行对比， 验证模型的精度。 其结果如表5所示。

表5 验证集葡萄总糖含量(实际含量)与模型预测总糖含量对比

由表5可知， 经验证， 模型的平均预测误差≤1.388%， 最大预测误差≤4.6%， 证明模型具有较高精度， 能够满足预测要求。

模型对9月30日与10月3日的总糖预测出现了两次较大的误差， 可能由三个原因导致： 一是因为在实际采集过程中， 图像的曝光会受到太阳光强度的影响， 而这两天为多云天气， 经常有云遮挡太阳， 因此对模型与回归结果有一定影响； 二是无人机搭载多光谱相机拍摄过程中， 抖动与相机安装角度可能存在影响； 三是拍摄白色标定板时与无人机拍摄时的光线可能存在差异， 导致有一定的标定误差。 因此， 该模型的各项参数、 样本数量和照片复杂度还可以不断优化。

于2016年10月12日在化验室对蛇龙珠进行了检测， 各项理化指标表明蛇龙珠已成熟， 并于2016年10月13日开始全面采收。 采收时的总糖含量约为22%， 预测误差为±0.46%。 选取22%为蛇龙珠成熟度的判别指标。 由式(1)和表5可知， 当利用无人机搭载多光谱相机获得蛇龙珠图像后， 可将多光谱图像的局部R分量代入式(1)， 预测出总糖含量。 若经计算后的总糖含量为22%±0.46%， 即认为满足采收条件， 不再需要大面积采集样品后进行实验室滴定测量， 为大地块葡萄种植区的成熟度连续性监测提供了便捷手段。

此外， 其他酿酒葡萄品种(如赤霞珠、 品丽珠)的成熟度也可能反映在叶片光谱上。 因此， 研究的判定方法， 也可通过无人机搭载多光谱相机采集田间原位图像、 选择适当的光谱分量与成熟度指标、 构建相应的回归模型， 进行其他酿酒葡萄品种的成熟度检测。

在后续研究中， 可利用现有样本进行深度学习训练， 获得网络训练结果， 对比分析深度学习法、 主成分分析法等不同方法的建模效果； 同时， 可将训练结果移植至微型电脑树莓派等机载控制端， 直接实现无人机端的酿酒葡萄成熟度实时判别。

3 结 论

针对蛇龙珠葡萄采收期判定的传统方法成本高、 滞后性大、 操作繁杂、 劳动强度高等问题， 提出了基于无人机近地面多光谱图像的蛇龙珠葡萄成熟度判别方法。 在蛇龙珠从未成熟至采收前， 利用无人机搭载多光谱相机， 按日期跟踪拍摄多个小片区域内的蛇龙珠多光谱田间原位图像， 结合图像处理与数据分析建模， 与总糖检测结果对应， 判定蛇龙珠成熟度， 主要结论如下：

(1)局部R分量可作为蛇龙珠成熟度判定的光谱分量。 多光谱图像的红色(R)分量、 绿色(G)分量、 近红外(NIR)分量值与日期均呈一定的上升或下降关系。 通过对“分量值—日期”的线性回归分析， 证明红色R分量与日期呈正显著关系， 且叶片较为集中区域(局部)的R分量与日期呈最强的正显著性(p-value=5.314 44×10-4， 调整后R2=0.815)。

(2)构建的局部R分量与总糖含量关系模型具有较小的预测误差。 选取总糖含量作为蛇龙珠成熟度的判别指标。 将各数据集按照模型集∶验证集=4∶1的形式， 对检测的总糖含量与局部R分量进行回归分析， 发现二者之间更符合对数关系， 且模型对验证集的平均预测误差≤1.388%、 最大预测误差≤4.6%， 证明模型具有较高的精度， 能够满足检测需要。

所提出的蛇龙珠品种葡萄成熟度的判别方法， 仅需依靠无人机采集的多光谱田间原位图像的分析结果， 即可实现批量采收品质监测和采收时间预估， 不再需要进行大面积采样和实验室化验的过程， 便于对地块实行连续性监测， 大幅度降低了生产成本与工作量， 提升了检测速度和时效性， 为酿酒葡萄品种采收和多光谱图像在农业实际生产中应用提供了新技术方案和新思路。

致谢： 感谢山东省蓬莱市君顶酒庄为本试验提供场地与材料支持。