基于无人机高通量植物表型大数据分析及应用研究综述

袁培森 薛铭家 熊迎军 翟肇裕 徐焕良*

（1.南京农业大学人工智能学院，南京 210095；2.马德里理工大学技术工程和电信系统高级学院，马德里 28040）

1 引言

作物表型，是指由作物基因与生长环境共同作用下的，作物的外在表现形式，体现为作物生长发育过程中物理、生理、生化方面的特征和性状，如高度、颜色、果实形状等[1-4]。由于大部分的作物表型体现为可通过观察得出的特征，因此可通过大量地获取其植物体或细胞在各种不同环境条件下的表型信息，揭示不同环境因素对于其表型的影响规律，推动作物科学的发展[3-9]。在粮食需求日益增长的今天，这对于提高粮食安全的保障、保护生态安全和促进农业可持续发展，可起到重要的作用。

在以往的作物科学研究中，现代生物技术的发展已经带来了革命性变化[2,4,5,7-9]，但在作物表型信息的获取方法中，人工操作仍占有相当大的比重[2,3,9-13]，由于作物种植区域的广阔性以及其所处地形的复杂性，人工采集此类数据需要耗费大量的人力以及时间，且由于人为记录过程中不可避免的疲劳、分神等不确定性因素，此类采集方式所得到的数据往往不具备很高的准确性，可谓事倍功半[2,3,9,11-14]。当前作物科学研究领域，迫切需要能在短时间内准确获取作物表型数据的手段，以减少人力和时间的消耗。

无人机遥感系统为此需求提供了有效的解决方案[2,4,9-44]。无人机遥感系统采用小型无人机搭载的传感器作为数据采集工具，以事先设置好的飞行路线飞过作物种植区域，并定时进行悬停，进行表型信息的获取[5,45-50]。由于获取时传感器的机位稳定，此方法可以获取高分辨率遥感影像，具有较强的灵活性和现势性，能广泛应用于各种调查任务[2,3,7-9,23-26,51,52]。同时由于采集过程为自动化过程，可大幅的节省人力物力[12,30-32,53-55]。利用此类自动、半自动的高通量平台搭载单个或多个传感器，可在短时间内迅速、无损地获取大量的作物表型信息。

此外，计算机大数据以及遥感图像处理技术的高速发展，也为作物表型分析技术带来了极大的便利[13,25-30,47,51-84]。通过专业的遥感数据处理技术，无人机所采集的丰富海量的数据可在短时间内有效地被处理以及获取信息，大大提升了数据分析的高效性[16,21,27,69,70,73,81,83-85]；同时，由于计算机不存在因失误而导致的错误，数据分析的准确性也大幅提升[46,48,49,86-94]。

伴随着无人机遥感系统和计算机大数据处理技术的进步，基于无人机系统的作物表型分析方法，在农业生产中体现出的优势愈发显著。该方法集数据采集、处理和分析于一身，大大缩短和精简了作物表型研究的时间和过程。首先，利用小型无人机在作物种植区域进行图像数据的采集[21-31]；获取完毕后利用专用的遥感图像处理技术，将其转换为三维点云[51,53,56,59]，或进一步处理得到数字表面模型[51,53,56,59]；最后，通过进一步分析，获取作物株高、叶面积指数等表型信息[51,53,56,59]，或是针对植物病害所对应的性状进行检测[53,56,59,66-72]。

近年来，基于无人机平台的高通量作物表型大数据分析方法，已经成为作物表型研究领域最重要的研究方法之一。由于自动化平台避免了传统方法所面临的诸多问题，因而在此类数据量庞大的任务中体现出了明显的优势；由于计算机图像分析技术的发展，越来越多的基于数字模型、光谱空间以及神经网络的，适用于不同类别作物表型的特征提取技术应运而生，给分析过程带来了极大的便利。因此，该方法能够为多种田间作物的表型参数提取、分析和评估提供有效的解决方案。

借助高通量手段突破传统方法，快速获取大量的植物表型信息，对加快作物科学的研究具有重要意义。笔者在目前国内外已然颇为广泛的研究成果之上，首先明确无人机系统对于作物表型分析方法的原理及过程，并在其研究成果之上，总结其在研究过程的各个步骤中，特别是数据分析这一环节中所采用的关键技术，以便让研究者思考前人的研究角度和方法，总结其研究经验并开发新的、更为高效和准确的研究技术。

2 研究过程

2.1 数据采集

无人机遥感系统对于作物表型数据的采集一般于平坦地形中的试验田进行[8,15,17,18,27]；有时根据作物种类和所处地势，也会需要在林地、丘陵等地形下进行采集[6,16,24,26]。在影像获取时，选取太阳光辐射强度稳定的正午时段，天空晴朗无云的天气情况下进行作业[11,14,22-29]。采集之前，研究人员需根据现场场地状况，讨论并制定飞行方案，提前进行试飞采集试验。方案制定完成后，开始数据采集。采集过程中，无人机按照预计飞行路线进行飞行，飞行过程中定时进行悬停，以便让机载传感器采集图像[11,14,22-29]。利用无人机进行数据采集的作业流程如图1 所示。

图1 无人机航拍作业流程示例Fig.1 Example of aerial photographing process using UAV

2.2 数据预处理

无人机所采集的数据往往具有数据量庞大和多样性强的特点，因而并不能通过传统的图像处理方法直接进行处理分析。幸运的是，随着遥感数据采集技术的发展，遥感数据处理分析技术也同样地发展着，对于无人机所采集到的海量、多样的数据，可通过专用的遥感数据预处理方法来进行处理，获取实验者所期望得到的数据。

2.2.1 图像拼接

图像拼接技术是指将小范围图像拼接为大范围图像的技术。由于无人机所拍摄的图像往往范围较小，在需要获取大范围作物图像进行表型分析时，可利用此技术，通过事先设置的控制点，在若干小范围图像中匹配同名点以便寻找测区，进而实现这些图像的拼接[23,24,32,33,35,43]。

数字表面模型（Digital Surface Model，DSM）及数字正射影像图（Digital Orthophoto Map，DOM）[11,14,22-28]是经常被采用的运用图像拼接技术生成的两类模型。其中前者是指包含了地表建筑物、桥梁和树木等高度的地面高程模型，适合于获取株高等高度信息；后者是同时具有地图几何精度和影像特征的图像，适合于获取种植区域和面积等信息。

通过将无人机所采集到的图像与事先设置好的地面控制点套合，得到有效的作物种植区域，即测区，再通过导入控制文件进行参数的设置，生成3D 点云，最后通过空三解算操作，生成这些模型。通过图像拼接技术生成DSM 及DOM 的技术路线如图2 所示。

图2 DSM和DOM模型建立技术路线图Fig.2 Roadmap of DSM and DOM modeling

2.2.2 颜色转换和校正

颜色转换和校正是指利用诸如RGB、HIS 等的颜色模型，对图像进行颜色转换和校正，使其成为指定颜色空间的图像。由于无人机所拍摄的图像往往受到光照等多种环境因素的影响，在需要降低其因为这些影响所产生的失真时，可利用此技术，通过指定的颜色空间模型对图像进行校正[7,8,13,14,31,32]。

2.2.3 图像分割

图像分割是指将图像中的目标物体与图像其余部分，即背景进行分离的技术。在需要将图像中的目标物体进行展现时，利用此方法，首先将图像转换为灰度图像，再将其中的像素点与事先确定好的阈值进行比对，最后将图像二值化以实现目标物体的提取[7,11-16,21]。

2.3 数据分析

在对图像数据进行预处理之后，统一的、研究者所期望的数据得以获得，此时便需要对这些数据进行进一步的分析，以获取作物表型数据，如株高、叶面积指数等[11,13,27,62,63]。数据分析的过程中，预处理阶段所获取的DSM和DOM模型将发挥很大的作用，它们之间的组合，可为作物信息的获取提供关键支撑。同时，根据所要获取信息的不同，新的模型得以在图像数据的基础之上，依照各种方式建立，通过这些模型，研究者可将不同时期、不同来源的数据进行比对，以最终获取表型信息[13,24,32,33]。数据分析的关键性技术以及各类表型信息的具体获取方法，将分别在第三和第四节中进行阐述。

2 研究原理与方法

2.1 无人机系统

无人机遥感高通量表型平台，是以无人飞行器为平台，搭载多传感器，利用遥测遥控技术、通讯技术、GP 差分定位技术和多传感器协同控制技术等，快速获取田间作物表型信息的平台[35-42]。无人机遥感技术具有数据获取平台易建、成本低、体积和质量小、操作简便、灵活性高、作业周期短等特点，可实现对田间每一操作单元地物种植信息快速精准获取，在精准农业信息获取方面大有用处[21,24,34,74,95]。

微小型无人驾驶飞机主要有旋翼直升飞机和固定翼飞机两种，其中被主要应用于作物表型分析的是旋翼直升机[7,12,22,23,36,42,43]。因其受场地的限制少，适于低空飞行，飞行高度可调并可随时进行悬停，能够实现自主定位、寻找目标与目标跟随等复杂功能，因而非常适用于规模化种植区的实时监测。小型无人机主要是通过借助分辨率较高的遥感传感设备以及监测系统，搭配包括飞行控制系统在内的众多系统而构建起的信息获取设备，用于采集各种类型的遥感信息[2,4,11,13,16,20,30,43,52]。

无人机系统主要由飞行器、稳定云台、影像传感器等组成。其中飞行器是影像传感器及其稳定云台的搭载平台，是获取遥感数据的基础；稳定云台使得影像传感器在飞行过程中保持相对地面稳定的状态，从而避免了遥感影像的几何畸变，同时也保证了影像采集过程中成像角度的相对稳定。该系统可以搭载包括数字相机、多光谱成像仪等在内的若干设备，可以有效用于检测农田作物的表型信息数据。

2.2 传感器

无人机遥感平台的传感器受限于其载荷能力，除需要获取高精度图像外，还需满足轻质量和小尺寸的要求，RGB数码相机、3D数码相机、红外测温仪、热成像仪、荧光探针、多光谱相机、高光谱相机、激光雷达和声纳设备是搭载于无人机遥感平台的主要传感器，其利用可见光、热、荧光、光谱和三维成像技术，可以直接或间接地测定与植物器官功能有关的生理特征和与病虫害有关的病理特征[2,3,9,22,27-31]。无人机遥感解析植物表型常用的传感器类型如表1所示。

表1 无人机遥感解析植物表型常用传感器种类Table 1 Common types of sensor used in plant phenotyping using UAⅤ

2.3 数据分析技术

图像分析是一门活跃而富有挑战性的计算机科学领域，它正迅速地成为生物科学分析领域适用的工具。以下介绍在无人机高通量作物表型分析中，被应用较为广泛的几项关键技术。

2.3.1 运动结构算法

运动结构算法（Structure From Motion，SFM）是一种基于无序图片进行三维重建的离线算法[6,8,9,48-50,53,56-59]。只要所拍摄物体为静态三维物体，并且所拍摄图像基本覆盖了物体，该算法便可以在不知道相机拍摄时的绝对位置，也没有结构光进行标定的情况下，基于所拍摄的图像，对该物体进行三维重建，因而适合于位置变动的无人机对于静止的作物的拍摄。

SFM算法的实现过程可分为以下三步[8,26,27,44,46]：

（1）特征检测：使用具有尺度和旋转不变性的SIFT描述子,通过不同尺寸的高斯滤波器计算得到特征点的位置信息,同时还提供一个描述子信息。

（2）特征匹配：对于每一个图像对，通过图像周围的特征点，让每一个特征找到最近邻的特征向量，去计算最近邻匹配。如下式所示：

用F(I)表示图像I周围的特征点，对于图像对I和J，特征f∈F(I)与图像J 的最近邻特征向量fnn计算公式如式(1)。

然后，将最近邻与第二近邻的特征点对距离做比，如果两个距离之比小于一个阈值，就可以判定为可接受的匹配对。

（3）运动中恢复结构：首先，选择合适的初始化匹配对；随后，估计初始化匹配对的外参；然后在轨迹三角化后，可以提供初始化的3D 点；最后，不断添加新的摄像机和3D 点进行光束平差，得到相机估计参数和场景几何信息，即3D点云[8,26,27,44,46]。

基于SFM 算法，可建立三维立体的作物表面模 型（Crop Surface Models，CSMs）提取出 不同的表型特征，如株高[11,13,27,62,63]、体积或面积信息[11,13,27,62,63]，甚至作 物形态[28,29,46,50,55,58]。基 于SFM 所生成的点云提取植物表型信息的技术如图3所示。

图3 通过SFM生成的点云，可提取各种表型信息Fig.3 Various phenotypic data can be extracted using point clouds generated by SFM

2.3.2 光谱图像分类

研究表明，大部分的自然物质在与电磁波的相互作用下，会在某些特定的波长位置形成反映物质成分和结构信息的光谱特征[90-95]。机载光谱成像仪在沿着轨道飞行时，会对地表发出不同波段的探测信号，根据各物质的反馈信号，绘出一幅地表的二维图像，加上其他的波段的二维图像，便形成一个三维数据。其中的每一个像素，都可以看成在光谱信号表现下的一种物质，如土壤、水体、植被等。根据不同物质在不同波段光谱信号下的不同表现，可以绘制成一条关于光谱波段和光谱值的曲线，根据曲线的差异，我们可以在光谱图像中，对不同物质进行分类。

植物栅栏组织中叶绿素含量、海绵组织中含水量等因素，决定着其不同的光谱特征，而由于基因型和环境的共同影响，作物群体的反射光谱也各不相同，这为采用光谱遥感方法进行作物表型信息的解析，提供了理论基础。目前，光谱成像已被广泛应用于作物种植领域的研究中，通过采集样本植株的光谱数据及其表型数据，建立表型与光谱数据的预测模型，可实现作物分类与识别、作物生化参数估测、作物长势监测、产量预测和提供农业精准管理等功能[90-95]。

2.3.3 卷积神经网络

卷积神经网络（Convolutional Neural Networks，CNN）是深度学习的一种，它提供了一种端到端的学习模型，模型中的参数可以通过传统的梯度下降方法进行训练，经过训练的卷积神经网络能够学习到图像中的特征，并且完成对图像特征的提取和分类[90-95]。作为神经网络领域的一个重要研究分支，卷积神经网络的特点在于其每一层的特征都由上一层的局部区域得到。这一特点使得卷积神经网络相比于其他神经网络方法更适合应用于图像特征的学习与表达。

一个典型的卷积神经网络主要由输入层、卷积层、池化层、全连接层组成，其各层的功能如下[61-63,70-74]：

（1）输入层：输入层是整个神经网络的输入，在处理图像的卷积神经网络中，它一般代表了一张图片的像素矩阵；

（2）卷积层：卷积层是一个卷积神经网络中最重要的部分。其将神经网络中的每一个小块进行更加深入的分析，从而得到抽象程度更高的特征；

（3）池化层：池化操作可以认为是将一张分辨率较高的图片转化为分辨率较低的图片。通过池化层，可以进一步缩小最后全连接层中节点的个数，从而达到减少整个神经网络中的参数的目的；

（4）全连接层：在经过多轮卷积层和池化层处理之后，由全连接层来给出最后的分类结果，来完成分类任务。

3 表型信息提取技术

作物表型分析的重点和难点，即是对于所研究的特定作物的特定表型信息的提取，在国内外相关领域多年的研究中，研究者们开发和使用了多项技术，来获取多样的表型数据。以下就几项常见的作物表型性状的获取方法进行总结。

3.1 作物株高提取技术

作物株高可以间接地反映生物量积累，从而估算作物的产量，是进行生产调控的重要参考因素，因而也成为了作物表型分析领域中最常被获取的表型数据之一[8,10,11,26,49,50,79]。想要获取作物的高度或高度变化，便需要知晓作物的顶端与地面，或是其他生长期作物的高度差，因而在不同时期所进行的数据采集，是必不可少的[11,13,26,49,55,79]。目前有多种方法可以进行植株高度的获取工作，本节就常用的几种进行介绍。

3.1.1 基于DSM的方法

在试验田为播种后至出苗前的裸土或植株较小近似裸土的苗期，获取试验田无人机高清数码影像，生成试验田的数字表面模型，作为参照模型，作为后期高度数据提取的地表基准面；在后续需要观测的时间节点，再次进行试验田影像的获取，生成试验田作物的DSM，通过将各时期采集的DSM 作差，得到对应生长期作物的高度，即式(2)。

其中，DSM0为参照模型，DSMi为试验田作物的DSM，Hi为作物高度。

在实际处理过程中，需要排除掉种植区域以外的干扰数据，因而采用基于DOM 生成的掩膜与所生成的DSM 套合的方法来获取株高信息。该方法的核心流程如下[11,13,57,58]：

（1）获取可见光航拍影像，进行预处理，生成所需的DSM及DOM；

（2）选择播种前的DSM 作为参照模型，用之后测量的各生长时期的DSM 与其相减，得到不同时期的DSM；

（3）通过不同的提取算法，从DOM 提取作物植株区域；

（4）提取的植株区域进行几何配准后，生成掩膜；

（5）运用得到的掩膜与第二步中得到的DSM 套和，得到影像上的作物株高。

此方法的流程如图4所示。

图4 基于DSM的株高获取过程Fig.4 Acquisition process of plant height using DSM

3.1.2 基于点云的方法

该方法是通过将图像预处理后生成的三维点云归一化到地面，并使用此归一化点云作为植物高度估计的基础，流程图如图5所示。

图5 基于点云的株高获取过程Fig.5 Acquisition process of plant height using 3D point clouds

图5的流程如下：

（1）对某一时刻所拍摄图像的3D点云进行滤波，得到地面点云；

（2）随后插值一个2 米的网格，以在场地上提供一个连续的地表面；

（3）将另一时刻所采集的图像转化为的点云归一化到地面，用网格表面上的点减去相应的地面高程，得到地上点云，即式(3)。

其中P(x,y,z)表示网格上的点，gt(x,y,z)表示地面高程，PtAGL(x,y,z)表示地上点云中的对应点；

（4）根据图像边界，将归一化后的地上点云分解为多个地块水平点云；

（5）利用地块水平点云测算地块株高。

3.1.3 基于作物表面模型的方法

作物表面模型（Crop Surface Models，CSMs）是将植株形态数字化之后所形成的模型，因而包含植株整体形态的信息，除去可利用其获取作物的单一信息外，其还可用于植株的整体识别，是一种功能强大的模型[2,31,56,57]。

航拍获取的高清数码影像，通过SFM 算法建立三维立体的作物表面模型，该方法的流程如图6 所示，其过程主要分为以下3个步骤[55-57,88]：

图6 作物表面模型生成过程Fig.6 Generating process of CSMs

（1）生成点云并对齐照片；

（2）输入地面控制点进行几何校正；

（3）重建高度并输出CSMs。

通过植株表面模型获取植株高度的方法流程[40,42,79,87]如图7所示。图7中的过程包括：

图7 通过作物表面模型提取株高的过程Fig.7 Extracting process of plant height using CSMs

（1）首先使用采集的数码影像，建立试验区地形的数字高程模型（digital elevation model，DEM）；

（2）建立作物表面模型CSMs；

（3）CSMs 建立完毕后，对其进行栅格计算，得到标准化后的CSMs；

（4）根据小区范围绘制矩形感兴趣区域（Area Of Interest，AOI）；

（5）通过对标准化后的CSMs 分区统计，即可得到各个小区作物的株高。

3.2 叶面积指数提取技术

叶面积指数（Leaf Area Index，LAI）是单位地表面积上植物叶单面面积的总和，是描述作物冠层结构重要的生理参数，能够反映作物健康状况，因而也是作物表型分析领域重点研究的表型性状[3,4,7,13,78,86,87,90,93]。关于LAI 的估算方法前人多有研究，其中较为常用的估算方法，是基于统计模型的方法和基于物理模型的方法[3,4,13,78,86,87,90,93]。

3.2.1 基于统计模型的方法

基于统计模型的方法，首先计算与LAI显著相关的特征参数(也称为估计量)，利用统计方法，根据特征参数与样地已知LAI值之间的关系，建立LAI的统计预测模型。该方法的具体流程如下[14,91-93]：

（1）基于作物试验田的DOM，提取每个实测小区的冠层红、绿和蓝通道的平均亮度值，进行归一化处理，得到数码影像变量，并分别定义为r、g和b；

（2）依据LAI 和可见光植被指数之间的关系，选取若干个可见光植被指数，与r、g和b共同构成特征参数。常用的可见光植被指数如表2所示：

表2 各可见光植被指数Table.2 Several visible vegetation index

（3）基于高清DOM，筛选出适当的作物种植区，作为估算LAI 模型的区域；

（4）将选取的特征参数与模型区域的作物LAI 进行逐步回归分析，构建LAI 统计模型，并对其进行精确度验证。此后，便可通过此模型进行作物LAI 的检测。

该方法的流程图如图8 所示。

图8 通过统计模型获取叶面积指数的过程Fig.8 Extracting process of plant LAI using statistical models

3.2.3 基于物理模型的方法

用于反演植被理化参数的物理模型，包含各种辐射传输模型以及几何光学模型。其中被最为广泛的应用到叶面积指数提取的，便是辐射传输模型中的冠层反射率（Canopy Reflectance）模型。其以植被参数为输入，模拟冠层的反射率。此方法利用光谱反射率作为输入，包括LAI 在内的植被变量作为输出，通过逆向计算物理模型，即可实现LAI的测算。该方法的具体流程如下[78,80,82,93]：

（1）采集试验小区具有代表性的样本植株冠层的光谱数据，作为原始光谱数据；

（2）对冠层光谱反射率数据进行预处理，再进行平滑去噪，得到有效的冠层光谱反射率数据；

（3）在试验田采集具有代表性的植株样品，测量采样植株叶片数据，根据式（4）计算叶面积指数：

其中：0.75 为转换系数，i、n依次为当前叶片的叶片数和总共叶片数，ai、bi分别为叶片的长度和宽度，S为采样植株占地面积；

（4）分析不同时期植株LAI 动态变化及冠层反射率变化趋势，将LAI 与光谱数据分别进行相关性分析，筛选敏感波段；

（5）优化敏感波段，建立分期诊断模型；

（6）最后，将各时期及正常对照组LAI 与光谱数据统一进行相关性分析，建立统一诊断模型，即可依照此模型测定各时期叶面积指数。

该方法的流程图如图9所示。

图9 通过物理模型获取叶面积指数的过程Fig.9 Extracting process of plant LAI using physical

3.3 植物病害检测技术

准确的植物病害诊断一直是一个重大的挑战。由于植物病害在数字图像中体现为异常的植株特征（如颜色或形状），因此需要一个预处理步骤，来提取这些特定的特征。在这种情况下，深度学习便派上了

models用场，因为它允许计算机在没有人工干预的情况下，自主地学习寻找这些特征。在用于深度学习的各种网络结构中，卷积神经网络得到了最为广泛的应用[60,63,64,69,73,96]。

卷积神经网络识别植物病虫害的工作过程可以分为网络模型定义、网络训练以及网络的预测三个阶段。根据具体流程可分为如下步骤[62-65,96]：

（1）搜集典型的患病植株图像，将这些图像作为用于网络训练的数据集；

（2）根据所需检测植株疾病的病理特征，设计网络结构；

（3）基于第（1）步所采集的数据集，使用深度学习框架对网络进行训练，使其掌握在新图像中识别病害的能力；

（4）采集所需要分析的植株图像，输入训练好的网络，即可完成对于病害的检测。

该方法的流程如图10所示。

图10 植物病虫害识别流程Fig.10 Identification process of plant diseases

4 总结与展望

本文综述基于无人机的植物表型大数据处理与应用最新进展。植物表型是未来突破作物学研究和应用的关键研究领域，无人机是高效获取植物表型数据方式，可为植物表型研究提供良好的平台，二者的结合可为植物表型提供全面分析，为智慧农业发展提供技术支撑。

快速发展的大数据处理、人工智能等技术为无人机获取的高通量表型数据处理提供了有效的解决方案。未来，随着移动网络技术的发展，以无人机为平台获取大量表型数据，并直接应用农业生产，从而进一步提升了无人机高通量表型平台的便捷性和实用性。