基于毫米波雷达的果园单木冠层信息提取

杨 洲，李 洋，段洁利，徐 兴，余家祥，申东英，袁浩天

·农业信息与电气技术·

基于毫米波雷达的果园单木冠层信息提取

杨 洲1,3，李 洋1，段洁利1，徐 兴2※，余家祥1，申东英1，袁浩天1

（1. 华南农业大学工程学院，广州 510642； 2. 华南农业大学电子工程学院，广州 510642； 3. 嘉应学院广东省山区特色农业资源保护与精准利用重点实验室，梅州 514015）

为解决当前果园探测技术难以在恶劣的果园环境中提取果树冠层信息的问题。该研究将毫米波雷达应用于果园冠层探测，搭建了基于毫米波雷达的果园冠层探测系统，利用该系统扫描得到了果园点云，检测和估算得到每棵果树的株高、冠幅和体积参数。针对毫米波雷达在不同距离下产生点云密度不同的问题，该研究提出了一种基于可变轴的椭球模型自适应密度聚类算法，用以提高果树点云识别效果，进而使用Alpha-shape算法和随机抽样一致算法（Random Sample Consensus）对果树进行了表面重建和结构参数的提取。通过与人工测量数据比较，该研究提出的聚类算法可以有效的识别和提取单木冠层点云，代表果树识别精度的1 分数为 93.7%；检测到的果树的株高和冠幅的平均相对误差分别为8.7%和8.1%，决定系数分别为0.84和0.92，均方根误差分别为16.39和7.82 cm；使用Alpha-shape算法计算得到平均果树体积为5.6 m3，相比传统几何法测量体积，体积计算准确度提高了59.4%。该研究表明毫米波雷达可以用于果园冠层信息的准确提取，为采集果园冠层信息提供了技术，对农业信息采集和自动化作业技术的发展具有重要意义。

雷达；机械化；冠层信息；点云处理；密度聚类；单木识别

0 引 言

果园精准施药技术可以根据果树冠层信息（如冠层高度、体积、直径等）改变施药量，从而有效的提高农药利用率，一直是国内外学者研究的热点[1-2]。果树冠层信息采集技术可以为施药设备提供可靠的喷雾决策，是实现精准施药的关键和前提。进入21世纪以来，研究人员将光学[3]、超声波、立体视觉[4]和激光雷达（Laser Radar）等先进传感技术应用于果树冠层信息采集，并与传统果园作业设备相结合，创造了一批现代化果园农业机械[5]，实现了靶标探测[6-7]、冠层信息采集[8-11]、农药精准喷 施[12-13]。

激光雷达具有分辨率强、精度高和响应时间短的特点，所以在果园冠层信息提取方面表现出极大的优势[14]，Berk等[15]利用LiDAR提取到的苹果树点云数量和单个体积单元，成功建立了点云数量与冠层叶片面积之间的关系，并分析了精确施药所需要的精度的水平；Wang等[16]结合3D同步定位与SLAM算法，使用LiDAR获取了果树点云信息，利用点云生成3D模型并成功提取到果树株高和冠层体积。可以发现，激光雷达提取冠层点云信息的研究成果众多，技术已经相对成熟，但目前仍未大规模装备到喷雾机上使用。对于光学、超声波和立体视觉等传感器，由于对环境要求较高，果园中的温度、湿度和光照条件都会对其测量精度造成影响[17]，所以更适合在环境适宜的温室中使用。

随着雷达技术的发展与进步，毫米波雷达突破体积、功耗和成本等限制，已开始应用于汽车电子和人体跟踪识别领域[18-20]。在汽车电子方面， Zhao 等[21]使用毫米波雷达识别系统提取稀疏点云轨迹，在深度循环网络帮助下，识别人体准确率高达99%；Zhao等[22]提出基于毫米波雷达点云特征的算法来解决自动驾驶情况下人车识别问题，结果表明，该方法具有极高的分类精度和鲁棒性；Huang等[23]为了提高无人驾驶汽车在恶劣环境下的感知能力，使用低成本的毫米波雷达与激光雷达数据相结合，成功引导机器人穿过烟雾环境下的迷宫；在人体检测方面，任伟等[24]提出一种雷达布置方案，利用毫米波雷达高分辨率特性区分多个目标的呼吸频率；元志安等[25]提出了一种距离多普勒热图序列检测网络模型，用来检测人体跌倒姿态检测，其准确率可达96.67%。上述研究表明，毫米波雷达具有不受天气影响、全天时、全天候[26]和穿透水雾[27]、烟尘的特点，在恶劣条件下可保持较强的感知能力，因此非常适合恶劣的农业作业环 境[28]；并且其对人体的识别可以具体到细微的动作，所以毫米波雷达的精度和分辨率可以满足现代化农业机械作业要求；同时毫米波雷达生产成本较低，可大规模装配到小型喷雾机上，有利于现代化农业机械的商业化量产。因此，探究毫米波雷达在果树冠层信息采集上的应用是非常必要的，可以为果园冠层信息采集提供新的技术方向，对精准施药技术的发展具有重要意义。

本文将首次探讨毫米波雷达提取果园单木冠层信息的可能性。使用基于毫米波雷达的果园冠层探测系统获取点云。在传统密度聚类算法基础上，结合分辨率特性，提出一种适合毫米波雷达点云的聚类算法，实现果树单木识别，进而提取果树株高和冠幅。采用Alpha-shape算法实现点云的三维重构和体积参数的估算。

1 材料与方法

1.1 数据获取

1.1.1 试验系统设计

本研究以自主搭建的基于毫米波雷达的果园冠层探测系统（下文简称探测系统）作为信息采集设备。探测系统主要由数据采集模块、控制模块和PC端组成，数据采集模块包括毫米波雷达、旋转编码器和IMU（Inertial Measurement Unit）传感器。系统逻辑结构如图1所示，其中毫米波雷达为西安达豹电子科技有限公司研制的DB60M34A6435V1毫米波雷达，毫米波雷达和旋转编码器主要参数如表1所示；控制模块采用STM32F103ZET6微控制器解析传感器采集的数据；PC端通过不同指令代码来控制探测系统，同时三维点云通过USB串口通讯传送到PC端并显示；为了获取果园环境及果树冠层信息，整个探测系统需搭载到试验车上，毫米波雷达安装在试验车侧面且高于地面基准线1 m处，试验车由无刷直流电机驱动，可通过脉宽调制信号控制运行速度。

使用TI公司上位机软件mmWave_Demo_Visualizer 3.5.0生成CFG配置文件，使用该文件来配置毫米波雷达的检测范围、精度和最佳分辨率等性能，配置成功后毫米波雷达才可以正常运行并获取果园环境原始数据。为了得到果园环境点云，首先需要对毫米波雷达、IMU传感器和旋转编码器采集到的原始数据进行解析，解析后可得到毫米波雷达三维点云、IMU姿态数据和旋转编码器位移数据，最后将数据进行融合。本试验采集程序在Keil uVision5开发环境中进行，数据处理使用Matlab 2018a软件完成。

图1 系统逻辑结构图

表1 毫米波雷达参数

1.1.2 试验环境与人工数据采集

试验于2021年4月2日在华南农业大学枇杷属植物资源园（113.367 789°E，23.164 129°N）黄皮树试验田中进行。如图2所示，试验田地面相对平坦，杂草较低，果树间距为4.3 m。数据采集过程中，试验车以0.5 m/s速度行驶在树列中心，毫米波雷达距离果树为1.5 m，对冠层探测范围呈圆锥形，设置其水平角度范围为120°，垂直角度范围为50°，数据刷新速率10 Hz。使用串口助手记录实时数据流，将点云存储在笔记本电脑中。

图2 探测系统扫描示意图

对试验田中果树的株高、冠幅和冠层体积等结构参数进行实际测量。使用塔尺来测量果树的高度，围绕果树每间隔120°测量一次，将测量值取平均值得到果树株高。用直尺测量每棵树的东西、南北、西北-东南和东北-西南4个方向最大冠径处，得到每棵果树4个方向的最大冠径，取平均值后得到每棵果树的冠幅参数[29]。对于果树冠层的体积，采取几何法进行测量，从树干最开始出现冠层的位置到果树顶部每间隔40 cm测量一次直径。每棵果树的冠层体积定义为多个高度为40 cm的圆台体积的总和。

1.2 数据处理方法

在本研究中，首先对地面点云进行拟合和分割，然后提出了一种基于可变轴的椭球模型自适应密度聚类算法，该算法可以根据不同测量距离自适应调整不同方向上的邻域半径，并通过点云密度来识别不同果树冠层，最后从不同冠层点云中提取单株树木的冠层信息。

1.2.1 点云预处理

如图3所示，由于毫米波雷达x轴方向扫描范围大，扫描过程中可以将果树全覆盖，所以实际安装过程中，需将毫米波雷达绕y轴顺时针旋转90°，用x轴坐标来表示果树株高。

注： x、y和z轴分别代表自定义坐标系深度方向、前进方向和高度方向，xr、yr和zr轴分别代表目标点的高度方向、深度方向和位移方向。

探测系统移动过程中采集到的点坐标是以毫米波雷达为坐标原点输出的，为实现点云三维重建，需要将不同位置的点坐标转换到同一个坐标系中，因此自定义一个坐标系，以试验车起始位置为原点，沿树列前进方向为轴，深度方向为轴，高度方向为轴。将毫米波雷达输出的点坐标转换到所定义的坐标系中，该步骤分两阶段进行转换：第一阶段，数据的每个坐标都绕y轴顺时针旋转90°，用表示；第二阶段，将所得坐标绕1轴顺时针旋转90°，用表示。

式中（1，1，1）和（，，）分别是毫米波雷达输出的点坐标两次旋转后的坐标值；R和R1为两次变换的旋转矩阵，绕旋转轴逆时针为正，顺时针为负，其表达式分别为

探测系统的数据采集过程是对周围地理环境的扫描。毫米波雷达探测的范围广、距离远，虽然在进行雷达配置时可以限制其探测的范围和距离，但考虑到果树信息的完整性，还是设置了较高的探测上限。所以如图4a所示，采集到的点云中会包含大量的地面信息。并且毫米波雷达具有很强的穿透性，在扫描范围内，可能会采集到与目标果树相邻的另一列果树信息。但从毫米波雷达原理中可以看出，当分辨率一定时，目标距离越远，雷达分辨能力越弱，生成的点云越少，稀疏的点云已 无法提供有效的冠层信息。这些点云不仅对数据处理造成一定程度的干扰，而且会增加数据处理的时间和难度。

为了解决上述问题，结合先验知识，采用设置感兴趣区域ROI（Region of Interest）的方法对经过式（1）和（2）变换后的点云进行处理。探测系统采集到数据后，遍历点云坐标，根据探测系统位移距离和果园实际种植情况，设置轴坐标范围为0～5 m，轴坐标范围为0～30 m，轴坐标范围为–2～4 m。如图4b所示，去除所有ROI范围外的点云后，剩余点云中还包括大量地面点云。根据地面点云连续、数据量大且大致呈一个平面的特点，使用Matlab软件提供的pcfitplane（）函数处理地面数据。该函数实质是通过RANSAC（Random Sample Consensus）算法查找平面，最终返回所描述平面的几何模型。设置内点到平面的最大距离为0.2 m、平面法线向量为轴、最大角度距离为20°。如图4c所示，拟合出地面后进行分割，将地面点云从数据集中剔除。

1.2.2 基于可变轴的椭球模型自适应密度聚类算法

如图4d所示，经过点云预处理后，可以观察到较为清晰的冠层点云，但其中仍存在少量非冠层点云。非冠层点云主要分为2种，第一种是和pcfitplane（）函数拟合的平面距离较远的地面点云，这部分点云与冠层点云分隔明显且较为紧凑。另一种是存在于2棵果树之间，毫米波雷达识别到的离散的枝叶点，特征是距离冠层点云较近，但数量少且空间密度稀疏。不同的点云都具有独特的密度特征，所以可通过区分不同区域的点云密度来识别冠层点云。DBSCAN（Density-Based Spatial Clustering of Applications with Noise）算法是1996年由Martin Ester提出的一种经典的基于密度的聚类算法，它将数据集中紧密连接的高密度区间定义为簇，不同的簇被低密度区间分开[30]。该算法不需要预先设置聚类数[31]，具有处理任意大小和形状数据集的能力，非常适合毫米波雷达点云的聚类。为了准确描述DBSCAN算法，给出如下定义：

定义1（Eps邻域）一个对象的Eps邻域是指以对象为中心，以Eps为半径的区域内，即

Eps()={Î|Dist(,)≤Eps} （5）

式中为数据集；Dist()为对象和对象之间的距离；Eps() 包含了数据集中与对象距离不大于Eps的所有对象。

图4 冠层点云预处理

定义2（核心点）若存在对象Î，不小于所设定的邻域密度阈值MinPts，即满足式（6）时，则称对象是一个核心点。

|Eps()|≥MinPts（6）

式中|Eps()|表示对象的Eps邻域对象个数。

定义3（边界点）当点不符合核心点条件，但属于核心点的Eps时，则称为边界点。

定义4（噪声点）给定数据集中，除核心点和边界点以外的点称为噪声点。

定义5（直接密度可达）若存在对象ÎEps()且对象满足式（6），即对象在对象的Eps邻域内且对象为核心对象，则称对象是从对象直接密度可达的。

定义6（密度可达）当存在对象链1，2，…，pÎ；对于pÎ(0<<)，若p+1是从对象p直接密度可达，则称对象p从对象1是密度可达的。密度可达是非对称的。

定义7（密度相连）若存在对象Î，使得对象和对象是从对象密度可达的，则称对象和对象是密度相连的。

算法聚类过程是由密度可达关系导出最大密度相连的数据集合，最终聚类成一个簇。从以上定义可知，虽然DBSCAN算法不需要设置聚类数，但需提前确定邻域半径Eps和密度阈值MinPts两个全局参数，且聚类效果对其设定的全局参数值较为敏感[6]。上文提到目标距离毫米波雷达越远，所生成的点云越少。若使用同一邻域半径Eps，则距离毫米波雷达较近一侧的冠层密度较高，距离越远密度越低。由于密度差异较大，算法会将一个冠层误判成多个冠层。在确定核心点时，DBSCAN算法是通过欧式距离来确定的，即以任一点为中心，Eps为半径，在空间坐标系中确定一个球体，它将点在不同坐标轴上的坐标值等同看待。而毫米波雷达由于分辨率的原因，所确定的点坐标在不同坐标轴上的分辨能力存在差异，所以传统DBSCAN算法并不适应于毫米波雷达点云的聚类。为得到更好的聚类效果，将毫米波雷达分辨率参数和点云距离融合到DBSCAN算法中，提出一种基于可变轴的椭球模型自适应密度聚类算法。

如图5所示，毫米波雷达水平方向分辨率δ和垂直方向分辨率δ以角度单位表示，而距离方向分辨率δ则以距离单位表示，为方便建立模型，首先将3个参数的单位统一使用距离表示。

注：A和A′是目标点；d表示目标点到雷达的距离，m；δz为雷达垂直角度分辨率，(°)；δx为雷达水平角度分辨率，(°)；δy为雷达距离分辨率，m；Oxyz和Oexeyeze分别是以雷达和目标点为原点建立的空间坐标系；hz和hx分别表示椭圆模型的长半轴和中半轴。

设坐标为（1,1,1），则点到毫米波雷达的距离表示为

毫米波雷达水平和垂直方向上分辨相邻两点的距离可表示为h和h

以为原点，h、h和δ分别为长半轴、中半轴和短半轴，在空间直角坐标系中建立椭球模型，该模型在空间中是一个椭球，其方程为

算法实现过程如图6所示，遍历整个样本集，寻找出所有满足核心点条件的点组成核心点集，随机选取中任意一个核心点，遍历核心点在椭球模型内的所有点，寻找与这些点密度可达的点，不断扩大当前的聚类，生成一个簇，最终生成的簇其实是样本集中所有与核心点密度相连的点。依次从核心点集中选择下一个核心点重复以上步骤，直到所有核心点均被访问完成。

图6 密度聚类算法流程图

1.2.3 计算果树冠层信息

1）果树株高的计算

经过DBSCAN算法处理后，可以提取出单株树木冠层的点云，由于点云的坐标都是以毫米波雷达安装位置为原点的，所以表示点云轴的坐标值并不能代表果树株高，真正的果树株高可以在坐标值的基础上，通过式（10）计算得到。

式中表示不同果树序号；H表示毫米波雷达检测到的不同果树株高，m；radar表示雷达以地面为基准的垂直安装高度，m；试验前进行测量标定，z表示每棵树的点云中轴坐标的最大值。

2）果树冠幅的计算

本文将冠层点云在平面的投影定义为圆形，通过对点云投影进行圆拟合可以得到冠幅值。现阶段，大多数学者多采用最小二乘法对离散点云进行曲线拟合，但将冠层点云投影到平面后，可以发现处于边界位置的点云较为稀疏，这是由于所使用毫米波雷达分辨率较低导致产生了许多误差较大的点。在进行曲线拟合时，这样的点被称为离群点或局外点，而最小二乘法拟合的平方项对离群点非常敏感。因此本研究采用RANSAC算法对冠层点云进行圆拟合。如图7所示，RANSAC算法可以通过多次迭代的方式从包含大量离群点的数据集中估计出数学模型的参数，得到更接近实际情况的曲线模型。

图7 冠层点云圆拟合

3）果树冠层体积的计算

果树冠层的体积是不包含间隙的所有枝叶体积的总和，本研究使用的毫米波雷达分辨率和精度较低，难以检测到树枝和叶片的表面信息，无法获得严格意义上的冠层体积，但采集到的点云边界数据可以较好的还原冠层凹凸不平的表面。相较于传统几何法测得的冠层体积，还原后得到的体积会更接近冠层的实际体积。为了还原冠层表面，本文使用Alpha-shape算法进行三维重建[32-33]，Alpha-shape算法是目前应用最广泛的一种构建点云三维模型的方法，算法可以从一堆离散的点云中提取边界点，重建三维表面。算法本质是设置一个半径为Alpha的球在点云周围滚动，此时若Alpha取值合适，球就不会通过间隙掉落到点云内部，当遍历所有边界点后，最终可以得到点云的轮廓曲面。

1.2.4 精度验证

为了评价单木识别精度，引入统计学中的查准率（Precision）、召回率（Recall）和1分数，计算公式如下：

式中TP、FP、FN分别表示正确检测、错误识别和未 检测到的果树株数。其中表示正确检测果树株数占整个检测结果的比例，表示正确检测果树株数占真实果树株数的比例。1 是查准率和召回率的调和平均数，其最大值是1，最小值是0，1越高代表识别结果越 好[8-9]。

2 结果与分析

2.1 冠层单木识别结果

分别使用本研究聚类算法、DBSCAN算法和K-means算法处理采集的数据，结果如表2所示，并展示了其中5棵果树的识别效果（图8）。可以看出，对于DBSCAN算法，不同的全局参数导致的欠分割或过分割都会影响1分数，其中，当Eps1，MinPts20时，DBSCAN算法产生的聚类效果最佳，1分数为80.3%；-Means算法运算时间最短，但1得分低于使用最优全局参数时的DBSCAN算法，同时其本身需要结合先验知识设置值，并且不能去除点云中的非冠层点云，会对后续冠层参数的提取造成影响；本算法在融合了椭球模型后，虽然增加了一定的运算时间，但由于其具有自适应性，在使用过程中不需要多次寻找全局参数，所以从某种程度上来讲，本算法更加节省时间，同时本算法的1分数最高，为93.7%，其中查准率为94.9%，召回率为92.5%。

表2 聚类算法性能分析

注：不同类型的符号簇表示算法识别到的不同果树，图a中识别为5棵，图b识别为8棵，图c中识别为3棵，图d识别为5棵。

2.2 冠层信息提取结果

为了评估提取到的冠层信息精度，首先计算果树株高和冠幅的平均相对误差分别为8.7%和8.1%。此外，本研究采用线性拟合方法来确定实测值和提取值之间的数学关系，并结合残差图验证拟合方程。如图9所示，株高和冠幅的实测值与提取值线性关系显著，决定系数2分别为0.84和0.92，均方根误差RMSE分别为 16.39 和7.82 cm，但株高和冠幅的提取值出现了不同程度的高估。同时，所有残差变化幅度在一定范围内，且较为均匀的分布在中轴线附近，因此拟合的线性关系成立。

图9 冠层信息数据分析图

2.3 冠层三维重构与体积计算结果

使用Alpha-shape算法生成果树3D模型，设置不同Alpha值对冠层体积进行估算并与传统几何法测量值对比。当Alpha=1时，重建的冠层模型较为合理，且所得体积值与几何法测量值在数值波动上符合度最高（图10）。虽然2种方法对真实体积都存在高估现象，但计算结果中，几何法始终大于Alpha-shape算法。这是因为几何法测量时难以模拟冠层表面，导致果树体积严重高估。使用几何法计算得到的体积平均值为13.8 m3，Alpha-shape算法计算的平均值为5.6 m3，相比几何法，Alpha-shape算法测量结果准确度提高了59.4%。

图10 Alpha=1时冠层重建及体积对比

3 结 论

本研究通过毫米波雷达获取果树的点云，提出了在果园环境中提取果树冠层信息的方法，对扫描范围内果树进行单木识别，提取了单株果树的株高、冠幅以及体积，结果表明：

1）采用基于可变轴的椭球模型自适应密度聚类算法，可以准确识别单株果树并提取冠层点云，1分数为93.7%。

2）对于果树株高和冠幅的估算，所得结果与手工实测值相比，平均相对误差分别为8.7%和8.1%，决定系数2分别为0.84和0.92，均方根误差RMSE分别为16.39和7.82 cm。

3）使用Alpha-shape算法对果树冠层点云进行表层重构，计算得到平均果树体积为5.6 m3，减少了几何法中多余间隙的存在，体积估算的准确度提高了59.4%。

本文是毫米波雷达在果园探测领域中的初次探索，从试验结果来看，毫米波雷达可以应用到果园探测领域，在满足农机信息化作业要求的同时，该技术还具有成本低、响应快和全天候的特点，为推进果园精准施药机械产业化发展提供技术支持。但仍存在一些问题有待进一步的研究：1）由于所使用的毫米波雷达分辨率较低，只能提取到较为满意的点云，而且没有对冠层重叠、树龄较大的果园进行参数提取，还需利用高分辨率毫米波雷达在冠层密集的果园中进行方法验证。2）对果树实际体积的测量，相关文献方法繁多，且都存在测量误差，没有统一标准，所以本文采用了最传统的几何法，但几何法误差太大，未能对体积实测值和提取值进行对比分析。未来应使用更精确的方法测量实际体积，对实测值与提取值进行相关性分析。

[1] 翟长远，赵春江，Ning Wang，等. 果园风送喷雾精准控制方法研究进展[J]. 农业工程学报，2018，34(10)：1-15.

Zhai Zhangyuan, Zhao Chunjiang, Ning Wang, et al. Research progress on precision control methods of air-assisted spraying in orchards[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2018, 34(10): 1-15. (in Chinese with English abstract)

[2] 周良富，薛新宇，周立新，等. 果园变量喷雾技术研究现状与前景分析[J]. 农业工程学报，2017，33(23)：80-92.

Zhou Liangfu, Xue Xinyu, Zhou Lixin, et al. Research situation and progress analysis on orchard variable rate spraying technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(23): 80-92. (in Chinese with English abstract)

[3] 马晓丹，刘梦，关海鸥，等. 基于热红外图像处理技术的农作物冠层识别方法研究[J]. 光谱学与光谱分析，2021，41(1)：216-222.

Ma Xiaodan, Liu Meng, Guan Hai'ou, et al. Recognition method for crop canopies based on thermal infrared image processing technology[J].Spectroscopy and Spectral Analysis, 2021, 41(1): 216-222. (in Chinese with English abstract)

[4] 周薇，马晓丹，张丽娇，等. 基于多源信息融合的果树冠层三维点云拼接方法研究[J]. 光学学报，2014，34(12)：193-200.

Zhou Wei, Ma Xiaodan, Zhang Lijiao, et al.Three dimensional point cloud splicing of tree canopy based on multi-source camera[J].Acta Optica Sinica, 2014, 34(12): 193-200. (in Chinese with English abstract)

[5] 何雄奎. 中国精准施药技术和装备研究现状及发展建议[J]. 智慧农业（中英文），2020，2(1)：133-146.

He Xiongkui.Research progress and developmental recommendations on precision spraying technology and equipment in China[J].Smart Agriculture, 2020, 2(1): 133-146. (in Chinese with English abstract)

[6] 牛润新，张向阳，王杰，等. 基于激光雷达的农业机器人果园树干检测算法[J]. 农业机械学报，2020，51(11)：21-27.

Niu Runxin, Zhang Xiangyang, Wang Jie, et al.Orchard trunk detection algorithm for agricultural robot based on laser radar[J].Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(11): 21-27. (in Chinese with English abstract)

[7] Parr B, Legg M, Bradley S, et al. Occluded grape cluster detection and vine canopy visualisation using an ultrasonic phased array[J]. Sensors (Basel, Switzerland), 2021, 21(6): 2182.

[8] 束美艳，李世林，魏家玺，等. 基于无人机平台的柑橘树冠信息提取[J]. 农业工程学报，2021，37(1)：68-76.

Shu Meiyan, Li Shilin, Wei Jiaxi, et al.Extraction of citrus crown parameters using UAV platform[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2021, 37(1): 68-76. (in Chinese with English abstract)

[9] 陈日强，李长春，杨贵军，等. 无人机机载激光雷达提取果树单木树冠信息[J]. 农业工程学报，2020，36(22)：50-59.

Chen Riqiang, Li Zhangchun, Yang Guijun, et al.Extraction of crown information from individual fruit tree by UAV LiDAR[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(22): 50-59. (in Chinese with English abstract)

[10] 程曼，蔡振江，Ning Wang，等. 基于地面激光雷达的田间花生冠层高度测量系统研制[J]. 农业工程学报，2019，35(1)：180-187.

Cheng Man, Cai Zhenjiang, Ning Wang, et al.Extraction of crown information from individual fruit tree by UAV LiDAR[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(1): 180-187. (in Chinese with English abstract)

[11] 俞龙，洪添胜，赵祚喜，等. 基于超声波的果树冠层三维重构与体积测量[J]. 农业工程学报，2010，26(11)： 204-208.

Yu Long, Hong Tiansheng, Zhao Zuoxi, et al.3D-reconstruction and volume measurement of fruit tree canopy based on ultrasonic sensors[J].Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2010, 26(11): 204-208. (in Chinese with English abstract)

[12] 乔白羽，何雄奎，王志翀，等. 基于LiDAR扫描的高地隙宽幅喷雾机变量施药系统研制[J]. 农业工程学报，2020，36(14)：89-95.

Qiao Baiyu, He Xiongkui, Wang Zhichong, et al.Development of variable-rate spraying system for high clearance wide boom sprayer based on LiDAR scanning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(14): 89-95. (in Chinese with English abstract)

[13] 李龙龙，何雄奎，宋坚利，等. 基于变量喷雾的果园自动仿形喷雾机的设计与试验[J]. 农业工程学报，2017，33(1)：70-76.

Li Longlong, He Xiongkui, Song Jianli, et al. Design and experiment of automatic profiling orchard sprayer based on variable air volume and flow rate[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2017, 33(1): 70-76. (in Chinese with English abstract)

[14] 张杰，杨豫新，谢建华. 精准施药技术与装备发展现状[J]. 新疆农机化，2019(5)：8-12.

Zhang Jie, Yang Yuxin, Xie Jianhua.Development status of technology and equipment for precise pesticide application[J].Xinjiang Agricultural Mechanization, 2019(5): 8-12. (in Chinese with English abstract)

[15] Berk P, Stajnko D, Belsak A, et al. Digital evaluation of leaf area of an individual tree canopy in the apple orchard using the LIDAR measurement system[J]. Computers and Electronics in Agriculture, 2020, 169: 105158.

[16] Wang K, Zhou J, Zhang W H, et al. Mobile LiDAR scanning system combined with canopy morphology extracting methods for tree crown parameters evaluation in orchards[J]. Sensors, 2021, 21(2): 339.

[17] Abbas I, Liu J, Faheem M, et al. Different sensor based intelligent spraying systems in agriculture[J]. Sensors and Actuators A-Physical, 2020, 316: 112265.

[18] 陈先中，刘荣杰，张森, 等. 煤矿地下毫米波雷达点云成像与环境地图导航研究进展[J]. 煤炭学报，2020，45(6)：2182-2192.

Chen Xianzhong, Liu Rongjie, Zhang Sen, et al.Development of millimeter wave radar imaging and SLAM in underground coal mine environment[J].Journal of China Coal Society, 2020, 45(6): 2182-2192. (in Chinese with English abstract)

[19] 李瑞伟，李立刚，金久才，等. 基于欧氏距离的无人艇载毫米波雷达点迹凝聚方法[J]. 水下无人系统学报，2020，28(6)：604-610.

Li Ruiwei, Li Ligang, Jin Jiucai, et al.Plots-centroid method for usv-borne millimeter-wave radar based on euclidean distance[J].Journal of Unmanned Undersea Systems, 2020, 28(6): 604-610. (in Chinese with English abstract)

[20] 张仕阳，刘成国，段开源，等. 毫米波雷达人员检测系统设计[J]. 传感器与微系统，2020，39(7)：79-82.

Zhang Shiyang, Liu Chengguo, Duan Kaiyuan, et al.Design of human detection system by millimeter wave radar[J].Transducer and Microsystem Technologies, 2020, 39(7): 79-82. (in Chinese with English abstract)

[21] Zhao P J, Lu Chris Xiaoxuan, Wang J A, et al. Human tracking and identification through a millimeter wave radar[J]. Ad Hoc Networks, 2021, 116: 102475.

[22] Zhao Z H, Song Y Y, Cui F C, et al. Point cloud features-based kernel SVM for human-vehicle classification in millimeter wave radar[J]. IEEE Access, 2020, 8: 26012-26021.

[23] Huang J T, Lu C L, Chang P K, et al. Cross-modal contrastive learning of representations for navigation using lightweight, low-cost millimeter wave radar for adverse environmental conditions[J]. IEEE Robotics and Automation Letters, 2021, 6(2): 3333-3340.

[24] 任伟，侯凯悦，王刚，等. FMCW毫米波雷达多人呼吸检测方法[J]. 信号处理，2021，37(9)：1581-1588.

Ren Wei, Hou Kaiyue, Wang Gang, et al. FMCW millimeter wave radar multi person breathing detection method[J]. Signal Processing, 2021, 37(9): 1581-1588. (in Chinese with English abstract)

[25] 元志安，周笑宇，刘心溥，等. 基于RDSNet的毫米波雷达人体跌倒检测方法[J].雷达学报，2021，10(4)：656-664.

Yuan Zhi’an, Zhou Xiaoyu, Liu Xinpu, et al. Human fall detection method based on RDSNet using millimeter wave radar [J]. Journal of Radar, 2021, 10 (4): 656-664

[26] 秦志斌，王慧娟. 智慧高速毫米波雷达应用浅析[J]. 中国交通信息化，2021(3)：130-131.

Qin Zhibin, Wang Huijuan.Application of intelligent high speed millimeter wave radar[J].China ITS Journal, 2021(3): 130-131. (in Chinese with English abstract)

[27] Golovachev Y, Etinger A, Pinhasi G A, et al. Millimeter wave high resolution radar accuracy in fog conditions-theory and experimental verification[J]. Sensors, 2018, 18(7): 2148.

[28] 李骏，王健安，赖凡. 毫米波片上雷达技术研究进展[J]. 微电子学，2019，49(4)：545-550.

Li Jun, Wang Jian'an, Lai Fan.Research status of millimeter wave on-board radar technology[J].Microelectronics, 2019, 49(4): 545-550. (in Chinese with English abstract)

[29] Estornell J, Hadas E, Mart J, et al. Tree extraction and estimation of walnut structure parameters using airborne LiDAR data[J]. International Journal of Applied Earth Observation and Geoinformation, 2021, 96: 102273.

[30] Li M Y, Bi X H, Wang L M, et al. A method of two-stage clustering learning based on improved DBSCAN and density peak algorithm[J]. Computer Communications, 2021, 167: 75-84.

[31] Birant D, Kut A. ST-DBSCAN: An algorithm for clustering spatial-temp oral data[J]. Data & Knowledge Engineering, 2007, 60(1): 208-221.

[32] 李庆，高祥伟，费鲜芸，等. 利用Alpha-shape算法进行树冠三维模型构建[J]. 测绘通报，2018(12)：91-95.

Li Qing, Gao Xiangwei, Fei Xianyun, et al.Construction of tree crown three-dimensional model using Alpha-shape algorithm[J].Bulletin of Surveying and Mapping, 2018(12): 91-95. (in Chinese with English abstract)

[33] 付昱兴，李承明，朱江，等. Alpha-shape算法构建枣树点云三维模型[J]. 农业工程学报，2020，36(22)：214-221.

Fu Yuxing, Li Chengming, Zhu Jiang, et al.Three-dimensional model construction method and experiment of jujube tree point cloud using Alpha-shape algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(22): 214-221. (in Chinese with English abstract)

Extraction of the crown information of single tree in orchard based on millimeter wave radar

Yang Zhou1,3, Li Yang1, Duan Jieli1, Xu Xing2※, Yu Jiaxiang1, Shen Dongying1, Yuan Haotian1

(1.510642;2.510642;3.514015)

An accurate and rapid extraction of fruit tree canopy has been one of the most important steps to determine the precise application of pesticides in modern agriculture. However, the current detection cannot fully meet the harsh requirements in the complex environment of an orchard in recent years. In this study, a novel extraction system was proposed to identify the fruit tree canopy in an orchard using millimeter-wave radar. Firstly, the region of interest (ROI) was set to remove a large number of environmental point clouds, and then the random sampling was used to fit and segment the ground point clouds. Secondly, a density-based clustering was selected to integrate the resolution of millimeter-wave radar and the distance parameter of the point cloud. An adaptive density clustering was then established to deal with the different densities of the point cloud at different distances when using the millimeter-wave radar. As such, the neighborhood radius was adaptively adjusted in different directions, according to the distance from the point cloud to the radar. The point cloud density was then used to identify the fruit tree canopy, further improving the recognition performance of the point cloud. Finally, an Alpha-shape was selected to reconstruct the three-dimensional surface of the fruit tree. The optimal parameters of the three-dimensional reconstruction were achieved to evaluate the volume fromAlpha values and the geometric measurement. The random sampling was also used to extract the structural parameters. The parameters of the mathematical model were estimated from a data set with a large number of outliers using multiple iterations. A curve model was then obtained closer to the actual situation. In addition, a field test was conducted to verify the feasibility of the model in the Loquat Plant Resource Garden (113.367 789°E, 23.164 129°N) of South China Agricultural University on April 2th, 2021. 40 yellow-bark fruit trees were also scanned in the test. The results showed that a higher performance was achieved to effectively identify and extract the point clouds of a single tree canopy, where the F1 score was 93.7% for the recognition accuracy of fruit trees. Furthermore, the average relative errors of the plant height and crown width in the fruit trees were 8.7% and 8.1%, respectively, while the coefficients of determination were 0.84 and 0.92, respectively, and the root mean square errors were 16.39 and 7.82, respectively, compared with the manual measurement. In addition, the average volume of fruit trees was 5.6 m³ using Alpha-shape, increasing by 59.4% in the accuracy of volume, compared with the traditional. Nevertheless, two recommendations can be addressed during this time: 1) To identify the fruit trees with the overlapping canopies using a relatively higher resolution of millimeter-wave radar; 2) To quantitatively extract the volume of the fruit tree in the harsh sense. Anyway, the millimeter-wave radar can be widely expected to accurately extract the canopy information in an orchard. The finding can provide a new promising technology to extract the canopy information for the data collection and automatic operation in modern agriculture.

radar; mechanization; crown information; point cloud processing; density clustering; single tree recognition

10.11975/j.issn.1002-6819.2021.21.020

S24

A

1002-6819(2021)-21-0173-10

杨洲，李洋，段洁利，等. 基于毫米波雷达的果园单木冠层信息提取[J]. 农业工程学报，2021，37(21)：173-182.doi：10.11975/j.issn.1002-6819.2021.21.020 http://www.tcsae.org

Yang Zhou, Li Yang, Duan Jieli, et al. Extraction of the crown information of single tree in orchard based on millimeter wave radar[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 173-182. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.21.020 http://www.tcsae.org

2021-07-13

2021-09-16

广东省重点领域研发计划项目（2019B020223002）；国家重点研发计划项目（2020YFD1000104）；财政部和农业农村部：国家现代农业产业技术体系建设专项（CARS-31-10）；广东省教育厅科研项目(2020KZDZX1036)。

杨洲，博士，博士生导师，研究方向为水果生产机械化与信息化。Email: yangzhou@scau.edu.cn

徐兴，博士，硕士生导师，研究方向为农业智能信息处理。Email: xuzhexing@163.com