基于骨架的玉米植株三维点云果穗分割与表型参数提取

朱 超，苗 腾，许童羽，李 娜，邓寒冰，周云成

·研究速报·

基于骨架的玉米植株三维点云果穗分割与表型参数提取

朱 超，苗 腾※，许童羽，李 娜，邓寒冰，周云成

（1. 沈阳农业大学信息与电气工程学院，沈阳 110866；2. 辽宁省农业信息化工程技术研究中心，沈阳 110866）

当前三维点云处理技术难以在玉米植株点云上对果穗进行识别和表型参数提取。针对该问题，该研究采用基于骨架的玉米植株器官分割流程对植株三维点云的果穗器官进行分割和表型参数提取。首先，优化基于骨架的玉米植株茎叶分割方法，在成熟期植株点云上实现植株骨架的提取、器官子骨架的分解以及器官点云的分割；再根据器官高度、子骨架长度、圆柱特征和点云数量4个约束条件从器官点云中识别出果穗点云；最后提取果穗相关的表型参数。试验结果表明，该研究方法对玉米果穗的识别率为91.3%；果穗点云分割的平均1分数、精确度、召回率分别为0.73、0.82和0.70；穗位高、穗长、穗粗、株高穗位高比4个表型参数的提取值与人工实测值线性关系显著，决定系数分别为0.97、0.78、0.85和0.96，均方根误差分别为3.23 、4.98、 0.73 cm和0.07。该研究方法具备提取果穗器官点云和表型参数的能力，可为玉米高通量表型检测、玉米三维重建等研究和应用提供技术支持。

植物；表型；机器视觉；玉米果穗；点云分割；骨架提取

0 引 言

玉米是世界上最重要的粮食作物之一，其产量对保障全球粮食供应至关重要。高通量、自动化地对玉米表型参数进行测量对提高玉米育种效率、促进玉米科学发展具有重要意义[1-2]。

果穗相关的表型参数是一类重要的农艺性状。例如，穗位高直接影响着玉米产量、抗倒伏性及生态适应性[3]；适宜的株高穗位高比有利于机械收获[4]；果穗大小及形状决定了玉米的籽粒产量[5]。很多研究面向玉米考种工作的实际需求，利用计算机视觉技术对果穗二维数字图像进行分析，自动测量穗长、穗粗、穗行、行粒数等果穗表型参数[6-11]。一些研究者在二维植株图像中识别果穗像素，进而实现了果穗的自动计数[12-13]以及生长过程的连续监测[14]。但是二维图像只能表示果穗在某一特定方向上的投影，难以对完整的三维结构进行恢复。

随着三维激光扫描仪[15-16]、飞行时间相机[17-18]以及激光雷达[19-20]等三维传感器的普及，部分研究者开始进行基于三维点云的果穗结构重建与表型解析相关研究。王传宇等通过双目立体视觉技术重建各视角下的玉米果穗表面点云，再通过点云配准拼接获得整个果穗表面点云[21]。温维亮等对果穗点云进行收缩，通过欧式聚类的方法实现了果穗籽粒的分割[22]，并基于Voronoi图的网格重建方法重构了果穗网格模型[23]。上述技术方法均是针对收获后的果穗单独进行三维重建，难以对玉米植株点云上的果穗进行原位信息提取，因此无法自动测量穗位高、株高穗位高比等表型参数。针对玉米植株点云处理方法的研究多围绕早期玉米植株的茎叶分割和表型检测[24-25]开展工作。朱超等提出一种基于骨架的早期玉米茎叶分割方法[26], 该方法利用拉普拉斯点云骨架提取方法[27]获得玉米植株骨架，并根据骨架拓扑信息对茎、叶器官进行定位和识别，最后采用自上向下的分割策略实现了茎叶点云的精确分割。相比早期玉米植株，长有果穗的成熟期玉米植株拓扑更加复杂，器官类别和数量更多，而且果穗的形态特征与叶、茎差异较大，因此现有的茎叶分割算法均难以进行果穗的原位点云提取。

针对该问题，本研究改进了基于骨架的玉米茎叶分割方法[26]，通过优化器官子骨架提取算法、引入果穗点云识别算法，尝试直接在玉米植株点云上对果穗进行分割和参数提取，为玉米高通量表型检测、三维几何重建等研究和应用提供技术手段。

1 材料与方法

1.1 点云数据获取与预处理

田间试验于2019年5月至10月在沈阳农业大学玉米试验田（123.56E，41.82N）进行。供试玉米品种为先玉335、辽单586、辽单502、辽单1281和辽单145，玉米种植行距60 cm，株距25 cm。

数据采集时，将田间植株移植到盆中，并人工测量株高、穗位高、穗长和穗粗4种表型参数，之后将植株转移到室内进行点云获取。使用FreeScan X3手持激光扫描仪进行三维点云获取，由于该扫描仪需要借助激光感光片进行三维定位，因此数据采集时，将粘贴有感光片的多个支架围在植株四周，保证激光线能同时扫描到植株和感光片，数据获取过程如图1a所示。扫描得到的原始点云数据中除了植株外，还包含了部分支架和花盆的点云如图1b所示。使用三维点云处理软件CloudCompare将支架点和花盆点云手动去除，并进行下采样处理，得到最终的玉米植株点云（图1c）。下采样后，每个植株点云包含10 000左右个点，该数量的点云即可保留玉米果穗的形态特征，也能对植株骨架进行高效提取。获取点云之后，人工测量。

1.2 果穗分割方法流程

本研究提出的果穗分割方法以植株散乱点云为输入，通过基于骨架的器官点云分割、果穗识别和表型参数提取3个主要步骤，实现对果穗点云的分割和穗位高、株高穗位高比、穗长、穗粗4种表型参数的自动测量。

1.3 基于骨架的器官点云分割

本研究采用文献[26]中所述的点云分割流程进行玉米器官点云分割。文献[26]方法主要针对包含茎、叶两种器官的早期玉米植株，而长有雄穗、果穗的成熟期玉米植株拓扑形态更加复杂，器官数量更多，因此该方法中的骨架提取、骨架分解、点云分割等关键步骤不适合处理成熟期植株点云。本研究对这些步骤进行优化，实现成熟期植株点云的器官分割。

1.3.1 骨架提取

与文献[26]相同，采用拉普拉斯骨架提取算法[27]生成玉米植株骨架，并用连通无向图对骨架进行表示。与早期玉米植株相比，成熟期玉米植株点云在雄穗区域有时会出现点云缺失、密度低的问题，导致该区域形成的骨架与其他器官形成的骨架分离，造成植株骨架成为非连通无向图。为解决该问题，本研究采用广度优先搜索方法获得植株骨架的所有连通分支，保留顶点数量最多的连通分支作为玉米植株骨架，其余连通分支形成的小骨架均删除，确保植株骨架为连通无向图。图2a为本研究提取的成熟期植株骨架图。

1.3.2 骨架分解

在骨架分解时，本研究借鉴文献[26]思路，首先基于迪杰斯特拉算法[28]将植株骨架分解为多个器官子骨架，之后根据器官形态特征，将器官子骨架分类为1个茎子骨架和多个非茎子骨架。文献[26]仅通过器官子骨架之间的夹角特征进行类型判别，但面对成熟期植株骨架时会出现误分类现象。本研究在夹角特征基础上，引入点云圆柱特征辅助进行子骨架类型的判别。

为计算植株点云任意点的圆柱特征，首先采用kd-tree空间搜索算法[29]寻找其在植株点云中的32个近邻点；之后利用主成分分析方法[30]计算这些近邻点在3个主成分方向上的特征值1、2、3（1≥2≥3），则点的圆柱特征f用下式计算

植株茎、雄穗和果穗区域点云的圆柱特征值较大，而叶片的圆柱特征较小。

本研究首先通过夹角特征从所有器官子骨架中得到多个候选的茎子骨架，之后计算每个候选子骨架周边点云的圆柱特征平均值，值最大的候选器官子骨架为茎子骨架，其余所有器官子骨架均为非茎子骨架（图2b）。从图2b中可以看出，每个器官子骨架均为一个单向连通图。但本研究生成的器官子骨架存在2个问题：

1）存在一个器官对应多个器官子骨架的情况，例如雄穗会产生多个子骨架。

2）产生的器官子骨架并不是器官点云的完整中轴表示，例如一些叶片子骨架只是叶片上半区域点云的中轴，果穗的子骨架只是果穗尖端部分点云的中轴。

但上述2个问题对果穗器官分割的影响不大，本研究只需将果穗尖端区域点云的子骨架提取出来就能够实现后续的果穗分割和识别。

1.3.3 点云分割

采用文献[26]方法，首先利用器官子骨架对茎和非茎器官进行点云粗分割，再以粗分割的器官点云作为种子点，通过从植株顶部到底部的顺序，依次对未分割的点进行器官分类，最终实现器官的精细分割。

早期植株顶部新生叶片互相包裹，从而造成新叶分割困难。为解决该问题，文献[26]采用了最优传输距离作为点云器官分类的依据。但最优传输距离的计算量大，随着点云数量的增加，整个分割算法的效率会大幅降低。成熟期玉米植株的点云数量较多，并且果穗器官处于植株中部，不存在器官互相包裹的问题，因此本研究采用欧式距离替代最优传输距离，从而提高器官点云分割的效率。

图2c为器官分割的可视化结果图，从图中可以看出，植株上部的器官比中下部的器官分割效果差。这是由于上部器官间距近、器官间的点云边界不明显，从而造成提取出的器官骨架不完整，进而影响了分割精度。而果穗与周边叶片的边界相对明显，因此果穗点云能较完整地分割出来，为后续果穗器官的识别和表型提取奠定了基础。

1.茎器官子骨架 2.非茎器官子骨架

1. Stem organ sub-skeleton 2.Non stem organ sub-skeleton

注：子图2c中不同器官点集采用不同颜色进行表示。

Note: The point clouds of different organs are represented by different colors in subgraph 2c.

图2 基于骨架的器官点云分割示意图

Fig.2 Schematic diagram of organ point cloud segmentation based on skeleton

1.4 果穗器官识别

采用器官高度、器官子骨架长度、圆柱特征、点云数量4个约束条件在非茎器官点集（图3a）中识别果穗器官点集，同时满足上述4个约束的器官被认为是果穗器官。

1）器官高度约束

观察发现，果穗位置通常在玉米植株的中下部，因此可通过器官高度排除植株上部的器官。计算植株点云每个点到茎根顶点的距离，其中距离最小值和最大值分别用符号0（cm）、1（cm）表示。对于一个非茎器官集合，找到集合内点到茎根顶点距离的最大值，如果该值不大于2/3 (0+1)，则该器官满足器官高度约束（图3b）。

2）器官子骨架长度约束

观察发现，果穗长度比叶片长度小，因此可排除长度较大的器官点集。计算所有器官子骨架长度的平均值，子骨架长度小于该平均值的器官满足长度约束（图3c）。

3）圆柱特征约束

在非茎器官中，相比于叶片，果穗形态更接近圆柱形，因此可通过点云圆柱特征来识别果穗。对于一个器官，如果其点云圆柱特征的平均值大于阈值e，则该器官满足圆柱特征约束（图3d）。本研究将e设为0.18。

4）点云数量约束

本研究将点云个数较少的器官点集看作是某个器官过分割的结果，因此只有当器官点集的点云数量大于阈值n时被认为满足点云数量约束（图3e）。本研究将n设为30。

图3为果穗器官识别过程的示意图。在进行果穗识别时，通过器官高度约束可将植株上方分割效果较差的雄穗和新叶排除掉。利用器官子骨架长度约束可以排除掉器官子骨架提取效果较好的中下部叶片器官。圆柱特征会将绝大多数的叶片排除。点云数量约束主要排除由于误分割导致的小区域点云，防止这些点云同时满足其他3种约束。图3f为果穗器官识别结果。

1.5 表型参数提取

利用识别出的果穗器官点集提取穗位高、株高穗位高比、穗长和穗粗4个表型形状参数。

果穗器官点集中如果包含噪声点，会影响表型参数的精度，因此在提取表型参数之前，先对果穗器官进行去噪处理。首先计算每个点到其8近邻点的平均欧式距离，然后估算所有平均距离的均值和方差。如果某个点到其8近邻点的平均距离不小于与的和，则该点为噪声，从果穗器官点集中删除。

由于穗位高被定义为最高穗着生点到地面的距离[4]，因此穗位高和株高穗位高比两个参数只与最上方的果穗有关。为提取株高和穗位高参数，首先计算茎根顶点到中轴()的投影点s，之后计算所有点云到()的投影点与s的欧式距离，其中的最大距离为株高参数，果穗点云投影点与s的最大距离为穗位高参数，两者比值为株高穗位高比参数。

提取每个果穗器官点云的有向最小包围盒，其中包围盒最长边的长度为穗长参数，其余两个边长度的平均值作为穗粗参数。

1.8 性能评估

使用识别率来评估本研究方法对果穗器官的识别能力。对于植株上的一个果穗，如果分割出的果穗器官点集中包含该果穗的点云，则认为该果穗被成功识别。果穗的识别率等于成功识别的果穗数量除以植株果穗总数。使用精确度（Precision）、召回率（Recall）、1分数（1 score）对点云的分割精度进行评估[26]。采用线性回归分析评价人工测量的表型参数与本研究参数提取值之间的关系，并使用决定系数2和均方根误差RMSE进行定量化评估。

2 结果与分析

2.1 果穗点云识别和分割结果

算法在配置为2.2GHZ CPU、DDR32G内存的笔记本工作站上进行了测试。本文算法处理约10 000个点左右的玉米植株，平均处理时间在24 s，其中75%的时间用于骨架提取。

为了评价本研究方法的准确性，在“先玉335”、“辽单586”、“辽单502”、“辽单1281”和“辽单145”5个品种中各选择3株成熟期玉米植株进行测试。15个植株中，8株长有2个穗，7株长有1个穗，本研究称上方的果穗为第1果穗，下方的果穗为第2果穗。利用CloudCompare软件获得点云手动分割结果。

图4是不同品种玉米果穗的识别和分割结果可视化图。从图中可以看出，所有植株的第1果穗均被识别出来，识别率为100%；第2果穗中有2个果穗未被识别出来，分别为图4b中第2个植株和图4c中第1个植株，识别率为75%；果穗总识别率为91.3%。

本研究方法的果穗分割结果如表1所示。全部果穗的点云分割的平均1分数、平均精确率和平均召回率分别为0.73、0.82和0.70，其中第1果穗的上述3个分割指标分别为0.81、0.92和0.74，识别出的6个第2果穗的3个分割指标分别为0.78、0.85和0.75，全部8个第2果穗的3个分割指标分别为0.52、0.56和0.50。2个未被识别出的第2果穗的3个分割指标均视作0。

表1 果穗分割精度

本研究分割的精确率要远高于召回率，说明本研究方法将非果穗点云分割成果穗点云的情况较少，但果穗点云被误分割为其他器官的情况较多，从而造成果穗的欠分割，从图4中也可以看出，很多果穗分割的并不完整，这是点云欠分割的典型特征。

在第1果穗中，1分数和召回率的最低值分别为0.67和0.55，均出现在图4c中的第1个植株样本；精确率的最低值为0.80，出现在图4a中的第1个植株样本。在识别出的第2果穗中，1分数和召回率最低值分别为0.67和0.57，均来自图4b中第1个样本；精确率的最低值为0.73，来自图4d中的第1个样本。对照图4中的可视化结果，能够看出上述这些指标低的果穗样本均出现了较明显的欠分割现象。当然，个别样本也存在过分割的现象，如图4e中第1个植株样本的第2果穗、图4b中第2个植株样本的第1果穗，这两个果穗将其周边其他器官的点云误分割成果穗点云。但不论是欠分割还是过分割，发生错误的区域均在果穗与其他器官的交界处，说明本研究分割方法在识别果穗和其他器官交界区域的能力有待提高。

本研究识别和分割果穗时，要求穗尖区域点云远离其他器官。如果果穗尖端区域与邻近的器官紧挨在一起，会导致果穗点云与邻近器官的点云边界不清晰。例如图 4b中第2个植株，其第2果穗穗尖与第1果穗和邻近的穗位叶紧密地挨在一起；图4c中第1个植株，其第2果穗穗尖与茎挨在一起。这两个果穗点云与邻近器官点云均混合在一起，没有较清晰的边界。而处理这类果穗点云时，本研究骨架提取方法只会生成1个子骨架作为果穗点云和其邻近器官点云的中轴，从而导致果穗子骨架提取失败，进而无法分割和识别出果穗器官点云。本研究对第2果穗的识别率要低于第1果穗也同样是这个原因，本研究选取的植株测试样本的第2果穗都未成熟，因此果穗都较小，其更容易出现穗尖区域不明显的现象。

2.2 表型参数提取结果

各表型参数提取结果与人工测量结果的对比如图5所示。根据穗位高定义，穗位高和株高穗位高比两个参数只考虑第1果穗，因此这两个参数分别有15组数据；穗长和穗粗参数考虑了所有成功识别的果穗，共20组数据。由于植株上的果穗点云含有苞叶，因此实测的穗长和穗粗数据是在有苞叶的果穗上测量得到。穗位高、穗长、穗粗和株高穗位高比自动提取值与实测值线性关系显著，决定系数2分别为0.97、0.78、0.85和0.96，均方根误差RMSE分别为3.23、4.98、0.73 cm和0.07。

穗位高、株高穗位高比两个表型参数提取值与实测值非常接近，说明本研究方法能够较好地估算出果穗在植株上的相对位置。提取的穗位高值整体上略高于实测值、株高穗位高比略低于实测值，这是由于本研究方法在分割果穗时更容易出现欠分割，导致果穗着生点位置比实测值高造成的。本研究方法的欠分割问题，也会导致分割出的果穗点云不完整，从而造成穗长、穗粗参数提取值的误差。

总体上看，本研究提取的表型参数具有较低的误差，与人工实测值之间具有较高的相关性，一定程度上验证了本研究表型参数提取方法的实用性和稳定性。

3 结 论

本研究采用基于骨架的玉米植株器官分割流程对植株三维点云的果穗器官进行分割和表型参数提取，验证了在玉米成熟期植株点云上识别、分割果穗器官的可能性。通过分析本研究试验结果，得出以下结论：

1）本研究方法对果穗总识别率为91.3%，其中，第1果穗的识别率达到100%，第2果穗的识别率为75%。

2）本研究对果穗的点云分割的平均1分数、平均精确率和平均召回率分别为0.73、0.82和0.70，其中第1果穗的上述指标分别为0.81、0.92和0.74，识别出的6个第2果穗的3个指标分别为0.78、0.85和0.75。

3）穗位高、穗长、穗粗、株高穗位高比4个表型参数提取值与实测值的决定系数分别为0.97、0.78、0.85和0.96，均方根误差分别为3.23、4.98、0.73 cm和0.07。

结果表明，本研究方法具有提取果穗器官点云和表型参数的能力，可为玉米高通量表型检测、玉米三维重建等研究和应用提供技术手段。

[1]Tester M, Langridge P. Breeding technologies to increase crop production in a changing world[J]. Science, 2010, 327(5967): 818-822.

[2]Benjamin K, Andreas G. NGS technologies for analyzing germplasm diversity in genebanks[J]. Briefings in Functional Genomics, 2012, 11(1): 38-50.

[3]Lu S, Li M, Zhang M, et al. Genome-wide association study of plant and ear height in maize[J]. Tropical Plant Biology, 2020, 13(3): 262-273.

[4]Zsubori Z, Gyenes-Hegyi Z, Illés O, et al. Inheritance of plant and ear height in maize (L. )[J]. Acta Agraria Debreceniensis, 2002, 8: 34-38.

[5]Miller N D, Haase N J, Lee J, et al. A robust, high-throughput method for computing maize ear, cob, and kernel attributes automatically from images[J]. Plant Journal, 2017, 89(1): 169-178.

[6]刘长青，陈兵旗. 基于机器视觉的玉米果穗参数的图像测量方法[J]. 农业工程学报，2014，30(6)：131-138. Liu Changqing, Chen Bingqi. Method of image detection for ear of corn based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(6): 131-138. (in Chinese with English abstract)

[7]周金辉，马钦，朱德海，等. 基于机器视觉的玉米果穗产量组分性状测量方法[J]. 农业工程学报，2015，31(3)：221-227. Zhou Jinhui, Ma Qin, Zhu Dehai, et al. Measurement method for yield component traits of maize based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(3): 221-227. (in Chinese with English abstract)

[8]杜建军，郭新宇，王传宇，等. 基于穗粒分布图的玉米果穗表型性状参数计算方法[J]. 农业工程学报，2016，32(13)：168-176. Du Jianjun, Guo Xinyu, Wang Chuanyu, et al. Computation method of phenotypic parameters based on distribution map of kernels for corn ears[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(13): 168-176. (in Chinese with English abstract)

[9]杜建军，郭新宇，王传宇，等. 基于全景图像的玉米果穗流水线考种方法及系统[J]. 农业工程学报，2018，34(13)：195-202. Du Jianjun, Guo Xinyu, Wang Chuanyu, et al. Assembly line variety test method and system for corn ears based on panoramic surface image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 195-202. (in Chinese with English abstract)

[10]宋鹏，张晗，罗斌，等. 基于多相机成像的玉米果穗考种参数高通量自动提取方法[J]. 农业工程学报，2018，34(14)：181-187. Song Peng, Zhang Han, Luo Bin, et al. High throughput automatic extraction method of corn ear parameters based on multiple cameras images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(14): 181-187. (in Chinese with English abstract)

[11]Makanza R, Zaman-Allah M, Cairns J E, et al. High-throughput method for ear phenotyping and kernel weight estimation in maize using ear digital imaging[J]. Plant Methods, 2018, 15(1): 49.

[12]Yu Z H, Zhou H B, Li C N. An image based automatic recognition method for the flowering stage of maize[C]// International Symposium on Multispectral Image Processing and Pattern Recognition, Xiangyang, China, SPIE Digital library, 2017.

[13]Jia H L, Qu M H, Wang G, et al. Dough-stage maize (L) ear recognition based on multiscale hierarchical features and multifeature fusion[J]. Mathematical Problems in Engineering, 2020, 2020(2): 1-14.

[14]Brichet N, Fournier C, Turc O, et al. A robot-assisted imaging pipeline for tracking the growths of maize ear and silks in a high-throughput phenotyping platform[J]. Plant Methods, 2017, 13(1): 96-108.

[15]Paulus S, Schumann H, Kuhlmann H, et al. High-precision laser scanning system for capturing 3D plant architecture and analysing growth of cereal plants[J]. Biosystems Engineering, 2014, 121: 1-11.

[16]Paulus S, Dupuis J, Riedel S, et al. Automated analysis of barley organs using 3D laser scanning: an approach for high throughput phenotyping[J]. Sensors, 2014, 14(7): 12670-12686.

[17]Chéné Y, Rousseau D, Lucidarme P, et al. On the use of depth camera for 3D phenotyping of entire plants[J]. Computers and Electronics in Agriculture, 2012, 82: 122-127.

[18]Busemeyer L, Mentrup D, Möller K, et al. BreedVision: A multi-sensor platform for non-destructive field-based phenotyping in plant breeding[J]. Sensors, 2013, 13(3): 2830-2847.

[19]Lin Y. LiDAR: An important tool for next-generation phenotyping technology of high potential for plant phenomics?[J]. Computers and Electronics in Agriculture, 2015, 119: 61-73.

[20]Garrido M, Paraforos D S, Reiser D, et al. 3D maize plant reconstruction based on georeferenced overlapping lidar point clouds[J]. Remote Sensing, 2015, 7(12): 17077-17096.

[21]王传宇，郭新宇，吴升，等. 基于计算机视觉的玉米果穗三维重建方法[J]. 农业机械学报，2014，45(9)：274-279. Wang Chuanyu, Guo Xinyu, Wu Sheng, et al. Three dimensional reconstruction of maize ear based on computer vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 274-279. (in Chinese with English abstract)

[22]温维亮，郭新宇，杨涛，等. 玉米果穗点云分割方法研究[J]. 系统仿真学报，2017，29(12)：3030-3034，3041. Wen Weiliang, Guo Xinyu, Yang Tao, et al. Point cloud segmentation method of maize ear[J]. Journal of System Simulation, 2017, 29(12): 3030-3034, 3041. (in Chinese with English abstract)

[23]温维亮，王勇健，许童羽，等. 基于三维点云的玉米果穗几何建模[J]. 中国农业科技导报，2016，18(5)：88-93. Wen Weiliang, Wang Yongjian, Xu Tongyu, et al. Geometric modeling of maize ear based on three-dimensional point cloud[J]. Journal of Agricultural Science and Technology, 2016, 18(5): 88-93. (in Chinese with English abstract)

[24]Elnashef B, Filin S, Lati R N. Tensor-based classification and segmentation of three-dimensional point clouds for organ-level plant phenotyping and growth analysis[J]. Computers and Electronics in Agriculture, 2019, 156: 51-61.

[25]Jin S C, Su Y J, Wu F F, et al. Stem-leaf segmentation and phenotypic trait extraction of individual maize using terrestrial LiDAR data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(3): 1336-1346.

[26]朱超，苗腾，许童羽，等. 基于骨架和最优传输距离的玉米点云茎叶分割和表型提取[J]. 农业工程学报，2021，37(4)：188-198. Zhu Chao, Miao Teng, Xu Tongyu, et al. Segmentation and phenotypic trait extraction of maize point cloud stem-leaf based on skeleton and optimal transportation distances[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(4): 188-198. (in Chinese with English abstract)

[27]Cao J J, Tagliasacchi A, Olson M, et al. Point cloud skeletons via Laplacian based contraction[C]//IEEE International Conference on Shape Modeling and Applications, Aix-en-Provence, France, Institute of Electrical and Electronics Engineers, 2010.

[28]Dijkstra E W. A note on two problems in connexion with graphs[J]. Numerische Mathematik, 1959, 1(1): 269-271.

[29]Miller F P, Vandome A F, Mcbrewster J. Kd-tree[M]. San Francisco, California, USA: Alpha Press, 2009.

[30]Whitlark D, Dunteman G H. Principal components analysis[J]. Journal of Marketing Research, 1990, 27(2): 243.

Ear segmentation and phenotypic trait extraction of maize based on three-dimensional point cloud skeleton

Zhu Chao, Miao Teng※, Xu Tongyu, Li Na, Deng Hanbing, Zhou Yuncheng

(1.,,110866,; 2,110866,)

Accurate and high-throughput maize plant phenotyping is vital for crop breeding and cultivation research. Ear related phenotypic parameters are important agronomic traits. However, fully automatic and fine ear organ segmentation of maize shoots from three-dimensional (3D) point clouds is still challenging. To address this issue, a skeleton-based maize plant organ segmentation process was used to segment the ear organs of the plant and extract phenotypic parameters. Firstly, the Laplace based skeleton extraction algorithm was utilized to generate plant skeleton. In this study, breadth first search method was used to obtain all the connected branches of the plant skeleton. The connected branches with the largest number of vertices were retained as the plant skeleton, while the small skeletons formed by the other connected branches were deleted to ensure that the plant skeleton is a connected undirected graph. Secondly, the plant skeleton was decomposed into several organ sub skeletons using Dijkstra algorithm, and then the organ sub skeletons were divided into stem sub skeletons and non-stem sub skeletons according to the angle features of sub skeletons and point cloud cylinder features. After that, the organ sub skeletons were used to obtain the seed points of each organ, and then the unsegmented points were classified in the order from the top to the bottom of the plant in turn, to get the final organ segmentation results. Four constraints (organ height constraint, sub-skeleton length constraint, cylindrical feature constraint, and the point cloud number constraint) were used to identify ear organs from all organ instances. Four constraints (organ height constraint, sub-skeleton length constraint, cylindrical feature constraint, and the point cloud number constraint) were used to identify ear organs from all organ instances. Four phenotypic traits, ear height, ear length, ear diameter and the ratio of plant height to ear height, were extracted using the ear organ instance. The segmentation method was tested on 15 maize plants. This study took about 24 seconds to process the maize plant with 10 000 point clouds. The result showed that the proposed method had a strong ability of ear recognition. The ear recognition accuracy was 91.3%. The average1 score, average precision, and average recall of the all the ear organs were 0.73, 0.82, and 0.70 respectively. Furthermore, to compare with the phenotypic parameters obtained by the proposed method in this paper and those obtained by manual measurement, the regression analysis was done and the results showed that the determination coefficients of ear height, ear length, ear diameter and the ratio of plant height to ear height, were 0.97, 0.78, 0.85, and 0.96, respectively, the root mean square error were 3.23, 4.98, 0.73 cm, and 0.07, respectively. There were also some problems in this method. First of all, if the distance between the ear tip point cloud and the other organ point cloud was too close, the ear skeleton might fail to be extracted, resulting in the ear could not be segmented, which often occurred in the second ear with a smaller volume. Secondly, the ability of the segmentation method to identify the boundary between the ear and other organs needs to be improved, which would lead to false segmentation of the ear point cloud, and more probability of under segmentation. The proposed algorithm cloud extract the point cloud and phenotypic parameters of ear organs. As far as we know, this was the first method to obtain this effect. The proposed approach might play an important role in further maize research and applications, such as genotype-to-phenotype study, geometric reconstruction, and dynamic growth monitoring.

plant; phenotype; computer vision; maize ear; point cloud; segmentation; skeleton extraction

朱超，苗腾，许童羽，等. 基于骨架的玉米植株三维点云果穗分割与表型参数提取[J]. 农业工程学报，2021，37(6)：295-301.doi：10.11975/j.issn.1002-6819.2021.06.036 http://www.tcsae.org

Zhu Chao, Miao Teng, Xu Tongyu, et al. Ear segmentation and phenotypic trait extraction of maize based on three-dimensional point cloud skeleton[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(6): 295-301. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.06.036 http://www.tcsae.org

2020-12-13

2021-02-11

国家自然科学基金（31901399）；辽宁省重点研发计划项目（2019JH2/10200002）；中国博士后基金（2018M631821）

朱超，博士生，研究方向为作物表型检测技术。Email：20161008@stu.syau.edu.cn

苗腾，博士，副教授，研究方向为数字植物技术和表型检测技术。Email：miaoteng@syau.edu.cn

10.11975/j.issn.1002-6819.2021.06.036

TP391.4

A

1002-6819(2021)-06-0295-07