基于堆叠沙漏网络的单分蘖水稻植株骨架提取

王敏娟，刘小丫，马啸霄，常天根，宋青峰※

基于堆叠沙漏网络的单分蘖水稻植株骨架提取

王敏娟1，刘小丫1，马啸霄1，常天根2，宋青峰2※

（1. 中国农业大学现代精细农业系统集成研究教育部重点实验室，北京，100083；2. 中国科学院分子植物科学卓越创新中心，植物分子遗传国家重点实验室，上海 200032）

针对水稻栽培和遗传育种研究中单分蘖性状高通量无损提取的实际需求，该研究提出了一种基于沙漏网络模型的单分蘖水稻关键点预测和骨架提取方法。首先，对原始图像进行批量裁剪、gamma校正和锐化卷积等预处理，获取单色背景下的水稻单分蘖图像数据集；设计水稻单分蘖各器官关键点数据标注策略，构建监督数据集。然后，构建堆叠沙漏网络架构实现叶片数固定和不固定的水稻关键点检测，引入沙漏结构整合图像的多尺度特征，结合中间监督机制整合不同沙漏模块信息。叶片数一致的情况，模型预测准确率最高可达96.48%；叶片数不一致的情况，预测准确率达到82.09%。最后，根据预测关键点及其对应的语义信息连接形成植株骨架，选取茎秆长、叶片长、穗长、叶片-茎秆夹角和茎节点位置5个表型参数对生成骨架模型的实际意义进行评估，其均方根误差依次为5.82 cm、3.09 cm、1.71 cm、3.22°和2.035 6 cm，证明了该方法能较好地识别水稻单分蘖关键点，为水稻骨架提取提供了一种新思路，有助于加快水稻育种速度。

水稻；神经网络；表型参数；关键点检测；堆叠沙漏网络；植株骨架提取

0 引 言

中国是世界上最大的水稻生产国和消费国，水稻在粮食安全中占据非常重要的地位。水稻分蘖表型特征如茎长、叶片数、穗长、叶片长度和弯曲状况等可直接反映水稻的生长状况，其表型性状与产量密切相关[1-3]。因此水稻分蘖性状研究对水稻育种研究具有十分重要的意义。传统水稻分蘖表型通常采用人工有损测量，过程繁琐、主观性强，已不能满足当前水稻育种的需求。因此构建一种高精度无损的水稻分蘖性状提取方法是水稻育种发展急需解决的一个问题。

近年来，计算机视觉和神经网络方法已被广泛应用于作物的快速无损表型测量。熊雄等[4-8]利用深度学习识别算法和实例分割算法完成水稻表型参数提取。李绪孟等[9]开发了一种水稻单分孽图像采集装置及水稻叶脉曲线和叶角提取方法。吴迪等[10-11]提出了一种基于X射线断层成像的小麦分蘖形态学特征提取方法，实现对小麦分蘖形态学特征参数（分蘖数、分蘖角度、分蘖茎粗和分蘖壁厚）的无损检测。Das等[12-13]将骨架提取算法运用于植物表型研究中，监测植物的生长状况。Bashyam等[14-15]采用二维数字图像处理技术和算法提取玉米组成成分的拓扑关系，实现茎叶分割和自动视觉叶期生长跟踪。劳彩莲等[16-19]采用基于植物三维点云数据、聚类和插值计算等算法的植物骨架提取。植物骨架能反映其拓扑结构和形态特征，已广泛应用于作物建模等领域。然而，目前的作物骨架提取方法大多基于传统的数字图像分析方法或机器学习算法，存在耗时、准确率偏低等问题，我们将构建通过关键点检测来提取作物骨架的深度学习模型，探索更加准确、快速和鲁棒性更优的水稻关键点检测和骨架提取方法。

由于人体姿态估计和植物骨架提取任务具有一定相似性，本研究将借鉴人体姿态估计模型实现水稻植株的骨架提取。Toshev等[20]首先将深度神经网络（Deep Neural Networks，DNN）应用于人体关键点的坐标回归。Tompson等[21]通过并行计算多个分辨率的图像生成热图，从而捕获图像的多尺度特征。Newell等[22]提出堆叠沙漏网络模型，引入沙漏结构以实现图像特征的多尺度融合，类似沙漏结构的编码-解码结构网络已应用于植物的实例分割[19,23-24]等任务，结果表明沙漏结构具有较好的泛化性能，可以较好地提取水稻植株的特征。

综上所述，本文针对水稻个体形态结构不统一和关键点语义信息不明确的问题，以单分蘖水稻植株RGB图像为研究对象，借鉴人体姿态估计领域的堆叠沙漏网络模型，改进堆叠的沙漏结构和中间监督机制，实现单分蘖水稻植株多尺度特征融合，识别单分蘖水稻不同组成部分（茎、叶、穗）的关键点，进一步结合关键点语义信息获取水稻植株骨架，并根据相关文献[12,25-26]选择相关表型参数作为评估指标，验证水稻植株骨架生成模型的准确性和可行性。

1 材料与方法

1.1 图像采集与预处理

水稻图像采集地点为中科院分子植物科学卓越中心松江试验基地（121°8′E，30°56′N），试验水稻为以Y58S品种为母本、以远恢2号品种为父本的重组自交系群体，共272个株系，每个株系采集3或4株水稻的主分蘖拍摄单分蘖图像，共采集抽穗期1 080张RGB图像，大小为6 000 ×4 000 （像素）。根据图像数据采集批次，将数据集划分为3部分，分别为数据集1（99个株系）、数据集 2（83个株系）和数据集3（90个株系）。3部分数据集的像素点和实际尺寸的比例系数分别为35.185、34.043、32.131 像素/cm。黑色背景板长度为150 cm。如图1所示，对数据集水稻叶片数量统计，其中叶片数3至7的图像占比99.4%，基本涵盖水稻抽穗期单分蘖叶片情况。

注：数据集1～3表示3个数据采集批次。

Note: Datasets 1-3 represent data obtained batches.

图1 水稻叶片样本数分布

Fig.1 Distribution of rice leaf samples

图像采集和预处理流程如图2所示。采用Python对图像数据进行裁剪，水稻植株四周各保留20像素，获得大小不同多张单色背景下的水稻图像。分别采用gamma校正和Laplacian高通滤波算子[27]对模糊和较暗的图像进一步处理，其中分别在gamma值为0.7，算子为3×3矩阵算子（式（1））情况下取得了较好效果。

1.2 数据集构建

由于不同模型所需标注数据格式存在差异，首先对水稻图像进行点标注并生成初始标注文件，再按照模型所需的数据格式制作标注数据集，最后生成的标注数据集中，每张图像信息以结构体形式表示。初始标注数据集、结构体中关键点坐标“joint_self”和尺度参数“scale_provided”和关键点的选取规则详述如下。

1.2.1 初始标注数据集

通过MATLAB对图像进行人工标注，包括存储图像名称、标注关键点坐标及其语义信息，获得初始的标注数据集文件，并存储所有水稻图像的标注点数据。其中关键点语义包含3种：茎秆S、叶片L和穗P，若图像中有多个叶片，以L-1、L-2数字标号区分。

1.2.2 关键点标注信息“joint_self”

“joint_self”存储植株骨架中各个关键点的标注信息，其中包含一个茎、一个穗和多个叶片的坐标信息，其标注类及具体含义如表1所示。

表1 “joint_self”标注信息含义

其中，叶片数编号按照从茎根到顶端顺序依次设定，叶关键点、茎关键点和穗关键点依次从根部到尖部顺序排列。如图3所示，当叶片数为5且每个叶片、茎、穗上的关键点个数为2时，“joint_self”有14个标注类，其中10个用于标注叶片的位置，2个用于标注穗的位置，2个用于标注茎的位置。

1.2.3 “scale_provided”的获取

为了保证模型输入图像大小一致，本文根据“相对大小”的概念，用原始图像长、宽中的较大值除以模型的标准输入大小得到尺度参数；模型根据这个尺度参数和图像中心坐标“objpos”两个标注信息，将图像还原成大小统一的正方形，进而对关键点坐标进行正确学习。尺度参数计算公式为

注：叶片数为5，叶片、茎、穗关键点个数均为2。

Note: Leaves number is 5, key-points number of leaves, stems and ears are all 2, respectively.

图3 关键点标注示意图

Fig.3 Schematic diagram of key-point labeling

1.2.4 关键点的选取规则

初始标注数据集中，每张图像茎、叶、穗手工标注的关键点个数是随机且不确定的。为了能让模型规范地学习，基于“关键点分布均匀、首尾关键点优先”原则，采用如图4所示的关键点选择策略，增加或删除关键点从而获得一致的茎、叶、穗关键点个数。2个关键点时，选取首尾关键点；3个和5个关键点时，原始关键点个数的取值范围是[2,7]，枚举所有可能出现的情况。

1.3 关键点概率分布图生成

采用满足二维高斯分布的关键点概率分布作为目标函数取代对目标关键点横纵坐标的直接回归，使模型具有更好的空间泛化能力[22]，以下简称关键点概率分布图为“heatmap”。在实际的关键点预测过程中，将水稻图像送入堆叠沙漏网络后生成特征图，预测特征图每个像素为关键点的概率，从而获得对应的预测heatmap。图 5所示为一张水稻植株图像及其各关键点的heatmap。

1.4 基于堆叠沙漏网络的水稻关键点预测模型

堆叠沙漏网络[22]（Stacked Hourglass Network，SHN）以多分辨率图像生成的heatmap为基础，利用不同分辨率图像整合跨尺度信息，从而较好地利用多尺度特征实现关键点的定位。

1.4.1 单个沙漏结构

沙漏结构能有效整合图像的多尺度特征，从而在不同的尺度上捕获水稻植株骨架信息。单个沙漏结构通过多次卷积和最大池化操作生成不同尺度的特征图，结合贯穿整个模型的残差模块缓解网络复杂及深度较深造成的梯度消失问题，最后通过多次最邻近上采样将不同层次的特征图以加和方式组合在一起，从而整合所有不同分辨率的水稻植株骨架信息。

在单分蘖水稻植株的茎、叶、穗等部位进行关键点提取中，多层特征图结构包括不同尺度下的特征点信息可提高检测精度，因此，采用沙漏结构将有助于完整地理解水稻结构，从而组合出完整的单分蘖水稻植株骨架。

1.4.2 堆叠沙漏结构

将多个沙漏结构级联后形成堆叠沙漏结构，为网络提供了重复的自下而上和自上而下的推理机制，可改善模型预测结果。

单分蘖水稻各器官的关键点之间存在一定的联系，单个沙漏结构得到每个关键点的预测结果并输入下一个沙漏结构中，用于进一步学习关键点间的联系。

除此之外，在多层沙漏结构中采用中间监督机制，每一层的预测结果都将影响损失值，从而使得网络较好地整合不同层沙漏模块的信息，达到更好的预测效果。

1.4.3 模型训练

模型的损失函数采用均方误差（Mean Squared Error，MSE）评估，MSE计算公式见式（3）。

1.5 关键点预测模型训练过程

考虑到人体和水稻植株骨架结构存在如下两方面差异：①水稻和人体的形态结构不同，人类具有相同的骨架结构和关键点个数，水稻植株个体间骨架结构的差异却是普遍的。②人体各部位关键点具有明确的语义信息；而水稻某些关键点并不具有明确语义信息。本文采用由易到难的策略，先进行叶片数一致情况下的试验，再进一步拓展叶片数不一致情况下的应用。

1.5.1 叶片数一致情况下的关键点预测模型

选择单分蘖水稻叶片数为5的图像数据集作为试验对象，训练堆叠沙漏网络并分析模型在叶片数一致情况下水稻单分蘖关键点预测精度

1.5.2 叶片数不一致的关键点预测模型

为提高模型对水稻植株叶片数不一致数据集的鲁棒性，选择叶片数3～7的单分蘖水稻植株图像作为数据集，训练叶片数不固定的水稻植株关键点预测模型。由于叶片数不固定会导致不同单分蘖水稻植株标注数据中“joint_self”标注类数目不一致，模型无法根据标注数据确定关键点数目。

为了实现不同叶片数的水稻单分蘖植株关键点预测，本文默认所有水稻植株均有7个叶片和相应关键点数，在实际植株小于7个叶片数时，提出了两种关键点插入位置的标注方案：

1）将新关键点补充在所有已知关键点数据的最后，即在穗“P”后补充新关键点。

2）将新关键点插入在实际末尾叶片“L”之后，即插入新关键点数据可看作是“隐形”叶片。

如图6所示，两种方案均为插入一些“隐形”数据，补全7个叶片数的所有关键点，本质差异在于插入位置不同。

图6 数据插入位置的两种解决方案

2 单分蘖水稻植株表型参数获取

根据第1节中制定的数据集规则和模型训练方案，按8∶1∶1比例划分训练集、验证集和测试集，采用由易到难的试验策略，探索水稻植株结构的不确定性及关键点语义不明确的问题，并选择茎秆长、叶片长、穗长、叶片-茎秆夹角和叶片在茎秆上的着生位置5个表型参数对构建的植株骨架模型进行评估。

2.1 茎秆长、叶片长、穗长

基于数据集中关键点的数量和位置分布，对关键点进行线性插值得到完整的茎秆、叶片、穗曲线，曲线长度代表其长度。对于一个有个关键点的特定曲线，长度计算公式见式（4）。

2.2 叶片-茎秆夹角

水稻植株的叶片-茎秆夹角定义为叶片的切线在茎节点处与茎秆的夹角，定义叶片第1、第2个关键点的连线所在直线为叶片在茎节点处的切线，茎秆的切线定义为茎秆上距离茎节点最近的两个关键点的连线。

用1和2分别表示叶片和茎秆的切线斜率，则对应的叶片-茎秆夹角如式（5）所示。

2.3 叶片在茎秆上的着生位置

叶片在茎秆上的着生位置定义为叶片基部端延长线与茎秆的交点，以模型预测点与实际点欧氏距离的均值作为评估指标。对于含有个茎节点的水稻骨架，其计算公式见式（6）。

3 结果与分析

为了检验本文提出的基于沙漏网络的单分蘖水稻植株关键点检测性能，首先在叶片数为5的数据集上测试不同关键点数下的模型性能，并分析超参数对模型性能的影响，随后训练适用于不同叶片数的模型，并计算表型参数以进一步评估模型的实际意义。

模型基于Pytorch框架进行训练，在6 × Intel (R) Xeon (R) CPU E5-2678 v3 @ 2.50GHz上运行，GPU为NVIDIA GeForce RTX 2080Ti。优化器使用RMSprop，批次大小为6，迭代次数为100，初始学习率为0.000 25。

3.1 不同关键点数下的模型训练及测试

表2为单分蘖水稻植株检测网络在不同关键点数下的模型训练及测试结果。当关键点数为2，3，5时，测试集上的准确率分别达到96.48%，92.19%，86.34%，说明叶片数固定时该模型达到足够的检测准确率，可为水稻植株骨架提取及获取表型参数提供依据。

表2 不同关键点数的模型训练及测试结果

3.2 单沙漏网络训练迭代次数对检测性能的影响

迭代次数在很大程度上决定了模型的检测性能，为了分析迭代次数对单分蘖水稻植株关键点检测模型性能的影响，在不同的迭代次数下对模型准确率和损失进行计算。如图7所示，关键点数为5、采用标注方案2时，单沙漏网络模型准确率及损失变化随着迭代次数增加而提高，当迭代次数大于86时，模型准确率和损失趋于稳定，此时训练集准确率91.01%，验证集准确率86.34%。

3.3 固定叶片数的单分蘖水稻关键点预测

图8为基于单沙漏网络模型的水稻关键点热图预测结果。由图8可知，单分蘖水稻关键点概率分布较集中。基于关键点概率分布图结果，随机从测试集中抽取样本，结合语义信息按顺序连接关键点，最终获得完整单分蘖水稻植株骨架，如图9，水稻植株骨架真实性随关键点个数的增加而提高，当关键点个数为5时，可模拟单分蘖水稻植株真实结构。

注：5个关键点，标注方案2

3.4 不同叶片数的水稻单分蘖关键点检测

基于两种数据标注方案和不同关键点数的单分蘖水稻关键点检测结果比对如表3所示。关键点数分别为2,3,5时，标注方案2的测试集准确率比标注方案1高为2.52%,1.12%,1.72%，标注方案2在不同关键点数训练任务上均展现更好的性能，因此，最终堆叠沙漏网络模型将采用标注方式2实现空白数据的插入。

图10所示为堆叠漏网络模型训练迭代次数对不同叶片数的单分蘖水稻关键点检测准确率及损失变化。当迭代次数超过119次时，模型准确率和损失趋于稳定，训练集检测准确率可达85.84%，测试集准确率为82.09%。由此可见，叶片数不固定时关键点检测模型的准确率和损失函数波动较大，可能是由于叶片数不固定时模型较难学出规律，需要更多的迭代次数才可达到较好效果。

表3 基于两种数据标注方案和不同关键点数的水稻单分蘖关键点检测比对

图11为基于堆叠漏网络模型的不同叶片数的单分蘖水稻植株骨架提取可视化结果。单分蘖植株叶片数为3，4，5，6，7时，基于关键点获取的水稻骨架均能较好地模拟其真实生长结构。

3.5 水稻表型参数预测结果及评估

基于堆叠沙漏网络模型的关键点热图获取水稻单分蘖骨架。图12为基于堆叠沙漏网络模型的单分蘖水稻骨架预测结果。表4是基于关键点检测模型的骨架表型参数预测结果的实际值和预测值。

按照第2节中提出的对3～7叶片数据集划分比例（训练集：验证集：测试集为8:1:1），得到104张测试集，其中包括茎秆104个、叶片596个和穗98个，采用该数据预测关键点、计算表型参数，并评估模型的预测性能。

表 4 水稻单分蘖表型参数预测结果

如表5所示，茎秆长、叶片长和穗长的均方根误差分别为5.82、3.09和1.71 cm，叶片-茎秆夹角的均方根误差为3.22°。根据2.3节提出的评估指标，计算模型预测输出的关键点与实际关键点欧氏距离的均方根误差为2.035 6 cm，与叶片的平均长度51.060 5 cm的比值为0.039 87，与平均茎秆长91.894 4 cm的比值为0.022 15，由此可见，单分蘖水稻表型参数预测均取得了较好的效果。

表5 水稻表型参数评估结果

3.6 基于堆叠沙漏网络模型的单分蘖水稻植株关键点预测分析

结合3.3、3.4小节中的水稻单分蘖骨架预测结果分析，由于手工标注的关键点数据中，叶片、茎秆和穗中部的关键点不具备实际的生物学意义，且人工选择关键点标注存在一定程度的随机性，导致叶片中间的关键点预测出现一定的误差，影响关键点预测的准确率。但是，从可视化结果可以看出，中间位置的预测点相比真值存在偏移，其偏移是沿叶片方向的偏移（图13），这种偏移虽然会影响关键点预测的准确率，但是根据3.5节中的评估结果，模型对单分蘖水稻表型参数预测均取得了较好的效果，因此，针对水稻株型考察和育种实际应用而言，基于水稻关键点的骨架预测仍然是准确的。

4 结 论

本文提出了一种水稻单分蘖骨架提取的解决方案，基于堆叠沙漏网络模型完成水稻单分蘖关键点预测，然后按特定语义信息顺序连接预测的关键点，最终还原完整的水稻植株骨架形态结构，主要结论如下：

1）针对叶片数固定的数据集，基于单沙漏网络模型的训练集和验证集关键点检测准确率分别可达91.01%、86.34%；针对叶片数不固定的数据集，基于堆叠漏网络模型的训练集和验证集关键点检测准确率分别为85.84%和82.09%。

2）在完成关键点提取的基础上，将关键点按一定顺序连接构成植株骨架，并选择茎秆长、叶片长、穗长、叶片-茎秆夹角和叶片在茎秆上的着生位置5种表型参数评估植株骨架提取的准确性，茎秆长、叶片长、穗长、叶片-茎秆夹角的均方根误差分别为5.82 cm，3.09 cm，1.71 cm，3.22°，叶片在茎秆上的着生位置坐标均方根误差与平均茎秆长的比值为0.022 15。

结果表明，本文提出的水稻植株骨架提取方案能较好地拟合单分蘖水稻株型形态结构，能较好地识别单分蘖水稻关键点，为水稻骨架提取提供了一种新思路，有助于加快水稻育种。

[1] Kipp S, Mistele B, Baresel P, et al. High-throughput phenotyping paniclely plant vigour of winter wheat[J]. European Journal of Agronomy, 2014, 52(2): 271-278.

[2] Jimenez-Sierra D A, Correa E S, Benítez-Restrepo H D, et al. Novel feature-extraction methods for the estimation of above-ground biomass in rice crops[J]. Sensors, 2021, 21(13): 4369.

[3] 李杨先，张慧春，杨旸. 一种基于图像处理技术的植物形态表型参数获取方法[J]. 林业工程学报，2020，5(6)：128-136.

Li Yangxian, Zhang Huichun, Yang Yang. A method for obtaining plant morphological phenotypic parameters using image processing technology[J]. Journal of Forestry Engineering, 2020, 5(6): 128-136. (in Chinese with English abstract)

[4] 熊雄. 基于深度学习的大田水稻稻穗分割及无损产量预估研究[D]. 武汉：华中科技大学，2018.

Xiong Xiong. Research on field rice panicle segmentation and nondestructive yield prediction based on deep learning[D]. Wuhan: Huazhong University of Science & Technology, 2018. (in Chinese with English abstract)

[5] Zhu Y, Durand T, Chenin E, et al. Using a deep convolutional neural network for extracting morphological traits from herbarium images[J]. Biodiversity Information Science and Standards, 2017, 1.

[6] Wu Q, Zhou C, Wang C. Feature extraction and automatic recognition of plant leaf using artificial neural network[J]. Advances in Artificial Intelligence, 2006, 3: 5-12.

[7] 杨万里，段凌凤，杨万能. 基于深度学习的水稻表型特征提取和穗质量预测研究[J]. 华中农业大学学报，2021，40(1)：227-235.

Yang Wanli, Duan Lingfeng, Yang Wanneng. Deep learning-based extraction of rice phenotypic characteristics and prediction of rice panicle weight[J]. Journal of Huazhong Agricultural University, 2021, 40(1): 227-235. (in Chinese with English abstract)

[8] Sachar S, Kumar A. Survey of feature extraction and classification techniques to identify plant through leaves[J]. Expert Systems with Applications, 2021, 167: 114181.

[9] 李绪孟，王小卉，肖应辉. 水稻单蘖图像采集装置及形态参数提取方法：CN201510192635. 0[P]. 2015-04-22.

[10] 吴迪，杨万能，牛智有，等. 小麦分蘖形态学特征X射线-CT无损检测[J]. 农业工程学报，2017，33(14)：196-201.

Wu Di, Yang Wanneng, Niu Zhiyou, et al. Non-destructive detection of wheat tiller morphological traits based on X-ray CT technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(14): 196-201. (in Chinese with English abstract)

[11] 赵春江，陆声链，郭新宇，等. 数字植物研究进展：植物形态结构三维数字化[J]. 中国农业科学，2015，48(17)：3415-3428. Zhao Chunjiang, Lu Shenglian, Guo Xinyu, et al. Advances in research of digital plant: 3D digitization of plant morphological structure[J]. Scientia Agricultura Sinica, 2015, 48(17): 3415-3428. (in Chinese with English abstract)

[12] Das Choudhury S, Bashyam S, Qiu Y, et al. Holistic and component plant phenotyping using temporal image sequence[J/OL]. Plant Methods, (2018-05-10)DOI: https://doi.org/10.1186/s13007-018-0303-x.

[13] Gaillard M, Miao C, Schnable J, et al. Sorghum segmentation by skeleton extraction[J/OL]. Computer Vision -- ECCV 2020 Workshops, (2020-01)DOI: 10.1007/978-3-030-65414- 6_21.

[14] Bashyam S, Das Choudhury S, Samal A, et al. Visual growth tracking for automated leaf stage monitoring based on image sequence analysis[J]. Remote Sensing, 2021, 13(5): 961-981.

[15] 张卫正，李旭光，万瀚文，等. 基于骨架提取和二叉树分析的玉米植株图像茎叶分割方法[J]. 河南农业科学，2020，49(9)：166-172.

Zhang Weizheng, Li Xuguang, Wan Hanwen, et al. Stem and leaf segmentation of maize plant image based on skeleton extraction and binary tree analysis[J]. Journal of Henan Agricultural, Sciences, 2020, 49(9): 166-172. (in Chinese with English abstract)

[16] 劳彩莲，杨瀚，李鹏，等. 基于消费级深度相机的玉米植株三维重建[J]. 农业机械学报，2019，50(7)：222-228.

Lao Cailian, Yang Han, Li Peng, et al. 3D reconstruction of maize plants based on consumer depth camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(7): 222-228. (in Chinese with English abstract)

[17] 陈天放. 基于点云的植物骨架提取与建模研究[D]. 镇江：江苏大学，2017.

Chen Tianfang. Research on Plant Skeleton Extraction and Modeling Based on Point Cloud[D]. Zhenjiang: Jiangsu University, 2017. (in Chinese with English abstract)

[18] 张玲玲. 基于散乱点云的三维植物建模研究[D]. 镇江：江苏大学，2019.

Zhang Lingling. Research on 3D Plant Modeling Based on Scattered Point Cloud[D]. Zhenjiang: Jiangsu University, 2019. (in Chinese with English abstract)

[19] Zhou J, Fu X, Zhou S, et al. Automated segmentation of soybean plants from 3D point cloud using machine learning[J]. Computers and Electronics in Agriculture, 2019, 162: 143-153.

[20] Toshev A, Szegedy C. Deeppose: Human pose estimation via deep neural networks[C]. Proceedings of the IEEE conference on computer vision and pattern recognition, 2014.

[21] Tompson J J, Jain A, LeCun Y, et al. Joint training of a convolutional network and a graphical model for human pose estimation[C]. Advances in Neural Information Processing Systems, 2014: 1799–1807.

[22] Newell A, Yang K, Deng J. Stacked Hourglass Networks for Human Pose Estimation[C]. Springer International Publishing, 2016, 483-499.

[23] Misra T, Arora A, Marwaha S, et al. SpikeSegNet-a deep learning approach utilizing encoder-decoder network with hourglass for spike segmentation and counting in wheat plant from visual imaging[J]. Plant Methods, 2020, 16(8): 16-40

[24] Kolhar S, Jagtap J. Convolutional neural network-based encoder-decoder architectures for semantic segmentation of plants[J]. Ecological Informatics, 2021, 64: 101373.

[25] Müller-Linow M, Pinto-Espinosa F, Scharr H, et al. The leaf angle distribution of natural plant populations: assessing the canopy with a novel software tool[J]. Plant Methods, 2015, 11(1): 11-21.

[26] Li L, Zhang Q, Huang D. A review of imaging techniques for plant phenotyping[J]. Sensors, 2014, 14(11): 20078-20111.

[27] Gonzalez R C, Woods R E. 数字图像处理（第3版）[M]. 阮秋琦, 阮宇智等译. 北京：电子工业出版社，2017.

Skeleton extraction method of single tillers rice based on stacked hourglass network

Wang Minjuan1, Liu Xiaoya1, Ma Xiaoxiao1, Chang Tiangen2, Song Qingfeng2※

(1.,,100083,; 2.,,,200032,)

Rice has been widely planted in tropical Asia, where South China is the main rice-producing area. Rice production has accounted for about 50% of the total grain in China. The phenotype of rice can greatly contribute to clarifying the physical, physiological, and biochemical characteristics, thereby effectively promoting the rice varieties and yield. However, the morphology of a single tiller can usually be characterized by the contact destructive measurement in traditional rice cultivation, indicating a cost-consuming, labor-intensive and subjective task. In this study, a rice key point detection was proposed to rapidly extract the parameters of rice phenotype using a Stacked Hourglass Network (SHN) of computer vision. Firstly, a total of 1 080 RGB images of rice were collected. Some operations were then selected to preprocess the raw images of single tiller rice with the monochromatic background, including clipping, gamma correction, and Laplacian sharpening convolution. The data was also labeled to form the supervised dataset, according to the preset key point number of each rice component. Secondly, an SHN was adapted to detect the rice key points with the fixed and unfixed leaf number. A block of hourglass was then formed to combine the sampling, the maximum pooling, and the residual together. After that, intermediate supervision was adapted to generate the prediction from all connected hourglass blocks. As such, a multi-scale fusion was contributed to a better prediction from different scales. Two ways were also proposed to add the blank data for the unfixed leaf number. Finally, an optimal parametric combination was achieved in the experiments. The results showed that the accuracy rates reached 85.84% and 82.09% in the training and test set, respectively, when the epoch was equaled to 119 in the key point regression task with unfixed leaf numbers. The highest prediction accuracy reached 96.48% in the case of the fixed number of leaves. Correspondingly, the predicted key points of single tiller rice were connected to form a plant skeleton, according to the semantic information, indicating a better performance for the actual growth of plants. Furthermore, five parameters were selected to verify the model, including the stem length, leaf length, ear length, leaf stem angle, and stem node position. It was found that the Root Mean Square Errors (RMSE) were 5.82 cm, 3.09 cm, 1.71 cm, 3.22°, and 2.035 6 cm, respectively, indicating a better matching for the actual growth of rice. More importantly, the error of phenotypic parameters and some damage to plants were significantly reduced, compared with the previous manual measurement. The finding can also provide a new idea to efficiently extract the plant skeleton for the phenotypic parameters in rice production.

rice; neural networks; phenotypic parameters; key point detection; stacked hourglass networks; plant skeleton extraction

2021-07-17

2021-11-25

国家自然科学基金项目（31970378）；山东省自然科学基金面上项目（ZR2021MC021）

王敏娟，副教授，研究方向为植物表型组学技术。Email：minjuan@cau.edu.cn

宋青峰，副研究员，研究方向为植物表型组学与群体光合作用。Email：songqf@cemps.ac.cn

10.11975/j.issn.1002-6819.2021.24.017

S511；TP391

A

1002-6819(2021)-24-0149-09

王敏娟，刘小丫，马啸霄，等. 基于堆叠沙漏网络的单分蘖水稻植株骨架提取[J]. 农业工程学报，2021，37(24)：149-157. doi：10.11975/j.issn.1002-6819.2021.24.017 http://www.tcsae.org

Wang Minjuan, Liu Xiaoya, Ma Xiaoxiao, et al. Skeleton extraction method of single tillers rice based on stacked hourglass network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(24): 149-157. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.24.017 http://www.tcsae.org