基于Kinect V3的单株作物自动化三维重建与验证

陈海波，刘圣搏，王乐乐，王朝锋，向星岚，赵英杰，兰玉彬

基于Kinect V3的单株作物自动化三维重建与验证

陈海波1,4，刘圣搏2,4，王乐乐2,4，王朝锋2,4，向星岚3，赵英杰2,4，兰玉彬2,4※

（1. 华南农业大学基础实验与实践训练中心，广州 510642；2. 华南农业大学电子工程学院（人工智能学院），广州 510642；3. 华南农业大学工程学院，广州 510642；4. 国家精准农业航空施药技术国际联合研究中心，广州 510642）

为高效、精确地对单株作物进行三维重建，以点云方式无损测量作物表型信息，该研究提出一种基于Kinect V3深度相机的三维重建系统。使用步进电机搭建了一个旋转台，并将旋转台面设计成多颜色同心圆，利用同心圆计算平面法向量及圆心两特征信息，用于点云水平校准以及获取点云间的旋转平移矩阵；将Kinect V3采集的多视角点云变换到同一坐标系下，并结合裁剪迭代最近点（Trimmed Iterative Closest Point，TrICP）算法实现了多视角点云的粗配准与精配准，完成了作物三维重建。为检验该研究的三维重建效果，选取菜心、黄瓜苗为试验对象，与多视图立体视觉-运动恢复结构（Multi-View Stereo and Structure From Motion，MVS-SFM）算法重建点云进行对比，并提取叶面积参数与人工测量值进行比较。结果表明，两种方法下重建后的菜心点云间平均距离误差为0.59 cm，黄瓜苗点云间平均距离误差为0.67 cm，具有较高的相似度，而相较于MVS-SFM算法，该研究提出的方法的重建速度提高了约90%；该研究提出的方法所重建点云，菜心叶面积提取与标准参考值相对误差均值为5.88%，均方根误差为3.83 cm2，黄瓜苗叶面积提取与标准参考值相对误差均值别为6.50%，均方根误差为2.08 cm2，都显现出较高的准确性。该研究提出的方法能对单株作物进行快速三维重建，能有效提取叶面积参数，可为作物育种、栽培和农业生产提供高效技术手段和数据支持。

作物；三维重建；点云配准；叶面积；旋转台特征；Kinect V3

0 引 言

利用计算机视觉技术对植物进行快速三维重建，获取作物的形态结构，并进行表型参数高通量无损测量是植物表型组学当前的热点研究内容之一，不但可以为基础研究服务，还可为作物育种、栽培和农业生产等应用研究提供理论基础和高效技术手段[1-3]。

基于三维点云来获取植物表型参数的方法[4-6]，不仅可以避免传统人工测量对植物造成的损伤，还可以避免二维图像方法上由于叶片之间的遮挡、叶片的卷曲等所导致的测量误差。运动恢复结构（Structure From Motion，SFM）算法是植物表型领域中常用的被动三维重建技术，已被广泛证明适用于植物表型参数提取[7-9]。Hui等[10]利用MVS-SFM算法重建作物点云并与激光扫描仪重建点云进行对比，验证了两种方法重建点云有较高的相似度。陈辉等[11]利用MVS-SFM算法对多种植物进行三维重建，并基于Delaunay三角网格剖分计算叶面积，其平均相对误差为6.25%；苏宝峰等[12]利用SFM算法对赤霞珠葡萄植株进行三维重建，并利用滚球算法重建叶片表面计算叶面积，其平均相对误差为4.67%。此方法仅需要一个低成本的RGB相机，围绕着植物拍摄多视角图片即可重建出植物的三维点云，但计算量大，稠密重建需要消耗大量的时间，不适用于大规模且要求实时性的表型信息提取，因此高效精确的点云三维重建是首先要解决的问题之一。

近年来随着科技的发展，利用激光雷达、双目相机、基于飞行时间算法（Time of Flight，ToF）的深度相机等三维传感器的主动式三维重建已经被广泛用于植物表型信息提取[13-16]。重建过程通常包括数据采集、点云预处理、点云配准及表面重建等一系列步骤，其中点云配准是三维重建的核心步骤。陆健强等[17]利用标定球将三维激光扫描仪所获取的多视角点云进行初配准，进而使用迭代最近点（Iterative Closest Point，ICP）算法完成精确配准，但采用作物固定、移动三维传感器的方式将不可避免地造成空间浪费。激光扫描仪获取的点云数据精度高、噪点少，但存在着价格昂贵的问题，且通常需要与额外的相机进行标定以获取纹理信息。以Kinect V2为代表的低成本深度相机性价比高、性能稳定，在植物三维重建领域获得了推广和应用[18-21]。Sun等[22]利用Kinect V2结合特殊设计的高精度旋转台实现了多视角植物点云配准，并与Eva手持三维扫描仪重建点云进行对比，验证了两方法下重建的点云有较高的相似度，并测量株高、冠层最大宽度等参数验证其精度；Hu等[23]利用Kinect V2结合高精度旋转台上的标记点实现多视角点云配准，通过采集18个视角的点云来提高重建精度，但重建耗时长。以上研究受限于Kinect V2的性能，所采集的作物点云缺失细节信息与纹理信息，建模后适合提取如株高、冠层最大宽度等完整植株层面的表型参数，但无法获取涉及纹理特征的表型参数。Kinect V3是微软推出的深度传感器，精度更高、抗干扰能力强[24]，比起其前代产品Kinect V2，分辨率更高且成像范围更广。

针对作物三维重建成本高、耗时长与细节、纹理信息缺失等问题，该研究以菜心、黄瓜苗作为试验对象，设计了一种基于Kinect V3与旋转台的低成本单株作物自动三维重建平台，提出了一种基于旋转台面特征信息的三维重建方法，以实现单株作物的三维重建，为作物表型参数的准确提取提供技术支持。

1 材料与方法

试验随机选取8株菜心在（1～8号）与8株黄瓜苗（1～8号）两种形态结构复杂程度不同的作物作为研究对象，分别在移栽后的第25、35、45天（D25、D35、D45）进行三维重建试验，该时间段处于叶片的生长期，可以更好地关注叶片的重建效果。重建流程如图1所示，分为旋转平台特征信息的提取和作物三维重建两部分。调整Kinect V3位姿使作物与旋转台面都能够在相机成像范围内，对空载旋转台每旋转36°采集一次旋转台点云，共采集10视角旋转台点云，用于获取旋转台的法向量与圆心特征信息；之后将目标作物置于旋转台上，使用程序控制旋转台顺时针转动，每隔预设角度采集一次原始点云，转盘转过360°后得到多视角原始点云，本试验预设旋转角度为90°和60°两种方案进行对比，即分别采集4和6个视角点云，下文用V3-90与V3-60代替，其中V3代表选用Kinect V3相机进行重建。基于旋转台法向量与圆心对原始点云进行预处理与粗配准，最后使用TrICP算法对多视角点云两两实现精配准，并对完整作物点云进行平滑处理以及统计滤波二次处理，优化作物三维模型。

完成作物三维建模后，与MVS-SFM算法重建作物点云进行对比，统计点云距离误差，并基于点云计算叶面积，将之与真实测量值进行对比以验证本研究三维重建方法的精度，同时基于本研究的重建方法使用Kinect V2相机，预设90°和60°两种方案，下文用V2-90与V2-60代替，对同样作物进行三维重建进行对比，进一步分析Kinect V3在单株作物三维重建中的优势。

1.1 三维重建平台

三维重建平台如图2a所示。该试验平台包括Kinect V3以及基于步进电机搭建的可控旋转台，旋转台的表面设计成黄、蓝两种颜色的同心圆，如图2b中斜线与竖线填充部分所示，用于计算获取旋转平台的平面法向量与圆心。可控旋转台可以结合Kinect V3根据预设角度获取作物多视角点云，并通过本研究提出的重建方法变换到图2a中所示以旋转台中心为原点的世界坐标系下。

图1 三维重建流程图

a.示意图a. Sketch mapb. 实物图b. Physical map旋转平台表面The surface of the turntable

旋转台以STM32单片机作为控制器，TB6600作为电机驱动器，编程实现两相步进电机转动角度的精准控制，带动旋转台实现转动功能。其中，步进电机的步距角为1.8°，电机驱动器最高可以实现32细分，细分后重复定位精度可达0.056 25°，减少了手动转动转盘带来的人为误差。经过试验将旋转台的转速设为每圈36 s，可以带动作物平稳转动。

Kinect V3具有彩色照相机和深度传感器，该研究中彩色相机采用RGBA模式，分辨率为1 920×1 080（像素），深度信息采用宽视场（Wide Field of View，WFOV）非压缩模式，分辨率为1 024×1 024（像素），帧率15帧/s，工作范围为0.25～2.21 m。

数据采集与处理使用配备Intel core i5 10400处理器、32 GB内存以及NVIDIA GeForce RTX 3060 12 G显卡的图形工作站，在Visual Studio 2019 编程环境下，使用Kinect V3驱动程序Azure Kinect DK开发包、PCL（Point Cloud Library）点云库、OpenCV库、Open3D库[25]，使用C/C++和python语言混合编程实现点云数据采集和数据处理。

1.2 旋转台特征信息获取

本研究所提出的重建方法需要获取旋转台面的平面法向量以及旋转台圆心坐标。首先根据颜色阈值分割方法将10组旋转台面的蓝色点云与黄色点云分割出来，如图3中斜线与竖线区域所示，其中斜线代表黄色点云，竖线代表蓝色点云；接着使用随机采样一致性算法（Random Sample Consensus，RANSAC）平面检测方法检测出各圆所在平面方程，如式（1）所示。

式中平面所在坐标系的系数即为第个圆的平面法向量v=（A, B, C），最终会获取10组黄、蓝同心圆共20个法向量信息，对3个系数分别求均值作为旋转台面法向量。在世界坐标系中水平面的法向量是（0, 0, 1），通过矩阵运算计算出旋转平台表面法向量变换到到世界坐标系水平面法向量的水平校准矩阵1。

将1应用到分割后的黄、蓝同心圆点云，使得旋转台面与世界坐标系-平面保持平行，如图3所示。对10组分割且水平校准后的黄、蓝同心圆，分别使用凸包检测算法获取其外圆轮廓点云，最后使用RANSAC圆拟合算法求解出10组同心圆共20个外圆轮廓点云的圆心坐标w，进行均值计算作为旋转台面的圆心=（,），其中、为旋转台面圆心处于世界坐标系中的坐标，用于计算点云粗配准的旋转平移矩阵。完成上述特征信息获取即可开始作物三维重建。

注：ijk表示旋转台面所在坐标系，v、w表示旋转台面法向量和中心。

针对旋转台特征参数的提取效果，该研究计算同次特征信息获取的20个法向量间的夹角分析旋转台面法向量特征计算稳定程度，并将提取的旋转台面圆心坐标与cloudcompare软件中自带的寻找中心功能求取圆心进行对比，分析圆心特征计算准确度。

1.3 数据获取与预处理

通过微软公司推出的Kinect V3配套SDK（Software Development Kit）可编程实现将深度图像和彩色图像进行像素点匹配，从而获得三维彩色点云。以V3-90方案中D25-2号菜心为例，所采集的原始点云如图4所示。

a.0°视角点云a. 0°view anglespoint cloudb. 90°视角点云b. 90°view anglespoint cloudc. 180°视角点云c. 180°view anglespoint cloudd. 270°视角点云d. 270°view anglespoint cloud

使用深度相机获取点云数据不可避免地会存在一定的噪声以及背景等无关点云，导致采集得到的点云数据量大。为了减少后续步骤的计算量，提高重建速度，首先需对点云进行预处理以获取目标植株点云。

1.4 多视角点云配准

1.4.1 点云粗配准

式中T表示将旋转台中心移动到圆心坐标=（,）的平移矩阵，R表示第片点云绕旋转台中心的旋转矩阵。

1.4.2 点云精配准

Chetverikov等[26]提出的TrICP算法可以通过预设两片点云间的重叠度作为参考值实现点云配准，有效避免了经典ICP算法由于点云的非重叠部分的点所造成的误差，适用于部分重叠且初始位姿良好的点云配准。假设经过粗配准的两片点云A、B，其点云数量分别为A、B，其中待配准点云A有一个个数为·N的点集合，在满足距离阈值的前提下其都能在目标点云B中找到正确对应点，则为点云重叠度。对于经过粗配准且已知重叠度的两片点云，使用表示迭代次数，则基于TrICP的点云精配准步骤如下：1）若迭代次数小于预设值max，对待配准点云A中的所有点A查找其在目标点云B中的最近邻点B，并计算其距离平方d2；2）对所有d2进行排序，保留最小的前个点对（预设重叠个数）作为本次迭代的点集合，并计算点对之间的距离均方误差d；3）通过奇异值分解法（SingularValueDecomposition，SVD）求解旋转平移矩阵（R，T），用求得的矩阵对待配准点云A进行变换得到新点云A；4）若点对距离均方误差小于给定阈值或两次迭代距离均方误差绝对差值足够小时停止迭代，否则转到步骤1）。

该研究预设90°与60°两种采集方案，理论上所对应的TrICP重叠率应设为50%与66%，每一视角点云以其前一视角点云作为参考，在粗配准后点云初始位姿良好的基础上使用TrICP算法实现多视角点云全局精配准。

1.5 点云二次处理

经过上述方法进行全局配准之后的作物点云，因为深度相机的系统误差、配准算法的误差及叶片之间的遮挡导致最后重建的植株点云表面较为粗糙且出现叶片残缺、分层现象。本研究还将进一步使用移动最小二乘法[27]对点云曲面进行平滑处理优化三维重建效果，从而提高后续表型参数信息提取的精度。

1.6 重建效果评价指标

为了检验本研究提出的三维重建方法效果，与基于MVS-SFM算法的VisualSFM三维重建软件[28]从效率、重建点云密度、精度以及相似程度等多因素进行比较。不同方法重建的点云尺度不一，且处于不同坐标系中，因此首先需要进行尺度恢复，并将不同重建方案的点云变换到同一坐标系下，使之高度重叠。统计本研究重建方法所重建点云与参照组之间对应点的距离分布，并以均方根误差（Root Mean Square Error，RMSE）量化分析重建相似度，RMSE越小，代表点云越相似。

为进一步分析本研究方法的重建效果，于D45重建试验中，针对分割后的单叶片叶片点云使用Delaunay 2.5D三角网格化算法进行叶片表面重建，并使用拉普拉斯平滑对叶片进行平滑处理，基于叶片三角网格近似测量叶面积，并使用万深LA-S系列叶面积仪对叶片进行离体人工测量叶面积作为参考值，验证三维重建的准确度。在计算出叶面积后，统计单叶片点云数量NP叶片点云密度（个/cm2），量化分析叶片重建效果。

2 结果与分析

2.1 旋转台特征参数提取分析

本研究共进行了10次旋转台特征参数提取分析试验。试验结果表明同一次法向量特征参数提取的20个同心圆法向量间夹角均小于0.1°，具有稳定性，可以用于对点云进行水平校准；进一步将所提取的旋转台面圆心坐标与cloudcompare软件中自带的寻找中心功能求取圆心进行对比，结果显示，同一次圆心计算中，20个同心圆圆心与其均值圆心的平均点位距离误差均值为0.28 cm，求解之后的均值圆心与cloudcompare软件上所寻求的圆心平均点位距离误差均值为0.27cm，具有一定的准确性，可用于粗配准中作为多视角点云旋转中心。

2.2 点云预处理结果

以V3-90方案中D25-2号菜心0°视角原始点云为例，如图5a所示，其中带有真实色彩的点云为未经过水平校准的原始点云，可以明显地看到其与坐标系存在倾斜角度，经水平校准后的点云如图5a中蓝色部分所示，可以看出旋转台面部分点云与世界坐标系-平面平行；使用统计滤波后的效果如图5b所示，其中红色点为所计算出来的噪点，可以明显看出噪声被合理滤除，所留下的叶片点云边缘更加分明，点云数量减少约15%。

a.水平校准效果a.The effect of horizontal correctionb.统计滤波效果b. The effect of statistical filtering

2.3 配准结果及误差分析

图6所示为V3-90方案中D25-2号菜心其中两片相邻视角点云配准效果。

a.粗配准效果a.Effects of coarse registration b.统精配准效果b. Effects of precise registration

对比发现，粗配准的点云存在分层、错位现象，而精配准后的点云在相同部位叶片重合度有所提高。统计每次试验中两两相邻视角点云的距离均方根误差以量化分析精配准前后的配准误差。结果显示，V3-90方案中两相邻视角点云粗配准后的配准误差均值为3.84cm，精配准后配准误差均值为2.75cm；V3-60方案中两相邻视角点云粗配准后的配准误差均值为2.76cm，精配准后配准误差均值为1.7 cm，对比可以看出精配准后误差有所下降，且初始重叠度越高配准误差越小（V3-60方案配准效果优于V3-90方案配准效果）。

2.4 重建结果及误差分析

不同方案下的完整重建效果如图7所示。对比V3和V2方案重建效果可以明显看出V3重建后单株作物的点云保留了更多细节及纹理信息。V2的深度检测范围为0.5 ～4.5 m，深度分辨率为512×424（像素），而V3在WFOV非压缩模式下深度检测范围为0.25～2.21 m，分辨率为1 024×1 024（像素），可以更关注于目标作物而非背景等冗余信息，获取更多的作物细节；对比90°与60°方案可以看出60°方案下重建的作物更完整，而在90°重建方案中出现了点云缺失的情况，这一现象在V2上更为明显。综上，在本试验中优选V3-60方案作为作物的重建方案。

注：V3、V2分别代表利用Kinect V3和Kinect V2相机采集。-60、-90分别代表预设旋转角度60°和90°。MVS-SFM代表使用MVS-SFM算法所重建的点云。下同。

图8进一步展示了部分V3-60方案下重建的菜心与黄瓜苗点云，从中可以看出Kinect V3在本研究提出的方法下重建的作物点云可以保留部分清晰的纹理与细节，但有的叶片纹理则显得模糊，这一现象黄瓜苗比菜心更加明显，而图7中MVS-SFM方案下重建的点云纹理清晰且边界分明。分析得出该研究使用作物旋转的方式获取多视角点云，基于拼接的方式进行重建，而旋转过程中难免出现作物晃动现象，导致重建后的叶片出现分层的现象，造成部分叶片纹理细节因点云堆叠而模糊，黄瓜苗茎细且长晃动幅度更大因此该现象更加明显，而MVS-SFM本身更关注图像的纹理特征，因此有更好的纹理细节信息。

图8 V3-60方案部分重建效果

对3个时期的8株菜心和8株黄瓜苗在不同方案下重建的共48组点云数据进行统计，平均重建时间、重建后单株作物点云数量均值、以及重建后单株作物点云与参照组点云的平均点对距离均方根误差如表1所示，Kinect V3比Kinect V2所重建的作物点云数量更接近MVS-SFM方案下重建的作物点云，进一步表明Kinect V3可以获取更多的作物细节。

表1 本研究提出的方法与MVS-SFM算法重建对比

注：为平均重建时间；平均重建点云数量；RMSEds为平均点对距离均方根误差。

Note:is average time of reconstruction;is average number of reconstructed point clouds; RMSEdsis average root mean square error of distances sets.

V3-60方案重建的菜心点云与MVS-SFM算法重建的点云点对距离均方根误差为0.59 cm，其中64.45%点对距离误差小于0.5 cm，90.63%点对距离误差小于1cm，黄瓜苗则为0.67cm，其中60.09%点对距离误差小于0.5 cm，85.45%点对距离误差小于1 cm，相较于V2方案，均表现出了较高的相似性；而该研究提出的方法平均单株重建速度相较于MVS-SFM算法提升了约90%，更具有工程价值。

图9展示了部分V3-60方案重建点云与MVS-SFM重建点云间的距离分布，其距离均方根误差分别为0.58、0.56、0.79 cm，可以看出大体上两种方法重建点云接近一致，说明本研究重建方法所重建点云与MVS-SFM所重建点云具有较高的相似性。

a. D25-2号菜心a. D25-2 flowering Chinese cabbageb. D45-2号菜心b. D45-2 flowering Chinese cabbagec. D35-1号黄瓜苗c. D35-1 cucumber seedlings

2.5 叶面积提取结果与误差分析

在D45重建试验中，对叶片进行离体测量叶面积，剔除小叶片以及建模过程中丢失点云的叶片，最终统计计算31片菜心叶片叶面积与47片黄瓜苗叶片的叶面积以及叶片点云密度。不同方案下重建的单叶片平均点云密度、在本研究提出的方法下测量的叶面积平均绝对误差、叶面积平均相对误差及叶面积均方根误差如表2所示。

表2 单叶片重建效果分析

注：为平均点云密度；AE为平均绝对误差；RE为平均相对误差；RMSE为均方根误差。

Note:average density of point cloud; AE is average absolute error; RE is average relative error; RMSE is root mean square error.

从表2中可以看出，V2方案下重建的叶片点云密度低于V3方案与MVS-SFM方案。高密度的点云在叶片表面重建过程中可以更好地拟合叶片曲面，从而增加细节，提高叶面积计算精度，因此相较于V2方案，V3方案与MVS-SFM方案提取的叶面积更为接近真实测量叶面积，误差更小；由于菜心叶片弯曲程度大，空间结构较为复杂，而黄瓜苗叶片平整，空间结构较为简单，本研究所使用的万深LA-S系列叶面积仪需要将叶片展平，基于叶片二维图像计算叶面积，测量方法上本身丢失了三维上的空间结构信息，在对菜心叶面积进行真实测量的过程中可能由于操作不当（未能完全展平）导致叶面积标准参考值本身具有误差，因此菜心的叶面积误差略大于黄瓜苗。

3 讨 论

本研究所提出的的三维重建方法不受相机摆放位姿的影响，可以在多场景快速搭建用于作物三维重建，提取完旋转台特征信息后，在不移动相机与圆盘的前提下，可以连续性的对多组植株进行快速三维重建，具有灵活性与操作简便性的优点，所重建单株作物点云与MVS-SFM算法重建点云有较高的相似性，而重建速度比后者提高约90%，本研究重建方法由于配准误差造成部分纹理因分层而缺失，而MVS-SFM算法本身更关注纹理特征信息，相比之下本文的配准精度还有待进一步提高。对比Kinect v2，得益于Kinect V3更合理的成像范围以及更高的分辨率，重建后的点云细节与纹理都有所提升。此外，该试验还基于点云测量了叶面积并与人工测量进行对比，以V3-60方案为例，本研究提出的方法重建后菜心叶面积的计算绝对误差均值为3.23cm2，相对误差均值为5.88%，均方根误差为3.83 cm2，黄瓜苗叶面积的计算绝对误差均值为1.74 cm2，相对误差均值为6.50%，均方根误差为2.08 cm2，接近陈辉等[11]与苏宝峰等[12]基于SFM算法重建植物点云所提取的叶面积误差，有较高的准确度。试验中发现无论是托普云农YMJ-B型夹持式叶面积仪器对叶片在体测量还是本研究所选用的万深LA-S系列叶面积仪对叶片进行离体测量，对于像菜心、黄瓜苗这种叶片柔软的作物都会造成一定的损伤，而在三维重建的基础上测量作物的叶面积可以在精度得以保证的前提下，实现真正意义上的在体无损检测。

进一步分析本研究方法的误差来源主要包括：

1）使用传感器获取点云难以避免出现点云近密远疏的情况，本研究使用单一预设值的统计滤波算法无法达到最优滤波效果，且在实际应用中难免会因为植物本身的茎、叶片等的相互遮挡，出现部分信息缺失的情况。

2）胡杨[29]指出使用ToF原理的深度相机会因为叶片本身的材质使得相机所发出的测量光线在叶片内部产生折射和透射，导致测量的叶片点云偏离真实值，从而导致从多角度获取的同一叶片点云出现分层现象；本研究在试验过程中发现旋转台转动时的不平稳会导致植株晃动，也将造成重建的植株点云出现叶片分层现象。

下一步可以研究缺失点云的补全方法，进一步提升重建完整度；也可以继续优化配准算法，结合改进的非刚性迭代最近点算法（Nonrigid Iterative Closest Point，NICP），进一步提高配准精度，使得重建后的作物点云可以保留更多的细节、纹理信息。

4 结 论

本研究选用Kinect V3相机结合特殊设计的旋转台，以菜心与黄瓜苗为研究对象，通过作物多视角点云采集、旋转台特征信息获取、点云预处理、点云配准以及点云平滑等步骤实现了单株菜心植株、黄瓜苗植株的快速三维重建，主要结论如下：

1）提出一种基于Kinect V3与旋转台法向量与圆心特征的植株三维重建方法，并与多视图立体视觉-运动恢复结构（Multi-View Stereo and Structure From Motion，MVS-SFM）算法进行对比。本研究方法重建的菜心点云与MVS-SFM算法重建的点云距离误差为0.59 cm，其中64.45%点对距离误差小于0.5 cm，90.63%点对距离误差小于1 cm，黄瓜苗点云距离误差为0.67 cm，其中60.09%点对距离误差小于0.5 cm，85.45%点对距离误差小于1 cm，相似程度高，但重建速度更快，提高了约90%，且操作简单，更具有工程意义，适用于大规模的植物表型检测任务；相比Kinect V2，Kinect V3有更适用于作物三维重建的性能参数，可以更有效关注作物的细节信息。

2）通过三角网格化算法对单叶片点云进行表面重建以获取叶面积，菜心叶片面积、黄瓜苗叶片面积与标准参考值的绝对误差均值分别为3.23、1.74cm2，相对误差均值分别为5.88%、6.50%，均方根误差分别为3.83、2.08 cm2，验证了本研究重建方法可用于提取作物表型信息，具有一定的准确性。

[1] 徐凌翔，陈佳玮，丁国辉，等. 室内植物表型平台及性状鉴定研究进展和展望[J]. 智慧农业（中英文），2020，2(1)：23-42.

Xu Lingxiang, Chen Jiawei, Ding Guohui, et al. Indoor phenotyping platforms and associated trait measurement: Progress and prospects[J]. Smart Agriculture, 2020, 2(1): 23-42. (in Chinese with English abstract)

[2] 赵春江. 植物表型组学大数据及其研究进展[J]. 农业大数据学报，2019，1(2)：5-18.

Zhao Chunjiang. Big Data of plant phenomics and its research progress[J]. Journal of Agricultural Big Data, 2019, 1(2): 5-18. (in Chinese with English abstract)

[3] Houle D, Govindaraju D R, Omholt S. Phenomics: The next challenge[J]. Nature Reviews Genetics, 2010, 11(12): 855-66.

[4] 何海清，严椰丽，凌梦云，等. 结合三维密集点云的无人机影像大豆覆盖度提取[J]. 农业工程学报，2022，38(2)：201-209.

He Haiqing, Yan Yeli, Ling Mengyun, et al. Extraction of soybean coverage from UAV images combined with 3D dense point cloud[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(2): 201-209. (in Chinese with English abstract)

[5] Ma H, Zhu X, Ji J T, et al. Rapid estimation of apple phenotypic parameters based on 3D reconstruction[J]. International Journal of Agricultural and Biological Engineering, 2021, 14(5): 180-188.

[6] 黄成龙，李曜辰，骆树康. 基于结构光三维点云的棉花幼苗叶片性状分析方法[J]. 农业机械学报，2019，50(8)：243-248，288.

Huang Chenglong, Li Yaochen, Luo Shukang, et al. Cotton seedling leaf traits extraction method from 3D point cloud based on structured light imaging[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(8): 243-248, 288. (in Chinese with English abstract)

[7] 柴宏红，邵科，于超，等. 基于三维点云的甜菜根表型参数提取与根型判别[J]. 农业工程学报，2020，36(10)：181-188.

Chai Honghong, Shao Ke, Yu Chao, et al. Extraction of phenotypic parameters and discrimination of beet root types based on 3D point cloud[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(10): 181-188. (in Chinese with English abstract)

[8] Liu J G, Xu X M, Liu Y H, et al. Quantitative potato tuber phenotyping by 3D imaging[J]. Biosystems Engineering, 2021, 210: 48-59.

[9] 赵明岩，林敏，徐鹏，等. 基于三维重构的哈蜜瓜均瓣雕花算法[J]. 农业工程学报，2021，37(19)：276-283.

Zhao Mingyan, Lin Min, Xu Peng, et al. Algorithm for the uniform petal carving of Hami melon based on three-dimensional reconstruction[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(19): 276-283. (in Chinese with English abstract)

[10] Hui F, Zhu J Y, Hu P C, et al. Image-based dynamic quantification and high-accuracy 3D evaluation of canopy structure of plant populations[J]. Annals of Botany, 2018(5): 1079-1088.

[11] 陈辉，王婷婷，代作晓，等. 基于运动恢复结构的无规则植物叶片面积三维测量方法[J]. 农业机械学报，2021，52(4)：230-238.

Chen Hui, Wang Tingting, Dai Zuoxiao, et al. 3D measurement method for area of irregular plant leaf based on structure from motion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(4): 230-238. (in Chinese with English abstract)

[12] 苏宝峰，刘易雪，王琮，等. 基于三维点云的叶面积估算方法[J]. 农业机械学报，2019，50(12)：240-246，254.

Su Baofeng, Liu Yixue, Wang Cong, et al. Leaf area estimation method based on three-dimensional point cloud[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(12): 240-246, 254. (in Chinese with English abstract)

[13] Su W, Zhang M Z, Liu J M, et al. Automated extraction of corn leaf points from unorganized terrestrial LIDAR point clouds[J]. International Journal of Agricultural and Biological Engineering, 2018, 11(3), 166-170.

[14] 朱超，苗腾，许童羽，等. 基于骨架的玉米植株三维点云果穗分割与表型参数提取[J]. 农业工程学报，2021，37(6)：295-301.

Zhu Chao, Miao Teng, Xu Tongyu, et al. Ear segmentation and phenotypic trait extraction of maize based on three-dimensional point cloud skeleton[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(6): 295-301. (in Chinese with English abstract)

[15] Ji L, Tang L. Developing a low-cost 3D plant morphological traits characterization system[J]. Computers & Electronics in Agriculture, 2017, 143: 1-13.

[16] Guo Q H, Wu F F, Pang S X, et al. Crop 3D—A LiDAR based platform for 3D high-throughput crop phenotyping[J]. Science China Life Sciences, 2018, 61(3): 1-12.

[17] 陆健强，兰玉彬，毋志云，等. 植物三维建模ICP点云配准优化[J]. 农业工程学报，2022，38(2)：183-191.

Lu Jianqiang, Lan Yubin, Wu Zhiyun, et al. Optimization of ICP point cloud registration in plants 3D modeling[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(2): 183-191. (in Chinese with English abstract)

[18] 彭程，李帅，苗艳龙，等. 基于三维点云的番茄植株茎叶分割与表型特征提取[J]. 农业工程学报，2022，38(9)：187-194.

Peng Cheng, Li Shuai, Miao Yanlong, et al. Stem-leaf segmentation and phenotypic trait extraction of tomatoes using three-dimensional point cloud[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(9): 187-194. (in Chinese with English abstract)

[19] Zhou S Z, Kang F, Li W B, et al. Point cloud registration for agriculture and forestry crops based on calibration balls using kinect v2[J]. International Journal of Agricultural and Biological Engineering, 2020, 13(1), 198-205.

[20] 付昱兴，李承明，朱江，等. Alpha-shape算法构建枣树点云三维模型[J]. 农业工程学报，2020，36(22)：214-221.

Fu Yuxing, Li Chengming, Zhu Jiang, et al. Three-dimensional model construction method and experiment of jujube tree point cloud using Alpha-shape algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(22): 214-221. (in Chinese with English abstract)

[21] 郑立华，王露寒，王敏娟，等. 基于Kinect相机的油麦菜自动化三维点云重建[J]. 农业机械学报，2021，52(7)：159-168.

Zheng Lihua, Wang Luhan, Wang Minjuan, et al. Automated 3D reconstruction of leaf lettuce based on kinect camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(7): 159-168. (in Chinese with English abstract)

[22] Sun G, Wang X. Three-dimensional morphological measurement method for a fruit tree canopy based on kinect sensor self-calibration[J]. Agronomy, 2019, 9, 741.

[23] Hu Y, Wang L, Xiang L R, et al. H. Automatic non-destructive growth measurement of leafy vegetables based on kinect[J]. Sensors, 2018, 18(3), 806.

[24] 李修华，魏鹏，何嘉西，等. 基于Kinect V3深度传感器的田间植株点云配准方法[J]. 农业工程学报，2021，37(21)：45-52.

Li Xiuhua, Wei Peng, He Jiaxi, et al. Field plant point cloud registration method based on Kinect V3 depth sensors[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 45-52. (in Chinese with English abstract)

[25] Zhou Q Y, Park J, Koltun V. Open3D: A modern library for 3D data processing[EB/OL]. arXiv preprint arXiv:1801.09847, 2018 [2022-05-21] http://open3d.org/.

[26] Chetverikov D, Stepanov D, Krsek P. Robust Euclidean alignment of 3D point sets: The trimmed iterative closest point algorithm[J]. Image and Vision Computing, 2005, 23(3): 299-309.

[27] 曾清红，卢德唐. 基于移动最小二乘法的曲线曲面拟合[J]. 工程图学学报，2004，25(1)：84-89.

Zeng Qinghong, Lu Detang. Curve and surface fitting based on moving least square method[J]. Journal of Engineering Graphics, 2004, 25(1): 84-89. (in Chinese with English abstract)

[28] Wu C C. VisualSFM: A visual structure from motion system[EB/OL].[2022-05-21] http://ccwu.me/vsfm/,2011.

[29] 胡杨. 基于深度相机的叶菜类作物三维重建与生长测量方法研究[D]. 杭州：浙江大学，2018.

Hu Yang. Study on 3D Reconstruction and Growth Measurement Methods for Leafy Crops Based on Depth Camera[D]. Hangzhou: Zhejiang University, 2018. (in Chinese with English abstract)

Automatic 3D reconstruction and verification of an individual crop using Kinect V3

Chen Haibo1,4, Liu Shengbo2,4, Wang Lele2,4, Wang Chaofeng2,4, Xiang Xinglan3, Zhao Yingjie2,4, Lan Yubin2,4※

(1.,,510642,;2.,,510642,;3.,,510642,;4.,510642,)

3D point clouds can be expected to acquire plant phenotypic traits at present. The damage to crops can be reduced significantly, compared with the traditional manual direct contact measurement. The measurement errors caused by the occlusion between leaves and leaf curl in the two-dimensional images can also be avoided. In this study, a 3D reconstruction system was proposed using Kinect V3, in order to efficiently and accurately reconstruct 3D models of individual crops for the nondestructive measurements of crop phenotype traits by the point cloud. A turntable was also built using a stepping motor. The table surface was designed into multi-color concentric circles. The plane normal vector and central point of the turntable were calculated automatically using concentric circles, which were used for the horizontal alignment of the point cloud and for the calculation of the transformation matrix between multi-view point clouds. The point clouds of crops captured at the multiple view angles by Kinect V3 were transformed to the same coordinate system for the coarse registration using the transformation matrix. Then, the Trimmed Iterative Closest Point (TrICP) was used for the precise registration, thereby completing the 3D reconstruction of individual crops. More importantly, Chinese flowering cabbage and cucumber seedlings were selected as the experimental objects for the 3D reconstruction. Firstly, the reference point clouds were reconstructed by the Multi-View Stereo and Structure From Motion (MVS-SFM). The reason was that the MVS-SFM previously presented sufficient accuracy for the crop 3D reconstruction and high-throughput crop phenotyping analysis. A counting was performed on the distribution frequency for the set of distances between the reconstructed and reference point cloud. The results show that the reconstruction speed of the proposed model was improved by about 90%, compared with the MVS-SFM. In the Chinese flowering cabbage, the average error of distance between the reconstructed and the reference point clouds was 0.59 cm; while 64.45% and 90.63% of the distances sets were less than 0.5 and 1.0 cm, respectively. In the cucumber seedlings, the average error of distance was 0.67cm; while 60.09% and 85.45% of the distances sets were less than 0.5 and 1.0 cm, respectively. Both of the groups showed a high level of overlap. Secondly, the single leaf area was extracted by calculating the area of the surface mesh model that was reconstructed using the Delaunay triangular meshing algorithm. The Root Mean Square Error (RMSE) and the average relative error of the Chinese flowering cabbage leaf area were 3.83 cm2and 5.88%, respectively, compared with the manual measurement using a leaf area meter. The RMSE and the average relative error of cucumber seedling leaf area were 2.08 cm2and 6.50%, respectively. Both of the groups showed high correlation and accuracy. In addition, the Kinect V3 was compared with the predecessor, Kinect v2, indicating sufficient accuracy for the crop 3D reconstruction. The results show that the Kinect V3 can be used to capture much denser point clouds than the Kinect V2, indicating the high accuracy of crop 3D reconstruction and extraction of leaf area. The proposed model can be expected to quickly reconstruct the individual crops and then effectively extract the leaf area parameters, indicating that it can provide efficient technical tools and data support for crop breeding, cultivation, and agricultural production.

crops; 3D reconstruction; registration of point cloud; leaf area; characteristic information of turntable; Kinect V3

10.11975/j.issn.1002-6819.2022.16.024

TP391.4

A

1002-6819(2022)-16-0215-09

陈海波，刘圣搏，王乐乐，等. 基于Kinect V3的单株作物自动化三维重建与验证[J]. 农业工程学报，2022，38(16)：215-223.doi：10.11975/j.issn.1002-6819.2022.16.024 http://www.tcsae.org

Chen Haibo, Liu Shengbo, Wang Lele, et al. Automatic 3D reconstruction and verification of an individual crop using Kinect V3[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(16): 215-223. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.16.024 http://www.tcsae.org

2022-05-21

2022-08-10

岭南现代农业实验室科研项目（NT2021009）；广东省重点领域研发计划项目（2019B020214003）；广东省青年基金项目（2021A1515110554）

陈海波，博士，高级实验师，研究方向为农业机械化智能化及信息化。Email：huanongchb@scau.edu.cn

兰玉彬，博士，教授，博士生导师，研究方向为精准农业航空。Email：ylan@scau.edu.cn