基于视觉三维重建的作物表型分析

史维杰 张吴平 郝雅洁 赵明霞 吕致 李富忠

摘要：采用基于图像序列的三维重建技术对作物小麦进行三维重建，通过对比不同处理下的三维点云，选择合适的处理方式对同一品种的不同植株进行三维重建;最后通过获取的作物三维模型对其进行表型测量。结果表明，重建出的三维模型在一定程度上可以还原作物的真实结构，说明利用计算机视觉技术对作物进行表型测量是切实可行的，利用三维模型测量作物的表型对于育种是省时有效的。

关键词：三维重建;植物表型;叶面积;SfM;MVS

中图分类号：TP399         文献标识码：A

文章编号：0439-8114（2019）16-0125-04

DOI：10.14088/j.cnki.issn0439-8114.2019.16.029           开放科学（资源服务）标识码（OSID）：

Abstract： Three-dimensional reconstruction of crop wheat was carried out by using image sequence-based 3D reconstruction technique. Three-dimensional point clouds under different treatments were compared， and appropriate treatment methods were used to reconstruct three-dimensional reconstruction of different plants of the same variety. Finally， the three-dimensional model of crops was obtained. Phenotypic measurement. The results showed that the reconstructed three-dimensional model could restore the true structure of the crop to a certain extent， indicating that it was feasible to use the computer vision technology to measure the phenotype of the crop. Using the three-dimensional model to measure the phenotype of the crop was time-saving and effective for breeding.

Key words： 3D reconstruction; plant phenotype; leaf area; SfM; MVS

隨着全世界人口的不断增加、全球气候急剧变化、耕地面积逐渐减少，如何能够有效增加粮食产量、保障粮食安全，成为育种学家需要攻克的一个难题。在过去的几十年里，表型组学作为基因组学的补充[1，2]，为作物育种及解析基因组作出了贡献，植物表型间接决定了植物的生长、活力、抗倒伏能力等，不同植物表型间存在一定的线性或非线性功能关系。这表明当一个表型参数不容易检测或识别时，可以选择另一个与其密切相关的表型参数进行测量，所测得的表型参数为施肥、喷药等农业机械操作的决策和指导提供了一定的理论依据。同时，这些参数可以用于机器人自动拾取系统和执行机构的性能控制。传统的植物表型测量方法存在成本高、工作强度大、消耗时间长等缺点，这就要求迅速发展植物表型测量技术。

与此同时，随着计算机硬件和软件的发展，越来越多将计算机视觉技术与农业相结合，尝试运用一种新型的方法来突破传统作物育种的局限性。将计算机视觉技术应用在植物表型测量上，对于传统的表型测量来说是一个巨大突破。传统的表型测量存在人为因素干扰，同一测量目标在不同人的测量下会存在较大的误差。而利用计算机视觉技术获得植物的三维模型并进行测量，不仅仅是非破坏性可持久的，而且测量的精度在一定程度可以得到保障。Santos等[3]研究表明图像序列可以重建植物的分支和其他精细结构，夏春华等[4]提出一种基于TOF深度传感的植物三维点云数据获取与去噪方法，劳彩莲等[5]提出一种基于消费级深度相机的玉米植株三维重建方法。本研究采用基于图片序列的三维重建方法，对作物进行三维重建，得到三维模型后对其进行测量与分析。

1  图片序列的三维重建方法

目前基于图片序列的三维重建主要有两类：

①使用Structure from Motion（SfM）对图片序列进行重建[6-9];

②使用Space carving（空间雕刻）对图片序列进行重建[10]。

空间雕刻技术最早于1998年由Kiriakos等提出，是一种利用任意位置相机重建任意形状场景的理论，在本质上将形状恢复问题转化为约束满足问题。空间雕刻算法实现的一种近乎完美的三维重建，不是在图像空间中进行的而是在三维空间中进行的，背景位于体素初始块儿之外，所以对空间雕刻技术进行三维重建不包括背景[11，12]。

SfM方法是一种低成本的从一系列多个重叠图像中重建三维结构方法[6]，已经被越来越多的研究人员应用于农业、林业、地球科学、考古学和建筑学。SfM相比于空间雕刻技术的优点是并不需要人为的定义太多参数，只需要对目标植物进行360°环绕拍摄，操作起来方便简单。但由于特征点的检测与匹配有可能存在大量的外点，所以重建后的结果可能存在大量的非感兴趣区域。在得到图片后需要对图像进行预处理操作，可以得到一个更好、更精确的结果。

2  基于SfM对图片序列的三维重建

本研究主要使用SfM对图像序列进行稀疏重建，然后使用Multi-View System（MVS）进行稠密重建[13，14]，得到作物的三维模型，最后对其进行测量分析，流程如图1所示。

2.1  图像序列的获取

对需要重建的作物从不同角度进行拍摄，获取图像序列。本研究在植物表型平台上使用Canon EOS1300D相机对作物进行拍摄。对作物拍摄时分为3组不同间隔角度进行拍摄，在5°、10°、20°的情况下分别获取到72、36、18张图片。获得作物的初步图像后，选取间隔角度为5°的图片进行预处理，剔除掉图像的背景。拍摄间隔角度为5°的样本预处理如下图2所示。

2.2  特征检测与匹配

特征提取是三维重建的第一步。使用Scale-invariant feature transform（SIFT）算法进行特征提取，该算法是Lowe[15]于1999年首次提出，并于2004年再次改进。SIFT主要是利用差分高斯函数（DoG）构建尺度空间找到特征点，然后通过计算特征描述子进行特征匹配。

2.3  稀疏重建

SfM是一个迭代计算的过程[16]，通过多幅图像的内外参矩阵计算出图像特征点相应的世界坐标。本研究使用open Multiple View Geometry（openMVG），一个开源的多视图立体几何库，提供了许多与SfM相关的的工具进行稀疏重建。openMVG包含了提取的特征，可以通过图片序列直接获得相机的内部参数，估计相机的姿态与位置以及相应图片的有效几何特征。相对于其他的使用SfM稀疏重建，openMVG不需要使用标定板对相机进行标定直接使用照片的Exif信息，可以直接得到相机的名称、焦距等参数，而且可以直接处理较大的图片。但拍摄时相机应处于同一水平位置，与此同时，相机距离作物的位置也需要一定的保证，如果拍摄时出现相机的位置距离作物较远的情况下得到的图片会被视为无效照片，不能进行特征提取及其他的计算。本研究使用植物表型平台获取作物的图像序列，因此在角度与距离上可以得到保障。使用openMVG对4组不同的作物图像序列进行稀疏重建，得到多个稀疏点云，并记录各个点云内点的个数。各个处理作物的稀疏点云效果如图3所示。

2.4  稠密重建

对SfM得到的稀疏点云来说，并不能直接使用，稀疏点云包含的信息较少，对于分析测量的结果并不准确，所以需要对得到的稀疏点云进行稠密重建，得到作物的稠密点云。Multiple View Stereo（MVS）[17]的主要理论依据是对于同一作物拍摄的多张图片之间存在极线几何约束，即不同照片上的同一点都被空间上的某一条线穿过。在基于这种约束的条件下，就可以对不同照片上的两点进行判断是否属于空间上的同一点，因此提出了图像点间的一致性判定函数：

MVS的实质就是利用极线几何约束，人为对图像中每个点进行世界坐标的计算，实现由稀疏点云到稠密点云的重建。

本研究主要采用openMVS对SfM获得的稀疏点云进行稠密重建。openMVS是一个开源的多视图立体重建库，可以对稀疏点云进行稠密重建、表面重建、表面细化等一系列的重建操作。openMVS相对于其他的稠密重建系统多了表面细化这一步，使三维点云的表面网格更加接近真实。各个处理下的稠密点云效果如图4所示。

2.5  植物表型测量

利用计算机视觉技术对植物表型进行测量，可以去掉大量的人为因素影响，将误差降到最小，得到精度较高的结果。通过作物的三维模型对植物表型进行测量，获取一些感兴趣的植物形态参数，例如：株高、叶面积、叶片夹角、叶片长度等。叶片是植物用于光合作用的重要器官，对植物的发育生长尤为重要，在很大程度上影响光能的使用率。许多叶片参数是植物表型的重要形态参数[18-20]。通过對同一品种的多株作物进行三维重建，计算各株作物的叶面积，然后使用破坏性测量方式计算出各株作物的真实叶面积，部分测量数据如表1所示。

3  结果与分析

3.1  不同处理的对比

通过对比不同角度间隔植株三维点云的个数，可以发现当拍照的间隔小于10°时，点的数量出现明显地增加（表2）。如果对于精度有特殊要求的，可以在拍摄角度小于10°时拍摄。通过对比间隔都为5°的2个不同处理，发现剔除背景后点的数量减少，但非作物的噪声点也大量减少。在植物表型平台内部进行拍摄，可图像的背景色并不是RGB三通道都为0，所以将背景内的黑色转化为三通道都为0的黑色，可以有效地降低外点的数量，实现一个好的重建效果。同时，在对照片进行处理时，需要保证处理后的结果包含照片的Exif信息，否则需要通过其他方法进行相机标定，获得相机的内外参数，然后进行三维重建。

3.2  回归分析

通过对比植物测量叶面积和真实叶面积，得出两者之间的相关系数R为0.95，决定系数R2为0.90（表3）。对于植物模型测量的叶面积与真实面积存在的相关关系进行显著性检验，回归模型在0.05水平上差异显著（表4）。

4  小结

通过对比不同间隔角度情况下重建的三维点云中点的个数，发现在间隔角度小于10°时出现明显增加，对于有精度要求的三维重建可以选择10°以下;通过对比同样间隔角度不同处理后的三维点云结果，发现对图像进行预处理后可以有效减少外点;通过三维模型进行叶面积计算与真实的叶面积存在相关关系，通过三维模型计算的叶面积估计真实的叶面积切实可行。

利用三维模型对作物进行表型测量相较于传统的测量方法是方便快捷的，每次仅需要在最开始时进行破坏性取样，对根据作物模型测量的叶面积与真实叶面积的回归方程进行矫正。但在特征提取上会提取到大量的非感兴趣区域，而且如果对获取的图像进行剔除背景处理又会出现拍照时光线较暗的部分被误删除。

参考文献：

[1] SCHORK N J. Genetics of complex disease—approaches，problems，and solutions[J].Am J Resp Crit Care，1997，156：S103-S109.

[2] 周  济，FRANCOIS T，TONY P，等.植物表型组学：发展、现状与挑战[J].南京农业大学学报，2018，41（4）：580-588.

[3] SANTOS T T，DE OLIVEIRA A A. Image-based 3D digitizing for plant architecture analysis and phenotyping in Embrapa Informática Agropecuária-Artigo em anais de congresso（ALICE）[A].In Proceedings of the Conference on Graphics，Patterns and Images[C].Ouro Preto，Brazil，2012.

[4] 夏春华，施  滢，尹文庆.基于TOF深度传感的植物三维点云数据获取与去噪方法[J].农业工程学报，2018，34（6）：168-174.

[5] 劳彩莲，杨  瀚，李  鹏，等.基于消费级深度相机的玉米植株三维重建[J/OL].http：//kns.cnki.net/kcms/detail/11.1964.S.20190412.

1111.004.html.

[6] MOULON P，MONASSE P，MARLET R.Adaptive structure from motion with a contrario model estimation[A].Computer Vision-ACCV 2012：11th Asian Conference on Computer Vision[C].Daejeon，Korea，2012.

[7] CERRADA C，SALAMANCA S. Moving surface extraction based on unordered hexagonal perfect submaps projection：Applications to 3D feature tracking[J].Image & Vision Computing，2009，27（8）：1083-1096.

[8] MOISAN L，MOULON P，MONASSE P. Automatic homographic registration of a pair of images，with a contrario elimination of outliers[J].Image processing on line，2012，2：329-352.

[9] MOULON P，MONASSE P，MARLET R. Global fusion of relative motions for robust，accurate and scalable structure from motion[A].IEEE International Conference on Computer Vision. IEEE Computer Society[C].2013.

[10] KUTULAKOS K N，SEITZ S M. A theory of shape by space carving[A].The Proceedings of the Seventh IEEE International Conference[C].1999.

[11] 尹良泽，万国伟，王爱平，等.可变Voxel与像素映射相结合的图像建模算法[J].系统仿真学报，2008，20（S1）：359-362.

[12] BOJIAN W，YANG Z，YIMING Q，et al. Full 3D reconstruction of transparent objects[J].ACM Transactions on Graphics，2018， 37（4）：1-11.

[13] FURUKAWA Y. Accurate，dense，and robust multiview stereopsis[A].IEEE Transactions on Pattern Analysis and Machine Intelligence[C].2010.

[14] SCHOELER M，PAPON J，WORGOTTER F. Constrained planar cuts-Object partitioning for point clouds[A].IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE Computer Society[C].2015.

[15] LOWE D.Distinctive image features from scale invariant features[J].International journal of compute vision，2004，60（2）：91-110.

[16] 張浩鹏，魏全茂，张  威，等.基于序列图像的空间目标三维重建[J].北京航空航天大学学报，2016，42（2）：273-279.

[17] 胡鹏程，郭  焱，李保国，等.基于多视角立体视觉的植株三维重建与精度评估[J].农业工程学报，2015，31（11）：209-214.

[18] 仇瑞承，魏  爽，张  漫，等.作物表型组学测量方法综述[J].中国农业文摘-农业工程，2019，31（1）：23-36，55.

[19] 张  漫，苗艳龙，仇瑞承，等.基于车载三维激光雷达的玉米叶面积指数测量[J/OL].http：//kns.cnki.net/kcms/detail/11.1964.s.20190423.1643.008.html.

[20] 徐胜勇，黄伟军，周  俊，等.使用Kinect传感器的油菜叶片面积测量方法[J].中国油料作物学报，2017，39（1）：55-59+77.