基于深度信息的草莓三维重建技术

刘 刚 张 雪 宗 泽 郭彩玲

(中国农业大学现代精细农业系统集成研究教育部重点实验室， 北京 100083)

基于深度信息的草莓三维重建技术

刘 刚 张 雪 宗 泽 郭彩玲

(中国农业大学现代精细农业系统集成研究教育部重点实验室， 北京 100083)

以盆栽和高架两种栽培模式生长环境下的草莓植株为研究对象，提出了一种基于深度信息分割聚类的草莓冠层结构形态三维重建算法。首先，以深度信息的不连续性特征作为草莓植株逐层分割的重要依据，以深度二维图像作为全局参考指标，提出深度信息步进方法，自动提取冠层点云；其次，改进密度聚类算法，有效滤除随机、跳边和背景噪声；最后，改进基于Harris算子的多源图像融合算法，实现彩色图像与强度图像的配准及点云颜色的映射，三维重建出具有颜色信息的草莓冠层结构形态。为验证该算法的有效性，将三维重建后冠层的平均单叶长度及A-B线距离作为评价指标，试验结果表明，模型的平均单叶长度计算正确率为93%左右，A-B线距离计算正确率为97%左右，研究结果可为草莓采摘机器人果实识别过程中枝叶空间结构关系的构建提供技术支持。

草莓冠层； 三维重建； 深度信息； 点云聚类

引言

植物三维建模是农业数字化与可视化研究的重要环节，基于植物的三维建模，一方面可以通过作物形态信息，探索植物的生长发育规律，指导农业生产；另一方面，通过建立植物模型，可对植株枝叶分布特点进行研究，为采摘机器人多目标识别定位提供新的技术支持。

植物三维重建方法可分为3类：实测模型重建法[1-3]、图像恢复法[4-5]和激光扫描法[6-7]。实测模型法技术较成熟，但该方法基于先验知识，数据不够可靠；图像恢复法数据采集方便快捷、适用范围广，但二维恢复三维坐标过程易丢失信息；激光扫描法扫描效率高，但对于植物表面纹理材质要求较高，对密集植物的三维重构需要大量人工交互。

与上述方法相比，基于飞行时间原理(TOF)的深度成像法，能够快速获取场景深度信息，并转换成植物表面三维点云数据。目前已有部分学者利用TOF深度信息进行机器人空间导航[8]、人体动态检测[9]、汽车模型重建[10]等三维重建研究工作，但用于植物三维重建的研究相对较少。LI 等[11]通过建立横向三维结构直方图，自动检测分割盆栽番茄的茎秆，利用L系统重建番茄叶片结构。郭浩等[12]根据彩色图片中像素点与深度点云相关性重建阴香几何拓扑结构，利用OpenAlea建立植物模拟模型，并实现其模拟过程。上述植物重建方法虽能实现某一植物器官的重构，但都是以枝干为特征目标来处理，不适用于蔷薇科的草莓植株。本文以盆栽和高架两种栽培模式生长环境下的草莓植株为研究对象，提出基于深度信息分割聚类的算法，实现对草莓冠层结构形态的三维重建，为草莓植株的几何测量提供一种技术手段，同时也为草莓采摘机器人果实识别过程中枝叶空间结构关系的构建提供技术支持。

1 数据采集及环境描述

将PMD相机(PMD [vision] Camcube3.0)和彩色相机(Logitech C270)构建的异源图像采集平台[13]作为草莓植株异源图像采集装置。PMD摄像机是基于TOF技术的三维成像设备，分辨率为200像素×200像素，时帧速率为40帧/s，视场角为40°，能够实时捕获深度、幅度、强度和标记信息(图1)。彩色相机具备实时获取彩色图像和摄像功能，可获取分辨率为320像素×240像素、640像素×480像素和1 280像素×1 024像素的图像，视场角为60°。

图1 高架栽培模式的草莓植株多源图Fig.1 Multi-source images of overhead strawberry

2 草莓冠层结构形态三维重建

2.1 预处理

PMD相机深度信息存在两类误差，一类是系统误差，主要为摆动误差和边缘误差，可以通过校准实验来解决；另一类是非系统的随机误差[14]，这类问题由于采集环境比较复杂，不确定因素较多，故在后续处理中将这类误差归为噪声进行滤除。为降低系统误差在短距离应用中所产生的噪声，本文设计了一种平面校准方法降低摆动误差，采用幅度阈值去除边缘误差。

平面校准方法首先需要采集0.3～1.3 m范围，单步距离为10 cm的11组白色平面深度图像，测量方法如图2所示。

图2 平面校准Fig.2 Calibration by a plane

选择光照环境良好的墙面，同时为保证采集区域表面的一致性，在采集区域粘贴若干块白纸。利用三脚架的角度控制器保证镜头与墙面垂直。采用多项式拟合的方法建立摆动误差校正模型

(1)

其中

v=(r,c)

(2)

式中r、c——横、纵坐标n——图像编号v——图像坐标索引Dn(v)——第n张图像的深度数值集m——模型未知参数个数pk——多项式参数Ec(Dn(v))——摆动误差较正模型

采用最小二乘拟合法求解多项式中m个未知参数，拟合函数方程为

F(p0,p1，…,pm)=

(3)

式中A(Dn(v),v)——第n张图像的实际深度数值集

F(p0,p1,…,pm)——拟合函数

计算使得式(3)为最小值的参数p0,p1，…,pm,代入式(2)即可得到摆动误差校正模型。

PMD获取的深度信息代表目标物对光线的反射能力，接收的光线越充足，则深度信息越准确。深度信息的置信度和幅度大小存在正相关关系[15]，通过多次反复实验，采用去除幅度数值低于1×103的深度信息，这部分深度信息常常处于整幅图像的边缘，对整体效果影响较小。

2.2 草莓冠层三维点云建模方法

2.2.1 深度信息分层

PMD相机获取的三维点云数据，虽然能够描述三维物体的形状，但是点云数量庞大、具有无序性，且存在由于背景材质复杂所导致的漂移现象[16]。直接利用这些数据进行叶片区域合并，会造成程序运行时间过长，保留粘合背景信息等问题，因此本文拟采用对三维点云进行分层处理的方法。

PMD获取的不连续深度信息，往往对应着不同目标之间的遮挡[17]，故本文提出深度信息步进方法，将不同叶片进行粗分割。该方法的具体步骤如下：

(1)计算植物深度范围H:H=Hh-Hl，其中Hh为背景区域的平均值，Hl为植物区域最小值，背景和植物区域的划分由深度二维图像决定。

(2)根据经验设置步进深度Ds和迭代次数j，j=Round(H/Ds),观察区域为[Hl+jDs,Hh]，计算观察区域点云总数Pi。

(3)若Pi≥Th(Th为阈值),则单独保存该深度范围点云索引。

(4)若Pi

(5)迭代结束，分别显示分层后的各部分点云。

分层算法的使用可对获取的点云数据进行初步调整，得到较好的初始状态，有利于聚类过程中的加速计算及感兴趣区域的准确归类。

2.2.2 区域点云筛选

PMD获取的有效深度信息范围内，存在高密度叶片区域和低密度噪点区域，各类区域具有任意形状。DBSCAN是典型的基于密度聚类的方法，该方法基于密度的联通性分析增长簇，在包含噪声的空间数据库中发现簇[18]。

根据草莓植株散乱点的密度，DBSCAN算法将其分为3类：叶片区域内部点(稠密区域)、叶片边缘点(边界点)和背景噪点(稀疏区域)。植株点云集Q可表示为

Q={q1,q2,…,qi，…，qn|1≤i≤n}

(4)

其中

qi={Px,y,z|x∈R,y∈R,z∈R}

(5)

式中n——点云总数i——点云样本中的一个点x、y、z——空间直角坐标系中点的坐标Px,y,z——第i个点坐标的集合qi——第i点数据的集合

首先需要设置邻域半径Eps及邻域半径内点最小数目MinPts，但该算法对输入参数较敏感，参数选取不同，处理效果差异也较大。因而，本文提出采用Optics算法[19]的排序机制策略，即首先对点云x、y方向进行距离排序，根据2种算法间的转换公式，选取合适的输入参数。

具体区域点云筛选算法流程如图3所示。

图3 点云筛选流程图Fig.3 Flow chart of cloud point filtering

经过去噪后的点云，仅仅包含物体的形态结构信息，但作为植物三维模型，还缺少重要的纹理及颜色相关性状。为建立完整的冠层三维模型，增强模型的视觉效果，还需对彩色图像和点云进行信息融合。

2.3 颜色信息融合方法

由于叶片颜色信息作为叶片叶势分析的重要指标之一[6]，采用多源信息融合方法，可构建具有颜色信息的三维点云模型，增强可视化效果。国内外学者针对植物的多源信息配准融合方法进行了大量研究[20-21]，常用的方法有采用特征点实现角点检测，通过相似性测度及特征点对约束关系进行匹配，最后以配准信息为核心实现坐标转换，从而达到目标融合的目的。这类算法能够很好地实现大型植物多源配准，但不适用于蔷薇科植物。故本文尝试一种基于Harris算子的多源图像配准算法，即首先将PMD采集的强度图和彩色图像，通过Harris算法提取特征点，依据强度相关关系提取12对同名点，再根据像素位置分布，精简为3～6对配准点，将彩色图像进行仿射变换；其次将颜色信息和点云坐标信息转换到统一坐标系，并将像素点位置进行一一对应，以PMD相机坐标系为基准坐标系，将彩色图像的颜色信息赋予对应点云。具体多源信息融合算法过程如图4所示。

图4 多源信息融合算法Fig.4 Algorithm of multi-source information fusing

仿射变换后的彩色图像尺寸为200像素×200像素，与深度图像像素点之间存在一一对应的关系。标记经过区域筛选后的点云深度图像像素点，通过索引关系提取彩色信息，有效地避免了冗余信息删除过程，能更高效地完成具有颜色信息的草莓植株三维形态的重建工作。

3 草莓三维重建算法有效性验证

试验在北京市昌平区草莓博览园进行，试验草莓品种为书香草莓，其植株生长势较强，株态较张开，叶面质地粗糙，有光泽。草莓采用高架模式栽培，每一垄长6 m，宽0.5 m，高1.2 m，垄间距为1 m。利用PMD相机自带软件及Matlab采集数据。为保证视野范围内尽可能包含多株草莓，相机镜头距离叶片约50 cm，每个场景采集3帧三维坐标数据，并保存为.mat文件，用于后续处理。试验场景如图5所示。

图5 试验场景Fig.5 Experimental scene

为验证本文算法的有效性，随机选取一株成熟期高架草莓为例，将采集的3帧深度数据进行平均处理，删除标记信息图像中的误差点。试验硬件环境为Intel core i7,3.4 GHz主频，软件环境为Windows 7操作系统，数据采集软件为Matlab R2015a。

草莓三维重建过程如图6所示。其中图6a是校正后的原始三维点云数据，得到的是顶角为40°的圆锥体，难以分辨出叶片的分布情况。为区分出单个叶片，根据深度信息滤除背景，并将同一区域的点云自动分割，得到分为3层的点云图，如图6b、6d所示。经过分层后可清晰看出叶片的轮廓及形状，同时可以发现每层点云都包含一些噪声，第1层主要是零星的随机噪声点，第2层则包含了上一层与本层的跳边点，第3层为由于背景与叶片信息距离相近所产生的背景噪声。由于这些噪声有一个共同特征，即空间分布散乱且稀疏，因此采用基于密度的聚类方法，可有效减少上述噪点。为得到更多点云信息，需要把点云与颜色一一对应，将经过彩图信息和PMD强度图像信息同名点配准(图6g)、融合后的图像(图6h)颜色信息部分赋予点云。经过聚类的分层彩图如图6e和图6f所示，最终完成的效果图如图6i所示。由此可以看出，本文提出的重建方法有效地将叶片从背景和遮挡中分离，实现了草莓植株结构形态的三维重建，同时从彩色图像中获取了每个点的颜色信息，增强了视觉效果及模型意义。

图6 草莓三维重建Fig.6 Reconstruction of strawberry canopy

图7 盆栽和高架草莓植株建模过程图Fig.7 Reconstruction procedure of pot and overhead strawberry crown

图7是利用本文基于深度信息的草莓植株重建算法，分别对盆栽草莓和高架模式栽培草莓进行建模后的效果图。为进一步验证本文重建方法的有效性，从两种栽培模式条件下的草莓三维重建模型中，定义模型的空间点数量、有效叶片数、平均单叶长度及A-B线距离等参数，作为评价指标，分别与实际测量值进行对比，对比结果如表1所示。A-B线距离是人为随机选取的一段距离，用红色线段在彩色图像中标注出，为两片叶片中心距。单叶长度为图像中最大叶片的单叶长度均值，实际值利用毫米尺手动测量。从表1可以看出盆栽和高架草莓平均单叶长度重建正确率在93%左右,A-B线距离重建正确率在97%左右，表明基于深度信息的草莓三维重建方法能够满足草莓采摘机器人多目标识别过程中枝叶结构关系研究的需求。

表1 实测值与重建计算值对比

4 结论

(1)提出了一种基于深度信息分割聚类的草莓植株三维重建算法。通过点云自动分割，有效地将背景区域分离，获得了独立分布、相关性高的叶片三维点云；通过改进的密度聚类算法，删除了随机、跳边等噪声信息；最后通过建立仿射变换后彩色图像与点云间索引关系，完成了草莓植株三维结构形态着色。

(2)以盆栽和高架栽培模式下的草莓植株为试验对象，使用基于深度信息分割聚类的草莓植

株三维重建算法构建其三维结构模型。该模型单叶长度计算正确率为93%左右，A-B线距离正确率为97%左右，模型构建结果表明该算法能够有效地实现草莓三维模型重建，可为草莓采摘机器人果实识别过程中枝叶空间结构关系的构建提供算法支持。

(3)本文所提出的草莓植株三维模型重建算法适用于株态张开，枝叶结构相对简单的成熟期草莓。对于株态紧凑，叶片层次不清晰的草莓效果还不够理想，对密植条件下复杂结构的成熟期草莓进行三维建模需进一步研究。

1 袁晓敏，赵春江，温维亮，等. 番茄植株三维形态精确重构研究[J/OL]. 农业机械学报, 2012,43(12): 204-210. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20121237&flag=1. DOI：10.6041/j.issn.1000-1298.2012.12.037. YUAN Xiaomin, ZHAO Chunjiang, WEN Weiliang,et al.Detailed modeling of 3-D configuration of tomato plant[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2012,43(12): 204-210. (in Chinese)

2 胡春华，李萍萍，朱咏莉. 基于Levenberg-Marquardt算法的杨树枝干建模[J/OL]. 农业机械学报, 2014,45(10): 272-276. 2.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20141042&flag=1. DOI：10.6041/j.issn.1000-1298.2014.10.042. HU Chunhua, LI Pingping, ZHU Yongli. Poplar branch and trunk modeling based on Levenberg-Marquardt[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2014,45(10): 272-276. (in Chinese)

3 张建，李宗南，张楠，等. 基于实测数据的作物三维信息获取与重建方法研究进展[J]. 华中农业大学学报,2013, 32(4): 126-134. ZHANG Jian, LI Zongnan,ZHANG Nan, et al. Advances in 3D information collection and reconstruction of crop based on the measured data[J].Journal of Huazhong Agricultural University, 2013, 32(4): 126-134. (in Chinese)

4 杨亮，郭新宇，陆声链，等. 基于多幅图像的黄瓜叶片形态三维重建[J]. 农业工程学报, 2009, 25(2): 141-144. YANG Liang, GUO Xinyu, LU Shenglian,et al. 3D morphological reconstruction of cucumber leaf based on multiple images[J]. Transactions of the CSAE, 2009, 25(2): 141-144. (in Chinese)

5 TAN P, FANG T, XIAO J, et al. Single image tree modeling[C]. ACM Transactions on Graphics (TOG), ACM Paper 108,2008.

6 PAULUS S, SCHUMANN H, KUHLMANN H, et al. High-precision laser scanning system for capturing 3D plant architecture and analysing growth of cereal plants[J]. Biosystems Engineering, 2014, 121: 1-11.

7 王勇健，温维亮，郭新宇，等. 基于点云数据的植物叶片三维重建[J]. 中国农业科技导报, 2014, 16(5): 83-89. WANG Yongjian, WEN Weiliang, GUO Xinyu, et al. Three-dimensional reconstruction of plant leaf blade based on point cloud data[J]. Journal of Agricultural Science and Technology, 2014, 16(5): 83-89. (in Chinese)

8 STAHLSCHMIDT C, GAVRIILIDIS A, ANTON K. Posture independent stair parameter estimation[C]∥2015 IEEE International Symposium on Intelligent Control (ISIC), 2015: 65-70.

9 SCHWARZ L A, MKHITARYAN A, MATEUS D. Human skeleton tracking from depth data using geodesic distances and optical flow[J]. Image and Vision Computing, 2012, 30(3): 217-226.

10 CHAI X, WEN F, CAO X, et al. A fast 3D surface reconstruction method for spraying robot with time-of-flight camera[C]∥2013 IEEE International Conference on Mechatronics and Automation, 2013: 57-62.

11 LI D, XU L, TAN C, et al. Digitization and visualization of greenhouse tomato plants in indoor environments[J]. Sensors, 2015, 15(2): 4019-4051.

12 郭浩，戈振扬，蒋海波，等. 基于体着色的植物构型三维重建和可视化模拟[J]. 农业工程学报, 2010,26(10): 195-200. GUO Hao, GE Zhenyang, JIANG Haibo,et al. Three dimensional reconstruction and visual modeling of plant architecture based on voxel coloring[J]. Transactions of the CSAE, 2010,26(10): 195-200. (in Chinese)

13 周薇,冯娟,刘刚,等. 苹果采摘机器人中的图像配准技术[J]. 农业工程学报, 2013,29(11): 20-26. ZHOU Wei，FENG Juan，LIU Gang, et al. Application of image registration technology in apple harvest robot[J]. Transactions of the CSAE, 2013,29(11): 20-26. (in Chinese)

14 FOIX S, ALENYA G, TORRAS C. Lock-in time-of-flight (ToF) cameras: a survey[J]. IEEE Sensors Journal, 2011, 11(9): 1917-1926.

15 FUCHS S M S. Calibration and registration for precise surface reconstruction with TOF cameras[J]. International Journal of Intelligent Systems Technologies and Applications, 2008, 5(3-4): 274-284.

16 何东健,邵小宁,王丹,等. Kinect获取植物三维点云数据的去噪方法[J/OL]. 农业机械学报, 2016,47(1): 331-336. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160145&flag=1. DOI：10.6041/j.issn.1000-1298.2016.01.045. HE Dongjian, SHAO Xiaoning, WANG Dan,et al. Denoising method of 3-D point cloud data of plants obtained by Kinect[J/OL]. Transactions of the Chinese Society for Agricultural Machinery,2016, 47(1): 331-336. (in Chinese)

17 皮志明,汪增福. 基于深度图及支撑分析的图像分割[J]. 小型微型计算机系统, 2014,35(6): 1342-1347. PI Zhiming，WANG Zengfu. Image segmentation based on depth map and support analysis[J]. Journal of Chinese Computer Systems, 2014, 35(6): 1342-1347. (in Chinese)

18 DASZYKOWSKI M, WALCZAK B, MASSART D L. Looking for natural patterns in data: part 1. density-based approach[J]. Chemometrics and Intelligent Laboratory Systems, 2001, 56(2): 83-92.

19 DASZYKOWSKI M, WALCZAK B, MASSART D L. Looking for natural patterns in analytical data. 2. tracing local density with optics[J]. Journal of Chemical Information and Computer Sciences, 2002, 42(3): 500-507.

20 周薇,刘刚,马晓丹,等. 不同生长时期果树多源图像的配准方法研究[J]. 光学学报, 2014, 34(2): 177-183. ZHOU Wei,LIU Gang, MA Xiaodan,et al. Study on multi-image registration of apple tree at different growth stages[J]. Acta Optica Sinica, 2014, 34(2): 177-183. (in Chinese)

21 马晓丹. 苹果树冠层光照分布计算方法研究[D]. 北京: 中国农业大学, 2015. MA Xiaodan. Calculation of light distribution to apple tree canopy[D]. Beijing: China Agricultural University, 2015. (in Chinese)

3D Reconstruction of Strawberry Based on Depth Information

LIU Gang ZHANG Xue ZONG Ze GUO Cailing

(KeyLaboratoryofModernPrecisionAgricultureSystemIntegrationResearch,MinistryofEducation,ChinaAgriculturalUniversity,Beijing100083,China)

With the development of 3D acquisition devices, 3D modeling method emerges in endlessly. In recent years, 3D reconstruction based on real data is focused on scanning and TOF imaging method. The main drawback of the former is that needs extensive man-machine interaction. The latter can transform a wide range of scene depth information into plant 3D point cloud data in a short time. Most plant reconstruction method based on TOF technology is center on brance structure, but for herbaceous plant, leaves are not easy to operate. So a 3D model reconstruction algorithm was presented based on depth information segmentation and clustering for potted and elevated strawberry. Firstly, the algorithm took discrete depth information as a significant reference standard for object segmentation while taking the depth-dimensional image as a global reference standard to extract discrete point cloud through depth stepping. Then, the algorithm used clustering algorithm based on density to filter out random noise, jump-edge noise as well as background noise. By applying Harris algorithm between color image and the intensity image, a robust registration result was got and an index relationship between point cloud and pixel points was found. Ultimately, 3D strawberry canopy morphology with full color information was reconstructed after following all those steps. Experimental results showed that the algorithm had achieved good effects on segmentation clustering and coloring for potted and elevated strawberry leaves. The accuracy of single-leaf length was around 93% whileA-Bline accuracy was close to 97%, which indicated that the reconstructed model accuracy met the requirements of phenotypic parameters extraction. The 3D model can provide a new strategy for picking robot in spatial structure research domain.

strawberry canopy; 3D reconstruction; depth information; point cloud clustering

10.6041/j.issn.1000-1298.2017.04.021

2016-07-26

2016-08-16

国家高技术研究发展计划(863计划)项目(2013AA102406)

刘刚(1966—)，男，教授，博士生导师，主要从事电子信息技术在农业中的应用研究，E-mail： pac@cau.edu.cn

TP391; S24

A

1000-1298(2017)04-0160-06