基于消费级深度相机的玉米植株三维重建

劳彩莲 杨 瀚 李 鹏 冯 宇

(1.中国农业大学现代精细农业系统集成研究教育部重点实验室， 北京 100083；2.中国农业大学农业农村部农业信息获取技术重点实验室， 北京 100083)

0 引言

近年来，随着计算机和信息技术的发展，对作物三维点云模型的研究逐步成为国内外农业研究领域的重点和热点[1-5]。利用三维重建技术构建精确真实的植物三维形态模型，对于科学指导农作物的智能化管理以及作物表型的无损测量具有重要意义[6-8]。

获取三维点云数据是三维重建的第1步，选择合适的点云数据获取工具尤为重要。随着计算机软硬件、激光、CCD、PSD等技术的飞速发展，对数字图像处理、计算机视觉理论研究的深入，基于计算机视觉理论的三维信息获取技术成为该领域技术发展的主流。根据文献[9]对三维结构信息获取技术的研究, 激光扫描仪和普通数码相机是获取三维信息比较常用的设备。其中，激光扫描仪的精度高，能捕获到较多细节，但设备体积大，价格昂贵；而数码相机目前难以满足实时性的要求。现代消费级深度(RGB-D)相机价格低廉、帧速率高，可以提供密集的深度估算。按原理RGB-D相机主要分为两类，一类是基于结构光的原理[10]，如微软的Kinect v1型和华硕的Asus Xtion Pro型；另一类是基于TOF(Time of flight) 技术[11]，如微软的Kinect v2型。消费级RGB-D 扫描设备或深度相机的普及，为复杂物体的三维重建提供了更多手段，并且因其廉价、轻巧(质量是数码相机的一半) 的特点，而得到广泛的研究和应用[12-15]。

点云配准是基于计算机视觉实现三维重建的关键步骤。对于纹理比较丰富的物体，常利用颜色信息提取关键点实现点云的配准，比如文献[16]用Kinect相机获取不同视角下植株彩色图像和深度图像，合成原始植株彩色点云，完成配准。文献[17]提取彩色图像匹配点，并根据彩色图像特征点与三维点云之间的关系得到三维特征点，然后通过奇异值分解完成初始配准。对于纹理不丰富的物体，方法一是通过在植物周围放置标记物，作为点云配准的检测点。如文献[18]在玉米植株周围悬挂标定物，通过配准标定物来间接配准玉米。文献[19]将玉米植株放置在贴着棋盘格的地面上，通过检测棋盘格的角点来辅助玉米的三维重建。方法二是通过标定转盘与相机的关系，通过转动转盘实现点云配准。如文献[20]利用EM-ICP算法标定转盘与相机的关系。文献[21]首先将彩色相机与深度相机进行配准，然后在转盘上铺上棋盘格，借助彩色相机寻找特征点完成点云配准。对于点云结构特征比较明显的物体，可以根据点云结构提取物体特征点，实现点云配准。如文献[22]通过归一化对齐径向特征算法搜寻点云关键点，并使用快速点特征直方图描述子计算关键点处的特征向量，然后实现点云配准。可见，传统的基于计算机视觉的三维重建方法需要提取特征点，并使用ICP算法实现点云拼接。这常需要彩色相机或其他工具进行辅助，而植物的特征点受遮挡等因素的影响而不易提取，这种从被测物体上寻找特征点实现点云配准拼接的方式应用在植物上稍显困难。

本文提出基于消费级深度相机的植物三维重建方法，只需通过外部标定做一次相机姿态的配准，不需要从被测植物上寻找配对的特征点，以解决植物特征点不易提取、影响三维重建效果的问题。

1 实验材料和方法

1.1 实验材料

本文采用的实验材料是3棵高度分别为1、1.4、1.9 m的玉米植株塑料模型，如图1所示。

图1 实验用玉米植株塑料模型Fig.1 Plastic model of corn plant for experiment

1.2 系统组成

1.2.1Asus Xtion Pro简介

结构光深度相机Asus Xtion Pro是华硕公司研发的一款深度相机,使用PrimeSense公司的深度感知技术, 即结构光技术。 Xtion设备的核心部件包括红外线激光发射器、红外线激光接收器、处理芯片PS1080等部分。此外还包括1个RGB摄像头、2个麦克风，如图2所示。其功耗低于2.5 W，数据线接口的类型为USB2.0，支持的平台有Windows、Ubuntu、Android。

图2 Xtion Pro深度相机Fig.2 Xtion Pro depth camera1、5.麦克风 2.红外线激光发射器 3.红外线激光接收器 4.RGB彩色摄像头

Xtion Pro的有效距离是0.4～3.5 m，水平视角58°，垂直视角45°，对角线视角70°，分辨率为320像素×240像素。

1.2.2实验装置

三维重建系统主要包括3个设备: Xtion Pro深度相机、旋转云台和便携式计算机，如图3所示。其中，旋转平台的旋转角可精确控制。

图3 三维重建系统Fig.3 3D reconstruction system1.云台 2.三脚架 3.深度相机 4.带USB3.0接口的便携式计算机

1.3 基本原理

三维重建的基本原理公式为

(1)

其中

fx=f/dxfy=f/dy

式中zc——比例因子

u、v——像素坐标值f——焦距

dx——单个像素横坐标方向的长度

dy——单个像素纵坐标方向的长度

u0、v0——像素中心坐标值

T——外部参数矩阵

Xw、Yw、Zw——世界坐标系下的坐标值

三维重建过程主要包括两部分：①深度相机的内部参数标定。经过内部参数标定，即可求出系数fx、fy和u0、v0，则相机坐标系下的点云可求。②点云配准。经过配准，可以求取相机坐标系和世界坐标系之间的外部参数矩阵T，则相机坐标系下的点云可转换到世界坐标系中。

1.4 深度相机内部参数标定及畸变矫正

1.4.1内部参数标定

本文的三维重建只用到深度信息，因此只需要对红外摄像头进行标定。针对Xtion Pro深度相机，采用张正友标定法[23]进行标定。对使用深度相机获取的25幅不同角度的红外图像进行标定，所选的25幅图像应尽量分布于相机视野内的每个位置，如图4所示。经过内部参数标定可求出系数fx、fy、u0、v0。

图4 用于标定的棋盘格图片Fig.4 Checkerboard picture used for calibration

1.4.2深度畸变矫正

深度相机的深度畸变表现在，随着测量距离的增大，所测得的深度值偏离实际值。在深度相机的深度畸变矫正方面，许多学者进行了深入研究，如文献[24]利用机器学习计算出每个像素对应的相机读取的深度和实际距离的比值, 以实现矫正, 并用激光扫描仪进行对比评估。文献[25]提出一种基于可视SLAM系统的深度在线标定方法。文献[26]通过对流形的联合自适应正则化和阈值化对RGB-D相机数据进行深度恢复。文献[27]利用两台计算机和两台Kinect相机搭建数据获取平台，两台Kinect相机深度信息的相互辅助，为系统误差提供补偿。文献[28]提出一种考虑空间和热影响的深度精确标定方法。文献[29]利用激光扫描仪的测量数据为深度相机提供参考，以实现深度畸变矫正。本文主要参考文献[29]提出的方法进行深度畸变矫正。该方法需要保持深度相机姿态不动的前提下，水平移动深度相机。为了保持相机运动的平稳性，搭建了图5所示的深度测量装置。

图5 深度畸变矫正测量装置Fig.5 Depth distortion correction measuring device1.滑轨 2.深度相机 3～5.步进电机

1.5 点云配准矩阵

点云配准的主要思想是，将最后一个角度获取的点云n视为世界坐标系下的点云，其他视角下的点云都将以点云n为基准进行拼接，相邻两片点云之间的旋转角度是θ，见图6。将不同方向获取的点云，按照转盘的旋转角θ拼接在一起，而θ是人为规定的，其对应的矩阵T可求。则不同角度下获取的点云有如下关系

(2)

式中Pworld——世界坐标系下的最终三维点云

Pi——第i个点云

图6 深度相机拍摄过程示意图Fig.6 Schematic of depth camera shooting process

图6中，点云逆时针旋转θ(任意值，本文定为22.5°)对应的矩阵T为所求。假定点云1位于坐标系1下，点云2位于坐标系2下，取坐标系1中的点集p1，并找到它们在坐标系2对应的点集p2，然后利用奇异值分解计算矩阵T。本文通过一个棋盘格来寻找点集p1和p2，具体过程为：

(1)将棋盘格置于转盘上，然后分别获取一幅红外图像和一幅深度图像。

(2)对红外图像进行角点检测，根据角点在红外图像中的位置找到其在深度图像中的位置(由于红外图像与深度图像是同一个摄像头获取的，所以棋盘格角点的位置在红外图像与深度图像中相同)，并根据深度相机内部参数系数计算角点在空间中对应的点云，然后将这些点云归入点集p1。

(3)不改变棋盘格与转盘的相对位置，将转盘旋转θ，然后重复步骤(2)的操作过程，但是计算所得点云归入点集p2。

(4)多次改变棋盘格的姿态，任意两个姿态都不应重叠，且棋盘格应尽量出现在测量范围内的每个空间。然后重复步骤(1)～(3)，最终得到点集p1以及p2。注意，点集中的点应尽量分布在整个测量空间。

(5)对p1和p2通过奇异值分解求矩阵T。

1.6 植株三维重建步骤

1.6.1植株点云数据获取与拼接

将植株放在转盘上，每旋转θ获取一幅深度图像，直至旋转完一周，得n幅深度图像。对每幅深度图像，利用深度相机内部参数矩阵计算出对应点云，然后根据计算所得矩阵T和式(2)，实现点云拼接。

1.6.2点云滤波

先使用直通滤波器提取出只包含玉米的区域，然后利用统计滤波器对点云进行滤波。统计滤波器采用文献[30]提出的K-nearest方法对点云数据进行滤波去噪。该方法计算每个点云到其k个邻近点的平均距离d、全局平均距离μ和标准差σ，将d>μ+σ的点视为噪声点，从点云数据中删除。其中，参数α与搜索邻近点个数k有关，经过多次测试并结合文献[31]，本文设定k值为10，α为5。

2 结果分析

2.1 标定

根据图4中用于标定的红外图像，利用张正友标定法标定后，得内部参数系数为：fx=285.92像素，fy=286.10像素，u0=162.91像素，v0=124.21像素。

2.2 深度畸变矫正结果

使深度相机垂直于平整的墙面，获取不同距离的墙面点云。将深度矫正前后，不同距离的墙面点云沿着三维空间的y轴一同显示, 见图7。对比矫正前后的同一距离的平面点云可知, 矫正后点云的畸变基本消除。

图7 矫正前后对比Fig.7 Comparison charts before and after correction

2.3 点云配准矩阵计算

当转盘旋转θ时，矩阵T为

(3)

矩阵T只需要求解一次，以后在进行点云配准时，只需每次都旋转θ拍摄，再结合式(2)即可完成点云拼接。

2.4 植株点云数据获取与处理

16个不同角度获取的点云如图8所示。

图8 不同角度获取的玉米点云Fig.8 Corn point clouds from different angles

将16个角度的玉米点云拼接，再经过直通滤波和统计滤波后，如图9所示。可见，滤波后叶片周围的点云噪声明显减少。

图9 玉米点云图Fig.9 Corn point clouds

2.5 效果分析

从配准、重建效果、效率和鲁棒性几方面对本系统进行分析。分别用商业软件Skanect和本系统对不同的3棵玉米植株进行了实验，重建所得点云模型如图10所示。

图10 不同大小玉米植株的重建效果Fig.10 Reconstruction effects of maize plants of different sizes

2.5.1点云配准

本文提出的方法，预先标定好配准变化矩阵，不依赖于被测植株上的特征点，只需要进行一次配准。所以，即使被测植株特征点较少，叶片遮挡较为严重，也可以得到较好的配准效果。

而传统的点云配准如ICP算法，比较依赖于植株上的特征点，特征点寻找得越准确，配准效果就越好。但玉米植株比较纤细，且容易发生遮挡，不利于特征点的提取，容易导致配准失败。

2.5.2点云模型还原度

玉米叶尖部分比较纤细，容易被当作噪声过滤掉。本文的三维点云模型获取方法，能较完整地保留玉米植株叶尖的信息，质量较好。利用meshlab软件，分别对商用软件Skanect和本系统获取的玉米三维网格模型的相同部位叶片的长度进行测量，并与实际长度进行比较，结果如表1所示。通过与商用软件Skanect的获取结果进行比较可知，Skanect获取的玉米三维点云模型叶片比较残缺，叶尖信息丢失严重，与实际叶片长度相差较多，整个点云模型还原度较低，品质较差；而本文方法获取的三维点云模型叶片比较完整，叶尖信息保存完好，叶片长度与实际情况比较接近，点云还原度较高，品质较好，更适合于进一步做植物表型的研究。

表1 玉米网格模型叶片长度和实际叶片长度对比Tab.1 Comparison of leaf length between corn grid model and actual corn cm

2.5.3获取效率

系统在运行前，要预先对系统进行标定，获取转盘旋转角θ对应的配准变化矩阵，此过程大约需要10 min，仅需进行一次。仅考虑系统扫描的时间，分别用Skanect和本系统获取3棵玉米植株的点云模型，扫描时间见表2。由于帧与帧之间需要寻找特征点，随着植株变大，为了能更全面地扫描玉米，Skanect的扫描时间需要更长；而本文方法的扫描时间主要消耗在转盘的转动以及每个角度停下来获取深度图像的过程上，整体比Skanect快。

表2 系统扫描时间Tab.2 Scanning time of system min

2.5.4系统鲁棒性

本系统具有较强的鲁棒性。由图10可知，与Skanect相比，本文方法对3棵不同大小的玉米植株均有较好的重建效果，展现了较好的鲁棒性。

3 结论

(1)本文重建方法点云配准只需进行一次，稳定性强。传统的点云配准算法，如ICP等，都需要寻找特征点，而植物由于叶片遮挡等问题，特征点不易提取，很容易导致误配准，影响三维重建。

(2)重建的效果好，还原度高。消费级深度相机受硬件性能限制，深度信息存在畸变。本文通过预先对相机进行深度畸变矫正，使得深度信息更准确，重建效果更好，具体表现在叶片更薄、叶尖更完整。

(3)与商业软件Skanect相比，本文方法效率更高。Skanect通过寻找特征点的方式实现点云拼接。由于帧与帧之间需要寻找特征点，随着植株变大，为了能更全面地扫描玉米，Skanect的扫描时间需要更长。而本文方法不受寻找特征点这一步骤的约束，可以更快完成扫描。

(4)系统的鲁棒性更高。本系统对3棵不同高度的玉米植株均有较好的重建效果，表现了较好的鲁棒性。