基于Xtion传感器的玉米果穗三维形态指标测量系统

王 可， 戈振扬， 郭 浩, 张皓然， 陈 林， 全天惠

(1.昆明理工大学 现代农业工程学院，云南 昆明650500； 2.中国农业大学 农业部农业信息获取技术重点实验室，北京 100083)

基于Xtion传感器的玉米果穗三维形态指标测量系统

王 可1， 戈振扬1， 郭 浩2, 张皓然1， 陈 林1， 全天惠1

(1.昆明理工大学 现代农业工程学院，云南 昆明650500； 2.中国农业大学 农业部农业信息获取技术重点实验室，北京 100083)

为了快速无损测量玉米果穗三维形态指标，设计了一种基于Xtion传感器的玉米果穗三维形态指标测量系统。采用Xtion配合电动转台采集多视角玉米果穗点云数据，利用ICP配准方法对完整果穗点云数据进行配准拼接，采取泊松重建方法对配准后的点云数据进行三维重建，最后利用散度原理进行果穗体积的计算。结果表明：测得的体积值与其真实值之间的误差在9 %之内。该方法为自动化玉米果穗三维形态指标测量提供了切实可行的新途径。

Xtion； 点云； 自动化； 玉米果穗； 三维重建； 测量

0 引 言

玉米是我国主要粮食作物之一，其果穗形态指标获取是玉米栽培、育种、新品种测试过程中进行品质评估的重要环节[1]。因此，研究一种快速准确的玉米果穗形态指标测量方法具有重要意义。

玉米果穗形态指标获取目前常用的方法仍然是传统的手工测量，但该方法存在效率低，误差大等缺点。随着数字图像处理技术的发展，很多学者投入到基于二维图像处理的玉米形态指标获取应用研究。该方法具有操作简单、测量准确等优点。为减少多幅图像拼接产生的重叠，利用一幅全景图像实现了玉米果穗形态指标检测[2]。为了达到玉米自动化考种的要求，利用背景板比例尺实现了玉米果穗图像特征的精确测量[3]。为对玉米进行品质分析，利用PC摄像头连续采集转台上的玉米果穗图像，实现了玉米果穗参数的快速检测[4]。但上述方法由于二维图像技术本身的限制，无法获得体积等三维形态指标，而果穗三维形态指标的准确测量对于果穗生长诊断，果穗变异选择等相关研究具有重要意义[5]。

与二维图像技术不同，三维图像技术可以获取三维相关的尺寸参数。利用双目立体视觉系统可以实现玉米果穗的三维重建，对玉米三维形态指标进行测量[6]，但在计算时间上难以满足大量玉米考穗测量的需求。随着光电技术发展，三维点云获取与处理技术已较普及，现有的激光或其他点云获取设备可对物体三维形态指标进行测量[7]，但其成本较高，难以在农业生产实际应用。近期有学者利用低成本的点云采集设备已经实现了植物的体积测量[8]。为此，本文提出一种基于Xtion传感器的玉米果穗三维形态指标测量系统，该系统利用点云处理技术，实现了玉米果穗三维形态指标的快速，准确测量。

1 测量系统的软硬件组成

测量系统主要由五部分组成，分别为计算机、Xtion传感器、控制器、支架与转台。测量系统的数据采集设备选取基于结构光技术的传感器Xtion，其光学相关设备主要由三部分构成，一个红外线发射器、一个红外摄像头、一个RGB摄像头。该设备通过红外相关设备，获取深度信息，其深度图像获取方法的核心是光编码技术[9]。本实验选取的具体型号为Xtion PRO LIVE，华硕制造，量程0.8～3.5 m，采集距离2 m条件下X，Y方向3.4 mm、Z方向12 mm。利用配有英特尔 HD Graphics 3000显卡、4 G内存、Intel i5 处理器的笔记本作为控制和计算用计算机。软件由Window 7操作系统，OpenNI 1.5.4，Eigen3.0.5，FLANN1.7.1，Microsoft Visual C++ 2010配置好的开发平台实现。其中OpenNI，Eigen，FLANN是进行点云处理所需的接口库。硬件系统组成结构示意图如图1所示。

图1 硬件系统组成示意图

测量系统软件的算法流程如图2所示。

图2 果穗体积测量算法的点云处理流程

2 多视角玉米果穗点云获取

为了获取完整的玉米果穗点云，将玉米果穗垂直置于电动转台中心，将Xtion固定在三角架上，以俯视角约30°对准果穗，利用控制器控制转台以固定角度转动，每转动一次，系统采集一个侧面的果穗点云图像，直到果穗旋转一周，获取不同侧面的果穗点云为止。因为后期需对多视角下的玉米果穗点云进行配准拼接，所以，应恰当选择玉米果穗的旋转角度，旋转角度过小，将导致配准误差的累积，角度过大，则会导致匹配点集的减少，从而影响最终的配准效果，本文的旋转角度选取为45°。

由于日光中近红外线对Xtion本身发出的近红外线的干扰作用，在阳光直射的情况下，采集的玉米点云数据会出现部分或全部缺失，所以，该系统选取室内条件下进行数据采集。

3 果穗点云处理与体积计算

3.1 多视角果穗点云配准

玉米果穗的三维重建和体积计算都是在多视角点云图像拼接的基础上进行的，本文使用ICP算法实现点云的拼接[10]。

随机选取两组待配准点集，要求该两组点集具有重叠区域，记为Q={qi∈R3,1≤i≤n}和P={pi∈R3,1≤i≤m},n>m,坐标系分别为C2，C1。对应于集合P中的每一点，找到集合Q中与之对应的最近点，记为点集U={ui∈R3,1≤i≤m}。点集P和点集U的中心为

(1)

接下来进行旋转矩阵R和平移矩阵t的求解。首先计算P和U之间的协方差矩阵S

(2)

利用奇异值分解方法对S进行分解，得到S=NMVT，如果rank(S)≥2，则可以得到旋转矩阵R=VNT，根据公式U=RP+t，得到平移矩阵t=U-RP。

(3)

式中T为变换矩阵。

利用变换矩阵，可以得到最终配准后的点云数据为A，该矩阵在C1坐标系下

A=P+TQ,

(4)

式中TQ将Q中所有点经过T从C2变换到C1下，然后将点集P和TQ进行并操作，最终变换到同一坐标系C1下，两组点集即完成了配准对齐。对余下各视角的点集依次进行配准操作，即完成了完整果穗点云的拼接。

3.2 果穗点云三维重建

为了对玉米果穗体积进行计算，需要对玉米果穗点云进行三维重建。本文采取泊松重建方法进行果穗点云的三维重建[11]。

假设输入点集为R，定义八叉树O，对输入点集R建立八叉树拓扑关系，将输入点集R加入到八叉树中，细分八叉树使每个点采样都落在深度D的叶节点，其中,深度D决定了重建的层次和深度，本研究选取D值为6。

然后对八叉树的每个节点o∈O，定义节点函数Fo

(5)

式中o.c为节点o所在包围盒的中心；o.w为包围盒的尺寸；其中,函数F为函数空间的基函数，定义如下

F(x,y,z)=(B(x)B(y)B(z))*n.

(6)

其中

(7)

式中x，y，z为点集R中任一点的坐标，B(t)为包围盒滤波函数，n为滤波器的阶数，这里取3。

接下来计算指示函数χ的梯度场近似值为

(7)

其中,r为输入点集R中任一点的K近邻区域；NbD(R)为任一节点o的K近邻区域中深度为D的8个节点；∂为线性系数，Fo为o点的节点函数，No为o点的顶点法向量。

根据方程(6)得到向量场后，利用指示函数χ的梯度场Δχ与点云内法线决定的向量场V之问的等价性建立泊松方程

(9)

最后采用拉普拉斯矩阵迭代计算指示函数c，根据MC算法从指示函数中提取等值面，进而拼接三角面片，完成表面重建。

3.3 玉米果穗体积计算

根据玉米果穗三维重建结果，利用散度原理，果穗体积V用式(10)进行计算

(10)

式中n为果穗三维重建结果中三角网格数量；Δai为果穗三维重建结果中第i个网格面积，该网格面积利用海伦公式进行计算；nxi，nyi，nzi分别为第i个网格中x，y，z方向的单位法向量；xi，yi，zi分别为第i个网格中x坐标，y坐标，z坐标的均值。kx，ky，kz为权重系数，满足kx+ky+kz=1。其中

kx=(Wx+(Wxyz/3)+((Wxy+Wxz)/2))/n,

(11)

ky=(Wy+(Wxyz/3)+((Wxy+Wyz)/2))/n,

(12)

kz=(Wz+(Wxyz/3)+((Wxz+Wyz)/2))/n,

(13)

式中Wx为果穗三维重建结果n个网格中，满足nxi>nyi且nxi>nzi条件的网格数量；Wy为满足nyi>nxi且nyi>nzi条件的网格数量；Wz为满足nzi>nxi且nzi>nyi条件的网格数量；Wxyz为满足nxi=nyi=nzi条件的网格数量；Wxy为满足nxi=nyi且nxi>nzi条件的网格数量；Wxz满足nxi=nzi且nxi>nyi条件的网格数量；Wyz为满足nyi=nzi且nzi>nxi条件的网格数量。

4 实验结果与讨论

4.1 玉米果穗配准拼接与三维重建结果

为了演示玉米果穗配准拼接与三维重建结果，应用该系统对果穗进行测试。图3分别为果穗实物图，单一侧面点云，拼接结果，网格模型和三维重建结果。结果显示，在室内避光条件下，该系统能获得精确、稳定的拼接结果，并能够从拼接后的点云数据中重建出较高精度的玉米果穗网格曲面模型。

从重建结果可以看出：所重建的果穗几何形状在底部与真实果穗差异较大，这是因为Xtion在采集玉米果穗点云数据时，靠近转台的果穗底部点云数据无法采集，造成了果穗的数据缺失，但是,泊松重建算法的输出是一个闭合曲面，所以,会自动生成一些面片顶点构成封闭曲面，而这些顶点并不存在，因此,会发生形状畸变。

图3 玉米果穗实验结果

4.2 玉米果穗三维形态指标测量误差分析

为了验证该测量系统的准确性，利用测得的体积值与实际体积值进行对比分析，果穗的实际体积值利用排水法进行测量，所用量筒规格为：量程为50 mL,精度为1 mL。对比结果如表1所示。由于果穗的样本表面积难以测量，所以未对果穗表面积值进行误差分析。

从表1可以看出：与排水法比较，该系统测得的体积值与真实体积值之间的误差不大于9 %。此结果的误差主要由三部分组成：配准拼接等点云相关操作带来的误差；Xtion传感器获取数据本身的误差；系统获取数据缺失导致的误差。

表1 玉米果穗体积误差分析

5 结 论

本文提出一种基于Xtion传感器的玉米果穗三维形态指标测量系统，讨论了其硬件结构与软件系统。果穗拼接与重建结果表明：在室内避光条件下，该系统能够获得精确、稳定的拼接结果，并能够从拼接后的点云数据中重建出较高精度的玉米果穗网格曲面模型。测量结果表明:该系统体积测量相对误差在9 %之内，可满足多数情形下玉米考种三维形态指标测量应用。该测量系统可以为自动化、规模化考种提供直接技术支持。

[1] 连艳鲜，何金环．高产玉米杂交种产量构成因素和穗部性状研究[J]．安徽农业科学，2007，35(24)：7430-7431.

[2] 王传宇,郭新宇,吴 升,等.采用全景技术的机器视觉测量玉米果穗考种指标[J].农业工程学报,2013,29(24):155-162.

[3] 吕永春,马 钦,李绍明,等.基于背景板比例尺的玉米果穗图像特征测量[J].农业工程学报,2010,26(14):43-47.

[4] 刘长青,陈兵旗.基于机器视觉的玉米果穗参数的图像测量方法[J].农业工程学报,2014,30(6):131-138.

[5] 杨锦忠,张洪生,赵延明,等.玉米穗粒重与果穗三维几何特征关系的定量研究[J].中国农业科学,2010,43(21):4367-4374.

[6] 王传宇,郭新宇,吴 升,等.基于计算机视觉的玉米果穗三维重建方法[J].农业机械学报,2014(9):44.

[7] Sholts S B,Wärmländer S K T S,Flores L M,et al.Variation in the measurement of cranial volume and surface area using 3D laser scanning technology[J].Journal of Forensic Sciences,2010,55(4):871-876.

[8] Azzari G,Goulden M L,Rusu R B.Rapid characterization of ve-getation structure with a Microsoft Kinect sensor[J].Sensors,2013,13(2):2384-2398.

[9] Shpunt A,Zalevsky Z.Depth-varying light fields for three dimensional sensing:US,8,050,461[P].2011-11-01.

[10] Besl P J,McKay N D.Method for registration of 3D shapes[C]∥Robotics-DL Tentative.International Society for Optics and Photonics,1992:586-606.

[11] Kazhdan M,Bolitho M,Hoppe H.Poisson surface reconstruc-tion[C]∥Proceedings of the Fourth Eurographics Symposium on Geometry Processing,2006.

王 可(1987- ),男，辽宁沈阳人，硕士研究生，主要研究方向为农业3D信息获取。

3D shape indexes measurement system of maize ear

based on Xtion sensor WANG Ke1, GE Zhen-yang1, GUO Hao2, ZHANG Hao-ran1, CHEN Lin1, QUAN Tian-hui1

(1.School of Modern Agricultural Engineering,Kunming University of Science and Technology, Kunming 650500,China; 2.Ministry of Agriculture Key Laboratory of Agricultural Information Acquisition Technology, China Agricultural University,Beijing 100083,China)

To measure three dimensional shape indexes of maize ear quickly and nondestructively,3D shape indexes measurement system of maize ear based on Xtion sensor is designed.Multi-view cloud datas of the maize ear are acquired by using Xtion and electromotion turntable,iterative closest point (ICP) algorithm is used to mosaic complete point cloud data,Poisson surface reconstruction is using on the basis of the result of registration and then the volume of the reconstructed mesh is calculated using the divergence theorem.The results show that the errors between the true value and measured value of the volume are within 9%.The method provides a practical new approach for automatic three dimensional traits measurement of maize ear.

Xtion; point cloud; automation; maize ear; 3D reconstruction; measurement

2015—01—22

10.13873/J.1000—9787(2015)04—0062—04

TP 391

A

1000—9787(2015)04—0062—04