基于结构光三维点云的棉花幼苗叶片性状解析方法

黄成龙 李曜辰 骆树康 杨万能 朱龙付

(1.华中农业大学工学院， 武汉 430070; 2.华中农业大学作物遗传改良国家重点实验室， 武汉 430070)

0 引言

棉花是我国重要的经济作物，我国棉花的生产量、消费量和进口额均位居世界前列[1-2]。棉花叶片是控制光合作用及蒸腾作用的重要器官，棉花苗期是生长发育的基础，棉花幼苗叶片性状对棉花育种、抗病、胁迫研究具有重要的意义[3]。棉花幼苗叶片面积是光合作用能力的重要指标，与棉花产量直接相关[4]；棉花幼苗叶片生长角度决定叶片的着生姿态，直接影响光能利用率[5]；棉花幼苗叶片卷曲度是棉花抗病、抗旱能力的重要指标[6-8]；棉花幼苗叶片黄叶占比是识别病害、病害评级的重要依据，对我国棉花黄萎病防治具有重要价值[9-10]。棉花抗病、育种研究中经常需要对大量棉花幼苗样本进行叶片性状调查，为品种选育提供依据[11]。传统的测量方式主要依靠人工进行，存在效率低、主观性强、可靠性差等缺点，无法满足现代棉花抗病、育种研究的需求，因此，亟需研究一种快速、准确、无损的棉花幼苗叶片性状测量方法[12]。

随着计算机技术的快速发展，机器视觉在农业中的应用日益广泛，在植物性状检测中三维立体视觉可以提供更为精细的信息[13]。XIONG等[14]采用双目视觉对油菜苗期冠层进行三维重建，并提取叶面积等植物性状。方慧等[15]利用结构光技术实现油菜三维点云信息的准确获取。张浩等[16]提出一种基于光栅投影轮廓技术的茶叶嫩梢定位方法。JAY等[17]采用运动恢复结构(SFM)获取三维信息，对整行作物提取其高度与叶面积参数。相对于二维图像，三维立体视觉可以提供更详细、更全面的植物信息，为棉花幼苗高精度测量提供了可行途径。

在棉花幼苗叶片测量中，需要获取植株高精度、完整三维点云信息。双目视觉、光栅投影成像方法只能获取某一方向的深度图像；运动恢复结构、空间雕刻三维重建方法获取的点云比较稀疏，且颜色容易失真；结构光成像采用主动三维立体视觉技术，可以获取高精度三维点云，已广泛应用于工业检测、反求工程和文物保护等领域[18]，为棉花幼苗叶片性状高精度解析提供了一种有效方法。

本文提出一种基于结构光的棉花幼苗叶片性状解析方法。采用结构光扫描仪获取棉花幼苗高精度点云，设计棉花叶片三维点云自动分割和叶片性状解析算法，以实现叶片面积、周长、生长角度、卷曲度、黄叶占比等性状参数的快速、准确、无损提取。

1 材料及方法

1.1 试验材料与装置

试验共种植100株新陆早36号棉花(由石河子棉花研究所培育的棉花品种)，于棉花幼苗子叶期接种落叶型黄萎病V991标准菌株，在温度25℃、相对湿度80%以上的温室培养10 d。从中挑选叶片间无明显交叠，且尺寸在扫描仪视野内的棉花幼苗共40株，进行后续三维结构光扫描及点云分析。

试验所使用的三维结构光扫描仪光源为白光；物距为290～480 mm；最大扫描尺寸为200 mm×200 mm×200 mm；空间点距为0.17～0.20 mm。

结构光三维扫描仪工作过程及棉花幼苗扫描效果如图1所示。该扫描仪基于结构光光栅投影法，通过对3种不同频率的光栅进行五步相移法求解相位，利用旋转台获取植株完整三维点云信息，结合RGB三色光投影获取植株颜色信息。利用Visual Studio 2013开发平台和PCL 1.80、OpenCV 3.0点云库进行三维点云处理。

图1 结构光扫描仪工作过程及效果展示Fig.1 Working procedure of structured light scanner and results exhibition

1.2 棉花叶片三维点云分割

棉花幼苗叶片三维点云的分割流程如图2所示。点云处理过程如图3所示。

图2 棉花叶片三维点云分割流程图Fig.2 Leaf point cloud segmentation pipeline

具体点云处理步骤如下：

(1)原始棉花幼苗点云如图3a所示。通过直通滤波分割土壤点云与植株点云，效果如图3b所示。由于棉花幼苗生长方向与土壤法向量基本一致，故将土壤点云拟合平面的法向量作为植株竖直方向，以便后续叶片生长角度计算。

图3 棉花三维点云叶片分割效果Fig.3 Leaf segmentation results from cotton 3D point cloud data

(2)由于原始植株点云非常密集，不利于后续处理。于是对图3b点云进行体素滤波实现降采样[19]。滤波后采用滑动最小二乘法(MLS)对点云进行平滑处理[20]，结果如图3c所示。

(3)将滤波平滑后的棉花幼苗点云进行超体聚类，以八叉树对点云进行划分，基于颜色、距离、法向量的差异将类似的粒子归至同一超体素，从而降低点云后处理的复杂度[21]，如图3d所示。

(4)超体素中点云的几何特征信息可以由超体素中心点有效代替[22]。提取超体素中心点的位置与法向量信息，通过条件欧氏距离聚类算法对所有超体素中心点聚类分割，将同一类的超体素中包含的点云用同一伪彩显示，如图3e所示。

(5)在条件欧氏距离聚类的过程中，包含超体素个数过少将被归为极小类舍去，会造成叶片点云的部分缺失,如图3e中红色部分。基于Kd树对丢失的超体素中心点作最近邻搜索，找到距离最近的类并将丢失点添加进此类，效果如图3f所示。

(6)分别对分割后的不同类点云进行随机采样一致性(RANSAC)线性拟合，统计拟合后局内点与局外点的数量[23]。若局内点数量远小于局外点数量，则将此类归为叶片部分点云，并单独输出。分别用伪彩与原始颜色显示，如图3g所示。

1.3 棉花叶片性状提取

基于上述分割得到的棉花叶片点云，提取叶片面积、周长、生长角度、卷曲度、黄叶占比性状，具体参数计算过程为：

(1)叶片面积和周长

将分割的叶片点云再次降采样处理，然后采用贪婪投影三角算法进行三角面片化[24]。面片化后的叶片模型由若干个三角面片组成，每个三角面片中包含对原始点云的索引，通过三角面片索引到原始点坐标信息，进而计算每个小三角形的面积与周长。

计算面积时，遍历叶片中所有三角面片，通过三角面片中包含的点云索引信息，获取每个三角面片顶点的三维信息，通过海伦公式，计算每个三角面片的面积Sti，将叶片中所有三角面片累加求和，即得到叶片面积S。

(1)

(2)

式中pi——面片化三角形周长的一半

ai、bi、ci——三角形各边长

n——总面片数i——面片索引序号

计算周长时，创建一个行列数均为叶片点云数量的零矩阵，基于叶片点云三角面片中顶点对应的点云索引序号，令矩阵中行列数为该点云索引序号的元素值加1。遍历所有三角面片，对该矩阵赋值，处于点云边界的三角面片的三角边仅会被记录一次，故搜索矩阵中值为1的元素，其行列信息即为叶片边界点的索引，对所有边界点按其索引连线，包含点最多的边界即为叶片的边界，计算每个处于边界三角边的长度并求和即可得到叶片周长。点云下采样与面片化效果如图4所示。

图4 叶片面积和周长提取Fig.4 Extraction of leaf area and perimeter

(2)叶片生长角度和卷曲度

基于随机采样一致性(RANSAC)算法[25]对叶片进行平面拟合，将叶片点云投影到最大拟合平面，如图5中绿色标记的点云，对投影平面点云进行降采样并网格化计算投影面积。叶片卷曲度C定义为

(3)

式中Pa——叶片投影在拟合平面的面积

叶片生长角度定义为叶片最大投影平面法向量与土壤拟合平面法向量的夹角,如图5所示(图中1～6为叶片编号)。

图5 叶片角度和卷曲度提取Fig.5 Extraction of leaf angle and rolling degree

(3)叶片黄叶占比

发病的叶片表面会有明显的黄褐色病斑，故可基于颜色空间对叶片进行阈值分割。满足条件的点云记为健康部分，否则记为黄色病斑部分，根据病斑部分点云数量与整片叶片的点云数量比，可得到黄叶占比。

选取合适的颜色空间对病叶阈值分割至关重要，常用的颜色空间有RGB、HSV、Lab等[26]。通过试验对比RGB空间中的超G分量，HSV空间中的H分量，Lab空间中的a分量下分割效果，发现Lab颜色空间进行阈值分割效果较好。通过对叶片点云进行采样调查结合点云数据在L、a、b通道的波谷值发现，基于a分量与b/a分量能取得较好的分割效果，分割效果如图6所示。

图6 叶片黄绿分割Fig.6 Segmentation of leaf yellow and green areas

2 结果分析

2.1 叶片面积和周长测量精度

共对40株棉花幼苗进行三维结构光成像，分割得到175片叶子点云。从中随机选取叶片面积及卷曲度差异较大的75片叶子进行面积和周长测量精度验证。人工测量，通过将该75片叶子剪下、压平后，放置在有10 mm为半径的黑色单位圆作标定的白板上，相机在垂直方向获取叶片二维图像，利用Matlab计算二维图像中叶片面积与周长。将本研究三维测量得到叶片面积与周长分别与人工测量得到的面积与周长对比，测量结果所得的平均绝对百分比误差(MAPE)和均方根误差(RMSE)的计算方法为

(4)

(5)

式中M——平均绝对百分比误差

R——均方根误差

n1——样本数

xai——三维测量结果

xmi——人工测量结果

叶片面积和周长测量精度结果如图7所示。叶片面积的决定系数为0.997 3，M、R分别为2.59%、74.05 mm2；叶片周长的决定系数为0.982 2，M、R分别为2.85%、10.09 mm。结果显示三维测量结果与有损试验测量值具有较好的一致性，相比传统人工测量，本文研究方法可以在三维空间高精度获取棉花的面积、周长。结果也表明该棉花结构光三维点云测量方法，可以在三维空间上准确解析叶片形态，并为卷曲度、黄叶占比等复杂性状的量化提供了重要的基础。

2.2 叶片性状提取结果

基于上述点云处理过程，对剩下100片棉花幼苗叶片进行处理，提取棉花幼苗的叶片面积、周长、生长角度、卷曲度与黄叶占比，测量结果如图8所示。从叶片卷曲度、黄叶占比计算结果和图像的对应关系，证明本研究方法相比传统人工测量方法，可以实现叶片的卷曲度和黄叶占比等复杂性状的量化。结果同时显示三维空间中叶片面积和周长有明显的正相关趋势。

图7 验证叶片面积与周长测量Fig.7 Validation of leaf area and perimeter measurement

图8 棉花幼苗叶片性状测量结果Fig.8 Measurement results of cotton leaf traits

2.3 叶片性状显著性分析

将上述100片棉花幼苗叶片通过人工分类为正常叶片与病叶，通过SPSS软件对叶片的面积、周长、生长角度、周长面积比、卷曲度与黄叶占比等6种性状做单因素方差分析，前5个性状显著性差异P值分别为0.099、0.242、0.346、0.531、0.002，黄叶比性状显著性差异P<0.001。叶片黄叶占比、叶片卷曲度和周长面积比区分正常、病叶显著性统计结果如图9所示。P值小于0.01为极显著，0.01～0.05为显著，大于0.05为不显著，故黄叶占比与叶片卷曲度可显著区分正常叶片与病叶。三维空间中叶片周长面积比并不能区分正常叶片和病叶。

图9 棉花幼苗叶片显著性差异分析Fig.9 Analysis of significant differences in cotton seedling leaves

3 结束语

针对棉花幼苗结构光三维点云，设计了一种棉花幼苗叶片点云自动分割和性状提取的方法。该方法可以准确获取叶片面积、周长、生长角度、卷曲度、黄叶占比等性状参数。以40株棉花幼苗为研究对象进行三维结构光成像试验，结果表明，叶片面积、周长测量的平均绝对误差分别为2.59%、2.85%，均方根误差分别为74.05 mm2、10.09 mm。同时，还证明叶片卷曲度、黄叶占比可以显著区分正常叶片和发病叶片。