基于激光点云数据的植物器官多维特征分割方法

喻垚慎 云 挺 杨绪兵

(南京林业大学信息科学技术学院,南京，210037)



基于激光点云数据的植物器官多维特征分割方法

喻垚慎 云 挺 杨绪兵

(南京林业大学信息科学技术学院,南京，210037)

地面三维激光点云数据的植物器官分割，是林业信息化测量中的基础性工作之一。本文在点云数据颜色相近、结构复杂的情况下，首先提出了一种新的局部切平面分布特征，并构造了融合原始扫描数据、散点空间分布特征、法向分布特征的多维融合特征，能够更为有效地表征不同类别的植物器官。其次在分类器选择上，采用标准SVM,PSVM,GEPSVM三种分类器作为对比，后续使用图割理论进行再分类，加强分类效果。根据多种比较实验表明，本文提出的多特征融合分割方法能有效对植物器官的点云数据进行分类，其识别率可达到98%以上。

点云；植物器官；数据分割；多维特征；支持向量机

引 言

三维激光扫描是一种先进的自动化高精度立体扫描技术，亦称之为实景复制技术。该技术已在林业资源调查、单木三维重建等方面得到初步应用，与传统林业信息调查方式相比，它是一种速度快、精度高、非破坏性的林业测量方式。目前国内基于地面激光扫描技术的林业应用研究尚处在起步阶段。文献[1]首次将三维激光扫描系统引入林业调查，对激光点云数据用计算机软件建立三维模型，并从模型上直接测量相关测树因子。文献[2]证实了三维激光扫描系统可以实现高精度的林业检测。文献[3]使用激光扫描系统进行相关森林计测研究，结果表明三维激光扫描系统是一种切实可行的精确测树工具。文献[4]对比传统研究手段，显示地面三维激光扫描技术在测树效率、三维建模、模型化精度等方面具有较大优势。上述文献都是直接使用点云数据，利用图像软件建模，并没有对点云数据进行分类识别，区分植物器官。文献[5-6]使用三维激光扫描仪，通过分层投影的方法，测量了树的有效叶面积，该方法受到树叶之间相互遮挡的影响，无法避免测量所造成的误差，且无法比较估计有效叶面积与真实叶面积的真实误差。根据黄洪宇等的综述文献[7]，迄今为止，尚未出现一种行之有效的植物点云数据分类方法。文献[8]提出了分别以树冠、枝干、地面为目标的分类方法，主要适用于大范围景物识别，无法实现单木精细植物器官分类。文献[9]构造散点空间分布特征，使用支持向量机(Support vector machine，SVM)对葡萄藤的植物结构进行了分类，但并没有充分考虑叶面与枝干的几何形态特性。

本文在上述工作基础上，结合叶面与枝干的几何形态特点，考虑流形结构特性，构造局部切平面分布特征，从而组成多维融合特征，以期提高分类效果。就分类方法而言，SVM因其性能卓越，是较为经典的分类器之一。此外，考虑到SVM训练时间过长等问题，本文与文献[10-11]使用的近似支持向量机(Proximal SVM，PSVM)和广义特征值近似支持向量机(PSVM via generalized eigenvalues，GEPSVM)两种分类器进行对比。

1 点云数据多维特征生成方法

激光点云数据量大、分布离散，且单点信息量小，因此要尽可能挖掘其中的结构信息(如邻域信息、流形结构等)，而此类结构信息的刻画也是一个难点。本文主要由局部切平面描述局部曲面，考虑在原始点云数据中融入枝、叶的流形结构和邻域信息，同时结合已有的特征描述方法：散点空间分布特征和法向分布特征，构成多维融合特征。

1．1 局部切平面分布特征

由于数学模型难以准确刻画曲面信息，因而无法直接嵌入点云数据的结构信息。取而代之，本文尝试采用局部切平面来间接表示局部曲面。从植物生理结构和点云拓扑来看，点云曲面理论上是不能自相交的，而该特性恰好可用流形结构予以表达。本文考虑使用切平面和流形结合的方法，即流形局部切空间[12-13]来构造点云邻域信息。

(1)

(2)

(3)

(4)

(5)

(6)

1．2 散点空间分布特征

文献[9]使用散点空间分布特征来表示某样本点的邻域范围内点云分布情况。其主要思想将局部邻域点划分为3类即散乱点、线状点和面状点，枝干主要为线状点，而叶面主要为面状点。

(7)

(8)

符号“≈”表示近似相等(非约等号，即与另一元素相比，两者可认为相等)，符号“≫”表示远大于[15]。

文献[9]采用一个三维向量表示空间分布特征

(9)

对于每一点，可按式计算其邻域空间分布特征，作为其散点空间分布特征，记为

(10)

1．3 法向分布特征

在叶面和枝干在法向分布上具有显著区别的前提下，文献[8]提出了法向分布特征。

对于样本点xs∈R3的k邻域Nk，文献[16]可用局部拟合平面进行法向估算，设点处的拟合平面为

(11)

平面系数可通过求解超定线性方程组XTβ=0确定，其中

(12)

矩阵XXT的最小特征值对应的特征向量就是平面参数的估计值，估算xi的单位法向量即为

(13)

构造法向的邻域协方差矩阵

(14)

(15)

1．4 特征融合

由给定的r和k，根据上述小节，分别生成局部切平面分布特征FLTS、散点空间分布特征Fsaliency、法向分布特征Fnormal。将上述计算生成的所有特征与原始数据Forigin复合，形成多维融合特征

(16)

2 数据采集及预处理

2．1 数据采集

本文采用Leica scan station C10激光扫描仪，得到的数据包含点云坐标位置、反射强度、RGB颜色的7 维点云数据(x,y,z,intensity,r,g,b)[17]。对校园内一株5～6年生的长蕊含笑进行扫描，该树叶片较为稀疏，扫描时叶片间不容易产生遮挡，能够较为真实地获得整株植物形态结构，如图1所示。

2.2 数据预处理

在数据预处理阶段，对原始数据进行初始加工。C10扫描仪的反射强度值范围为-2 000～2 000，将原始数据中反射强度值归至-1～1范围；将原始数据中RGB颜色归一化处理；给定球半径r=0.02，对所有点搜索r邻域，若在r邻域内没有近邻点，则认为该点为噪声点，将其删除；选取k近邻个数k=50，并据此计算生成所有样本点的融合特征。使用Cyclone软件对原始样本进行人工切割，对一部分树叶和枝干数据进行类别标号，如图2所示，其中黑色点表示叶片，灰色点表示枝干。

3 实验结果与分析

3．1 测试结果

本文实验使用Matlab R2013a环境，在Intel CoreTM2 Duo 2.53 GHz，内存4 GB的计算机上进行。在实验中，带有类别标号的样本点总计8 784个，依次从两类训练样本中随机选取500～3 500个点作为训练样本，其余样本点作为测试样本。使用3组分类器，其中SVM使用Libsvm工具箱[18]，采用高斯核函数，参数u选取在2-7～27内对训练样本分类效果最高的对应参数。PSVM和GEPSVM分类器为本文编程实现，其中正则化参数ν和δ选取10-7～107内对训练样本分类效果最高的对应参数。在特征对比试验中，分别使用以下几种特征进行对比

(17)

图5 GEPSVM识别率 Fig．5 Recongnition rate of GEPSVM

3组分类器的实验结果如图3～5所示，均反映出局部切平面分布特征是枝叶分离方法中的显著特征，该特征不仅从理论上可以几何解释枝叶分离的依据，并且从实验效果来看，能进一步增强枝叶分离效果。多维融合特征具有最好的分类效果，能有效提升分类识别率。同时实验还可以看出，SVM对样本个数较为敏感，训练样本越多，其分类性能越好；而PSVM和GEPSVM的分类效果较为稳定。

对比3组分类器对融合特征识别效果， 如图6所示。在测试样本实验中，标准SVM较PSVM和GEPSVM识别效果更好，且随样本数增多，效果有一定程度的提升；PSVM和GEPSVM识别效果稳定，识别率均略低于SVM。如图7所示，SVM随着训练样本的增多，训练时间呈指数递增，当样本数过大时，SVM将消耗大量的训练时间；而PSVM和GEPSVM，随着训练样本的增多，呈线性增长，且GEPSVM的增长速度低于PSVM。

3．2 枝叶分离效果

实验中，首先对样本所在的上半部分树进行了枝叶分离测试，如图8所示。训练样本集从该部分点云中抽取，实验显示其枝叶分离效果较好，基本能将所有叶片和枝干完全分离出来。对整株树进行枝叶分离测试，以黑色点表示叶片，以灰色点表示枝干，如图9所示。本文发现使用SVM对树上半部分分类效果较好，而树的下半部分分类效果很差。这是因为实验所用的训练样本均来自于树上半部分，而SVM受训练样本影响较大，因此对上半部分有较好的识别率。对比图 10和图11，使用PSVM和GEPSVM分类效果相近，从不同角度观察显示，其分类效果明显，基本能将整株树的枝叶分离开来，且避免了标准SVM受训练样本影响的问题。

4 结束语

研究结果表明，本文新构造的局部切平面分布特征能有效提升点云数据的识别精度，提出的多维融合特征结合SVM系列分类器的点云数据植物器官分割方法能够进一步加强分类效果。与目前所知的各类点云数据分割方法相比，本文提出的方法能够更为有效的实现对植物不同器官的点云数据进行分割。在点云数据量大的情况下，SVM分类器需要消耗大量的训练时间，为实时获得分类结果，在实验效果下降不明显的考虑下，本文使用PSVM或者GEPSVM作为替代分类器。本文基于有监督学习的分类方法，前期仍需人工标记部分训练样本，并没有实现全自动化枝叶分离，而且训练样本的标定在一定程度上受到人为因素制约。标记的准确与否会直接影响到分类器性能，这也是后续研究中需要改进和克服的问题。此外，针对此类问题，如何构造半监督学习方法，也是后继工作之一。

[1] 邓向瑞,冯仲科,罗旭.三维激光扫描系统在林业中的应用研究[J].北京林业大学学报, 2005, 27(S2): 43-47.

Deng Xiangrui, Feng Zhongke, Luo Xu. Application of three-dimensional laser scanning system in forestry[J]. Journal of Beijing Forestry University, 2005, 27(S2): 43-47.

[2] 韩光瞬,冯仲科,刘永霞,等.三维光扫描系统测树原理及精度分析[J].北京林业大学学报, 2005, 27(S2): 187-190.

Han Guangshun, Feng Zhongke, Liu Yongxia, et al. Forest measurement principles and precision analysis of three-dimensional laser scanning system[J]. Journal of Beijing Forestry University, 2005, 27(S2): 187-190.

[3] 罗旭,冯仲科,邓向瑞,等.三维激光扫描成像系统在森林计测中的应用[J].北京林业大学学报, 2007, 29(S2): 82-87.

Luo Xu, Feng Zhongke, Deng Xiangrui, et al. Application of 3D laser scanning imaging system in forest measuring[J]. Journal of Beijing Forestry University, 2007, 29(S2): 82-87.

[4] 赵阳,余新晓,信忠保,等.地面三维激光扫描技术在林业中的应用与展望[J].世界林业研究, 2010, 23(4): 41-45.

Zhao Yang, Yu Xinxiao, Xin Zhongbao, et al. Application and outlook of terrestrial 3D laser scanning technology in forestry[J]. World Forestry Research, 2010, 23(4): 41-45.

[5] Zheng G, Monika M L. Computational-geometry-based retrieval of effective leaf area index using terrestrial laser scanning[J]. Geoscience and Remote Sensing, IEEE Transactions on, 2012, 50(10): 3958-3969.

[6] Zheng G, Monika M L. Leaf orientation retrieval from terrestrial laser scanning (TLS) data[J]. Geoscience and Remote Sensing, IEEE Transactions on, 2012, 50(10): 3970-3979.

[7] 黄洪宇,陈崇成,邹杰,等.基于地面激光雷达点云数据的单木三维建模综述[J].林业科学, 2013, 49(4): 123-130.

Huang Hongyu, Chen Chongcheng, Zou Jie, et al. Tree geometrical 3D modeling from terrestrial laser scanned point clouds: A review[J]. Scientia Silvae Sinicae, 2013, 49(4): 123-130.

[8] 袁夏,赵春霞,张浩峰,等.基于点云数据的自然地形分类算法[J].南京理工大学学报：自然科学版, 2010, 34(2): 222-226.

Yuan Xia, Zhao Chunxia, Zhang Haofeng, et al. Nature terrain classification using point cloud data[J]. Journal of Nanjing University of Science and Technology:Natural Science, 2010, 34(2): 222-226.

[9] Dey D, Mummert L, Sukthankar R. Classification of plant structures from uncalibrated image sequences[C]∥ Applications of Computer Vision (WACV). Breckenridge,CO,USA:IEEE, 2012,329-336.

[10]Fung G, Mangasarian O L. Proximal support vector machine classifiers[C]∥ Proceedings KDD-2001: Knowledge Discovery and Data Mining. New York,NY,USA:ACM,2001:77-86.

[11]Mangasarian O L, Wild E W. Multisurface proximal support vector machine classification via generalized eigenvalues[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(1): 69-74.

[12]Zha Hongyuan, Zhang Zhenyue. Spectral properties of the alignment matrices in manifold learning[J]. SIAM Review, 2009, 51(3): 545-566.

[13]Zhang Zhenyue, Zha Hongyuan. Principal manifolds and nonlinear dimension reduction via local tangent space alignment[J]. SIAM Journal of Scientific Computing, 2002, 26: 313-338.

[14]许熳锋.无监督流形学习算法的若干探讨[D]. 杭州：浙江大学,2010.

[15]Lalonde J F, Vandapel N, Huber D, et al. Natural terrain classification using three-dimensional ladar data for ground robot mobility[J]. Journal of Field Robotics, 2006, 23(10): 839-861.

[16]杨楠,校江超,王明海.利用点云数据的法矢及曲率估算[J].现代制造工程, 2010(7): 35-38.

Yang Nan, Xiao Jiangchao, Wang Minghai. Estimation of normal and curvature based on point cloud data[J]. Modern Manufacturing Engineering, 2010(7): 35-38.

[17]李超,程浩,王芳.三维激光扫描仪在林木测量方面的应用[J].测绘通报, 2011(11): 84-85.

[18]Chang Chihchung, Lin Chihjen. LIBSVM: A library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology, 2007，2(3):389-396.

Multi-Dimension Feature Segmentation Method of Foliage Organs Based on Laser Point Cloud Data

Yu Yaoshen, Yun Ting, Yang Xubing

(College of Information Science and Technology,Nanjing Forestry University, Nanjing, 210037, China)

The segmentation of foliage organs from 3D point clouds is an elemental work of forestry informatization measurement. However, the foliage point cloud data has a similar color, and the point construction is complex which can not be expressed easily. Therefore, a novel feature called local tangent plane distribution is proposed, and fused with original data, scatter spatial distribution and normal distribution to construct a multi-dimension feature, which can characterize different foliage organs more effectively. Then three kinds of classifiers, including standard SVM, PSVM, GEPSVM, are used as a comparison. And then the graph cut is also utilized for a re-classification at subsequent processing to improve the classification performance. A variety of comparative experimental results show that the proposed mutli-dimension feature segmentation method can effectively classify the foliage organs from point cloud data. The recognition rate can reach 98%.

point clouds; foliage organs; data segmentation; multi-dimensions feature; support vector machine

国家自然科学基金(31300472)资助项目；江苏省自然科学基金(BK2012815，BK2012418)资助项目。

2014-06-03；

2014-07-07

TP391.4;TP79

A

喻垚慎(1989-)，男，硕士研究生，研究方向：模式识别及神经计算，E-mail：yaoshen.yu@outlook.com。

云挺(1980-)，男，副教授，研究方向：数字图像处理及模式识别。

杨绪兵(1973-)，男，副教授，研究方向：模式识别及神经计算。