基于颜色取样的苹果树枝干点云数据提取方法

郭彩玲 刘 刚

(1.中国农业大学现代精细农业系统集成研究教育部重点实验室， 北京 100083； 2.唐山学院机电工程系， 唐山 063000； 3.中国农业大学农业农村部农业信息获取技术重点实验室， 北京 100083)

0 引言

随着果园收获自动化研究的发展，振动收获被认为是效率最高的收获方式，其原理[1-2]是在不伤害树体的基础上通过一定形式的机构振动果树树干，使果树枝干以一定频率和振幅振动，果实受到振动加速运动，当惯性力大于果树与枝干的结合力时，果实脱落。该收获方式在核桃[3-4]、樱桃[5]、橄榄[6]、苹果[7-8]、杏[9]、冬枣[10]等果品收获中均有应用。

为了研究不同树枝在受迫振动下的运动和动态特征，建立了树干-主枝[11]、主干-侧枝[12]、树干-枝条、树叶-嫩枝[13]等有限元模型，并建立了采收与频率、振幅变化的数学模型。因受实验条件的限制，树木冠层较高区域、不同树木冠层枝干的振动实验大多采用数学模型方式模拟，该模拟方式不能真实反映枝干空间信息。三维扫描仪为获取真实的树木冠层内枝干空间分布提供了技术基础[14-16]，采用三维扫描仪获取苹果树冠层点云数据，进行苹果树枝干三维重建，即可对枝干进行较为准确的动力学分析。

目前，根据苹果树冠层点云数据提取枝干信息主要有两种方法：提取枝干骨架[17-19]和采用圆拟合法或者管道模型进行枝干建模[20-21]。这两种方法均存在冠层叶片干扰问题，研究人员尝试树木结构重建前采用半监督的SVM[22]方法、基于空间索引的欧几里德簇[23]对树木点云进行枝叶分离，删除大量叶片点云数据；利用Geomagic Studio软件并采用逐层剔除树叶法[24]将树木点云分层，人工删除叶片部分点云数据；采用K-means聚类[25]方法将树干与地面点云分离；采用直方图统计分析方法[26]，通过经验阈值，以有效区分枝干和其他点；深度球截线法[27]实现了近景室内环境下提取深度图像中果实之外的点云数据，可实现枝干和叶片的提取。上述方法虽然可以实现树木点云数据枝叶分离，删除部分叶片点云数据，但是大多数的叶片点云还是需要人工处理。

为了能快速获取收获期苹果树冠层内枝干点云信息，本文以苹果树冠层为研究对象，提出基于点云颜色取样的苹果树枝干重建方法，为振动收获枝干识别和建立枝干动力学模型提供基础，也为树冠风中载荷[28]研究提供可行性方法。

1 材料与方法

1.1 仪器与材料

在中国农业大学苹果树采摘机器人实验基地果园(北京市昌平区南口镇辛力庄村)，开展苹果树冠层彩色三维点云数据采集工作。该实验果园采用常规管理方式进行春季修剪，行间生草，灌水条件良好，苹果树高2.5～3.5 m，株距2.5 m，行距5 m，行方向为东西方向。本文数据采集对象为随机选择的果园自然生长状态下树龄7 a的自由纺锤形宫藤富士苹果树。实验中不考虑扫描环境中温湿度、大气压等参数的影响。

本文实验采用美国Trimble公司TX8型地面三维激光扫描仪(图1)进行苹果树冠层三维点云数据采集。扫描仪最大扫描范围为340 m，测量速度为106点/s，视场角为317°×360°，精度为0.5°，采用脉冲激光测距，测量精度小于0.5°，100 m测距时，误差小于等于2 mm。

全景摄像机镜头为EOS 5D Mark Ⅲ搭载EF 8～15 mm f/4L USM鱼眼镜头，实验现场如图1所示。

图1 数据采集实验现场Fig.1 Data acquisition experiment site

1.2 彩色点云数据获取方法

为了采集收获期的苹果树冠层三维点云数据进行冠层枝干三维重建，本文对彩色三维点云数据获取展开研究。扫描仪内置彩色摄像机获取彩色点云数据时受自然环境下光线变化影响较大，且每站扫描结束后采集图像方式造成的图像不连续性，导致彩色点云数据颜色失真[29-30]且难以克服。

本文在采集彩色图像时，假设纹理空间是连续的。实验前，调整扫描仪激光发射中心O1与摄像机镜头中心O2在同一位置。扫描仪支架放置到扫描仪扫描位置后，两台全景摄像机同时拍摄全景图像。为了保证彩色图像拼接成全景时无缝，两幅彩色图像重合面积尽量不小于画面面积的1/4，以减少广角边缘的变形对画面的影响，因此，每拍摄一幅彩色图像，摄像机旋转90°。每个扫描站获取的4幅彩色图像通过Kolor Autopano Giga 4.0拼接成全景图像，图2为第1站获取的4幅彩色图像拼接而成的全景图。

图2 第1站全景图像Fig.2 Panoramic picture of the first station

在Trimble扫描仪自带软件Realworks中实现点云数据与全景图像配准、点云数据配准、去噪等预处理，实现冠层点云数据具备彩色信息。

于2018年4、5、9月中连续3 d的下午获取彩色点云数据，风速小于1.6 m/s时采集的数据作为预处理前的点云数据，图3为2018年9月获取的收获期苹果树冠层一个侧枝的彩色点云数据。

图3 彩色点云数据Fig.3 Color point cloud data

2 苹果树枝干点云数据提取方法

以苹果树冠层彩色点云数据为研究对象，在RGB彩色空间，采用线剖图分析法[31-32]分析全景彩色图像线剖面R、G、B分布规律，并提取全景图中枝干彩色图像，通过求取R-G、R-B拟合直线斜率寻找自适应分割阈值，通过分割点云颜色数据进而分割枝干点云坐标数据。基于颜色取样的苹果树枝干点云数据提取流程如图4所示。

图4 基于颜色取样的苹果树枝干点云提取流程图Fig.4 Flowchart of apple tree branches point cloud extraction method based on color sampling

2.1 成熟期苹果树冠层彩色点云颜色线剖图分析

彩色点云中的颜色信息来源于全景彩色图像对应位置的彩色信息，包含有全景彩色图像中枝干、果实和叶片的颜色信息，天空地面等颜色信息不能投射到苹果树冠层点云数据上。因此，分析彩色点云中冠层R、G、B颜色信息时，可以用全景彩色图像枝干、果实和叶片的彩色信息代替。

图5为顺光拍摄时，全景图像中苹果树冠层部分原始彩色图像，图5a中黄色线段分别表示全景彩色图像中上、中、下剖面Ⅰ、Ⅱ、Ⅲ，图5b、5c、5d分别是各个剖面的R、G、B彩色分量曲线图。图中可见，苹果图像的R分量大于G和B分量，叶片部分G分量大于R和B分量，枝干部分的R分量大于其他分量。

图6为逆光拍摄时，全景图像中苹果树冠层的部分原始彩色图像。图中可见，苹果图像的R分量大于G和B分量，叶片部分G分量大于R和B分量，枝干部分的R分量和G分量在图中上半部分和下半部分的表现不同。彩色图像上半部分R分量大于其他分量，中下部G分量大于其他分量。

图6 逆光图像线剖图Fig.6 Result of line profile map in backlighting

2.2 基于色差法的枝干点云分割

按照彩色点云贴图原理，图5和图6是不同站点获取的全景彩色图像，在贴图时都会出现在冠层点云中。图5和图6数据分析表明，无论顺光或逆光拍摄的全景彩色点云数据，枝干部分的R、G、B变化幅度相近，叶片部分R分量最大，果实部分G分量最大，且总体上来说，顺光图像颜色分量值大于逆光图像相应的数值。

图7 R、G、B颜色分量相关关系Fig.7 Correlation of color R, G and B components

提取枝干顺光和逆光图像中各颜色分量值进行统计分析。由于冠层中绿色分量是最多的，蓝色分量相对较少，图7为R、G、B颜色分量相关关系，图中红色拟合线为GCOLOR-RCOLOR拟合直线，蓝色线为GCOLOR-BCOLOR拟合直线。RCOLOR、GCOLOR、BCOLOR分别表示红、绿和蓝颜色分量的像素值，由图中可以看出，枝干各颜色分量像素值之间呈强相关关系，决定系数R2分别为0.983 7和0.924 4。

分别以B、R系数为修正值改进2G-R-B色差算法，采用决定系数较高的G-R拟合直线斜率作为改进差分算法系数，即以动态阈值2G-1.1184B-0.8816R对彩色点云进行阈值分割，为了提取冠层枝干点云数据，提取彩色点云数据的R、G、B颜色信息，按照自动阈值将颜色信息分割，并对相应的点云坐标信息进行分割，最后合成为彩色点云数据，运行结果如图8所示。

图8 枝干点云提取结果比较Fig.8 Comparisons of branches point cloud extraction results

由图8可知，相对于人工提取枝干效果，图8c、8d可以提取直径较小的侧枝③，且在遮挡比较严重的侧枝②和④也可以提取出部分点，图8c中对于枝叶分离效果并不明显，产生的枝干之外的干扰点数量多于本文算法。

3 结果与分析

3.1 苹果树枝干提取可视化效果

采用上述算法，在Windows 7(专业版)平台下，利用Matlab开发果树冠层枝干点云提取程序。计算机环境：处理器Intel(R) Xeon(R) CPU E5-2603 V4 @1.70 GHz(2个处理器)，内存64 GB。以苹果树不同生长时期的带叶树木为例进行算法验证，提取效果如图9所示，可见枝干点云数据相对于树点云数据，枝干部分易于分辨。

3.2 苹果树枝干提取精度与准确性

为了验证本文算法的枝干点云提取精度和准确性，以不同生长时期苹果树(共9棵)为对象，获取其彩色三维点云数据，以人工提取枝干点云数据为基准，对本文方法的准确率等进行比较分析，结果如表1所示。

图9 不同生长时期提取枝干点云数据视觉化Fig.9 Visualization of point cloud data in different growth stages

表1结果表明，人工逐层删除非枝干点云数据，删除率平均为76.08%，本文算法为75.74%，本文算法一次性删除点云的数量多于人工删除的数量，因为部分侧枝枝干点云数据由于叶片遮挡并未获取到，人工删除点云时，可以根据拓扑关系保留部分点云数据。在冠层侧枝数量方面，相对于人工删除非枝干部分点云数据，本文算法的平均准确率为93.34%，效率至少提高200倍，节省了冠层枝干三维重建时间。

表1中数据A-3为风速3.9 m/s时获取，由于风速超出了1.6 m/s的最佳扫描环境[33]，因此果树冠层中叶片出现分层，影响枝干点云数据的采集，无论人工删除还是本文算法删除，点云删除率都较低，且本文算法提取的枝干点云数据侧枝准确率仅为77.5%。数据表明，使用本文算法时，需考虑风速影响。

表1中数据A-6为阴天时获取，扫描获取冠层彩色点云数据，点云颜色差别较小(图10a)，利用本文算法提取枝干点云数据时，点云删除率仅为47.29%，且侧枝准确率小于平均准确率。因此，使用本文算法时，以室外天气晴天为宜。

表1 枝干提取结果分析Tab.1 Branches point cloud extraction results analysis

图10 成熟期苹果树冠层枝干重建过程Fig.10 Process of apple tree canopy branches reconstruction in mature growth stage

3.3 枝干三维重建

获取2018年9月自由纺锤形苹果树冠层彩色三维点云数据，利用本文算法删除非枝干部分点云数据(图10b)，进行细化枝干[34]三维重建。

利用软件Geomagic完成数据的去噪和点云压缩，人机交互式检验噪声点并去除。由于遮挡、设备限制、点云删除造成的大量空洞，利用Geomagic软件经过封装—创建流形—编辑多边形—填充孔—光滑等操作人工交互完成空洞填补。图10c为苹果树冠层枝干三维重建结果，由5 865个曲面组成。

4 结论

(1)针对苹果树冠层彩色点云获取中颜色失真现象，构建了地面激光扫描仪和全景摄像机的苹果树冠层彩色点云获取系统，采用贴图方法将三维点云着色，获取苹果树冠层彩色三维点云数据。

(2)提出基于颜色取样的苹果树冠层枝干点云提取方法，苹果树冠层提取枝干点云数据的实验表明，本文算法点云删除率为75.74%，相对于人工枝干点云数据提取，侧枝数量平均提取准确率为93.34%，效率提高200倍以上。

(3)本文方法在提取冠层枝干点云数据时受数据品质以及数据采集环境影响较大，适宜在无风的晴天采集冠层彩色点云数据。本研究为成熟期带叶果树枝干动力学分析提供了技术基础，提高了三维重建效率。