师 翊 耿 楠 胡少军 张志毅 张 晶
(1.西北农林科技大学机械与电子工程学院, 陕西杨凌 712100; 2.农业农村部农业物联网重点实验室, 陕西杨凌 712100; 3.西北农林科技大学信息工程学院, 陕西杨凌 712100; 4.国立鲁昂应用科学学院信息与系统特征实验室, 鲁昂 76800)
果树是重要的经济作物,优化果树冠层的光照分布情况对提高果实产量与品质具有重要意义[1]。光是驱动果树生理机制的重要资源,在自然环境中,树冠层结构复杂,冠层内光照资源的分布情况一直是现代农业信息化领域中的一个难题。近年来,“数字植物”概念的提出,为冠层光照的研究提供了新的思路与手段[2]。
传统的冠层光照研究主要基于三维数字化仪[3],首先将树木重构为三维模型,然后利用传感器分析冠层对光的截获率,但重构的树木三维模型精度较低,与实际模型误差较大,并且三维数字化仪价格昂贵,操作较为复杂[4]。PRUSINKIEWICZ等[5]基于光线在植物冠层内的传输机理开展了冠层内空间光能的分布研究。近年来,张晶等[6]使用正向光线跟踪的方法,模拟光辐射在树木冠层中的传输过程,其不足之处在于使用八叉树进行光线求交计算量大、耗时长。郭彩玲等[7]提出了基于苹果树冠层计盒维数的光照分布预测方法,得到了较好的预测结果,但是采集点云数据与光强数据所用的设备价格较为昂贵。JAROSZ[8]使用Monte Carlo算法,将叶片视为朗伯体,由于Monte Carlo算法是一种均值的统计测度且忽略了叶片的各向异性,故精度不高。三维激光扫描技术的迅速发展极大提高了物体三维信息获取的精度和速度,为精确重构果树三维模型、开展光照分布研究提供了技术支持[9-11]。
针对上述问题,本文以实测点云为依据,提出一种高精度、低成本、低耗时的方法进行果树冠层光照计算。使用Kinect 2.0双面采集果树的原始点云数据,预处理后,采用改进的空间殖民算法和广义圆柱体对果树进行三维重构,在垂直方向上将果树模型每0.1 m分层划分,自顶向下逐层渲染,获得阴影图,同时使用光照度计在相同位置测量光照强度。构建以每层阴影图灰度和每层点云的颜色为输入、以相对光照强度为输出的随机森林网络,将此作为苹果树冠层光照分布预测模型。
模型构建的算法流程图如图1所示。
图1 算法流程图Fig.1 Flow chart of algorithm
采用微软公司生产的Kinect 2.0作为数据采集设备。Kinect 2.0是Kinect 1.0的升级版本[12],采用飞行时间原理(Time of flight)获取点云数据,精度更高,可达0.02 mm,有效深度范围0.5~4.5 m,有效帧率30 f/s,可获取颜色信息与深度信息数据,满足重构需求[13]。2018年7—8月在西北农林科技大学园艺学院苹果试验园内进行数据采集,采集现场与获取的RGB点云图像如图2所示。
图2 数据采集Fig.2 Data acquisition
采集果树点云数据时使用双面采集策略,树下放置4个参考球作为人工标记点。获取点云数据后,使用直通滤波与Statistical outlier removal滤波分别去除地面大尺度噪声点与果树周围离群散点。去噪后基于4点法粗配与ICP精配对双面点云数据进行配准操作[14],从而得到果树的完整点云数据。采用改进的空间殖民算法[15]与管道模型理论[16-17]重构枝干模型[18],基于叶序规则添加树叶[19],最终得到果树三维模型,整个过程如图3所示。
图3 苹果树重构过程Fig.3 Reconstruction processes of apple tree
为了揭示太阳辐射在冠层内部传播情况,本文使用“切片法”将冠层自上而下层层分割,模拟不同冠层深度光照强度的变化。将重构的果树三维模型置于虚拟场景中,建立与模型包围盒[20]大小相同的虚拟长方体,自顶向下每0.1 m对果树模型进行Boolean运算从而达到逐层切割的效果,将切割后的结果分别保存,使用渲染器逐层渲染,得到阴影图全集如图4a所示。在常见的渲染器中,POV-Ray渲染器[21]可根据模型的双向反射分布函数 (Bidirectional reflectance distribution function, BRDF)和双向透射分布函数(Bidirectional transmission distribution function, BTDF)的物理特征设置反射、透射参数[22],设定光照强度,可最大限度模拟真实的光照与阴影情况,因此本文选择POV-Ray渲染器渲染冠层的阴影图像。由于本文采用相对光照强度作为度量,因此将渲染器中光强设定为1.0,试验对象树高2.5 m,冠层高1.9 m,对冠层每0.1 m切片渲染一次,共计19幅图像,第1幅为纯白图像,不计入总数。
将每层渲染出的阴影图按照图4b所示平均分割为36份[9],根据冠层高度确定具体的分割层数。
图4 阴影图分割Fig.4 Segmentation of shadow image
光强数据采集时间为2018年7—8月,此为苹果树的叶幕稳定期[23],采集地点为西北农林科技大学北校区园艺学院栽培试验园区(陕西杨凌)。试验品种为“陕富6号”,果树定植于2008年,约30%的果树定植于2012年,行距5 m,株距2 m,树高2.5 m左右,行间生草,修剪方式为常规冬剪。随机选取3棵长势良好,树形一致的自由纺锤形苹果树为光强数据采集对象,分别命名为苹果树1、苹果树2、苹果树3,每月连续测量5个晴天,随机选取的苹果树基本参数如表1所示。
表1 苹果树参数Tab.1 Parameters of selected apple trees
采用阴影图灰度和每层颜色的数据特征为输入,以相对光照强度为输出的随机森林网络,因此相对光照强度的测量十分重要,是模型的预测目标。为了细分冠层的光能分布,以树根为中心,以树木直射阴影为界,将每层阴影图分为36块小网格,每个网格大小根据实际渲染出的阴影图进行均分,划分策略如图5a所示。
图5 光强数据采集Fig.5 Acquisition of light intensity data
为了能够采集冠层内部的光强数据,将采集策略确定为垂直插入式,选取不易弯曲变形的不锈钢矩管管材,定制的伸缩式子母杆高度为3 m,每0.1 m打限位孔,杆头固定光照度计。外界光强会随着时间以及天气发生变化,晴朗天气太阳高度角在80°以上时,光照强度变化较为缓慢[24],因此采集时间为11:00—13:00。为了能够提高数据采集的效率,将微型摄像头固定于杆头,使用自主开发的图像捕获软件,当自上而下采集数据时,能够同时获得3个光照度计的读数。测量杆上放置水平仪,保证杆体处于垂直状态。测量时,按照图5a将杆体置于网格中插入冠层,自冠顶至冠底每0.1 m采集光强数据,直至36个点全部采完,测量的同时在果树边缘的空地采集光照强度,冠层光照数据与空地光照强度的比值即为相对光强,采集现场如图5b所示。
为了揭示冠层内部光照强度的分布情况,对树点云数据进行细分,采用“纵向分层、横向分块”的细分策略[25]。如图6所示,根据树冠的高度,在垂直方向上将树冠每0.1 m进行分层,在剖面方向上,将树冠的截面分割为36份,使之与光强采集策略一致。图6a为整棵树分层后的效果,图6b为纵向第15层剖面的分块结果。
图6 点云划分Fig.6 Point cloud division
光能在冠层内的传播是一个复杂的过程,冠层内的光照辐射来自于太阳直射辐射、大气散射辐射和冠层内叶片连续的漫反射与透射形成次级散射[26]。其中太阳直射辐射是影响冠层光能吸收的最主要因素。当太阳直射辐射到达冠层后,一部分穿过冠层到达地面,另一部分被冠层截获形成次级散射用于光合作用。目前,基于物理特征的正向光线传播计算法为冠层光能传播较为准确的计算方法。基于BRDF和BTDF的几何特征,当光线到达叶片表面时,发生漫反射与透射,在计算光线传播时,需要考虑叶片倾角的变化,不断进行光线与叶片的求交计算,算法耗时长、效率低。为了提高计算效率,往往将叶片简化为朗伯体,计算耗时虽变小但精度下降较多。在自然环境中,苹果树冠层的阴影颜色变化和冠层颜色特征具有一定的模糊性,难以描述其与光照强度的精确关系[27]。
针对上述问题,本文基于阴影图的灰度特征与冠层点云的颜色特征,采用机器学习的方法预测冠层内的光照强度。
以苹果树1为例,根据冠层高度,将选取的苹果树冠层点云纵向每0.1 m切分为19层,每层再平均分为36份,冠层点云被切分为19×36=684份点云小块,选取每块点云的平均RGB数值作为分块点云的颜色特征;将每层点云对应的阴影图像也均分36份,同样共计19×36=684份,将每小份图像的平均灰度作为阴影图像的灰度特征;根据光强数据采集策略,自上而下每0.1 m采集光强数据,每层测36个点,同样共计19×36=684个点,随机选取的3棵苹果树7—8月每月分别测5个晴天,则每棵树的数据量为19×36×10=6 840。
选取随机森林回归算法预测苹果树冠层内的光照分布情况。以苹果树1为例,从原始的10 d数据中,随机选取9 d的数据作为训练集,1 d的数据为验证集,用来构建回归模型。以阴影图灰度特征+点云RGB颜色特征作为输入,以光照强度作为输出,分别使用逐步线性回归(Stepwise linear regression, SLR)、K最近邻(K-nearest neighbor, KNN)回归、支持向量回归(Support vector regression, SVR)以及集成回归方法中的AdaBoost回归、渐进梯度回归树(Gradient boost regression tree, GBRT)、随机森林(Random forest, RF)回归,使用TensorFlow1.4框架下的数据分析包对原始数据进行回归分析。
根据文献[9,27],光照强度与阴影颜色、冠层点云颜色有着较为紧密的关系,并且不同的颜色空间对回归分析的结果有较大影响,因此选取阴影颜色特征与冠层点云颜色特征作为本研究的特征向量。阴影颜色特征由每层阴影图分层渲染得到,由于渲染得到的是灰度图,所以阴影颜色特征即为阴影灰度;冠层点云颜色特征由Kinect 2.0颜色传感器获取,默认颜色空间为RGB。根据文献[9],植物在太阳光照射下所呈现出的颜色与叶片中叶绿素的荧光效应关系紧密,不同的光照强度会使植物呈现出不同颜色与明暗变化,在常用的颜色空间中,选取HSI空间与Lab空间作为对比[28]。根据颜色空间转换公式将RGB颜色分别转换到HSI空间与Lab空间[9]。为了探究不同颜色特征与光照强度的相关性,特征选取方案如下。组合特征方案:①阴影灰度特征+点云RGB特征。②阴影灰度特征+点云HSI特征。③阴影灰度特征+点云Lab特征。单特征方案:①仅阴影灰度特征。②仅点云RGB特征。③仅点云HSI特征。④仅点云Lab特征。
试验回归程序在Windows 7操作系统平台下,使用Visual Studio 2013集成化开发环境、OpenGL库、点云库(Point cloud library, PCL),TensorFlow1.4 框架、Spider3.0、scikit-learn库以及Matlab 2014b完成,计算机配置为CPU i5-3450,3.1 GHz,内存8 GB,显卡AMD Radeon HD 6700 Series。
为了验证不同模型的性能,选取2.1节3棵样本树的原始数据对其进行回归分析,使用十折交叉验证法对不同模型进行精度评价[29],选取决定系数(R2)和平均绝对百分比误差(Mean absolute percentage error, MAPE)作为评价指标。
不同模型回归结果与精度如图7和表2所示。从图7和表2可以看出,针对本文的数据特征,集成回归方法的结果普遍优于经典回归方法,其中随机森林模型表现最优,故本文采用随机森林回归模型进行光照预测分析。
为了探究不同特征选择方案的合理性,使用RF模型对组合特征方案与单特征方案进行回归分析,将预测值与真实值对比,选取R2和MAPE作为特征选择方案的评价指标。根据表3和表4可知,“阴影灰度特征+点云HSI特征”方案的回归结果最优,决定系数R2和MAPE指标均优于其他方案,因此本研究选取阴影灰度特征+点云HSI特征的四维数据作为回归模型的输入。
图7 不同模型回归结果对比Fig.7 Comparison of regression results with different models
回归模型苹果树1苹果树2苹果树3R2MAPER2MAPER2MAPESLR模型0.2710.7760.2940.7570.2670.792KNN模型0.5860.5040.5540.5720.5780.562SVR模型0.5970.4850.5110.6070.4950.544AdaBoost模型0.4470.5720.4270.5970.4940.551GBRT模型0.7640.4580.7790.4330.7570.473RF模型0.8260.3120.8320.3190.8080.375
表3 组合特征回归结果对比Tab.3 Comparison of regression results with combined features
表4 单特征回归结果对比Tab.4 Comparison of regression results with single feature
为了验证模型的泛化性能,选择试验对象时,为了增加样本的差异性,苹果树1与苹果树2树龄相同,均为10年,树形近似,而苹果树3树龄为6年,明显比另外2棵树矮小。随机选取苹果树1的8 d数据作为训练集,将苹果树1剩余的2 d数据作为验证集,分别随机抽取苹果树2与苹果树3的1 d数据作为测试集,使用“阴影灰度特征+点云HSI特征”方案,分别对苹果树2与苹果树3进行RF回归,同样方法,使用苹果树2的数据分别对苹果树1与苹果树3进行RF回归;使用苹果树3的数据分别对苹果树1与苹果树2进行RF回归,得到的回归结果如图8所示。
由图8可知,苹果树3的树龄与树形与另外两颗树相差较大,回归结果相对较差一些;苹果树1与苹果树2树龄相同,树形相似,虽然数据中混入了苹果树3部分光照数据,但仍保持了较好的预测结果,由此可以看出,RF回归模型有着较强的泛化性能,同时也说明树形对预测结果会产生较大影响。
图8 回归结果对比Fig.8 Comparison of regression results
为验证RF光照预测模型的性能,选择文献[9]中的GA-BP模型、FNN模型进行对比。选取2.1节中苹果树1的数据作为对比测试数据。对比结果如表5所示,RF模型在训练时间、识别时间等方面与GA-BP模型和FNN模型相比均有较大优势,因此RF模型更加适用于苹果树冠层光照预测。
为进一步验证光照预测模型的精度及有效性,使用分层误差揭示不同回归模型的性能。使用切片法对冠层进行逐层切割,分层误差指冠层剖面的每层36个数据点的平均MAPE,共计19层。从图9来看,RF模型的分层误差总体小于GA-BP模型,FNN模型比GA-BP模型表现稍好,仅在第2、6、9、10、15层的误差接近或小于FR模型,在剩余层的误差均大于RF模型,并且RF模型在第12层以后,误差波动趋于稳定,因此RF模型性能优于GA-BP模型和FNN模型。
表5 不同模型性能对比Tab.5 Performance comparison of different models
图9 不同模型分层误差对比Fig.9 Comparison of layer MAPE with different models
4.5.1模型可靠性分析
RF回归模型由多棵回归树构成,每棵树基于原始数据的样本子集生成,RF回归模型具有较强的稳定性。此外,RF回归模型不需要对训练数据进行预处理,可直接训练,在4.2节中做特征方案评价时,模型输入数据有1维、3维和4维不等,数据量为6 840×3=20 520,模型均高效、稳定地输出了预测结果,满足预测模型的可靠性需求。
4.5.2模型普适性分析
RF预测模型的多树结构与自助采样策略使得模型有较好的泛化性能与抗噪能力。根据4.3节与4.6节的回归结果,RF预测模型对树形相近的树同样有较高的预测精度,所以RF预测模型有较强的普适性。
4.5.3模型适用范围
本文提出的光照预测模型主要适用纺锤形苹果树,旨在揭示冠层阴影特征、颜色特征与光照强度之间的复杂关系,依据试验结果,本研究提出的模型对树形相近的树木冠层数据预测结果R2在0.736以上,同样具有适用性。
从生物学角度得知,由于呼吸作用和光合作用同时存在,当太阳高度角在60°以上时,果树进行大量有机质积累[30],所以在太阳高度角60°以上时是研究光照分布的适合时间。由于本研究使用的冠层剖面阴影图是基于POV-Ray渲染器垂直渲染,所以光照强度也是在11:00—13:00太阳直射时测得,此时段所测数据适用预测模型的输入层。
为验证模型的实用性,随机选取一棵苹果树点云和光强数据以及玉兰树点云和光强数据作为测试实例,其重构图与回归结果如图10所示。
图10 预测模型重构图与回归结果Fig.10 Regression results and reconstruction image of prediction model
测试样本中的苹果树和玉兰树冠层高度分别为1.8 m和1.5 m,冠层划分的层数分别为18层和15层;图10分别展示了测试样本的三维重构模型和回归结果分布。依据测试结果,本研究提出的RF预测模型在对同种苹果树数据作回归分析时,保持了较高的预测精度,R2为0.814,MAPE为0.351。而对树种不同、树形相似的玉兰树做回归分析时,预测结果R2为0.736,MAPE为0.462,与苹果树预测结果相比,MAPE增大了31.6%,但是仍保持了较高的预测精度,因此RF模型是一种性能稳定,普适性较强的光照强度预测方法。
4.7.1RF模型与其他模型的比较
在本研究中,由于特征选择方案的不同,回归模型的输入有1维、3维、4维不等,而输出都是1维光照强度。从回归结果来看,RF模型很好地得到了颜色特征与光照强度之间的非线性关系与分层关系。SLR模型只能拟合颜色特征与光照强度之间的一般线性关系,极大限制了SLR模型的预测精度。KNN模型与SVR模型受邻域数据的影响较大,而本研究采取了分层划分的数据预处理策略,一定程度上增加了邻域对预测结果的影响,所以KNN与SVR模型的预测精度也并不高。RF模型对数据分布与数据类型的连续性和离散性没有特殊要求,可以模拟变量之间的复杂非线性关系和高阶交互关系,针对本文颜色特征存在一定的模糊性与复杂性的特点适用性很强,AdaBoost模型与GBRT模型虽然可以拟合非线性关系,但是由于和RF模型更新学习器与节点分割的原理不同以及RF模型稳定性强,因此,预测精度低于RF模型。
4.7.2影响光照强度的主要特征
从不同特征方案的回归结果来看,组合特征方案中的“阴影灰度特征+点云HSI特征”的方案最优,回归结果的决定系数R2为0.864,MAPE为0.236,但是另外两种组合方案同样保持了较高的预测精度,“阴影灰度特征+点云RGB特征”方案和“阴影灰度特征+点云Lab特征”方案的决定系数R2分别为0.826、0.796,MAPE分别为0.312、0.394;在单特征方案中,与组合特征方案相比,预测精度整体下降,其中“仅阴影灰度特征”的回归结果最优,回归结果的决定系数R2为0.816,MAPE为0.345,而在点云颜色特征方案中,HSI颜色空间表现最优,回归结果的决定系数R2为0.782,MAPE为0.417,其他两种颜色空间与HSI相比,预测精度有较大降幅;此外,在数据采集过程中,太阳高度角的小幅变化,BRDF模型的一些基本假设以及空气散射等因素,也会对精度产生一定的影响。
(1)RF模型的回归结果R2为0.864,MAPE为0.236。结果表明,RF模型可以较好地揭示阴影灰度和颜色特征与光照强度之间的非线性关系,其预测精度明显高于其他5种预测模型。
(2)阴影灰度与光照强度有较强的相关性,不同的颜色空间对预测结果影响较大,其中HSI颜色空间与光照强度有较强的相关性。
(3)基于果树实测点云数据进行三维重构,使用随机森林回归模型,基于冠层阴影渲染图与光照强度数据进行回归分析,揭示了苹果树冠层内光照强度的分布情况,回归模型可为树冠层光能利用、剪枝等研究提供参考。