基于Kinect传感器的苹果树冠层形态信息测量方法研究

汪逸飞

摘 要：在现代化果业中，建立一套完整、精准、自动化的果树冠层形态信息感知系统，可以为现代标准化果园智能化管控提供科学的数据支持。为了能够便捷、高效地获取苹果树冠层形态结构以及果实生長信息，设计了一种基于Kinect传感器的苹果树冠层形态信息测量方法，实现对苹果树冠层原始图像信息的感知、三维点云的建立、以及形态参数的提取。研究结果表明：采用水平视角度测量苹果树冠层宽幅、高度信息相对误差值最小，分别为2.91%和3.68%。本研究提出了苹果树冠层形态信息测量方法，并分析了平视、仰视、俯视三个角度的测量准确性，对促进我国现代标准化果园信息化与智能化管理具有重要的意义。

关键词：Kinect传感器；苹果树；冠层信息；三维测量

中图分类号：S66 文献标志码：A 文章编号：2095-2945（2019）19-0012-03

Abstract： In the modern fruit industry， the establishment of a complete， accurate and automatic fruit tree canopy shape information perception system can provide scientific data support for modern standardized orchard intelligent management and control. In order to obtain the information of apple tree canopy morphology and fruit growth conveniently and efficiently， a method of apple tree canopy morphology information measurement based on Kinect sensor was designed. The perception of the original image information of apple tree canopy， the establishment of three-dimensional point clouds and the extraction of morphological parameters are realized. The results showed that the relative errors of apple tree canopy width and height measured fromahorizontal angle were 2.91% and 3.68%， respectively. In this study， the measurement method of apple tree canopy morphology information was put forward， and the measurement accuracy of heads-up， up-looking and overlooking was analyzed， which is of great significance to promote the information and intelligent management of modern standardized orchards in China.

Keywords： Kinect sensor； apple tree； canopy information； three-dimensional measurement

引言

随着我国经济的发展，建设标准化现代果园势在必行，但劳动力短缺、优质果率低、机械化水平不足、肥水药用量大污染重等因素严重制约了我国现代果业的发展，迫切需要发展智能化、精细化的生产管理技术与装备。目前，制约我国苹果产业发展的主要问题是单位面积产量低、出口量小、果实品质较差等，要想增强国内外苹果市场的竞争能力，提高苹果产业的经济效益，关键途径就是提升苹果果实品质[1]。冠层作为果树最先接触光照与外界环境的部分，是果树进行呼吸作用以及光合作用的主要场所。良好的果树冠层结构可以使冠层内部通风良好，透光率较高，有效地促进二氧化碳与叶幕之间的交换，提高果实的产量与质量[2-3]。目前获取果树冠层形态信息主要使用基于立体视觉、基于激光、基于超声波等获取技术[4-8]，这些技术中对于特征参数的识别误差偏高，为了提高果树冠层特征参数的识别精度，本研究设计了一种基于Kinect传感器的苹果树冠层信息提取方法。

1 材料与方法

1.1 设备与材料

本研究使用设备主要包括：XBOX ONE Kinect传感器1个、思锐R2004便携式三脚架1个、联想笔记本电脑1台（i5处理器、主频2.4GHz、内存4G）。开发工具为Visual Studio2010、MATLAB，运行系统为Windows10。

试验选取三种不同形态的果树，从三个不同的拍摄角度（平视、仰视、俯视），以果树的四个面（每旋转90°作为一个面）作为图像采集目标，使用Kinect传感器采集果树RGBD图像信息，将RGBD图像转换为三维点云，建立果树冠层形态（高度、宽幅）计算方法，统计与分析Kinect测量值与实际人工测量值间的绝对误差和相对误差，并分析误差产生原因。

1.2 苹果树点云模型建立与预处理

Kinect传感器能够采集的图像信息包括RGB原图、深度图、彩色深度图以及红外图，本研究主要利用深度图和彩色深度图信息，图像尺寸均为424像素×512像素，其中深度图每个像素为实际深度值，单位为mm，彩色深度图每个像素为颜色值，包括R、G、B三通道的颜色值。根据Kinect传感器内部参数，将二维的深度图转换为三维点云[7]。根据彩色深度图，同时记录三维点云各点RGB颜色值，实现对果树的三维点云模型建立。

如图1所示，图1（a）为苹果树三维点云图像（深度图），使用高斯滤波对背景中的噪点进行过滤，得到无背景、无噪点、原图色的果树三维点云模型，并采用包围盒法选择出果树区域，如图1（b）所示。

2 苹果树冠层高度与宽幅计算方法

本研究根据三维点云的最小接矩，统计果树冠层高度与宽幅。在三维空间中的最小外接矩指能包含苹果树冠层部分所有点的最小长方体，采用图像顶点凸集与旋转法的结合算法，具体算法细节如下：

假设目标ROI图像大小表示为[m，n]=size（f），其中f为图像矩阵，m为该ROI图像行数，n为ROI图像列数，从ROI图像的边界开始，分别从左至右，从右至左，从上至下，从下至上扫描图像，获取图像边界，找寻f（x，y）=0的直线，并设上边界的线性方程为x=x1，下边界的线性方程为x=x2，左边界的线性方程为y=y1，右边界的线性方程为y=y2，按照边界方程绘制出一个初始的外接矩形。再确定出该初始外接矩形的中心点坐标原点O，并以此原点建立互相垂直的两条主轴为坐标轴，形成新的坐标系，中心点坐标为O（x0，y0），则x0=（x1+x2）/2，y0=（y1+y2）/2，主轴两端的四个顶点坐标分别为（1，y0）、（c，y0）、（x0，1）、（x，k），然后对该初始接矩形进行旋转，旋转角度限制在两主轴相交的锐角区域内，假设旋转角度为？兹，则0°<？兹<90°，旋转之后的四个顶角坐标分别为A'（xa，ya），B'（xb，yb），C'（xc，yc），D'（xd，yd），则旋转后顶点坐标按照如下方式求得：

除了四个顶点以外其他点坐标，按照如下算法计算：

（1）首先计算轴上两端点的x、y差值，分别记为dx=xb-xa，dy=yb-ya；

（2）再比较dx与dy的绝对值的大小，确定出步数s=max（|dx|，|dy|）；

（3）然后计算x与y移动的步伐，计算方法为？驻x=dx/s，？驻y=dy/s；

（4）再将点A作为起始点，计算主轴上的其他个点坐标，初始化变量值，x=xa，y=ya；

（5）其他点坐标的计算方法为：x=x+？驻x，y=y+？驻y。一般显示设备的像素点坐标均为整数，故对计算得到的坐标值需要四舍五入取整，x'=round（x），y'=round（y），循环执行该计算步骤s次数之后退出循环，计算结束。

三维空间的苹果树冠层最小外接矩，可以将二维上最小外接矩形扩展至三维坐标系空间中，该长方体的轮廓值确定也就是对XYZ坐标阈值的确定，此处可以采用寻找X、Y、Z最大值、最小值的方法来确定。

3 试验结果分析与讨论

针对上述苹果树冠层特征信息的提取方法，选取如图2所示的三种不同形态结构的苹果树树形，取每90°一个面，共A、B、C、D四个面，平视、仰视、俯视三个角度，分别进行原始图像的采集以及形态特征计算。

树形①的四个面，从三个角度采集的图像处理结果分别如表1所示。从表中可以看出，树形①四个面从三个角度的冠层信息识别与采集效果良好，冠层的宽幅、高度识别误差基本保持在5%以下，四组数据中平视角度的冠层宽幅结果误差平均值为2.43%，冠层高度结果误差平均值为2.84%，低于仰视、俯视角度采集图像的处理误差。

树形②为瘦高型，冠层宽幅不同角度的识别误差平均值分别为3.54%、3.63%、6.73%，冠层高度不同角度的识别误差平均值分别为4.7%、6.22%、6.25%，可见俯视角度对冠层宽幅、高度的识别结果误差最大，平视最小。

树形③主干下方的枝叶较少，主要集中在上方类似椭圆形的冠层中，冠层宽幅不同角度的识别误差平均值分别为2.78%、5.02%、5.72%，冠层高度不同角度的识别误差平均值分别为3.50%、5.62%、7.17%，可见平视角度对冠层宽幅、高度的识别结果误差最小，俯视最大。

综上可得，采用本方法提取的冠层形态结构结果误差较小，基本保持在5%以内。而且，通过对结果的分析还可得，平视角度采集的冠层宽幅、高度结果误差最小，分别为2.91%和3.68%。

4 结束语

本研究对基于Kinect传感器的苹果树冠层信息提取方法的进行了研究，用Kinect传感器对目标果树实现原始图像信息采集，获得目标对象的二维坐标以及深度信息，并利用三维空间坐标转换公式在MATLAB中得到无背景、无噪点、原图色的单株果树三维点云模型。同时，设计了对应的冠层信息提取方法，并进行相关的提取试验，试验结果表明：该方法可以较为准确的实现苹果树冠层信息的提取，且采用平视角度提取的冠层宽幅、高度信息相对误差值最小，分别为2.91%和3.68%；该试验获取信息迅速，处理结果精准，运算性能高效，达到了预期目标，为我国现代化果业的信息感知，数据获取，智能管控提供了相对科学的实践依据。

参考文献：

[1]李慧峰，吕德国，秦思军，等.我国苹果产业及其可持续发展对策[J].沈阳农业大学学报：社会科学版，2005，7（2）：77-78.

[2]陈海啸，陆声链.果树冠层形态特征测量與分析研究进展[J].中国农业科技导报，2016，18（6）：97-102.

[3]马晓丹.苹果树冠层光照分布计算方法研究[D].北京：中国农业大学，2015，5.

[4]张东波.植物三维信息检测及视觉伺服控制技术研究[D].北京：中国农业大学，2015，5.

[5]王万章，洪添胜，陆永超，等.基于超声波传感器和的果树冠径检测[J].农业工程学报，2006，22（8）：158-161.

[6]张霖，赵祚喜，俞龙，等.超声波果树冠层测量定位算法与试验[J].农业工程学报，2010，26（9）：192-197.

[7]周致富.基于Kinect传感器的三维点云模型重建研究[D].武汉：武汉科技大学，2015.5.

[8]王剑，周国民.利用激光扫描仪获取楦物三维模型的方法[J].湖北农业科学，2008，47（1）：104-106.