基于虚拟现实技术的桃树剪枝机器人建图数据关联策略研究

(宁波大红鹰学院 浙江 宁波 315000)

引言

21世纪以来,计算机和自动控制技术的迅速发展使得农业机械迈入高度自动化、智能化时期。且我国农村劳动力正快速向社会其他行业转移，人口老龄化问题突出，农业劳动力不足问题日趋严重。桃树修剪具有劳动强度大、人员技术素养要求高、时间周期紧等特点，使得桃树修剪的自动化研究迫在眉睫[1]。

一、桃树修剪背景

桃树的自然生长由于树冠葱郁、枝条繁密、光照与通风不足易导致病虫灾害，影响果实产量与质量；而合理的桃树修剪对于幼树扩大树冠和扩展树枝数量、盛果期桃树保持良好的树体结构以及促进衰老树重新生长维持产量具有重要意义；桃树修剪可以有效促进枝条末梢的生长、控制树叶面积，从而改善桃树光合效率；此外，通过修剪可以有效调整桃树之间自然生长的发育不均衡，调节营养生长和生殖生长之间的关系。现如今经济发展迅速，科技在一步一步的不断发展，自动化在社会上不断普及。而且，市场市场需求强大，相信在不久的将来桃树修剪的自动化也终将会实现。

二、国内外研究现状

研究者针对柑橘树分析，进行全方位研究，分析自然场景柑橘树图像R、G、B分量，两次采用Otsu阈值法分割色差分量图像去除果实、树叶、嫩枝等背景，然后采用双阈值分割出树枝，采用基于特征的立体匹配方法得到特征点的三维坐标，并利用图形技术恢复柑橘树的三维虚拟场景信息，但该方法由于在图像处理方法上对于不同光照条件下的树枝分割鲁棒性不足以及图形建模适用性较差而造成恢复后的虚拟场景可信度不高。

针对上述问题，利用基于滤波片的光谱图像技术与双目立体视觉技术相融合的方法识别自然场景下的树枝，以及通过立体匹配技术得到树枝的三维信息。在道路识别中，常将激光扫描技术、雷达技术与双目立体视觉技术等结合，以获得对障碍物更好的识别与定位。采用基于飞行时间法(TOF，Time-of-Flight)无扫描三维成像技术获取树枝的三维信息，TOF三维成像技术可以快速得到视场下各点的距离，不受光照影响，但也存在边缘区域深度图的深度值的误差比较大，得到的深度图分辨率低，无法精确标定等缺陷，因此它可以与双目立体视觉技术得到的三维信息进行融合以实现信息的互补与优化。

国内外研究趋势：

目前，果树(含桃树)生长状态的模拟研究多基于虚拟植物生长算法(PGSA)，虚拟植物生长是指利用计算机形象直观地再现植物生长过程。在此之前，关于此研究，基于多方面进行逐步实施。

首先，1968年，美国的生物学家Lindenmayer在其论文中提出形式化的表达植物分枝状况的系统——字符串重写系统(String Rewriting System),习惯称之为L系统(L-System)。此后，研究者们实现了：各种改进的L系统、IFS(函数迭代系统)、参考轴技术(Reference Axis Technique)、分形方法、分枝矩阵、基于几何可观察量的模型、基于图符的交互式模型以及用来模拟森林环境的粒子系统等，此类对虚拟植物模型的研究多集中在模拟模型构建方法、植物几何形态、植物生理机理模型等细节方面,相关虚拟植物可视化软件设计也多局限于特定应用。

最后，研究者结合基于图像重建和L系统规则建模，提出一种注重于视觉效果的虚拟植物重建方法,该方法结合了L系统、粒子系统和基于表面建模方法的优点。

三、研究内容

21世纪以来,计算机和自动控制技术的迅速发展使得农业机械迈入高度自动化、智能化时期。且我国农村劳动力正快速向社会其他行业转移，人口老龄化问题突出，农业劳动力不足问题日趋严重。桃树修剪具有劳动强度大、人员技术素养要求高、时间周期紧等特点，使得桃树修剪的自动化研究迫在眉睫。那么，我们该如何利用虚拟技术，进行现实技术的桃树剪枝呢？

总体来说，我们对以下内容进行研究：

(一)场景三维信息提取

通过阵列摄像机系统的设计对真实场景进行多光谱系统、TOF成像技术和双目立体视觉技术处理，对深度信息进行获取，把真实场景进行图像处理，使双目立体视觉技术与TOF三维成像技术的信息融合，从而实现信息提取。

(二)桃树生长模拟、最优修剪方案遴选

通过观测、统计、分析数据，提取桃树形态结构规则，确定桃树形态结构，实现虚拟场景构建。其次，建立桃树的形态发生模型和生理结构模型，进行生长状态模拟。然后，计算桃树生长发育状况，生成桃树图形。最后，综合不同条件的影响，遴选最优修剪方案

(三)修剪作业模拟验证

通过严格控制与作业无关的场景信息，冗余信息剔除，提供最有效的信息给路径规划，使得路径规划更具实效。进行智能仿生学算法和图形学的方法等进行模拟验证，寻求适合修剪机器人路径规划的最佳算法。