基于深度学习的种植园巡检机器人的研究

谭庆吉

(黑龙江农垦科技职业学院，黑龙江 哈尔滨 150431)

1 研究主要内容

基于深度学习的种植园巡检机器人主要研究内容如图1所示。

图1 本研究课题的主要研究内容

从图1可以看出，巡检机器人主要研究内容包括4个模块：轮式移动机器人底盘设计模块、各种传感器模块、各种传感器数据处理模块和各种数据可视化模块。具体研究内容如下：

(1)轮式移动机器人底盘设计。设计内容涉及机器人行走轮子的设计与驱动、机器人行走驱动模块设计。使用4个直流电机来设计机器人的行走机构。轮式移动机器人底盘的驱动模块使用基于STM32主控板来控制机器人的电机，实现对机器人的行走控制。

(2)传感器模块。传感器模块涉及环境数据的采集与处理，包括：测距的二维激光雷达、视频和图像采集模块、远程通信模块和GPS定位模块。该研究内容的主要任务是开发轮式移动机器人上搭载的各种传感器模块的数据采集与传输软件包，用于将传感器采集到的数据发送给上层软件和程序库。

(3)机器人地图构建。该模块的研究内容是种植园区内机器人移动地图构建。利用机器人平台上搭载的激光雷达传感器和图像与视频传感器实时构建种植园的机器人移动地图。利用深度摄像头采集场景的彩色图像信息和深度信息，重构种植园的三维空间，用于机器人路径规划和定位。

(4)机器人路径规划与定位。机器人路径规划与定位是基于我们已经建立的种植园三维空间地图，为了实现某一目标而对机器人在种植园的行走进行路径规划，而这一任务离不开机器人的实时精确定位，利用卷积神经网络框架从深度图像数据中提取环境的特征信息，用于机器人定位。在机器人路径规划中，利用强化学习框架来实现机器人在种植园内有目的地移动，进而完成预定的任务。

(5)机器人避障。探测器人行走过程中，如何设计避开前面障碍物。拟利用装载在机器人平台上的激光雷达传感器探测机器人行走前方是否有障碍物，如果有障碍物，设计机器人避开障碍物的行走路线。

(6)植物生长监测。利用植物生长传感器监测种植园内植物的生长状态，包括植物的高度、植物的水分、花的开放情况、土壤参数、植物的病虫害情况。

(7)数据传输。将机器人上搭载的传感器感知数据通过无线发送模块发送到服务器或者上位机。该模块涉及可靠数据传输与接收，视频和图像等大量数据传输，实时机器人控制数据传输。

(8)数据可视化。将机器人传感器采集的数据在服务器或者上位机上以图形化方式显示出来。该研究内容涉及种植园地图构建与显示、种植园三维模型建立、种植园路径规划显示等。

2 解决的技术难点和问题

2.1 机器人传感器实时数据采集与传输问题

机器人平台上搭载的传感器数据是用来实时检测种植园内各种参数，并将采集到的数据实时传输到指定的上位机或者服务器。由于机器人平台上搭载了多个传感器，比如激光雷达、超声波传感器、红外传感器、语音采集模块、图像和视频采集模块、电机编码器等。由于机器人平台的限制，不可能在机器人平台上安装处理能力强大的CPU模块，因此，如何在计算资源有限的条件下实现上面所有传感器的实时数据采集和传输就是一个关键的问题。因为，机器人在行走过程中，传感器模块需要实时采集机器人周边的环境信息，用于导航与避障。由于机器人计算能力的限制，通常情况各种传感器数据采集与传输的延迟，从而使得机器人的决策滞后，这将导致机器人行走决策的错误，将无法实现正确的路径规划和定位。因此，该项目的1个关键问题是设计1套高效的机器人传感器数据实时采集与传输策略，为种植园三维地图构建和机器人定位提供可靠的环境数据。

2.2 种植园三维地图构建问题

种植园三维地图是机器人在园内行走的基础。该问题的核心是利用机器人平台上搭载的激光雷达传感器和深度摄像头实时建立种植园的三维地图，在三维地图中标注种植园内植物的颜色和三维几何信息，用于机器人的空间定位。在种植园三维地图构建过程中，需要解决的问题是：不同空间坐标系的转换、空间三维点云数据滤波、地图可视化。

2.3 机器人路径规划和精确定位问题

由于在种植园内无法使用GPS定位系统，因此，种植园内的机器人无法使用GPS系统实现汽车定位和路径规划。种植园内的机器人只能基于已经建立的三维空间地图，实现园内机器人路径规划并利用图像匹配的方法实现机器人精确定位。

3 创新点

(1)融合激光雷达采集的点云数据和深度摄像头采集实现实时构造种植园的三维空间地图；

(2)利用深度卷积神经网络和强化学习框架实现机器人在种植园内的行走路径规划和精确定位；

(3)针对种植园的特定环境，设计种植园智能监测移动机器人用于实现种植园无人或者远程检测。

4 结论

结合深度学习框架和强化学习理论，研究并设计种植园巡检机器人系统。通过在巡检机器人上安装多种环境信息采集传感器来获取机器人所在的种植园的环境信息，机器人利用传感器所获得的环境信息，实现机器人自身的巡检路径规划，机器人同时能有效避开行径前方的障碍物。同时，巡检机器人能够利用传感器模块采集种植园内植物的生长参数，机器人采集的生长参数信息通过物联网平台远程发送到云服务器。