温室番茄采摘机器人系统设计

姬丽雯，张 豪，吴 丹，高 帅

（1.江苏农林职业技术学院机电工程学院，江苏句容 212400；2.江苏省现代农业装备工程中心，江苏句容 212400）

0 引言

在果蔬作业生产链中，采摘作业是整个生产链中最耗时、费力的环节，且采摘作业存在季节性强、劳动强度大、投入费用高的特点，因此农业采摘机器人研究发展有极强的现实意义[1-2]。国内农业机器人发展相对于国外比较晚，但经历多年的不断的研究和发展，也取得了一定的成就。江苏大学研制了番茄采摘机器人，将RGB颜色空间转换成HIS颜色空间。王沈辉等人基于神经网络，创建了双目立体视觉实验的平台。魏博等设计了一种欠驱动式柑橘采摘末端执行器，通过三个双连杆并联式手指充分抓握和偏转融合控制，实现柑橘的稳定采摘。使用的末端执行器具有适应性强、抓取稳定等优点，但只在手指内部贴有软硅橡胶的设计无法避免果实采摘时的破损，将影响果实的品质[3]。于丰华等将机器人的机械臂扩展到6自由度，机械臂搭载了附有薄膜压力传感器的柔性手爪，基于R-FCN卷积神经网络视觉识别技术，设计了以番茄为采摘对象的移动机器人，但是机器人必须通过巡线相机识别温室内定位胶带来完成巡检和采摘，移动的灵活性受到限制[4]。虽然采摘机器人的研究较多，但研究深度还有待进一步提高。

本文设计了一款温室番茄采摘机器人，采用同时定位和地图构建实现机器人的路径规划，双目深度相机实现对成熟番茄的识别和定位，搭载柔性仿生夹爪的6自由度机械臂实现目标番茄的抓取和放置。

1 采摘机器人系统功能设计

番茄的培育模式主要有地面土培和基质高架培育，其中高架基质栽培可改善劳动姿势，减轻劳动强度，实现省省力化栽培而且能够克服连作障碍，实现清洁化生产[5]。本文的农业采摘机器人是以温室高架番茄为采摘对象进行研究，温室番茄栽培模式如图1所示。

图1 温室番茄栽培模式

采摘机器人的硬件结构图如图2所示，包括激光雷达、3D相机、六自由度机械臂，仿生手爪等。采摘机器人的底盘用于承载整个车身，6个轮式电机动力驱动，6个舵机转向驱动，可前后左右行驶，可实现0度到360度原地转弯，RS232通信控制；此小车地盘是全地形越野地盘，（6轮6驱独立悬挂独立转向），整车最大负载为200 kg，转弯半径为0至无穷大，可原地旋转。爬坡能力为最大35度；工作电压为24～55 V；控制模式为闭环控制。

图2 采摘机器人硬件系统结构

软件开发使用，1#计算机（相机）将机器人控制器，3D相机等关联起来开发图像识别和采摘系统，2#计算机（底盘）将激光雷达和小车底盘关联起来开发小车导航系统拓展功能，3#计算机（客户端）远程操控使用，各计算机的连接拓扑如图3所示。

图3 各计算机连接拓扑

机器人采摘流程如图4所示，机器人通过激光雷达构建环境地图用做车辆导航，地图构建完成以后可以进入采摘环节，机器人开始移动，并使用双目摄像头进行拍照识别，如果检测到成熟番茄，则停止识别并对目标番茄进行定位，引导机器人进行采摘动作并释放到果篮处，再回到采摘初始位置。若采摘目标位置超过设置界限，不执行采摘动作。

图4 机器人采摘流程图

2 采摘机器人导航系统

本机器人采用了思岚RPLIDAR-A3红外激光雷达，通过串口与Raspberry Pi 4B相连。激光雷达的主要技术参数如表1所示。

表1 RPLIDAR-A3激光雷达主要技术参数

现在需要构建地图和路径规划，因为到达一个新的环境是必须进行的一个操作[6-9]。此过程需要激光雷达和远程工控机。通过无线网络使用远程工控机，控制底盘控制系统[10-12]。紧接着发出构建地图和规划路径指令，驱动激光雷达开始规建，同时使用遥控装置进行提高路径的正确性和在远程控制电脑上地图完整性，随着地图构建完成将采摘车遥控至起点位置，然后远程发送指令，并保存地图。然后对路径进行人工规划，设立原点，采摘点，返回位置，并上传至底盘控制系统。

3 采摘机器人视觉系统

采摘机器人使用3D相机拍摄番茄，可以获取将被采摘番茄的立体图像信息。3D相机可以通过智能识别算法识别出成熟番茄，然后通过计算机立体图像识别和3D的位置信息分析，最后实现番茄的立体定位。本文中采用的3D相机是小觅智能的双目深度相机。这款3D相机相关参数为：线路板尺寸大小为90*26 mm、总尺寸为124*33.3*32.5 mm，分辨率分别为2560*720、1280*480，深度分辨率为1280*720、640*480，像素尺寸3.75*3.75 um，IR可探测距离为3 m。

3.1 视觉识别

使用基于新算子的OTSU分割方法，将背景与目标进行区分。最大类间方差算法（OTSU）是由日本学者大津展之提出的，这种算法整个过程如下：

1）选择其中一个具有代表性的灰度值，记为k，他一般分为两个准类，分别是C1=[K+1，…，m]和C0=[1，…，K]，则每一类产生的概率分别为：

2）C0，C1平均灰度值：

3）整体平均灰度值为：

4）C0，C1两类之间的方差：

5）通过遍历求得 k*的值，使得：

6）k*即为所求，以该值为阈值来对图像进行分割。

3.2 视觉标定

由于相机视野中捕获目标物体的坐标系与机器人坐标系不一致，它们各自的坐标没有联系，所以为了使两者坐标系形成关联，以便引导机器人进行采摘，故需要将相机的坐标系变换到机器人坐标系中，即进行标定[13-15]。

要完成机器人与物体的坐标变换标定，需要一个矩阵（4x4），这个矩阵包含着一个旋转矩阵（3X3）和一个平移矩阵（1X3）。变换矩阵由旋转矩阵和平移矩阵组成，我们以机械臂末端坐标系到机械臂基底坐标系变换矩阵为例进行说明，转换矩阵表示如公式6。

具体的标定步骤为：

1）选取合适的四个标定点，四个标定点应该差异化，比如远近位置各不相同，同时又应该在相机的拍摄范围和机械臂的可采摘范围之内。

2）运行采摘机器人软件，确保机器人在采摘初始位置，点击识别采摘，相机在初始采摘位置拍照，识别出果实，使用TeamViewer远程控制相机计算机，使用相机计算机提供的ImageJ软件在相机计算机标定出果实位置，如图5（a）所示。

图5 视觉标定图片

3）利用示教器遥控机械臂到当前标定点所在的果实位置，记录下示教器的位置X，Y，Z值，得到机器人坐标系，如图5（b）所示。

4）将数据填入小觅相机内参列表中，将标定数据填入农业采摘机器人软件平台中，点击生成变换矩阵，保存变换矩阵。至此标定完成。

3.3 基于双目视觉的目标番茄定位

双目视觉目标定位示意图如图6所示，采用两台内参数完全一致的相机CL和CR，从左右两个视角获取目标物体的图像，分别为左平面图和右平面图。目标物体在左右平面图上存在两个投影点PL和PR。根据两相机的摆放位置，以及投影点的位置，利用三角形相似原理便可以计算出目标物体的三维坐标信息。

图6 双目视觉目标定位示意图

计算三维场景中目标点在左右两个视图上形成的视差，首先要把该点在左右视图上两个对应的投影点匹配起来。然而，在二维空间上匹配对应点是非常耗时的，为了减少匹配搜索范围，需要进行双目相机的立体校正，将二维上的匹配搜索降低到一维。

立体校正就是利用极线约束将左右两个视图平面的对极线限制在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。使用Opencv双目相机校正函数进行立体校正，校正后的双目视觉目标定位示意图如图7所示，此时对极线与相机的连线（基线）平行，左右成像平面共面。

图7 立体校正后的双目视觉目标定位示意图

双目视觉相机平面示意图如图8所示，目标物体P（X，Y，Z）在左右相机的投影点分别为PL和PR，经过立体校正后，两者的连线与基线平行；投影点PL和PR在左右平面的坐标分别为（xL，yL）和（xR，yR），相机焦距为f，左右相机基线为b，利用三角形相似原理，求出P（X，Y，Z）的空间坐标为：

图8 双目视觉相机平面示意图

4 试验与结果分析

机器人的远程执行软件界面如图9所示，界面可以实时显示采摘目标，及对应的相机坐标和机器人坐标、6自由度机械臂的角度等信息。机器人的远程执行软件界面还可以远程控制机器人动作，保障采摘系统作业安全。

图9 远程执行软件界面

试验于江苏省农博园番茄温室中进行，机器人在室内无光照环境下进行采摘，观察其采摘机器人整体试验数据如表2所示。对采摘机器人视觉系统的检测坐标和机器人手爪坐标进行了分析，其误差都还在可以允许范围之内。自主番茄采摘机器人成功率达到85%左右。

表2 番茄采摘数据

5 结论

本文设计一款农业采摘机器人，该机器人可以在番茄温室中采用同时定位和地图构建自主路径规划。使用双目视觉摄像头可完成对成熟草莓的自动识别和坐标定位，成熟草莓识别率大概在85%，满足采摘要求。