茄子采摘机器人目标识别与测距方法

宋 健， 王 凯， 张晓琛

(1. 潍坊学院 机电工程学院，山东 潍坊261061;2. 常州大学 机械工程学院，江苏 常州213000)

0 引 言

蔬菜自动化收获能有效解决在盛果期菜农劳动强度大、果实采收不及时等难题，对提高生产效率，克服农业劳动力短缺，促进蔬菜产业的发展具有重要意义［1-2］。从上世纪80 年代中期开始，以日本为代表的西方发达国家在收获采摘机器人的研究上作了大量的工作，试验开发了一些具有人工智能的蔬菜采摘机器人［3-5］。但由于技术、市场和价格等因素的影响，离实用化和商业化还有很大一段距离［6］。其中，成熟果实的智能化识别与定位是关键技术之一［7］。

当前，农业机器人常用的目标探测工具是彩色相机。但是，一个彩色相机只能得到目标的二维位置信息和成熟度信息，而无法获取其三维位置信息。而且，单个相机很难保证其信息的准确性和可靠性［8］。当前，国内外的采摘机器人一般采用双目机器视觉或单目视觉加上接近觉传感器来实现对果实进行定位。但由于目前的接近觉传感器在要求的果实距离的范围内准确性不高，所以使得双目视觉的研究更加广泛［9］。Teruo Takahashi 等研制的苹果采摘机器人，其视觉系统主要采用了2 个彩色相机组成的双目立体视觉系统。当左、右两个相机同时获取了同一目标的图像后，通过将两幅图像进行中心合成来重建采摘目标的三维信息［13］。蒋焕煜等研究了基于双目立体视觉技术的成熟番茄的识别与定位方法，获取了成熟番茄的位置信息，用于指导温室内成熟番茄的自动化采摘作业［14］。袁挺等通过建立基于灰度相关与极线几何相结合的匹配策略，实现了双目视觉下的黄瓜抓取点的立体匹配和三维重建［15］。

双目视觉技术在采摘机器人上的应用有了较快的发展，但依然存在识别和定位精度较低和工作效率不高的问题［16］。本文以生长环境中的茄子为研究对象，借助OPopenCV 丰富的视觉处理算法，实现采摘目标的识别与三维信息的获取，以期提高采摘机器人视觉系统的智能化和实时性。

1 机器人系统总体结构

1.1 图像分割

采摘机器人视觉系统中的图像分割就是把茄子果实从图像中提取并标记出来，也就是将图像分成茄子果实和背景两部分。根据对茄子果实和周围环境的颜色特征分析，G-B 灰度图像对于果实目标的分割最为有利。另外，采摘机器人对视觉系统实时性和适应性的要求较高。基于以上两点，采用基于亮度的阈值分割算法对G-B 灰度图像进行分割。

主要原理:

式中:Th为分割阈值;Gav为平均灰度值;Gmax为最大灰度值;f 为权重因子。

图1 图像分割效果

1.2 果实目标的特征提取

果实图像分割完成之后就得到了包含果实的二值图像，此时可用区域标记算法找出各个果实的区域，进行区域分析，并得到这些区域的外接矩形，从而完成果实目标的提取。

根据采摘机器人的工作要求，采用4 连通像素标记法对果实目标进行标记。在对图像进行标记的同时，还可以得到标记算法的副产品，程序中可实现如下功能:①计算区域的面积。②去除噪声的影响。③跟踪目标的边界，计算目标的周长、圆形度。而且，可以方便地提取所需要的质心、面积、外接矩形、切断点等特征。

2 视觉系统的标定

计算机视觉的基本任务是从摄像机获取的图像信息出发计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的。这些几何模型参数即摄像机参数包括摄像机内部参数和外部参数。因为生产误差以及工艺水平问题，使生产的摄像头往往存在一些问题。比如说主光点的偏移，在x、y 方向上的焦点尺寸不同导致的焦点不规则等。所以在应用中必须这些畸变进行数学上矫正。

为了获取最大的精度，标定选择在Matlab 标定工具箱中进行。标定方法采用张正友的平面标定方法，摄像头前放置标准黑白相间的棋盘，摄像头拍摄不同角度下的10 张棋盘的图像。在获取完图片后Matlab经过多次迭代计算得到摄像头的内外参数。图2 为Mtlab 建立的模型，图中，1 ～10 为摄像头所采集的不同角度下的标定板。由于开发语言是C + +，所以所得的各种参数保存到xml 文件中，以便后续的图像处理使用。

3 视觉视觉测距算法

3.1 双目视觉测距原理

最基本的双目视觉系统的立体几何关系如图3 所示。2 个完全相同的摄像机的2 个图像平面位于一个平面内，2 个摄像机的坐标轴相互平行，且x 轴相互重合，摄像机之间在x方向的距离为基线距离B。在该

图2 Matlab 标定模型

模型中，场景中同一个特征点在2 个摄像机图像平面的成像位置不同，位置之差成为视差(x'l－x'r)，该特征点在2 个不同图像上的投影点称为共轭对，通过2个摄像机中心(Ol和Or)和场景特征点P 的片面称为外极平面，外极平面与图像平面的交线称为外极线，同一图像平面上所有外极线交于一点，该点称为外极点。

治疗前，两组血清CEA、ApoA1值均无统计学差异；观察组与对照组治疗后的血清CEA值都低于治疗前，同组治疗前后比较差异有统计学意义（P＜0.05）；治疗后观察组的CEA低于对照组，差异有统计学意义（P＜0.05）。观察组与对照组治疗后的ApoA1值都高于治疗前，同组治疗前后比较差异有统计学意义（P＜0.05）；治疗后观察组的ApoA1高于对照组，差异有统计学意义（P＜0.05）。见表4。

图3 双目视觉立体几何关系图

场景点P 在左、右图像平面中的投影点分别为Pl和Pr。不失一般性，假设坐标系原点与左透镜中心重合。根据相似三角形原理，很容易得出深度信息z。

式中:F 是焦距;B 是基线距离。

3.2 质心匹配算法

立体匹配是根据对所选特征的计算，建立特征之间的对应关系，将同一个空间物理点在不同图像中的映像点对应起来。采摘对象是茄子的果实呈圆柱形，平行安装的2 个摄像机采集到图像的质心是一对很好的匹配点，可以采用质心匹配方法进行目标对象的定位。通过对左右两图像进行图像分割，获取目标对象在立体图像对中的质心坐标。进而采用基于质心并辅以极线约束、唯一性约束、视差梯度约束的算法来实现果实目标的匹配。

极限约束给出了对应点的重要约束条件，利用极线约束可以大大地缩小寻找对应点的搜索空间，从而提高搜索速度，减少误匹配。由分析推导可得双摄像头的相对位置和极限方程的公式为

式中:［m］x为向量m 所定义的反对称矩阵;u1、u2为2 个摄像头对应点的齐次坐标;M21、M11为摄像机投影矩阵。

该约束是指一般情况下，一幅图像上的每个特征点最多只能与另一幅图像上的一个特征点对应。研究中根据一个茄子只有一个质心满足惟一性约束的情况，将两幅图像中分别提取的茄子质心坐标进行匹配。

视差梯度度量的是两对匹配点的相对视差。假设空间中两点A、B 在左图中Al=(axlay)，Bl=(bxlby);在右图中Ar=(axray)，Br=(bxrby)，该两点的独眼分离度S 为

两点间的匹配视差差别为

本文为平行双目立体视觉系统，则ay=by，匹配对之间的视差梯度为:

实际应用中，视差梯度是受限制的，Γ(A，B)≤1。

3.3 算法实现

茄子一般呈圆柱型，所以平行安装的2 个摄像机采集到图像的质心是一对很好的匹配点。利用前述方法对左右视图分别进行图像分割，然后分别求出两者的质点。采用极线约束、视差梯度约束的算法来实现果实目标的匹配，具体算法如下:①图像预处理和分割;②提取左右2 个图像中茄子的质心坐标;③对右边茄子图像中的每个特征，利用极线约束条件找出左边图像中的可能匹配;④计算每个匹配的视差梯度，以确保其在视差梯度范围内;⑤遍历所有可能的匹配，得出结果。

质心匹配程序界面如图4 所示。

图4 质心匹配程序界面

4 实验结果及分析

4.1 实验条件

具有开放式体系结构的茄子采摘机器人系统包括PC 机，固高公司的GUC-800-TPG-M23-L2 8 轴独立运动控制器，安川交流伺服驱动系统，大恒水星系列数字摄像机MER-125-30，5 自由度关节式机器人本体。实验用PC 机的CPU 为Intel 酷睿i5 4570，4 GB 内存，Windows XP 操作系统，编程语言为C + +，编译环境为Visual C2010，视觉数据库版本ewing2.44。

将摄像机固定于机械手基座上，2 摄像机安装的光轴平行且高度相同，2 个摄像机距离600 mm。触发器控制两个摄像机同时拍摄同一场景的图像，采集图像的分辨率为640 像素×480 像素。

4.2 结果与分析

利用质心匹配算法，对3 个不同的茄子在300 ～800 mm 范围内的10 个不同位置进行了定位实验。测定了不同位置的3 个茄子深度信息的实际值，并利用质心匹配方法计算目标对象的距离值，测试结果如图5 所示。其中，纵坐标为茄子深度信息测量值与预测值的偏差，横坐标为测量距离。

图5 测试误差曲线

由图可见，当工作距离小于600 mm 时，除了个别奇异点外，茄子深度信息的误差基本上在±15 mm 以内，完成一次目标对象的定位测量所需时间约0.26 s。造成误差的主要原因:①图像分割的图像虽然经过了滤波处理，但是不可能根本清除，造成了质心坐标的误差，从而影响了深度信息的准确性。②测量误差随着距离的增大而增大的原因，主要是由于目标对象在图像中的视差随着距离的增大而减小，在视差误差相同的情况下，预测值的误差随距离的增大而增大。③摄像机标定的误差也在一定程度上影响着测量的精度。

实验结果表明，基于双目视觉的茄子采摘机器人目标定位方法原理简单，智能性好，适应面广，能够满足采摘机器人目标定位的要求。只是耗时相当较多，处理速度需进一步提高。

5 结 语

为了对茄子采摘机器人提供果实目标的三维信息，提出了一种基于双目立体视觉的目标定位方法。在RGB 颜色空间成熟茄子果实与背景之间差异较大，采用基于亮度的阈值分割算法可以较好地将目标果实分割出来。采用基于质心并辅以极线约束、视差梯度约束的算法能够比较准确地获得茄子果实的三维信息。实验测定，测量距离300 ～600 mm，茄子深度信息的误差基本上在±15 mm 以内，平均用时0.26 s。该方法虽然能够满足茄子采摘机器人视觉系统的要求，但是其测量精度和实时性还有进一步提高的余地。今后的研究中，还需要优化系统算法设计，精确标定摄像机参数，从而开发出能够应用于采摘机器人实际作业的果实目标定位算法。

［1］ 宋 健，张铁中，徐丽明，等. 果蔬采摘机器人研究进展与展望［J］.农业机械学报，2006，37 (5):158-162.

［2］ 崔玉洁，张祖立，白晓虎. 采摘机器人的研究进展与现状分析［J］. 2012，2(2):4-7.

［3］ 张凯良，杨 丽，张铁中. 高架草莓采摘机器人设计与试验［J］. 农业机械学报，2012，9(43):165-172.

［4］ Van Henten E J，Van Tuijl B A J. Field test of an autonomous cucumber picking robot［J］. Biosystems Engineering，2003，86(3)，305-313.

［5］ 梁喜凤，苗香雯，崔绍荣，等. 番茄收获机械手运动学优化与仿真试验［J］.农业机械学报，2005，36(7):96-100.

［6］ Murali Regunathan，Won Suk Lee. Citrus Fruit Identification and Size Determination Using Machine Vision and Ultrasonic Sensors［C］∥ASAE ，ASAE Meeting，Hokkaido :IEEE，2005:639-644.

［7］ 汤修映，张铁中.果蔬收获机器人研究综述［J］.机器人，2005，27(1):90-96.

［8］ 崔 鹏，陈 志，张晓超.苹果采摘机器人仿生机械手静力学分析与仿真［J］. 农业机械学报，2011，42(2):149-153;.

［9］ Song J. Target Identification Based on Improved Wavelet Edge Detection for Eggplant Picking Robot［J］. International Review on Computers and Software，2011，6(5):710-714.

［10］ 郭艾侠，肖德琴. 基于探索性分析的荔枝串与结果母枝图像识别［J］.实验室研究与探索，2014，33(2):4-9.

［11］ Bulanon D M，Kataoka T. Fruit detection system and an end effector for robotic harvesting of Fuji apples［J］. CIGR Journal，2010，12(1):203 -210.

［12］ Xu L，You Z，Wu S，et al. Development and experiment on automatic grading equipment for kiwi［J］. INMATEH-Agricultural Engineering，2013，41(3):55-64.

［13］ Teruo Takahashi，Shuhuai Zhang，Hiroshi Fukuchi. Measurement of 3-D Locations of Fruit by Binocular Stereo Vision for Apple Harvesting in an Orchard［J］.ASAE，2002，16(2):653-659..

［14］ 蒋焕煜，彭永石，应义斌. 双目立体视觉技术在果蔬采摘机器人中的应用［J］.江苏大学学报，2008，29(5):377-380.

［15］ 袁 挺，李 伟，谭豫之，等. 温室环境下黄瓜采摘机器人信息获取［J］. 农业机械学报，2009，40(10):151-155 .

［16］ Shigehiko Hayashi，Kenta Shigematsxi. Evaluation of a strawberryharvesting robot in a field test［J］. Biosystems Engineering，2010，105(2):160-171.