草莓采摘机器人图像识别系统研究

侯贵洋，赵桂杰，王璐瑶

（1. 天津工业大学电子信息工程学院通信工程系，天津　300387；2. 天津工业大学大学电子信息工程学院电信系，天津　300387；3. 天津工业大学机械工程学院机电系，天津　300387）

0　引言

果蔬采摘是果蔬生产过程中最为耗时、耗力、实效性强的生产环节之一，所需投入的劳动力约占整个生产种植过程的40%-50%。随着社会发展，特别是工业化发展进程使得农业劳动力逐渐减少，农业劳动力成本逐渐增加[1]。依靠人工劳作的生产形式已不能满足现代农业发展的需求。依靠机器人、智能化装备开展农业生产成为现代农业发展的迫切需要。针对人工采摘草莓带来的问题以及我国草莓种植面积的迅速推广，为实现草莓采摘的智能化、机械化，我们设计了智能草莓采摘系统，而其中最为核心的一部分即为草莓的图像识别系统。国内外对果实图像识别这方面进行了大量的研究，但是仍然有很多问题存在，比如果实的识别率、定位精度不高，考虑到这个问题我们采用了颜色识别和特征识别相结合的方法，在特征识别时我们加入卷积神经网络来辅助Harr级联分类器来识别草莓的特征点进而找到草莓的位置，然后通过颜色识别判断草莓的成熟度，判断是否采摘[2]。

1　草莓二维坐标位置识别

一般来说机器视觉技术[3]分为图像采集、图像处理、特性提取以及判决和控制几个部分，在识别草莓的过程中我们采用了颜色识别和特征识别相结合的方法，图像通过摄像头采集后分为两条路径，一条路径为通过之前训练的Harr级联数据去找出图像的草莓，并记录下每个草莓的质心坐标，也就是我们所说的特征识别[3]。另一条路径则为根据从摄像头获取的图像，进行图像处理与分割之后转换成hsv设定空间阈值，根据阈值构建掩膜[4]然后进行开运算、闭运算，最后进行自适应阈值处理找到轮廓并标记。两种方法进行比对得到最终的检测结果，最终结果误差很小，具有极高的正确率。下图中左侧为特征识别流程，右侧为颜色识别流程，最终两种识别结果进行比对以得到最终的检测结果。

图1　草莓检测与识别流程图Fig.1　Flow chart of strawberry detection and recognition

1.1　特征识别

1.1.1训练级联分类器

在正式进行图像识别草莓之前我们需要训练出属于草莓果实特有特征的 Harr级联数据，这些数据中包含草莓特有的特征向量，我们采用的是opencv自带的opencv_traincascade.exe的训练程序用于训练出我们所需要的 Harr级联数据。通过提供给训练器提供大量的正样本（含有草莓的图片）和大量的负样本数据（不含有草莓的图片）电脑通过训练程序自己训练找出草莓本身所特有的特征并就录下来，成为若干个弱分类器，最终所有的弱分类器组成一个强分类器，具有很高的识别率[5]。

训练级联分类器用了 10000个正样本（包含草莓的图片），30000个负样本（不包含草莓的图片)，每级分类器的错误率小于30%时进入下一级，一共训练了20级，最终错误率为0.001%，训练出的级联分类器通过验证集验证，草莓的识别与定位正确率达到 85%以上。这样的正确率还远远达不到实际生产的要求，因此我们加入了卷积神经网络来辅助级联分类器对目标物草莓进行判断，加入卷积神经网络后我们草莓识别的正确率能达到 92%以上。此外卷积神经网络[6]还能在后续的采摘过程中进行强化学习，从而进一步的提高草莓识别率。

图2　训练所用正样本图Fig.2　Positive sample diagram for training

图3　训练所用负样本图Fig.3　Negative sample diagram for training

上图中每幅图片均为含有草莓的图片，我们选用了10000个包含草莓的图片用作正样本。

上图中每幅图片均为不含草莓的照片，为了在识别草莓的过程中能够尽量消除周围环境以及不成熟草莓等因素的影响，我们选取的很多负样本都和草莓周围种植环境相似。

经过上述一系列步骤，我们可以较好的对草莓进行特征识别，效果如图4所示。

1.2　颜色识别

1.2.1图像分割

图4　特征识别结果图Fig.4　Diagram of feature recognition result

大部分草莓处于采摘期时，表面颜色与背景颜色存在较大差异，而同一品种果实表面颜色相近。体现在色彩空间中，果实表面颜色和背景颜色存在着不同的分布特性。根据这一特性，本研究应用了一种基于色彩空间，适用于果实目标提取的图像分割算法。快速而有效的把水果从背景中提取出来的方法是使用阈值分割方法[7]。本研究的对象为成熟草莓，在图像上成熟草莓呈现红色，背景大部分是绿色的枝叶，还有少部分是介于黄色和红色之间的枯萎枝叶。利用两者的颜色差异，采用简单的阈值，就可以把水果从背景中分离出来。

1.2.2转换阈值、构建掩膜

由于 RGB图像无法用单一的参数对图像进行分割，RGB图像转换为灰度图像再进行分割，这样做的代价就是大大的损失的图像的色彩特征。但是如果将RGB图像转化到HSV空间，却可以直接给绿色划定一个定义区间了，即 H（色调）的区间。在HSV色彩空间内进行草木、树木图像的分割，通过设定绿色区间的 H（色调）的门限值，提取图像中绿色的像素点，从而实现分割。HSV3分量之间的相关性远远小于RGB色彩空间中3分量的联系。颜色作为绿色植物的重要特征可以作为草木、树木图像分割的重要依据。当绿色植物所处的周围环境的色调与植物色调差别较大时，通过把RGB模型转换到 HSV模型，经H分割，可以得到比较理想的分割图像和算法，简单快捷[8]。所以我们选择在HSV颜色空间下进行处理。RGB模型转化到 HSV模型的算法如下

图5　摄像头获取的图像Fig.5　Image obtained by the camera

上式中H代表色调，S代表饱和度，V代表明度。将RGB模型转换到HSV模型后，转换阈值构建掩膜图像如图6所示

图6　根据阈值构建掩膜图像Fig.6　Building mask image based on threshold

1.2.3去噪、自适应阈值处理

分割后的图像中仍有许多像素被误判。这些被误判像素可分为两类:一是背景区域被误判为目标;另一类是目标由于光照等原因被误判为背景。第一类误判在视觉上表现为散点的噪声，均散落于草莓区域以外。这些噪声与分割后被判为草莓的像素分别形成多个单连通区，噪声区域的面积相比于草莓部分的面积要小很多。解决这个问题可以用中值滤波处理。第二类误判在分割后的图像上的目标内部表现为一些黑洞。对于这后者和前者中黑洞较小的情况，使用形态学闭运算处理可以得到很好的改善“但当黑洞是由原图上一些明亮的光斑造成的话通常面积较大，形态学运算难以产生效果。解决这个问题的方法就是对闭运算后的图像进行孔洞填充，如果还有散点，再滤波处理即可[9]。在这里我们采用高斯滤波，高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

图7　去噪处理后图像Fig.7　Image after de-noising

图8　自适应阈值处理后图像Fig. 8　Image after adaptive threshold processing

1.2.4寻找轮廓并标记

质心的确定：质心是标示目标位置的重要参数，在二维图像中质心坐标可以根据目标区域点的坐标来计算。对于目标区域点的集合(,)x yη，其质心坐标(,)x y为

式中，N是目标区域点的个数。在获取质心的时候要经过筛选，比如形状，大小等。

图9　最终标记图像Fig.9　Final markup image

1.3　两种识别结果进行比较

通过两条路径的草莓识别得到的草莓质心的坐标，判断两个质心的坐标如果在规定误差范围内则判断该物体是要成熟的草莓需要采摘。如果在误差范围外则说明两个草莓挨得太近可能发生重叠或识别出现问题。

2　上位机图像识别系统

上图中左侧图片为动态图片，随着采摘平台上摄像头的移动左侧图像也会不断变化，在采摘的过程中随着采摘结构逐渐靠近果实，图片中果实的形状也会不断变大，反之变小。右侧图片为静态图片，是摄像头起始所获取的图像[10]。

图的左下方显示在 HSV色彩空间中设定的阈值，在图中也可以正确显示出待采摘目标的个数。图中的x和y代表像素点的值，一定程度上反映了待采摘草莓形状的大小。上位机系统通过串口将控制信息（上移、下移、左移、右移、回原点、停止运动等）发送至下位机控制系统中[11]。

图10　草莓辅助采摘监视平台图Fig.10　Diagram of strawberry assisted picking monitoring platform