基于matlab的番茄果实串检测提取

金超杞，梁喜凤，章 艳，陈 晖

（1.中国计量大学机电工程学院，浙江杭州310018；2.浙江省农业机械研究院，浙江杭州310018）

随着科技日新月异的发展，人们已经不再满足传统的人工作业，农业收获机器人的研究是顺应当下时代发展的要求［1］。番茄是一种营养价值高，种植广泛的果蔬，在我国番茄的收获基本依靠人力来完成，随着我国人口老龄化的加剧，人力成本的上升，促使我国加快发展农业自动化技术。在果蔬自动收获的环节中，机器视觉起着重要的作用，国内外针对单果实的试验研究取得了较大的成果，提取单果实目标成功率较高。郭峰等研究的草莓机器人，根据OHTA颜色空间提取出草莓并二值化分析草莓blob惯性主杆判断生长形态，利用成熟度的差异实现有效采摘，基本满足了机械采摘实时精确的要求［2］。林伟明通过比较各类颜色模型，最终选择YUV模型判别番茄成熟度来提取番茄，在不同的光照条件下通过对比试验证明了YUV的可靠性［3］。另外，日本的Kondo和荷兰的ven Henten等在农业收获机器人具有深入的研究［3－5］。

本研究针对番茄果实串进行研究，果实串的物理特性、颜色分布和形态大小和单果实相比有一定差异。在自然环境下光照度不均匀、枝叶遮挡、生长不规则也会使得机器很难辨别目标果实串，成熟番茄果实串目标提取的研究可以为后续的机器收获作参考。

1 果实图像的分离

1.1 果实颜色分析

在自然环境下，成熟的番茄果实串肉眼就能从背景中清晰分辨，但是要用机器辨别番茄果实串则需要利用颜色空间模型分析，常用的颜色空间模型有 RGB、HIS、HSV等［4］。如图1中RGB模型的每个像素颜色都可以用空间的1个坐标表示，原点代表黑色，3种基本颜色RGB亮度均为0，当3种颜色亮度达到顶峰时即为白色，原点和峰值点的连线即代表从黑到白不同等阶的灰度［5］。

番茄果实串的识别是为了将番茄果实串从二维图像中分离出来，相机拍摄的彩色图像中包含了许多的干扰因素（绿叶、果秆、土壤等）。成熟的番茄果实串的颜色特征是识别番茄果实串的关键（图2）。照片于2016年5月在蓝城农业嵊州基地利用索尼TX30数码相机采集，总共包含60幅番茄果实串的样张，采集的图像大小是1 920×1 440像素。为了便于后期运算处理，图像样张均压缩至800×600像素大小。

番茄果实串的图像分割最简单的方法就是直接从图像中获取RGB在目标区域的各个像素平均值，结合算法进行区分。本研究主要将感兴趣区域分为3个部分，分别为果实串、果秆、枝叶［6］。为了尽可能地凸显各个对象的颜色特征信息，选择目标区域的时候尽可能包含整个目标［7］。利用Photoshop 13.0获取目标区域各像素点RGB的值并计算平均值，通过分析，番茄串区域像素G和B分量相差不大，而R分量明显高于R和G分量，通过对30幅图像的分析，综合考虑采用R－G分量进行果实串分割，得到如表1所示的60幅图番茄果实串的各颜色分量图。

表1 果实串目标区域颜色特征分量均值

1.2 阈值分割

当对番茄果实串利用R－G色差进行灰度变换之后发现番茄果实串在图像中更加明显［8］。图3右边是R－G灰度分布直方图，采用Otsu（大津法）进行阈值分割，Otsu最大类间方差方法的思想就是通过筛选合适的阈值达到不同群类之间分离性最佳［9－10］。根据获得的阈值，将图像做二值计算。

Otsu采用最大类间方差方法将原图像分为前后2个图像，设计t作为目标前景和后景的分割阈值。前景和后景的参量分别有像素点数、质量矩、灰度平均值，前景和背景要想得到最大化差异，就要得到最佳的分割阈值。前景在整幅图I（x，y）中所占的像素点的百分比为 p1，平均灰度为 u1，背景在图中像素点数为p2，平均灰度为u2，图像总平均灰度为u，目标前景和背景的方差记为g。图像灰度灰度级别从最小开始调整阈值t，遍历整个图像一直到最大级别灰度，找到g的最大值对应的t即为最佳阈值［11］。

图像上像素点的灰度值根据如下状况进行阈值分割。

1.3 形态学处理

利用大津法阈值分割之后的图像存在许多不饱和不连通的区域且有些噪声，为了后期更好地处理，采用数学形态学去除干扰因素［12］。它的基本运算主要包括：膨胀、腐蚀、开运算和闭运算。

1.3.1 膨胀和腐蚀 形态学中最基础的2种操作就是膨胀和腐蚀，膨胀就是在图像边界添加像素点，腐蚀就是其逆过程。膨胀和腐蚀的过程如下。

1.3.2 开运算和闭运算 开运算就是将二值图像先腐蚀后膨胀运算，开运算定义如下，其中O代表开运算符号。开运算用来剔除小对象目标、在纤细点处分离物体、在较大物体边界平滑处理、同时不改变其面积。

闭运算就是开运算的逆过程，可以填充图像物体内不连通的小区域，连接邻近区域，在不明显改变物体面积的情况下平滑边界，其定义如下，其中·代表闭运算符号。

对经过Otsu二值化之后的番茄串图像进行闭运算处理之后可以看到图像中原本不连通的区域已经连通在一起，原本的果实串是由几个单果组成，消除了单果间的间隙就可以将果实串看作单个果实处理［13］（图4－b）。

1.4 目标区域空洞去除

由图4－b不难发现，单纯的闭运算处理在果实串的目标区域会形成大小规则不一的空洞，这会造成后续的质心计算不便，为了消除目标区域的空洞，对处理后的二值图像做取反操作，背景和目标区域的颜色互换，空洞和背景就会被分割成面积大小不同的多个单连通区域（图5）。

由于空洞的面积较背景小，可以采用提取最大连通区域的办法保留下背景区域［14－15］，图6－a就是去除了空洞区保留背景的图像，最后再次取反就可以得到我们想要的结果，目标区域内的空洞已经消除，只存在白色目标区域和黑色的背景（图6－b）。

2 轮廓提取和形心计算

2.1 Canny算子边缘提取

Canny算子是一种在图像中应用较为广泛的边缘检测算法。Canny算子的核心思想就是对图像选择合适的Gauss滤波器消除高斯噪声，也就是平滑处理，抑制图像的噪点，然后通过“非极值抑制”的技术，将图形梯度幅值矩阵细化平滑处理，遍历出目标区域的可能边缘点，选择滞后阈值包括高阈值和低阈值跟踪曲线，提取边缘曲线［16－17］，图7是边缘检测之后的图形。

2.2 质心提取和轮廓外接矩形的确定

利用Canny算子提取出番茄果实串的轮廓后，进一步需要估算出番茄果实串的质心坐标和标记目标区域的外接矩形。假设番茄果实串的目标区域用表达式f（xi，yi），其中xi、yi分别代表目标区域内的像素坐标，i分别有n个代表区域内总共有 n个像素点，（x0，y0）代表形心坐标［18］，其形心表达式如下所示：

目标区域的外接矩形左右边界分别以横坐标Xmin和Xmax为界限，其中上下边界就是目标区域纵轴最大值和最小值，分别是Ymax和Ymin，标记的外接矩形如图8－b所示。

3 结论

本研究针对自然光照下番茄果实串研究，试验证明在RGB颜色空间模型下R－G色差分量可以较好地从背景中分离番茄果实串，整个计算过程简单且易于实现。在自然光照条件下解决了分离时颜色分布不均匀、果实串不连通等问题，整个过程可以有效地消除噪声干扰，将多个果实组成的簇群通过形态学处理消除间隙后可以当作单个果实计算，最终得到的一个完整连通的目标区域方便后续的处理。

参考文献：

［1］袁国勇.农业收获机器人的技术特点及发展现状［J／OL］.［2015－05－08］.中国科技论文在线，http：／／www.paper.edu.cn／html／releasepaper／2005／10／142／.

［2］郭 峰，曹其新，崔永杰，等.用于草莓收获机器人的果实定位和果柄检测方法［J］.农业工程学报，2008，24（10）：89－94.

［3］Kondo N，Monta M，Fujiura T.Fruit harvesting robots in Japan［J］.Advances in Space Research，1996，18（1／2）：181－184.

［4］Monta M，Kondo N，Shibano Y.Agricultural robot in grape production system［C］／／IEEE International Conference on Robotics and Automation，1995.Proceedings.IEEE，2002：2504－2509 vol.3.

［5］Kondo N.Fruit grading robot［C］／／Proceedings 2003 IEEE／ASME International Conference on Advanced Intelligent Mechatronics（AIM 2003），2003：1366－1371.

［6］林伟明，胡云堂.基于YUV颜色模型的番茄收获机器人图像分割方法［J］.农业机械学报，2012，43（12）：176－180.

［7］付 鹏.基于机器视觉的苹果检测与识别关键技术研究［D］.杨凌：西北农林科技大学，2012.

［8］杨 瞡，朱 雷.基于RGB颜色空间的彩色图像分割方法［J］.计算机与现代化，2010（8）：147－149，171.

［9］张铁中，林宝龙，高 锐.水果采摘机器人视觉系统的目标提取［J］.中国农业大学学报，2004，9（2）：68－72.

［10］戚利勇.黄瓜采摘机器人视觉关键技术及系统研究［D］.杭州：浙江工业大学，2011.

［11］沈 甜.苹果采摘机器人重叠果实快速动态识别及定位研究［D］.镇江：江苏大学，2016.

［12］刘健庄，栗文青.灰度图象的二维Otsu自动阈值分割法［J］.自动化学报，1993，28（1）：101－105.

［13］付忠良.图像阈值选取方法——Otsu方法的推广［J］.计算机应用，2000，20（5）：37－39.

［14］陈 果，左洪福.图像的自适应模糊阈值分割法［J］.自动化学报，2003，29（5）：791－796.

［15］刘长林，张铁中，杨 丽.茄子收获机器人视觉系统图像识别方法［J］.农业机械学报，2008，39（11）：216－219.

［16］熊俊涛.复杂环境下荔枝采摘机械手的视觉定位研究［D］.广州：华南农业大学，2012.

［17］陈 辰，黄 晁，张从连，等.一种交通灯识别方法：CN104574960A［P］.2015－04－29.

［18］任 结.基于立体视觉的手势跟踪识别及人机交互应用［D］.南京：南京大学，2013.

［19］王佐成，刘晓冬，薛丽霞.Canny算子边缘检测的一种改进方法［J］.计算机工程与应用，2010，46（34）：202－204，248.

［20］李华强，喻擎苍，方 玫.Canny算子中Otsu阈值分割法的运用［J］.计算机工程与设计，2008，29（9）：2297－2299.

［21］丁亚兰.基于机器视觉的猕猴桃果实识别与定位关键技术研究［D］.杨凌：西北农林科技大学，2009.

［22］崔永杰，苏 帅，王霞霞，等.基于机器视觉的自然环境中猕猴桃识别与特征提取［J］.农业机械学报，2013，44（5）：247－252.