甜瓜嫁接机嫁接苗接缝视觉识别系统研究

张　雷，田素博

(沈阳农业大学 工程学院，沈阳　110866)



甜瓜嫁接机嫁接苗接缝视觉识别系统研究

张雷，田素博

(沈阳农业大学 工程学院，沈阳110866)

摘要：嫁接可以有效地解决甜瓜连作障碍，提高产量，但嫁接作业劳动强度大、生产效率较低。目前，半自动化蔬菜嫁接机器人仍然需要人工对嫁接后的接缝进行质量检测，由于个人的主观性和技术熟练程度的不同，会影响嫁接质量和嫁接效率，从而影响嫁接成活率。因此，在嫁接之后，需要对嫁接苗进行接缝质量的自动识别与检测。为此，确定了嫁接幼苗接缝的成功标准，并利用图像采集技术和分割处理的基本理论与方法，研制嫁接幼苗接缝自动识别、检测的算法，完成了接缝检测软件程序编制。 对嫁接幼苗接缝视觉检测识别系统软硬件进行了调试和试验研究，选取了60株甜瓜嫁接幼苗进行接缝图像检测和识别试验。试验结果表明：甜瓜嫁接幼苗接缝检测的成功率为90%，因茎秆折断弯曲造成了嫁接幼苗接缝的检测失败。

关键词：甜瓜；接缝；识别；机器视觉；嫁接机；图像处理

0引言

我国作为农业大国，水果和蔬菜在人类的生活中占有很重要的地位。近年来，甜瓜栽培的面积随着人们需求的不断增加而逐年增加，造成了甜瓜种植出现连作障碍等问题。尤其随着设施园艺及温室大棚的推广和普及，此问题变得愈加严重。目前，园艺生产上通常采用土壤化学处理方法和蔬菜嫁接方法来解决这一问题。在农业可持续发展要求及人们环境保护意识提高的条件下，利用土壤中施加某些化学合成物去除土壤传播病害及致病微生物的土壤化学处理方法，在解决连作障碍的同时却污染了土壤环境，因而国家颁布了相关规定限制了此种方法(邢宇等，2004)。

目前，嫁接成为解决园艺作物连作障碍及病虫害防治问题的重要方法。人工嫁接是将一种植株的芽或者枝接到另外一种植株的茎或者根上，贴合在一起的两种植株生长成为另外一种完整的植株(邓向君与卓敏华，2010)。嫁接技术在减轻土传病害、克服连作障碍、提高水肥利用率、增强抗逆性、提高产量和果实品质等方面，与传统的栽培技术相比，具有明显的优势，在农业生产中得到了广泛地推广应用(Jung-Myung Lee等，2010)。

由于个人的操作技能及熟练程度不同，会直接影响到嫁接苗的成活率(杨海君，2003)。人工嫁接育苗存在着作业效率低、劳动强度大、嫁接苗成活率低等问题，制约了嫁接技术的推广与应用，而且不符合设施园艺生产向工业化及机械化方向发展的趋势(辜松等，2007)。

近年来，国际上为了适应农业生产要求出现了一种“嫁接机器人技术”，此高新技术将园艺技术、机械方法、自动化控制综合运用于一体，可以在极短的嫁接时间内，通过机械动作把仅有几毫米茎粗的接穗与砧木接合在一起，速度相比于人工嫁接有了很大的提高；并且机械嫁接时接合迅速，因此茎秆内营养液流失较少，切口短时间内不被氧化，从而嫁接苗的成活率得到了大大提高(张铁中与徐丽明，2001)。

目前，国内外已成功研制了蔬菜半自动化嫁接机器人，但嫁接完成后仍需由人工检查嫁接接缝的质量，因为嫁接后的接缝贴合是否完全、对接是否紧密将直接影响到嫁接的成活率和蔬菜产量。采用机器视觉及图像处理技术对嫁接幼苗接缝进行检测是本文研究的核心问题。本研究设计开发了嫁接幼苗嫁接后接缝识别和检测系统，为全自动嫁接机器人的开发奠定了基础。

1机器嫁接苗视觉识别系统设计

1.1机器嫁接苗视觉识别系统设计

典型的机器视觉系统一般由图像采集、图像处理、输入输出及控制执行机构等部分构成，如图1所示(穆向阳与张太镒，2007)。

1.被测目标　2.光源　3.光源控制器　4.光学镜头　5.相机　6.图像采集卡　7.计算机(图像处理系统)　8.显示器

1.1.1光源的设计选型

光源的作用不仅是简单地照亮物体，而是突出拍摄目标中所需要的信息特征。足够大的对比度增强可以简化图像处理的算法和降低图像分析的难度，便于后续更好地对所拍摄的图像进行处理。

在已搭建的视觉硬件结构系统中使用两种不同方案的照明环境采集嫁接幼苗接缝的图像：一种试验方案是在有LED白色条形前景光照射的情况下采集图像；另一种试验方案是在有LED绿色环形前景光照射的情况下采集图像，如图2所示。借助计算机上的MatLab图像分析处理软件(见图3)分别对两种照明环境下采集的嫁接幼苗接缝图像进行处理分析，得出图像中每一点的灰度值沿竖直轴线的变化曲线。通过观察变化曲线中灰度值的变化情况，确定哪种照明环境下采集到的图像更能提高嫁接幼苗的接缝与嫁接幼苗茎秆的对比度，对比度越大则更能凸显出嫁接幼苗接缝的特征。

(a)　LED白色前景光图像　　(b)　绿色环形前景光图像

图3　Matlab软件界面

将从MatLab图像分析处理软件中得到的数据输入到Excel表格中，利用Excel的绘图功能绘制出两组甜瓜嫁接幼苗接缝处灰度值沿竖直方向的变化曲线。

由图4变化曲线可以看出：在LED白色条形前景光条件下采集的甜瓜嫁接幼苗接缝图像中嫁接幼苗接缝处灰度值波动不规律；而LED绿色环形前景光条件下采集的甜瓜嫁接幼苗接缝图像中嫁接幼苗灰度值急剧地变化在中间接缝部分，对比十分明显。试验得出：LED绿色环形前景光照明条件比其他照明系统更能提高甜瓜嫁接幼苗接缝与茎秆的对比度，所以本研究选用了由北京大恒科技有限公司生产型号为DHV-HX-A00-D92-R4-G-24V的LED绿色环形光源。

1.1.2镜头选型

镜头的作用相当于人眼的晶状体，在整个机器视觉系统中，镜头最接近被测物体，入射光通过它才能够使得被测物体成像到相机的感光器件上。 由于镜头的参数会直接影响整个系统的性能，所以应合理选择和安装镜头。

本研究选用Computer系列M2514-MP2镜头，焦距参数分别为16、25、35mm。

图4　不同照明系统对图像沿竖直轴线的灰度值的影响

1.1.3相机选型

相机在机器视觉系统图像采集部分起着至关重要的作用，是一种光电转换器件，可将光信号转换成电信号并以一定的格式输出。其核心器件为图像传感器，目前常用的图像传感器件主要为CCD和CMOS。

在相机选择方面，有以下3种相机的性能可以满足甜瓜嫁接幼苗接缝视觉识别检测系统的要求，分别为PointGrey系列CMLN-13S2C彩色CCD相机，分辨率为1296×964，USB2.0接口；MV-VDF系列彩色CMOS相机，USB2.0接口；大恒水星系列MER-125-30UC彩色CCD相机，USB2.0接口。虽然CCD相机在工作时发热较大，容易因发热产生干扰；但与CMOS相机相比，CCD相机的色彩层次效果有一定很大优势，而且反应速度快，因此选择彩色CCD相机。除此之外大恒公司所生产的水星系列相机与PointGrey系列相机相比具有结构紧凑、小巧轻便、坚固耐用及性价比高等优点，所以最终确定选择大恒公司生产的水星系列MER-125-30UC彩色数字CCD相机，接口为USB2.0，分辨率为1 292(H)×964(V)，图像传感器芯片尺寸比例1/3inch(4.8 mm×3.6mm)。

为了明确拍摄的嫁接幼苗图像的参数信息与嫁接幼苗实际的参数信息之间相互对应的大小关系，本研究选择传统相机标定法来确定两者之间的对应关系。

本研究中使用的镜头焦距为25mm，相机与镜头安装组合成一体，相机图像传感器芯片尺寸为1/3inch(4.8mm×3.6mm)。相机标定过程是在试验中选取一株甜瓜幼苗，同时放置一把刻度准确的直尺，将其垂直于水平面，以此作为参照物体。为了防止光源照射过程中温度对甜瓜幼苗影响，将相机的各项参数调整到最适宜的条件下对该甜瓜幼苗进行图像采集。采集到的图像像素尺寸为1 292×964pixel，然后利用MatLab图像处理软件对该图像进行处理分析。测定出其采集的图像高度为28.5mm，即每一个像素点所代表的实际长度lpixel为0.03mm。根据相机的分辨率及CCD尺寸可知，图像的面积为4.8mm×3.6mm，即 1292×964(像素×像素)。根据成像原理，镜头的焦距与拍摄物体的大小及镜头到拍摄物体距离之间的关系，如图5所示。

图5　焦距、实际距离及物体大小之间的关系

根据图5可以计算出被测物体与相机之间的实际长度，也就是物距S，则有

根据上述的计算结果，在误差允许的范围内，相机镜头与甜瓜幼苗之间的距离为198mm。

为了精确标定，可对相机视场中的不同方位的标定参照物进行多次标定，再求其平均值作为最终的标定系数，可以减少一定的畸变误差和随机误差。

1.2机器视觉软件系统设计

本系统所应用的核心技术是计算机图像处理技术，利用MatLab图像处理软件来实现。MatLab是matrix & laboratory两个单词的组合，意为矩阵工厂(矩阵实验室)，是由美国mathworks公司发布的主要用于面对科学计算、可视化及交互式程序设计的高科技计算环境。MatLab可以进行矩阵运算、绘制函数和数据、实现算法、创建用户界面,以及连接其他编程语言的程序等，可方便用于图像处理过程中。

2接缝识别理论和算法

2.1甜瓜嫁接苗接缝识别标准

根据甜瓜和南瓜的生理特点及在生产实践中的经验，在嫁接过程中将第1片真叶未展开的南瓜砧木去掉1片子叶及生长点，将第1片真叶完全展开的甜瓜接穗苗从第1对子叶下方1cm处的位置沿30°角向下切去根部；然后将接穗苗和砧木苗按切削面对接，使砧木苗子叶和接穗苗的子叶成十字型交叉，用嫁接夹夹好；接穗苗和砧木苗的贴合面有90%对接即为嫁接效果良好。图6是获取的典型甜瓜机械嫁接苗嫁接之后的接缝图像。

图6　嫁接后的接缝图像

2.2接缝图像识别原理及算法设计

研究嫁接幼苗接缝机器视觉识别检测系统设计总流程如图7所示。当程序启动后，嫁接幼苗依次被处理，并把每一株嫁接幼苗处理所得的信息最终显示在屏幕上；一株嫁接幼苗处理完毕后，判断穴盘中是否还有嫁接幼苗等待处理，如果穴盘中不再有苗则程序终止，这一系列过程都将通过指令自动完成。

图7　视觉系统设计总流程图

根据嫁接幼苗接缝的特征，依据视觉识别的原理，借助MatLab图像处理软件进行算法研究。首先进行彩色图像灰度变换，再将灰度图像做阈值化处理，根据红色嫁接夹的上下边缘找出嫁接夹夹持住的嫁接幼苗茎秆部分(包含嫁接夹)，如图8(b)所示；然后再根据图像分割原理去除嫁接夹，如图8(c)所示；并对边界做形态学闭操作运算处理，这样就获得了包含接缝部分的图像，如图8(d)和(e)所示；再对此图像中的最长直线进行延伸，延伸到中间区域的边界，然后以宽度16沿着直线对像素点灰度值进行累加求和，获得如图8(f)所示的曲线。考虑到在嫁接过程中可能产生的倾角，中间区域分割时采用了平行于夹子的分割方法，即中间区域如果是倾斜的，可以分割出倾斜的夹子中间区域。分析曲线可知：如果是一段常规的接穗苗或砧木苗的茎秆部分，则曲线接近于一条竖直的直线；而嫁接夹中间为接穗苗和砧木苗结合的一段直径，此曲线中间部分即为接缝所在位置的像素点累加和曲线。如果接穗苗和砧木苗的接缝质量较好，则接穗苗和砧木苗的嫁接结合面接触紧密，因而接缝部位灰度值较小，故整条曲线为中部向左侧凹进去的线；如果此嫁接幼苗接缝有缝隙，则得到的曲线中部位置像素点的灰度值较大，因而曲线呈向右凸出的形状。

(a)　原始接缝图像　　　 (b)　带嫁接夹及其内部茎秆图像

(c)　嫁接夹内部茎秆图像　　　(d)　原始图像中接缝处茎秆图像

(e)　阈值处理结果图　　　　　 (f)　灰度值求和曲线

3结果与分析

本研究中以甜瓜嫁接幼苗为研究对象，利用视觉检测系统获取嫁接苗接缝检测的图像来进行处理，对嫁接幼苗接缝视觉识别检测系统软硬件进行了调试和试验研究。 用甜瓜嫁接幼苗接缝视觉检测系统检测60个不同的接缝，试验结果表明：该系统的识别成功率为90%；虽然茎秆的表面图像容易采集，但是处在茎秆内部细小接缝的图像不容易采集，导致识别失败。

4结论

本研究选定了甜瓜嫁接幼苗接缝的成功标准，并研制了嫁接幼苗接缝自动识别、检测的算法，完成了接缝识别检测系统的算法研究及软件程序设计。对嫁接幼苗接缝进行识别和检测，提出了分割嫁接夹内部包含接缝的茎秆图像方法，获取了接缝部分的特征曲线，进而判断是否存在接缝及接缝质量的好坏。利用MatLab图像处理软件，对该图像特征提取方法进行编程，并对其进行调试、运行。结果证明：该程序能够成功提取图像的特征信息。最后，用甜瓜嫁接幼苗接缝识别检测系统软硬件进行了试验研究，获得了60株甜瓜嫁接幼苗的接缝图像进行识别和检测试验，结果表明：甜瓜嫁接幼苗检测的成功率为90%。虽然茎秆的表面图像容易采集，但是处在茎秆内部细小接缝的图像不容易采集，导致识别失败。

参考文献：

[1]邓向君,卓敏华.嫁接技术方法及其运用[J].中国园艺文摘, 2010(7):157-158.

[2]辜松,江林斌.国内外蔬菜嫁接机的发展现状[J].东北农业大学学报, 2007，38(6):847-851.

[3]穆向阳,张太镒.机器视觉系统的设计[J].西安石油大学学报：自然科学版,2007， 22(6):104-109.

[4]邢宇,李文娆,刘生祥,等.我国甜瓜嫁接栽培技术研究进展[J].宁夏农学院学报, 2004，25(1):81-84.

[5]杨海君.嫁接苗木自动化品质检测与分级研究[D].长沙：湖南农业大学，2003.

[6]张铁中,徐丽明.大有前景的蔬菜自动嫁接机器人技术[J].机器人技术与应用,2001(2):14-15.

[7]Jung-Myung Lee, C Kubota S J Tsao, Z Bie P Hoyos Echevarria, et al.Oda.Current status of vegetable grafting:Diffusion, grafting techniques, automation[J].Science Horticulture, 2010，127:93-105.

Abstract ID:1003-188X(2016)03-0086-EA

Visual Recognition System on Gap of Grafting Seedlings for Muskmelon Grafting Machine

Zhang Lei, Tian Subo

(College of Engineering, Shenyang Agricultural University, Shenyang 110866, China)

Abstract：Grafting can solve the problem of continuous cropping obstacle effectively and increase yield of the muskmelon, but the labor intensity is large during grafting operation and the productivity is low. Grafting machines have been developed with the widely application of grafting technology. The working process including detection the quality of gap after grafting is still made by manual, so the difference between the subjectivity of the individual and the level of technical proficiency may affect the quality , efficiency of grafting and the survival rate. As a result, it is necessary to inspect grafting seedlings’ gap automatically after grafting. The success criteria of recognizing grafting seedlings’ gap were determined based on the theory and methods of image segmentation and the technology of image acquisition. The algorithm of automatic recognition and detection for grafting seedlings’ gap was designed, and then the software programming was completed and debugged. Experimental research on visual recognition and detection of grafting seedlings’ gap for hardware and software system of grafting seedlings’ gap was carried out with 60 muskmelon grafting seedlings. The results show that success rate reaches 90%, because the broken or bending of stem lead to the failure of test. The results meet the requirements of the design.

Key words：muskmelon； gap； recognition； machine vision； grafting machine； image processing

文章编号：1003-188X(2016)03-0086-05

中图分类号：S223.1

文献标识码：A

作者简介：张雷(1990-)，男，内蒙古通辽人，硕士研究生，(E-mail)389367908@163.com。通讯作者：田素博(1973-)，女，辽宁锦州人，副教授，硕士生导师，(E-mail)tiansubo@163.com。

基金项目：国家自然科学基金项目(31101076)；辽宁省优秀人才支持计划项目(LJQ2012061)；沈阳农业大学天柱山学者资助项目(2014-2016)

收稿日期：2015-02-15