邢作常,田素博,刘思瑶,白雪卫,张祖立
(沈阳农业大学 工程学院,沈阳 110161)
基于机器视觉的种薯自动切块机设计
邢作常,田素博,刘思瑶,白雪卫,张祖立
(沈阳农业大学 工程学院,沈阳110161)
摘要:现阶段中国市场没有成熟的种薯切块机,薯农主要依靠手工切块。其主要原因是种薯切削需要控制切削位置以保留薯芽的顶端优势,普通机器不能识别薯芽,并控制切刀切削方位。为此,使用数字图像处理技术,实现了薯芽及其位姿的实时识别,开发了相应的控制系统,设计了基于机器视觉的薯种自动切块机。试验表明:薯芽识别正确率达100%,位姿识别正确率达98.5%,耗时107.431ms,满足使用要求。
关键词:种薯切块机;机器视觉;位姿判断;薯芽识别
0引言
我国是世界马铃薯第一生产大国,根据FAOSTA的统计数据,2013年我国马铃薯的种植面积为577. 20万hm2,占全球种植面积的20%以上[1-2]。在我国所有的粮食作物中,马铃薯的产量仅次于玉米、水稻和小麦,排名第4。
种薯投入是马铃薯种植最大生产成本之一,每667m2种薯用量为150~200kg(种薯价格为普通马铃薯价格的2~4倍)。为降低成本,薯农往往采用切块种植(根据种薯大小和薯芽多少可切为2~3块不等)。 现阶段,我国市场上没有种薯切块机,薯农只能采用手工切削,同时进行人工选种、人工消毒(切块和刀具)、人工拌种,效率低、质量差、人工成本昂贵。
本文采用机器视觉技术,利用CCD摄像机实时采集种薯图像,通过图像处理技术首先识别并剔除各种坏薯(包括机械损伤、病斑、腐烂、无芽种薯等);然后识别薯芽,判断切削位置,实现种薯的自动切块。
1整体系统设计
根据使用要求,本种薯切块机设计了2个工位:第1个工位是种薯图像采集工位,目的是是判断种薯质量,剔除坏薯,并识别薯芽,求取薯芽质心和方位,以确定刀具切削位置;第2个工位即切削工位,在这个工位,切刀根据薯芽方向,通过旋转装置调整自身方位,完成切削。种薯切块机系统如图1所示。种薯由皮带输送机输送,每个工位上都有触停开关,检测薯种位置;切削工位下面有垫板,用以承受切削力。
1.皮带输送机 2.种薯 3.环形光源
本文设计的图像采集系统主要由CCD摄像机、照明系统、图像采集卡、计算机及图像处理软件组成。皮带输送机上设置有触停开关,薯种到达规定位置后,给图像采集卡发出信号,图像采集卡采集1幅图像并输入计算机;通过图像处理识别种薯的各种特征,作为其它机构动作的依据。由于种薯大多为扁椭球形状,薯芽大部分聚集在种薯顶端,只需采集种薯的正面图像即可,因此在种薯正上方安装1台CCD摄像机,视场为普通种薯大小的3~4倍。
通过试验,镜头采用上海普赫广电科技有限公司生产的M2514-MP2 Computar(手动变焦镜头,焦距f=25mm;光圈F1.4-C);相机采用丹麦JAI公司生产的CV-M77彩色工业CCD摄像机;采集卡选用加拿大生产的Matrox Meteor/PPB/RGB采集卡。
为获取清晰的种薯图像,减少外界光线干扰,本系统使用照明系统。由于摄像机从顶部摄像,所以光源也设置在顶部,配置在摄像机下方。通过试验,确定选用LED环形光进行低角度双侧面照明,型号为VLHXA3DD100R ,功率为5W,电压24V。其照明高度略高于种薯,光照均匀,图片质量较好。
由于视觉系统仅仅用于定向判断,所以无需标定。试验用薯种购买于沈阳当地菜市场,3个以上品种,试验时薯芽长度为1~3cm。
图像处理部分是整个控制系统的核心,主要完成两个任务:一是判断薯种是否是次品。薯种切块机设计有坏薯剔除装置,可以根据薯种判断结果将坏薯移出皮带输送机。二是判断薯芽位姿,并将结果传送给下位机。下位机控制执行单元,将刀具转到薯芽方向,进行切削。整个流程如图2所示。图像处理软件使用德国MVtec公司开发的halcon11.0。Halcon是著名的图像处理和机器视觉软件,可以提供丰富的算子和库函数,具有良好的接口及强大的图像处理能力,执行速度快,开发效率高,在工业领域有着很广泛的应用。
图2 系统软件流程
种薯品质检测算法,可以直接参考普通马铃薯品质检测算法。对这一命题,国内外研究很多。例如,汤全武、郁志宏、汪成龙、李锦卫等对机械损伤和表面缺陷的机器视觉检测算法进行了研究[3-6];周竹、李小昱等对马铃薯痂疮病、黑心病的无损检测方法进行了探讨[7-8]。这些算法大都非常成熟,利用halcon软件也非常容易实现,在此不再赘述。本文重点研究薯芽及其位姿的识别算法。
通过机器视觉识别薯芽及其位姿后,即可采用控制器和伺服电机控制切刀切削方位,使刀具在规定方位切削。切削部件采用继电器、电磁阀和液压系统完成切削任务;刀具转动由继电器和伺服电机完成。其中,继电器用于扩大功率,电磁阀用于控制液压系统方向。整个控制和执行单元硬件组成如图3所示。
图3 控制单元硬件组成
控制器选用OpenJumper开发的Arduino Mega2560,用于接受PC机的角度信号,控制伺服电机完成相应动作,如图4所示。
Arduino介于硬件和软件之间,是一个开放源代码的软、硬件项目开发平台,具有较多的I/O功能、完整的程序开发软件环境和丰富的库函数,可以开发与PC相连的外围设备,能在运作时与PC上软件进行通信。本系统控制程序主要使用servo类函数。具体如下:
attach()//连接舵机;
write()//控制舵机转动角度;
writeMicroseconds()//控制舵机转动速度;
read()//读上一次舵机转动角度;
attached()//检测舵机是否指定了引脚;
detach()//断开舵机连接。
图4 控制器及伺服电机
2薯芽位姿识别算法
薯芽方位识别算法是种薯切块机设计的核心。第1步要进行图像预处理,目的是提高背景和目标的区分度。背景分割的目的就是目标提取,即将土豆从背景中提取出来,一般采用阈值或动态阈值。薯芽的位姿定义为薯芽质心和薯种质心连线。一个薯种往往有很多薯芽,并且分布在不同位置。这里所要求的薯芽质心指的是最大的那个薯芽的质心(它往往位于种薯顶端,称为顶端优势)。薯牙方位识别软件流程如图5所示。
图5 薯芽方位识别软件流程
目标提取或背景分割一般采用阈值化。阈值化
的效果依赖于目标和背景的区分度,提高区分度的主要手段是预处理。预处理的方法根据图像特点和目的各不相同。本文预处理主要是图像平滑处理及色彩空间的选择,具体如下:
decompose3(Image,r,g,b)
mean_image(r,ImageMean, 13, 13)
因为背景为纯黑色(输送机皮带为黑色),所以目标提取(见图6)很简单,先阈值化,然后选其中面积最大的region即可。具体如下:
threshold (ImageMean, Regions,50, 255)
connection(Regions, ConnectedRegions)
select_shape_std(ConnectedRegions
SelectedRegions, 'max_area', 70)
质心的求取算法很简单,公式为
(1)
其中,x、y为目标图像的质心坐标;g(i,j)为目标像素(i,j)处的灰度值;i、j分别为目标像素的行和列;n、m分别为图像每行或每列的像素数量。
图6 目标提取
薯芽的提取是本系统设计的难点。因为薯种的颜色、外形各不相同,薯芽的位置、大小、颜色、形状各不相同,要想将绝大部分的薯芽都提取出来,需要复杂的算法(包括预处理),并且需要大量的试验。本例的另一个特点是需要将相邻的(相接触的)薯芽联为一体。具体算法如下:
threshold (ImageMean1, Regions1, 110, 255)
connection(Regions1, ConnectedRegions2)
select shape(ConnectedRegions2
SelectedRegions2, 'area', 'and', 1500, 999999)
union1(SelectedRegions2, RegionUnion)
dilation_ circle(RegionUnion, RegionDilation1, 35)
connection(RegionDilation1, ConnectedRegions3)
select_shape_std(ConnectedRegions3, SelectedRegions3, 'max_area', 70)
预处理使用了色彩空间的转换、开运算、腐蚀、求减、求反、合成、平滑处理等各种算法:
trans_from_rgb(r,g,b,h,s,v,'hsv')
closing_circle(SelectedRegions, RegionClosing,3.5)
fill_up(RegionClosing, RegionFillUp)
erosion_circle(RegionFillUp, RegionErosion, 25)
reduce_domain(ImageMean,RegionErosion,Image Reduced)
reduce_domain(h, RegionErosion, ImageReduced1)
reduce_domain(s,RegionErosion, ImageReduced2)
invert_image(ImageReduced,ImageInvert)
add_image(ImageInvert,ImageReduced1, Image Result, 0.5, 0)
mean_image(ImageResult, ImageMean1, 15, 15)
位姿求取结果如图7所示。
图7 薯芽提取
薯芽质心和薯种质心连线即为薯芽方位或位姿,代表薯种切削方向。设α为薯芽方位角,dx、dy为薯芽质心相对于薯种质心在x轴方向和y轴方向的坐标差。那么,则有
(2)
使用上述算法对1组马铃薯进行位姿识别,结果如图8所示。其正确率100%,满足使用要求。
图8 位姿求取结果
3结束语
1)针对马铃薯种植中的种薯切块问题,采用机器视觉技术,解决了薯芽及其位姿识别问题,并设计了种薯自动切块机代替人工切块。
2)图像处理程序在itel(R)core(TM)i7-5500U CPU @2.40GHz上运行,耗时107.431ms,完全能够满足实时检测要求。试验表明:薯芽识别正确率达100%,位姿识别正确率达98.5%。
3) 控制器选择了Arduino,具有完善的程序开发软件环境和丰富的库函数和I/O接口,使用c++风格的类函数编程,开发效率极高。
参考文献:
[1]吕金庆,田忠恩,杨颖,等.马铃薯机械发展现状 、存在问题及发展趋势[J]. 农机化研究,2015,37(12):258-263.
[2]杨 帅,闵凡祥,高云飞,等.新世纪中国马铃薯产业发展现状及存在问题[J].中国马铃薯,2014,28(5):311-316.
[3]汤全武,史崇升,汤哲君.基于H IT的马铃薯外部缺陷的提取[J].东北农业大学学报,2014,45(6):114-121
[4]郁志宏,王福香,张宝超.基于Hough 变换的马铃薯机械损伤检测研究[J].农机化研究,2015,37(10):185-188.
[5]汪成龙,李小昱,武振中,等.基于流形学习算法的马铃薯机械损伤机器视觉检测方法[J].农业工程学报, 2014,30(1):245-252.
[6]李锦卫,廖桂平,金晶,等.基于灰度截留分割与十色模型的马铃薯表面缺陷检测方法[J].农业工程学报,2010,26(10):236-242.
[7]李小昱,陶海龙 ,高海龙,等.基于多源信息融合技术的马铃薯痂疮病无损检测方法[J].农业工程学报,2013,29(19):277-282.
[8]周竹,李小昱,高海龙,等. 漫反射和透射光谱检测马铃薯黑心病的比较[J].农业工程学报,2012,28(11):237-242.
[9]陈章兰,高向东,陈永平,等.焊接视觉图像质心算法及其特性[J].焊接学报,2006,27(4):17-20.
Design of Automatic Cutter for Potato Used as Seeds Based on Machine Vision
Xing Zuochang, Tian Subo, Liu Siyao, Bai Xuewei, Zhang Zuli
(College of Engineering, Shenyang Agricultural University, Shenyang 110161, China)
Abstract:There is not mature cutter for potato used as seeds in Chinese market at the present .Potato farmers rely mainly on manual cutting. The main reason is that potato cutting used as a seed need to control the cutting position to keep potato bud advantage, ordinary machine cannot identify potato bud, and controls the cutter cutting position. Using image processing technology, the potato bud and its posture real-time identification is realized , the corresponding control system is developed, and the automatic cutting machine is designed based on machine vision. Tests show that potato bud recognition accuracy reaches 100%, posture recognition accuracy reaches 98.5%, takes 107.431 ms .it meets the requirement.
Key words:potato cutter; machine vision; posture judgment ; potato bud identification
中图分类号:S233.1;TP391.41
文献标识码:A
文章编号:1003-188X(2016)10-0069-05
作者简介:邢作常(1971-),男,河南新乡人,博士研究生,(E-mail)xingzuochang@163.com。通讯作者:张祖立(1952-),男,沈阳人,教授,博士生导师,(E-mail)syauzhangzuli@163.com。
基金项目:国家自然科学基金项目(51405311)
收稿日期:2015-09-28