罗陆锋 谭远良 卢清华 邹湘军
摘 要:研发水果采摘机器人对提高收获效率、保证果实品质和减轻劳动强度具有重要意义,但由于果园环境的非结构性,使得采摘机器人极易因目标定位不准、采摘顺序不当、夹剪位姿不合理等导致果实碰伤或刮落,造成该损伤的主要原因是防碰损采摘的视觉认知与执行机构耦合问题尚未得到解决。为梳理水果采摘机器人防碰损作业的最新研究进展,从防碰损采摘中果实多维信息(采摘点、果梗位姿、防碰空间包围体等)的视觉感知、采摘机器人的视觉认知与智能防碰损采摘行为规划、防损采摘机构设计及其行为控制等三方面进行了全面综述和分析,并对今后需重点解决的核心关键问题进行总结和展望,为进一步研究和攻克非结构环境下水果智能防碰损采摘问题提供参考和依据。
关键词:工业机器人技术;采摘机器人;末端执行器;视觉认知;智能规划
中图分类号:TP391.41 文献标志码:A
文章编号:1008-1542(2018)03-0204-10
保证水果低损、采收及时是果农面临的实际问题,鲜食水果的收获仅靠人工采摘,不仅采摘人员的劳动强度大,采摘成本也较高。为了提高采摘效率,保证水果品质和减轻采摘人员的劳动强度,用机器人代替人工采摘是未来水果采收的发展趋势,也是未来智能农业机械的发展方向[1]。
机器人在采摘水果之前,需先由视觉系统对作业目标和环境进行感知与定位,再以感知定位信息为基础进行防碰损作业的认知计算与行为规划,最后通过视觉伺服控制采摘机构执行夹剪作业[2]。水果经常簇生、果梗杆茎小且果实娇嫩,而且水果生长位置的随机性,使得果实之间经常出现相互重叠、贴靠和遮挡等复杂情况,如图1所示。
这些非结构因素使得机器人执行机构在夹剪过程中极易因视觉定位不准、采摘顺序规划不当、进给和夹剪位姿不合理导致果实碰伤或刮落[3]。造成这些损伤的主要原因在于采摘中果实信息视觉认知不准确、夹剪机构设计或其行为决策不合理。为解决该难题,提高采摘作业的精准度和柔性度,需要采摘机器人视觉系统与执行机构之间具备良好的自主防碰损耦合能力,该能力主要体现在果实多维信息的视觉感知(采摘点、果梗位姿、防碰空间包围体等)、随机多目标防碰损采摘顺序的视觉认知与规划、执行机构与果串之间适形防碰损夹剪位姿的自主耦合等行为上,最终用机构、视觉、传感器等硬件和软件实现其运动和智能行为决策。
国内外针对采摘机器人的研究已有40多年的历史[2]。荷兰、美国、日本、丹麦、法国等国研究了甜椒[4](图2 a))、柑橘[5]、黄瓜[6](图2 b))、西红柿[7](图2 c))、草莓[8]等采摘机器人。中国农业大学、南京农业大学、华南农业大学、江苏大学、浙江大学、上海交通大学、西北农林科技大学、东北农业大学等单位研究了草莓[9](图2 d))、苹果[10-11](图2 e))、黄瓜[12]、茄子[13]、荔枝[14](图2 f))、猕猴桃[15]等果蔬的采摘机器人。但到目前为止,商品化实用的采摘机器人依然鲜有报道,究其原因是多方面的[16],其中对果实造成损伤严重是主要原因之一。为实现无损采摘,国内外学者围绕水果视觉感知[17-19]、路径规划[6]、采摘机构[20-21]、果实损伤及力学特性[22-24]等开展了大量研究。为梳理水果采摘机器人防碰损作业的最新研究进展,本文将从果实多维信息视觉感知、采摘机器人的视觉认知与智能规划、防损采摘机构及行为控制等3个方面进行阐述。
1 水果防碰损采摘的视觉认知及机构设计研究状况与分析
1.1 果实多维信息视觉感知的研究进展
为了能准确获取水果的视觉信息,学者们以水果色彩空间为基础研究出了多种图像分割与识别方法[25-30]。CHAMELAT等[25]提出利用Zemike距和颜色信息对复杂环境下的葡萄进行识别;REIS等[26]基于照片彩色信息在自然环境下对葡萄进行识别与定位;田锐等[27]计算葡萄图像在RGB颜色空间中样本值,根据样本值对目标进行图像分割;熊俊涛等[28]通过提取颜色模型YCrCb中Cr分量对成熟荔枝进行识别;罗陆锋等[29-30]针对对果园葡萄的识别,提出了基于改进人工蜂群优化模糊聚类的图像分割方法和基于多颜色空间和集成学习的图像识别方法。尽管在水果图像分割方面,国内外学者已提出了许多有效方法,但仅仅通过这些方法还难以实现对重叠、贴靠和遮挡等非结构情况下串型水果的逐个精准识别与定位。在对重叠、贴靠和遮挡果实的识别方面,国内外对苹果[10,31-34]、番茄[35]、柑橘[36]的报道较多,大多通过分析果实几何形状来设计相应的识别算法。例如:利用凸壳算法[32]、圆检测[10]、轮廓还原[36]等方法對苹果目标进行识别;以深度图为基础结合边缘曲率分析[35]实现对重叠、黏连番茄的识别与定位。这些方法在特定条件下对单一水果的重叠、贴靠等复杂情况具有实用性,但对于串型水果来说,因果串轮廓的不规则性,上述方法通用性依然非常有限。
在水果采摘点的识别与定位研究上,国内外学者针对苹果[10]、番茄[35]等水果提出了以形心作为采摘点的定位方法。BULANON等[37]分别采用单目相机移动方法和双目相机的立体视觉方法对苹果的果实采摘点的空间位置计算进行了研究;XIANG等[35]采用双目立体视觉对成熟番茄进行定位研究,以番茄的形心为采摘点;李斌等[38]利用单目视觉研究了菠萝果实形心点的求取方法。然而,这些以形心作为采摘点的方法对于以夹剪果梗为采摘方式的串型水果来说,实用性不强。在以夹剪果梗为采摘方式的水果采摘中,熊俊涛等[39]利用Hough圆拟合方法先对柑橘图像进行分割,再运用约束斜率为-0.45~0.45的Hough直线检测对柑橘果梗上的采摘点进行搜索;杨庆华等[40]通过提取葡萄图像轮廓的外接矩形对目标进行识别与定位;张铁中等[18]利用草莓图像重心和果尖点来对采摘点进行识别与定位;郭艾侠等[19]设计了一种融合Harris与SIFT算法的荔枝果梗采摘点计算方法;罗陆锋等[41]根据葡萄的生长特点,提出了一种基于点线最小距离约束的采摘点定位方法,如图3所示。
在果梗位姿的视觉检测研究上,INKYU等[42]对果园环境下的甜辣椒果梗检测进行了研究,先利用RGB-D传感器采集图像数据,获取点云数据后使用几何特征(如表面法线和曲率估计)对甜椒三维几何形状进行识别,结合HSV颜色特征和PFH(point feature histograms)对监督学习方法进行训练,最终实现对果梗检测,过程如图4所示。
在水果防碰空间包围体的求解与定位研究上,罗陆锋等[43]提出一种基于双目立体视觉的葡萄包围体求解与定位方法,如图5所示。先通过寻找与重心距离最小的直线来定位果梗上的采摘点;再运用圆检测法获取外接矩形区域内果粒的圆心和半径,求解采摘点和果粒圆心的空间坐标;最后以采摘点的空间坐标为原点构建葡萄空间坐标系,求解葡萄最大截面,再将该截面绕中心轴旋转360°得到葡萄空间包围体。但目前该方法只能处理单串葡萄,对重叠、贴靠和遮挡葡萄串的防碰包围体定位还需进一步深入研究解决。
1.2 采摘机器人的视觉认知与智能规划的研究进展
为避免损伤果串,采摘机器人在作业规划中需要先根据环境信息自主规划防碰损的采摘顺序后再到达采摘点执行夹剪作业;在夹持和剪断果梗时,又需要机器人能自主确立防碰损的执行机构进给方位和夹剪角度。BAC等[44]根据视觉定位信息约束末端执行器旋转切刀(图6)的初始方位角来进行防损采摘,从而实现对甜椒的低损收获,但甜椒与串型水果的形态特征差异较大,且采摘方式亦不尽相同,因而该方法对于串型水果来说可移植性不强;HENTEN等[6]从逆运动学角度研究了黄瓜采摘机械臂的免碰撞路径规划问题,逆运动学是一个非线性规划问题,通过遗传算法解决,但是由于过程需要大量的计算时间,所以该黄瓜采摘机器人的基本模型采用有冗余度的P6R操作器。梁喜凤等[45]基于伪距离避障法,以番茄收获机械手可操作度最大化为目标函数,采用伪距离避障法和迭代法相结合的方法能够使番茄收获机械手在保证良好工作性能的前提下实现避障运动规划,机械手由初始位置沿预定路径运动至目标位置,并能成功避开障碍物;尹建军等[46]以关节型机械臂避开垂直茎秆或撑杆采摘番茄为研究对象,提出了一种基于构形空间的关节型机械臂避障路径规划方法,以能量最优函数优选避障规划的关节终点角,利用A*算法可以得到平面R-R机械臂的避障路径,获得一系列表示空间连杆位置的相交竖直面,并在竖直面内进行其余关节角的规划。
在采摘顺序规划方面,王冰心等[47]基于仿生学思想设计了一种基于视觉选择性注意机制的果实簇识别与采摘顺序规划方法,如图7所示。该研究一方面有利于提高果实簇识别算法对复杂农业环境的适应能力,提高算法对不同种类果实识别的通用性;另一方面通过提前规划视域内多个果实簇的采摘顺序,减少采摘过程中的重复动作,提高作业效率。但目前该方法尚未考虑采摘过程中的防碰损规划问题;罗陆锋等[48]开展对多目标防碰损采摘顺序规划算法进行仿真试验研究,将实物视觉与虚拟现实相结合设计了采摘机器人硬件在环虚拟试验系统,为防碰损采摘的视觉定位及行为控制算法提供了仿真试验平台。
1.3 防损采摘机构及行为控制的研究进展
采摘机器人采摘机构及行为模型对实现无损采摘至关重要。BLANES等[49]通过设计具有形状自适应的夹指机构来降低茄子采摘中的机械损伤,如图9、图10所示,该末端执行器由3个机械手指和1个真空吸盘组成,其中3个机械手指均装有惯性传感器,当末端执行器接触不同形状的茄子时,其内部颗粒状物质的干扰从柔软到坚硬,其中1根手指可以适应并复制茄子的形状,同时其他的手指也可以使用冗余的自由度适应茄子的形状;刘继展等[21]针对机器人摘取及移送过程中导致的果穗振动与果粒脱落问题,提出了一种面向穗轴激励输入的果穗振动仿真模型,该研究以葡萄為研究对象,在果穗“梗-果”结构特性基础上,提出了“挠性杆-铰链-刚性杆-质量球”复合果穗模型,并由试验确定了模型中各级梗间铰链弹性系数与阻尼系数、果粒尺寸与质量的正态分布规律,获得了主穗轴的抗弯特性,进而利用激光3D扫描重构得到梗系统,根据试验结果分别进行刚性、挠性杆件定义和果粒与梗间铰链的添加,构建得到果穗振动仿真模型;金波等[20]为了实现果蔬的无损采摘,采用欠驱动原理设计出具有形状自适应能力的末端执行器夹指,如图11、图12所示,该手爪用1个驱动电动机控制3个手指、9个指节,可以实现对果实的包络抓取,并且通过PID闭环力控制方式,实现了对远指关节和所有关节中最大接触力的有效控制,实现期望的抓取与最大接触力控制功能,并具有控制简单可靠、抓取稳定、不损伤果实等特点;姬伟等[22]为减少夹持器抓取苹果时的碰撞、挤压损伤,通过压缩试验后计算得到了苹果果皮、果肉和果核3个不同部分的力学参数,建立了单个苹果的3层实体力学模型,为苹果收获机器人夹持器结构设计和控制方法提供参考数据和可控措施;陈燕等[50]为减少采摘中荔枝的机械损伤,通过建立采摘器剪切运动和剪切力模型对末端执行器的结构进行了参数优化;李娜等[51]针对温室内地垄式栽培草莓自动低损采摘的需求,利用气动肌腱驱动创新设计了多指式刚柔混联欠驱动草莓采摘机械手,如图13所示,该机械手设置欠驱动关节,具有结构简单、低能耗的特点,同时在手指单元中加入柔顺构件,利用其柔性变形可减小采摘中对果实的损坏;饶洪辉等[52]为实现油茶果低损采摘,设计一种气吸式油茶果采摘机构,该机构先通过真空泵产生的负压吸住待摘油茶果,再用电机驱动真空吸盘旋转来对油茶果进行旋脱;王学林等[53]为减少末端执行器对果蔬抓持损伤,设计了基于灰色预测的增量式比例积分夹持力控制算法,实现夹持机构和果蔬之间动态抓持过程的自适应调整;李建伟等[54]根据目前苹果采摘末端执行器存在的问题,设计了依靠驱动刀片在动力驱使下绕指外围圆周方向自由旋转1周,切除苹果柄任意位置的末端执行器,如图14所示,设计方式既可避免刀片伤到苹果,又可以切断苹果柄,极大提高了采摘效率,且控制程序简单,降低了机器成本;罗陆锋等[55]通过分析葡萄等串型水果的形状和生长特点,设计了一种夹持-托举-剪断式串型水果采摘机构,该机构先由柔性夹指夹持住果梗,再用托盘从后下方托举果串以防脱落,最后通过剪刀对果梗进行切断,但目前尚未使用该执行器进行视觉关联的采摘试验,其机构与控制参数还有待通过采摘试验进行优化和修正。
2 研究展望
通過国内外研究状况分析发现:目前针对机器人无损采摘的研究主要集中于果实目标的识别与定位[17-19,56-57]、免碰撞路径规划[6,46]、柔顺夹切机构设计[20]、果串防脱落夹持模型[21]、损伤力学特性[22-24]和采摘中夹持力控制[53]等方面,而对于非结构环境下水果采摘机构与视觉关联的智能行为研究还很少,为增强采摘机器人的智能化、无损化作业水平,未来还有诸多问题需要研究解决。
1)户外果园环境下光照强度的不确定性使得水果识别算法的鲁棒性受到了很大挑战,目前还未发现有通用算法能解决不断变化光照下的目标识别问题,尽管世界各地的学者从视觉传感器、图像处理算法上进行了大量研究,但仍需要进一步研究和完善。随着深度学习技术的不断发展,水果识别算法的鲁棒性打破了传统的图像识别方法,目前已获得极大的成功,该方法通过构建多层深度学习的神经网络来模拟人脑的认知规律,但需要通过大量数据进行卷积神经网络训练,未来将深度学习运用于农业非结构环境中的目标识别将是一个非常有潜力的方向。
2)果实果梗采摘点的识别与定位是采摘机器人视觉系统的核心难点问题,尽管国内外学者已经提出了一些有效的实现方法,但大多数是针对单一水果,通用性不强,且精准度还有待进一步提升。在今后的研究中,以深度相机等先进视觉传感器为基础,综合运用点云形态学建模与智能计算方法来构建果实识别模型,可有望提高非结构环境下果实采摘点的识别与定位准确度。
3)非结构因素使得机器人在夹剪过程中极易因定位不准而导致末端执行器损伤水果;容易因采摘顺序规划不当造成果串之间发生干涉碰撞而导致水果滑落损伤;当末端执行器靠近采摘点时,又容易因进给方向和夹剪角度设置不恰当导致执行机构碰伤果实。在今后的研究中,需将采摘机器人作业方式与水果规范化种植进行有机结合,实现农机和农艺高度融合,最终用机构、视觉、传感器等硬件和软件实现机器人防损采摘的智能行为决策。
4)设计具有智能防碰损采摘能力的夹剪执行机构及其视觉伺服系统是采摘机器人关键所在,传统采摘机构及其控制系统的设计大多依据采摘对象的形状特点及其生物力学特性来设计相应的机构构型与控制方法,其视觉系统和采摘机构通常是分开设计后再进行,在今后的研究中非常需要对防碰损采摘的视觉认知与执行机构进行协同耦合建模,通过对耦合过程模型进行反复试验来改进和优化水果防碰损采摘系统的机构设计参数和视觉伺服控制参数。
参考文献/References:
[1] 王儒敬, 孙丙宇. 农业机器人的发展现状与展望[J].中国科学院院刊,2015,30(6):803-809.
WANG Rujing, SUN Bingyu. Development status and expectation of agricultural robot[J]. Bulletin of Chinese Academy of Science, 2015,30(6):803-809.
[2] GONGAL A, AMATYA S, KARKEE M, et al. Sensors and systems for fruit detection and localization: A review[J]. Computers and Electronics in Agriculture,2015,116(8):8-19.
[3] BECHAR A, VIGNEAULT C. Agricultural robots for field operations: Concepts and components[J]. Biosystems Engineering, 2016, 149: 94-111.
[4] BAC C W, HEMMING J, HENTEN E J V. Robust pixel-based classification of obstacles for robotic harvesting of sweet-pepper[J].Computers and Electronics in Agriculture, 2013, 96(12):148-162.
[5] MEHTA S S, BURKS T F. Vision-based control of robotic manipulator for citrus harvesting[J]. Computers and Electronics in Agriculture, 2014,102(3):146-158.
[6] HENTEN E J V, SCHENK E J, WILLIGENBURG L G V, et al. Collision-free inverse kinematics of the redundant seven-link manipulator used in a cucumber picking robot[J]. Biosystems Engineering, 2010, 106(2): 112-124.
[7] KONDO N, YATA K, IIDA M, et al. Development of an end-effector for a tomato cluster harvesting robot[J]. Engineering in Agriculture Environment and Food, 2010,3(1):20-24.
[8] HAYASHI S, YAMAMOTO S, SAITO S, et al. Structural environment suited to the operation of a strawberry-harvesting robot mounted on a travelling platform[J]. Engineering in Agriculture Environment and Food,2013, 6(1):34-40.
[9] 王粮局,张立博,段运红,等.基于视觉伺服的草莓采摘机器人果实定位方法[J].农业工程学报, 2015,31(22):25-31.
WANG Liangju, ZHANG Libo, DUAN Yunhong, et al. Fruit localization for strawberry harvesting robot based on visual servoing[J]. Transactions of the Chinese Society of Agricultural Engineering, 2015,31(22):25-31.
[10]SI Y, LIU G, FENG J. Location of apples in trees using stereoscopic vision[J]. Computers and Electronics in Agriculture, 2015, 112(3): 68-74.
[11]ZHAO D A, LYU J, JI W, et al. Design and control of an apple harvesting robot[J]. Biosystems Engineering, 2011, 110(2): 112-122.
[12]紀超,冯青春,袁挺,等.温室黄瓜采摘机器人系统研制及性能分析[J].机器人, 2011, 33(6): 726-730.
JI Chao, FENG Qingchun, YUAN Ting, et al. Development and performance analysis on cucumber harvesting robot system in greenhouse[J]. Robot, 2011, 33(6): 726-730.
[13]宋健,孙学岩,张铁中,等. 开放式茄子采摘机器人设计与试验[J].农业机械学报,2009, 40(1):143-147.
SONG Jian, SUN Xueyan, ZHANG Tiezhong, et al. Design and experiment of opening picking robot for eggplant[J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(1):143-147.
[14]叶敏,邹湘军,罗陆锋,等.荔枝采摘机器人双目视觉的动态定位误差分析[J].农业工程学报, 2016, 32(5): 50-56.
YE Min, ZOU Xiangjun, LUO Lufeng, et al. Error analysis of dynamic localization tests based on binocular stereo vision on litchi harvesting manipulator[J]. Transactions of the Chinese Society of Agricultural Engineering, 2016, 32(5): 50-56.
[15]崔永杰,苏帅,王霞霞,等.基于机器视觉的自然环境中猕猴桃识别与特征提取[J].农业机械学报,2013,44(5):247-252.
CUI Yongjie, SU Shuai, WANG Xiaxia, et al. Recognition and feature extraction of kiwifruit in natural environment based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery,2013,44(5):247-252.
[16]HAYASHI S, SHIGEMATSU K, YAMAMOTO S, et al. Evaluation of a strawberry-harvesting robot in a field test[J]. Biosystems Engineering, 2010, 105(2): 160-171.
[17]项荣,应义斌,蒋焕煜,等.基于双目立体视觉的番茄定位[J].农业工程学报, 2012,28(5):161-167.
XIANG Rong, YING Yibin, JIANG Huanyu, et al. Localization of tomatoes based on binocular stereo vision[J]. Transactions of the Chinese Society of Agricultural Engineering, 2012,28(5):161-167.
[18]张铁中,陈利兵,宋健.草莓采摘机器人的研究:Ⅱ.基于图像的草莓重心位置和采摘点的确定[J].中国农业大学学报,2005,10(1): 48-51.
ZHANG Tiezhong, CHEN Libing, SONG Jian. Study on strawberry harvesting robot: Ⅱ.Images based identifications of strawberry barycenter and plucking position[J]. Journal of China Agricultural University,2005,10(1): 48-51.
[19]郭艾侠,熊俊涛,肖德琴,等.融合Harris与SIFT算法的荔枝采摘点计算与立体匹配[J].农业机械学报,2015,46(12):11-17.
GUO Aixia, XIONG Juntao, XIAO Deqin, et al. Computation of picking point of litchi and its binocular stereo matching based on combined algorithm of Harris and SIFT[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015,46(12):11-17.
[20]金波,林龙贤.果蔬采摘欠驱动机械手爪设计及其力控制[J].机械工程学报,2014, 50(19): 1-8.
JIN Bo, LIN Longxian. Design and force control of an underactuated robotic hand for fruit and vegetable picking[J]. Journal of Mechanical Engineering, 2014, 50(19): 1-8.
[21]劉继展,唐善奇,单帅,等.机器人采摘葡萄果穗振动仿真与试验[J].农业机械学报,2016,47(5):1-8.
LIU Jizhan, TANG Shanqi, SHAN Shuai, et al. Simulation and test of grape fruit cluster vibration for robotic harvesting[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016,47(5):1-8.
[22]姬伟,李俊乐,杨俊,等.机器手采摘苹果抓取损伤机理有限元分析及验证[J].农业工程学报,2015,31(5):17-22.
JI Wei, LI Junle, YANG Jun, et al. Analysis and validation for mechanical damage of apple by gripper in harvesting robot based on finite element method[J]. Transactions of the Chinese Society of Agricultural Engineering, 2015,31(5):17-22.
[23]陈燕,蔡伟亮,邹湘军,等.荔枝的力学特性测试及其有限元分析[J].农业工程学报,2011,27(12): 358-363.
CHEN Yan, CAI Weiliang, ZOU Xiangjun, et al. Mechanical properties test and finite element analysie for litchi[J]. Transactions of the Chinese Society of Agricultural Engineering, 2011,27(12): 358-363.
[24]蒋志林,陈燕,谈建豪,等.荔枝应力松弛特性及其损伤的试验研究[J].现代食品科技,2015,31(5):96-101.
JIANG Zhilin, CHEN Yan, TAN Jianhao, et al. Experimental study on stress relaxation characteristics and associated damage litchi[J]. Modern Food Science and Technology, 2015,31(5):96-101.
[25]CHAMELAT R, ROSSO E, CHOKSURIWONG A, et al. Grape detection by image processing[C]//Conference of the IEEE Industrial Electronics Society.[S.l.]:[s.n.],2006: 3697-3702.
[26]REIS M J C S, MORAIS R, PERES E, et al. Automatic detection of bunches of grapes in natural environment from color images[J]. Journal of Applied Logic, 2012, 10(4):285-290.
[27]田锐,郭艳玲.基于机器视觉的葡萄自动识别技术[J].东北林业大学学报,2008,36(11):95-97.
TIAN Rui, GUO Yanling. Automatic identification techniques of grape based on computer vision[J]. Journal of Northeast Forestry University, 2008,36(11):95-97.
[28]熊俊涛,邹湘军,陈丽娟,等.基于机器视觉的自然环境中成熟荔枝识别[J].农业机械学报, 2011, 42(9): 162-166.
XIONG Juntao, ZOU Xiangjun, CHEN Lijuan, et al. Recognition of mature litchi in natural environment based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(9): 162-166.
[29]罗陆锋,邹湘军,杨洲,等.基于改进人工蜂群模糊聚类的葡萄图像快速分割方法[J].农业机械学报, 2015, 46(3):23-28.
LUO Lufeng, ZOU Xiangjun, YANG Zhou, et al. Grape image fast segmentation based on improved artificial bee colony and fuzzy clustering[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(3):23-28.
[30]LUO Lufeng, TANG Yunchao, ZOU Xiangjun, et al. Robust grape cluster detection in a vineyard by combining the AdaBoost framework and multiple color components[J]. Sensors,2016, 16(12): 2098-2117.
[31]赵德安,沈甜,陈玉,等.苹果采摘机器人快速跟踪识别重叠果实[J].农业工程学报,2015,31(2):22-28.
ZHAO Dean, SHEN Tian, CHEN Yu, et al. Fast tracking and recognition of overlapping fruit for apple harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering, 2015,31(2):22-28.
[32]宋怀波,张传栋,潘景朋,等.基于凸壳的重叠苹果目标分割与重建算法[J].农业工程学报,2013,29(3):163-168.
SONG Huaibo, ZHANG Chuandong, PAN Jingpeng, et al. Segmentation and reconstruction of overlapped apple images based on convex hull[J]. Transactions of the Chinese Society of Agricultural Engineering, 2013,29(3):163-168.
[33]WANG D, SONG H, TIE Z, et al. Recognition and localization of occluded apples using K-means clustering algorithm and convex hull theory: A comparison[J]. Multimedia Tools and Applications, 2016,75(6):3177-3198.
[34]徐越,李盈慧,宋懷波,等.基于Snake模型与角点检测的双果重叠苹果目标分割方法[J].农业工程学报,2015,31(1):196-203.
XU Yue, LI Yinghui, SONG Huaibo, et al. Segmentation method of overlapped double apples based on snake model and corner detectors[J]. Transactions of the Chinese Society of Agricultural Engineering, 2015,31(1):196-203.
[35]XIANG R, JIANG H, YING Y. Recognition of clustered tomatoes based on binocular stereo vision[J].Computers and Electronics in Agriculture, 2014,106(5): 75-90.
[36]卢军,桑农.变化光照下树上柑橘目标检测与遮挡轮廓恢复技术[J].农业机械学报,2014,45(4):76-81.
LU Jun, SANG Nong. Detection of citrus fruits within tree canopy and recovery of occlusion contour in variable illumination[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014,45(4):76-81.
[37]BULANON D, KATAOKA T, OKAMOTO H, et al. Determining the 3-D location of the apple fruit during harvest[C] //Automation Technology for Off-Road Equipment Proceedings of the 2004 Conference.[S.l.]:[s.n.], 2004: 91- 97.
[38]李斌,Ning Wang,汪懋华, 等.基于单目视觉的田间菠萝果实识别[J].农业工程学报,2010,26(10): 345-349.
LI Bin, WANG Ning, WANG Maohua, et al. In-field pineapple recognition based on monocular vision[J]. Transactions of the Chinese Society of Agricultural Engineering, 2010,26(10): 345-349.
[39]熊俊涛,邹湘军,彭红星,等.扰动柑橘采摘的实时识别与采摘点确定技术[J].农业机械学报,2014,45(8):38-43.
XIONG Juntao, ZOU Xiangjun, PENG Hongxing, et al. Real-time identification and picking point localization of disturbance citrus picking[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014,45(8):38-43.
[40]杨庆华,刘灿,荀一, 等.葡萄套袋机器人目标识别方法[J].农业机械学报,2013,44(8):234-239.
YANG Qinghua, LIU Can, XUN Yi, et al. Target recognition for grape bagging robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013,44(8):234-239.
[41]罗陆锋,邹湘军,熊俊涛,等.自然环境下葡萄采摘机器人采摘点的自动定位[J].农业工程学报, 2015, 31(2): 14-21.
LUO Lufeng, ZOU Xiangjun, XIONG Juntao, et al. Automatic positioning for picking point of grape picking robot in natural environment[J]. Transactions of the Chinese Society of Agricultural Engineering, 2015, 31(2): 14-21.
[42]INKYU S, LEHNERT C, ENGLISH A, et al. Peduncle detection of sweet pepper for autonomous crop harvesting-combined color and 3-D information[J]. IEEE Robotics & Automation Letters, 2017,2(2) :765-772.
[43]羅陆锋, 邹湘军, 叶敏, 等. 基于双目立体视觉的葡萄采摘防碰空间包围体求解与定位[J]. 农业工程学报, 2016, 32(8): 41-47.
LUO Lufeng, ZOU Xiangjun, YE Min, et al. Calculation and localization of bounding volume of grape for undamaged fruit picking based on binocular stereo vision[J]. Transactions of the Chinese Society of Agricultural Engineering, 2016, 32(8): 41-47.
[44]BAC C W, ROORDA T, RESHEF R, et al. Analysis of a motion planning problem for sweet-pepper harvesting in a dense obstacle environment[J]. Biosystems Engineering,2015, 146(6):85-97.
[45]梁喜凤, 王永维, 苗香雯. 番茄收获机械手避障运动规划[J]. 农业机械学报, 2008, 39(11): 89-93.
LIANG Xifeng, WANG Yongwei, MIAO Xiangwen. Motion planning of a tomato harvesting manipulator for obstacle avoidance[J]. Transactions of the Chinese Society for Agricultural Machinery, 2008, 39(11): 89-93.
[46]尹建军, 武传宇, Yang Simon X, 等. 番茄采摘机器人机械臂避障路径规划[J]. 农业机械学报, 2012, 43(12): 171-175.
YIN Jianjun, WU Chuanyu, YANG Simon X, et al. Obstacle-avoidance path planning of robot arm for tomato-picking robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(12): 171-175.
[47]王冰心,王孙安,于德弘.基于选择性注意机制的果实簇识别与采摘顺序规划[J].农业机械学报,2016,47(11):1-7.
WANG Bingxin, WANG Sunan, YU Dehong. Fruit cluster recognition and picking sequence planning based on selective attention[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016,47(11):1-7.
[48]罗陆锋, 邹湘军, 程堂灿,等. 采摘机器人视觉定位及行为控制的硬件在环虚拟试验系统设计[J]. 农业工程学报, 2017, 33(4):39-46.
LUO Lujin, ZOU Xiangjun, CHENG Tangcan, et al. Design of virtual test system based on hardware-in-loop for picking robot vision localization and behavior control[J]. Transactions of the Chinese Society of Agricultural Engineering, 2017, 33(4):39-46.
[49]BLANES C, ORTIZ C, MELLADO M. Assessment of eggplant firmness with accelerometers on a pneumatic robot gripper[J]. Computers and Electronics in Agriculture, 2015, 113(4): 44-50.
[50]陈燕, 蔡伟亮, 向和平, 等. 荔枝采摘器优化设计与仿真[J]. 农机化研究, 2013(8): 84-87.
CHEN Yan, CAI Weiliang, XIANG Heping, et al. Optimized design and simulation of litchi harvesting device[J]. Journal of Agricultural Mechanization Research, 2013(8): 84-87.
[51]李娜, 王家忠, 张建宝, 等. 一种刚柔混联欠驱动草莓采摘机械手设计[J]. 河北农业大学学报, 2015, 38(1): 118-121.
LI Na, WANG Jiazhong, ZHANG Jianbao, et al. Design of under actuated strawberry harvesting manipulator with rigid-compliant structured[J]. Journal of Agricultural University of Hebei, 2015, 38(1): 118-121.
[52]饶洪辉, 罗时挺, 徐谐庆,等. 一种气吸式油茶果采摘机[P].中国专利: CN201520070541.1, 2015-02-06.
[53]王学林,姬长英,周俊,等.基于灰色预测控制的果蔬抓取系统设计与试验[J].农业工程学报,2010, 26(3): 112-117.
WANG Xuelin, JI Changying, ZHOU Jun, et al. Design and experiment of fruit and vegetable grasping system based on grey prediction control[J]. Transactions of the Chinese Society of Agricultural Engineering, 2010, 26(3): 112-117.
[54]李建伟,陈艳艳.苹果采摘机器人末端执行器的原理及试验研究[J].农机化研究, 2017(9):139-142.
LI Jianwei, CHEN Yanyan. Structural principle and experimental research on the end effector of apple picking robot[J]. Journal of Agricultural Mechanization Research, 2017(9):139-142.
[55]羅陆锋, 杨自尚,徐东升,等.串型水果采摘机器人的末端执行器[P]. 中国专利: CN201610843191.7, 2016-12-28.
[56]ZOU X, ZOU H, LU J. Virtual manipulator-based binocular stereo vision positioning system and errors modeling[J]. Machine Vision and Applications, 2012, 23(1): 43-63.
[57]LUO Lufeng, TANG Yunchao, ZOU Xiangjun, et al. Vision-based extraction of spatial information in grape cluster for harvesting robots[J]. Biosystems Engineering, 2016, 151(11):90-104.