花椒果实的目标识别与定位

徐志博, 万芳新, 黄 元, 岳一杰, 马国军

(甘肃农业大学机电工程学院,甘肃 兰州 730070)

花椒是中国种植最广泛的经济作物之一。传统花椒采摘主要以人工采摘为主,采收成本高、劳动强度大、效率低、季节性较强,且枝干带尖刺易使人受伤,采摘效率低下,严重制约了花椒产业的经济效益和发展。此外,花椒多种植在山脊、肥力较低的隆脊,使得采摘作业相比于其他经济作物更加艰难、费时。为实现花椒果实的高效自动采摘,减轻林园采摘者的负担,保证果实采摘的时效,对花椒采摘机器人的关键技术进行深入研究至关重要。因此,在自然条件下不受复杂环境影响地快速进行识别与定位对提升采摘机器人作业效率有十分重要的应用价值和现实意义。

近年来,随着深度学习算法的不断成熟,许多学者利用深度学习、机器学习的方法在林果采摘机器人中进行目标检测、目标定位、算法定位,并超越了传统的图像处理方法[1-3]。齐锐丽[4]等研究了R-G色差法、Its法及k-means法等聚类算法,得出使用outs能很好地分割花椒果实,使用Canny算法提取果实轮廓后使用双目视觉算法与形心匹配法可得到花椒三维坐标。万芳新[5]等在RGB颜色空间下对花椒果实串进行一系列图像形态学处理并进行图像识别,使用优化腐蚀噪点和隔离带法去除非目标再求取花椒串的位置。张永梅[6]等对比了花椒果实在HSV和RGB颜色空间分量,结合使用合适的阈值进行分割,将形心偏差法与惯性主轴结合得到果实的采摘点。杨萍[7]等使用k-means算法和Ostu算法结合进行图像相减得到主枝位置,将小孔成像与凸包理论结合得出花椒的深度信息。利用机器视觉结合深度学习技术对马铃薯生产系统中的早期枯萎病进行实时识别[8];Ji[9]等使用SVM分类器对苹果果实进行分类识别,对套袋果实的识别率达到89%。Wei[10]等在OHTA颜色空间中提取了一种新的颜色特征,利用改进的Otsu算法自动计算水果图像的分割阈值,识别准确率达到95%以上。Yao Jia[11]等提出了一种基于YOLOv5的缺陷检测模型,该模型能够快速准确地检测出猕猴桃的缺陷,其mAP@0.5达到了94.7%。然而,这些系统模型并不能在复杂的果园环境中快速高效地为采摘机器人提供准确的定位,目前仍需要一个高鲁棒性的基于计算机视觉的目标检测系统[12-14],一个全自主的UAVs系统自动化检测模型还远远没有实现。另一方面,纵观基于深度学习[15,16]的花椒果实目标识别的研究,大多数花椒检测模型的识别效率较高,但由于其果园环境复杂性高、果实尺寸大小不一、成簇果实相互遮挡,许多模型的实时性与准确度不足。因此,开发一种可以同时识别多簇果实,满足在枝叶遮挡、果实重叠的复杂林间环境下的应用需求,又能实时检测花椒果实的识别模型具有挑战性。

本文针对花椒园中复杂的采摘环境,提出了一种基于交廓三角型的林间花椒果实串采摘点识别算法,本文利用惯性主轴与形心点数形结合的方式得到花椒果实的采摘点,为实现花椒采摘机器人采摘作业的研究提供理论支持。

20世纪70年代以来，不同学科的学者们在各自不同的方向，对国家作为一个行为主体或一种制度组织(institution)进行了广泛的研究。虽然这些研究彼此之间并无有意识的协调，但这些研究都十分重视国家的行为主体身份，关注国家如何通过政策来影响政治和社会过程，这股强大的研究力量，在学术界共同引发了社会科学研究的“国家转向”。就此，“国家中心论”或者国家自主性的学派渐趋形成。

1 形心点的提取

对于采摘机器人来说在自然环境下花椒果实串空间位置采摘点的确定是极其重要的,位置的准确与否直接关系到花椒采摘点的位置精度,即末端执行器判定采摘位置选择的正误。对于花椒的采摘位置本文使用惯性主轴以及形心点的偏向去判断采摘点的位置方向,以实现采摘。

调整产业结构必须树立以市场经济为中心的发展方向。提高农产品的附加值，发展高质量的农产品。引进优良品种，鼓励规模化、专业化生产，增强农产品的竞争力。

令:

要利用创新驱动发展，只会模仿，不会创新，最终只是停滞不前甚至倒退。在信息化社会，电子商务产业的从业者应当充分利用大数据的优势，能够根据市场需求甚至是每位客户的不同要求，对产品进行不断创新，同时根据技术的进步和社会发展不断创新电子商务的运营模式，从而不断顺应社会和市场的发展。

(1)

式中计算其中质心时,将灰度图中x方向的灰度积累和灰度图中总灰度的积累相比得到了质心点x的位置坐标xc。同理,将灰度图中y方向的灰度积累和灰度图中总灰度的积累相比得到了质心点y的位置坐标yc,如图1所示。

(2)

式中Mjk为灰度图中关于x方向的j阶矩,y方向的k阶矩;f(x,y)为灰度图的像素值。其中,参数j+k被称为矩的阶,当阶的大小不同时可以得到不同的阶数的矩。当j+K=0时称为零阶矩,当j+K=1时称为一阶矩,当j+K=2时称为二阶矩。关于进行灰度处理过后的图像,因此阶矩的值表示灰度沿着x,y方向的分布状况,用M00代表灰度图中总灰度的积累,Mxy代表灰度图中在不同x、y方向的不同灰度积累。

图1 形心点

2 惯性主轴的确定

中心矩拥有位置无关性,是由于其是以质心位置作为原点进行计算,且中心矩可以反映区域中的灰度相对灰度中心是如何分布,因此使用中心矩可以很好地表现出区域的基本位置特征。例如,μ20和μ02表示在选定区域中灰度相对灰度中心的水平和垂直方向的矩,若μ20<μ02,则这可能表明的是一个垂直方向的轴线,反之则可能为水平方向的轴线。

之后将二阶中心矩的μ11、μ20、μ02简化为:

(3)

本文采用计算灰度图像的形心,矩的数值大小表示该图灰度在X、Y方向的分布状况,定义如下:

(4)

3.1.4 生理、心理的危害 有文献报道，皮肤科医师对性病患者的歧视明显受到伦理道德和社会文化背景的影响，表现为其歧视程度因患者招致感染的行为原因不同而存在显著区别。从医时间短、职称低、女性、已婚、3级医院、专科医院的医师对性病患者更易产生污名印象与歧视情况［3］。同时，长期处在高风险和传染性强的环境中，加上护士人员缺乏、长期高度紧张、轮值班后生活不规律、睡眠障碍等，都导致了医护人员的身心危害，从而造成职业损害。

θ=arctan(2μ11/μ20+Ψ2),μ20>μ02

θ=arctan(μ20-μ02+Ψ2/2μ11),μ20<μ02

(5)

当-π/4<θ<π/4时,m20

则水果主轴方向与水平方向的夹角θ为:

选取花椒平面图的形心位置点为待求点,在选取平面图形心位置时常常使用矩法和质点法来求解位置点,其中矩法是分别计算出图像关于x、y方向的i阶矩和j阶矩表示图向的像素值,接着计算图像的总灰度,从而计算出图像的位置点。质点法则是由图像边缘的像素值来计算得出位置点,将图像中的横纵坐标的边缘像素取均值后得到形心点。二者的结果大致相同,但矩法从代码长短以及运算速度来看都较优。

当-π/2<θ<-π/4时,m20>m02且m11<0,如图2为此情况,此时:

随着我国城市化发展步伐的逐步加快，人们开始源源不断地涌入城市，使得出行成为了一大难题，一系列交通运输问题随之而来。而城市地铁具有运输量大、速度快、节能、准时等诸多特点，所以近几年来已经成为了城市生活的一种主要出行工具，随着城市地铁线路的设计范围逐渐扩大，同时也拓宽了城市地铁网络系统的搭建范围，因此使得地铁换乘站的建筑设计也成为了当前地铁运输的重点内容，并且实际建筑效果也会对地铁服务质量产生重要影响，因此要致力于研究城市地铁换乘站的建筑设计。为此，本文主要对当前城市地铁换乘存在的问题进行了分析，并对城市地铁换乘站的建筑设计进行了初步探究。

图2 惯性主、副轴

θ=0.5arctan(μ20-μ02+Ψ2/2μ11)-π/2

(6)

我们定义X轴的正方向为水平向右,y轴的正方向垂直向上,建立坐标系,花椒果实串在自然生长条件下,将果实串的惯性主轴倾斜角度θ定义在(-π/2,π/2)之间,即花椒串的惯性主轴大多数处在(-π/2,π/2)。

θ=0.5arctan(μ20-μ02+Ψ2/2μ11)

(7)

当π/4<θ<π/2时,m20>m02且m11>0,如图为此情况,此时:

Y=14586.095 - "KT1" * 103.614 + "Slope" * 155.987 + "B123457 " * 167387.358+ "KT3" * 55.487 + "B2" * 166.069 - "B1" * 90.897+ "B5" * 12.046 - "RVI" * 71.560

θ=0.5arctan(μ20-μ02+Ψ2/2μ11)+π/2

(8)

使用惯性主轴的方法求出花椒果实串主轴的方向示意图,其果实串轴的角度分别为117°、26.3°、13.7°如图2所示。

3 采摘点位置确定

通过确定的果实串的形心点和惯性主轴,可以将形心点的偏向方位以及惯性主副轴位置相结合得出采摘点的位置。具体过程如下图3,图4,图5所示:

图3 交廓三角形算法流程

图4 交廓三角形

图5 采摘点确定

选取遮挡与无遮挡各100幅图片做像素定位,表1为不同光照条件下花椒串采摘点的像素误差统计。分析1 000幅不同光照条件下花椒串采摘点的像素误差,其中无遮挡花椒串采摘点准确率为79%,带遮挡花椒串采摘点准确率为62%。由于自然生长的花椒串生长方向不确定,采用该方法对采摘点进行定位时,有时图像采集方位的物体或遮挡大部分果实,这会产生误差。由表1可知采用该定位方式,可以有效地提升定位精度,即使存在果实串被遮挡的情况也可以判断出采摘点的位置,对实际花椒园采摘作业有积极影响。

表1 不同光照下采摘点误差分析

4 结论

本文提出融合多种算法的识别定位方法,基于形心偏差法与惯性主轴算法提出了一种交廓等腰三角形算法模型。实验结果表明,针对所选取的不同光照条件下无遮挡与遮挡的花椒图像,计算采摘点准确率达到79 %和62 %,平均定位时间为0.265 5 s和0.312 6 s, 研究可为进一步应用于花椒园间多花椒串识别,为花椒采摘机器人采摘作业的研究提供理论依据。