基于深度学习的自然环境下刺梨果实识别

闫建伟,赵 源,苏小东,刘红芸,张乐伟,张富贵,3,樊卫国,何 林,4,5

(1.贵州大学 机械工程学院,贵阳 550025;2.国家林业和草原局刺梨工程技术研究中心,贵阳 550025;3.贵州省山地农业智能装备工程研究中心,贵阳 550025;4.贵州省特色装备及制造技术重点实验室,贵阳 550025;5.六盘水师范学院,贵州 六盘水 553004)

0 引言

刺梨广泛分布于暖温带及亚热带地区,在我国主要分布于贵州、四川、云南等地,其中贵州的刺梨资源最丰富,产量最高。目前,对刺梨果实的采摘技术还停留在人工采摘阶段,国内外尚无刺梨果实识别方面的研究。刺梨果实生长环境复杂,刺梨树枝叶繁多,遮挡严重,大大增加了刺梨果实识别的难度。

国内外在果实及其他农作物的识别方面已有大量的研究,但几乎没有刺梨果实识别的研究。李震等[1]利用K-means方法在Lab模型颜色空间中对红蜘蛛进行了识别,但识别过程需要大量的时间成本,且识别的品种单一,没有普适性。周洪刚等[2]利用2R-G-B色差分量及最小二乘拟合方法等对成熟柑橘进行了自动识别研究,识别正确率在90%以上。彭珂等[3]通过机器嗅觉技术对柑橘进行了有效的识别与分类研究,其正确识别率较高。蔡健荣等[4]采用2R-G-B色差分量等方法对自然场景下成熟柑橘进行识别,但对于果实表面有较大反光情况下的柑橘识别率较低且会产生虚假目标和误判现象。解卫华等[5]提出一种基于图像识别的多角度柑橘检测方法,但是由于是多个角度检测,对数据和设备有较高的需求,对于色差较大的柑橘的正确识别不够理想;金超杞等[6]选用MatLab的图像处理工具箱对番茄果实串进行检测和提取,但只能应用于成熟的番茄果实串的检测。苏博妮等[7]通过计算机视觉等技术,对草莓进行了有效识别。孙阳等[8]利用MatLab和图像处理技术对无花果果实进行处理和识别研究,正确率达到89.5%。李小阳等[9]利用PerkinElmer Spectrum One 傅里叶变换红外光谱对当归进行鉴别,可以为车前草的质量控制提供参考。龙金辉等[10]提出一种基于图像约束聚类分割的柑橘果实识别算法,能够较理想地对柑橘果实进行分割。Illingworth等[11]运用圆形Hough变换(CHT)对西红柿的边缘进行了识别,由于阈值的控制不理想,对于在光线变化较大的情况下并不适用。全国各地每年刺梨的产量较大,面对如此大产量的农业产品,全部依靠人工采摘是一种高成本低效率的作业。因此,自然环境下刺梨的识别定位是研究的重点与难点,这一研究将会提高刺梨的采摘效率。

1 刺梨果实提取

1.1 图像分割

本文使用的刺梨图像采集于贵州省龙里县谷脚镇,拍照时间为2018年9月,刺梨图像包含阴晴天气、不同光照及树枝树叶遮挡等各种情况下的刺梨图像,通过0.57R-0.18G-0.2B色差分量与Ostu自适应阈值分割,对刺梨图像进行处理,能够快速分割出刺梨果实。利用高斯滤波对刺梨图像进行去噪,采用滤波器为模板构成的结构元素,sigmal为滤波系数,取值为1。提取真彩色RBG图像中各分量的直图,分别进行相应的均化操作,结合0.57R-0.18G-0.2B色差分量和Ostu自适应阈值分割算法对刺梨果实进行初次提取,通过观察色差分量灰度图和Ostu自适应阈值分割图的直方图,在整个灰度级中像素数波形图为两峰分布,如图1所示。

图1 (0.57R-0.18G-0.2B)图像的直方图Fig.1 Histogram of the(0.57R-0.18G-0.2B) image

1.2 连通区域标记

采用8邻域顺序法遍历刺梨二值图像,利用Ostu自适应阈值法对分割出来的刺梨二值图像进行标记,并将每一个连通区域用不同的数值进行标识,以表示不同的连通区域。同一连通区域的每一个像素点用相同的数值标识[12]。

1.3 目标区域提取

将标记出来的连通区域进行面积计算,运用连通区域阈值的方法,去除大部分远小于刺梨果实目标面积的连通区域,如图2所示。由于部分树枝和枯叶与刺梨颜色相近,以及目标周围部分背景与目标区域融合,需要对处理后的图像进行二次分割,以达到理想的果实识别效果。结合YCbCr颜色空间模型中的Y、Cb和Cr分量,利用各分量阈值的方法对图像进行二次分割,根据MatLab中的图像阈值颜色分析工具Color Thresholder对刺梨图像进行分析,选用阈值条件为：0≤Y≤256、0≤Cb≤115、138≤Cr≤256,再利用连通区域面积阈值法对图像进行近一步分割,得到二次分割结果,如图2(h)所示。

(a) 灰度图像 (b) 色差图 (c) Ostu阈值分割 (d) 面积阈值分割 (e) 一次分割

2 刺梨特征提取

2.1 区域图像分割

当刺梨相邻时,分割出来的图像连通区域很可能会连在一起,不利于对单个刺梨进行检测。因此,需要对二值图像中易产生不同连通区域相连的情况进行进一步的图像处理。

采用分水岭图像分割算法对局部图像连通区域进行分割,利用chessboard距离转换算法,将二值图像转换为灰度图像,画出图像的等高线,确定分割界限并实现将刺梨连通区域正确分离,如图3所示。

(a) 距离转换图 (b) 等高线图图3 区域分割结果Fig.3 Regional segmentation result

2.2 质心位置标记

记图像中每一像素在x方向上坐标为xi,对应的像素值为pi,质心在x方向上坐标为x,用式(1)和式(2)表示,即

(1)

(2)

对于x方向的质心,通过质心的左右两边像素对称原理进行确定;对于y方向上的质心,通过上下两边像素对称原理进行确定。

2.3 单个刺梨果实检测

选用Sobel算子进行刺梨果实轮廓检测,再应用Hough圆检测[13]对刺梨果实外圆进行检测标记。通过图像空间和参数空间中的线和点的对称性,将图像中的线转换到参数空间,并集合到一点,通过对Hough圆检测的相关参数进行调整,以实现对刺梨果实的轮廓进行圆的拟合。

2.4 累加器参数设置

几乎在所有可以用f(x,a)=0表示的图形中,都可以采用Hough变换对其中的图形边缘进行有效地检测。其中,a为系数向量,x为坐标向量。通过对圆的一般方程(x-a)2+(y-b)2=r2进行相应的编程及推导,以实现Hough变换对圆的检测。在圆的检测过程中,会将参数空间中的不同的单元视为不同的累加器并进行相应的初始化操作,再通过图像空间中参数方程的计算和累加,获取对应的图像参数;紧接着,利用图像中的梯度信息,进行Hough圆变换。对公式中的x进行求导,以得到相应的二维空间中的参数,即

(3)

式中 (a,b)—果实质心坐标。

本文Hough变换检测的圆半径步长为1,角度步长为0.05rad,变换阈值为0.72。由上述Hough圆检测即可得到果实的圆心坐标(a,b)及圆的半径r,最终拟合出刺梨果实外圆,结果如图4所示。

(a) 质心标注 (b) Sobel边缘检测 (c) Hough圆检测 (d) 最终结果图4 最终识别结果Fig.4 Final recognition result

3 独立和粘连图像分割

对于图像中即有独立果实也有相邻粘连和遮挡果实的情况,需要对图像中的相邻粘连果实单独提取出来,并对其进行分离。取白色像素点区域中面积最大的区域的3/4为阈值,通过删除小面积区域法,将面积大于最大连通区域面积2/3的区域单独提取出来,再利用分水岭分割算法中的局部极小值法对粘连果实进行分离,处理结果如图5所示。刺梨遮挡情况下的刺梨图像修复处理过程,如图6所示。

(a) 彩色图分割结果 (b) 质心标注图 (c) 边缘检测 (d) Hough圆检测 (e) 边缘圆拟合图5 相邻果实图像分割Fig.5 Mixed image fruit recognition

(a) 彩色图分割 (b) 质心标注图 (c) 边缘检测 (d) Hough圆检测 (e) 遮挡果实修复图6 遮挡果实图像识别Fig.6 Fruit recognition under occlusion

4 重叠果实的分割

在基于图像处理的果实识别研究中,除了考虑相互独立及树枝或树叶遮挡的情况,对于刺梨果实相互重叠的情况的识别也尤为关键[14]。

本文通过利用刺梨最小外接矩形的长宽比作为重叠与否的判别依据,以长宽比b/a>1.3为阈值,确定刺梨果实存在重叠情况。对于长宽比小于1.3的连通区域,则不用对该区域进行分割操作;对大于该长宽比阈值的区域,即重叠果实,则需要进行分割,对分割后的图像进行Gauss-Laplace轮廓识别。Gauss-Laplace算子是两种算子的结合,一种是二阶导数算子拉普拉斯,另一种是高斯算子。结合腐蚀和膨胀等图像处理方法对图像进行分割处理以提取重叠 果实中每个果实的轮廓,再将二值图像中白色的像素点替换为彩色图像中相应矩阵位置的像素点,达到提取重叠果实中各单个果实轮廓的目的,提取结果如图7所示。

(a) Gauss-Laplace边缘检测 (b) 重叠果实分割 (c) 最终结果图7 重叠情况下的果实识别Fig.7 Fruit recognition under overlapping conditions

5 算法流程及结果分析

对刺梨果实识别的算法流程图如图8所示。

图8 图像处理流程图Fig.8 Flow diagram of Image processing

通过对60幅不同环境下拍摄的刺梨图像进行识别,正确识别率达到92%以上,刺梨果实外圆拟合检测精度较高,识别正确率均在92.3%以上,如表1所示。

表1 识别结果Table 1 Recognition result

6 结论

1)采用0.57R-0.18G-0.2B色差分量、Ostu适应阈值分割及连通区域面积阈值等方法对自然条件下的刺梨果实图像进行分割,能够对刺梨果实进行有效识别,并适用于绝大部分刺梨的识别。但是,对于强反光和极弱光条件下的刺梨识别效果不太理想。

2)利用改进的Hough圆变换算法,对刺梨果实外圆进行拟合,获得果实质心坐标及其半径;但由于该算法是基于图像处理的目标识别,识别准确率受外部条件影响较大, 当遮挡面积增大, 识别准确率也会随之降低。

3)采用适用于刺梨果实分离的分水岭分割算法,能够对粘连和重叠的刺梨果实进行有效的分离识别,实现单个刺梨的识别。

4)算法主要基于图像的颜色特征和形状特征等深度信息对刺梨果实进行识别,也适用于其他任何类似颜色和形状特征的物体识别。