茶叶嫩芽视觉识别与采摘点定位方法研究*

龙 樟, 姜 倩, 王 健, 朱泓霖, 李 波, 温飞娟

(1.西南石油大学 工程学院,四川 南充 637001;2.西南石油大学 机器人工程与智能制造南充市重点实验室,四川 南充 637001)

0 引 言

茶叶采摘是茶叶生产过程中的重要环节，优质茶制茶要求采摘的鲜叶原料幼嫩、匀齐。随着机器人技术的发展，研制采茶机器人是解决选择性采摘茶叶嫩芽采摘效率低的重要手段[1]。而茶叶嫩芽识别及采摘点的定位是实现茶叶智能采摘的基础。

目前，国内外已初步开展了茶叶嫩芽识别和采摘点定位探索性研究[2～4]。现有研究大多数研究集中于对茶叶嫩芽的识别，已得到了不错的识别效果，但大多基于深度学习方法，训练过程复杂，且对硬件要求高[5]；而对嫩芽采摘点的定位研究较少，仅有的研究也只针对单粒嫩芽进行定位[6]，无法实现茶丛图像下多粒嫩芽同时识别与定位需求，即无法满足机器人高效采摘作业的路径规划要求。

针对以上问题，本文提出一种基于图像处理的茶叶嫩芽识别与采摘点定位方法。首先采集茶丛图像，并对茶丛图像进行特征分析，基于超绿特征对茶丛图像进行分割，结合形态学操作对基于超绿特征提取的分割算法进行优化，完成对嫩芽的识别；然后对分割后的嫩芽采用结合边缘检测和骨架化处理算法，实现对嫩芽采摘点的定位。

1 茶叶嫩芽特征分析

1.1 茶丛图像的采集

茶丛图像采集是茶叶嫩芽识别与定位的基础，本文采用Vivo X6s手机作为图像采集装置，以Anaconda及OpenCV视觉库作为图像处理平台。茶丛图像质量受相机拍摄姿态影响较大，相机位于水平姿态附近时，由于茶叶嫩芽的生长姿态各不相同，此时会出现严重的遮挡现象，不利于图像分割[7]。当相机位于竖直姿态附近时，嫩芽汇聚为一个近似圆，茶叶茎秆不能和叶片完全区分，无法获取采摘点。当相机拍摄角度范围在40°～60°倾斜姿态时，嫩芽的轮廓既能保持完整清晰，遮挡情况也较少，有利于前景和背景区域区分开。因此，本文采用45°倾角在茶陇侧面采集得到了如图1(a)所示的茶丛图像，并将采集到的图像进行压缩预处理以备后续分析使用，在不影响图片清晰度及嫩芽特征的情况下降低其分辨率，减少图像处理的数据量。

1.2 茶丛图像特征分析

茶丛图像特征分析的目的是找出茶叶嫩芽与背景区分度大的特征，并以此作为嫩芽图像分割的依据。颜色、形状及纹理是图像分析中最常用的特征[8,9]。颜色特征对图像质量、尺寸变化、旋转和噪声有较强的鲁棒性[10]，且颜色特征是每个物体都具备的最直观的视觉特征，因此本文采用RGB空间下颜色特征对茶丛图像进行分析。对图1茶丛图像在RGB空间中提取B,G,R分量和G-B分量，得到图1(b)～图1(e)所示各分量灰度图像。

图1 茶丛R,G,B分量灰度

由图1可知，在R,G,B单通道图像中茶叶嫩芽与背景的差异小，识别效果差；在图1(e)G-B分量灰度图中，嫩芽部分突出，与背景形成较大差异，能获取良好的分割图像，嫩芽识别效果明显。

2 嫩芽图像分割

由1.2节分析结果，在RGB空间中G-B分量灰度图中嫩芽与背景区分度高，而超绿特征(2×G-B-R)分量在G-B分量的基础上提高了绿色通道的权重，增加了与非绿色背景的对比度，可以使嫩芽和背景有更明显的差别，在颜色特征中能更好地分割出嫩芽图像，因此，本文采用基于超绿特征的嫩芽分割方法。

2.1 基于超绿特征的阈值分割

由相机采集的图像一般都是RGB颜色模型[11]，使用图像的超绿色法处理图像的超绿特征计算公式为

(1)

经过超绿特征变换后的目标图像，可采用的阈值分割方法较多，其中大津法(OTSU)基于最大类间方差自动确定分割阈值，计算简单，不受图像亮度和对比度的影响[12]，按照图像的灰度特性，将图像分成背景和前景两部分，错分概率最小。

假设茶丛图像有L个灰度级数，第i级灰度像素点数为Ni，图像的像素总数为N，则第i级像素点的概率为Pi=Ni/N，假设分割阈值为k，图像可以分为嫩芽C0类(灰度级为0～(k-1))与背景C1类(灰度级为k～(L-1))。则茶丛图像的平均灰度为

(2)

C0类像素的平均灰度为

(3)

C1类像素的平均灰度为

(4)

最大类间方差计算式为

δ2(k)=w0(μ-μ0)2+w1(μ-μ1)2

(5)

式中w0为C0类像素比，w1为C1类像素比，阈值k在0～(L-1)中变化，δ2(k)最小时获得最优阈值。

对图1(a)茶丛图像进行超绿特征提取，并进行OTSU二值化，经过色彩合并后得到嫩芽的分割图像，如图2所示，图2(a)为OTSU分割后的二值图像，图2(b)为色彩合并后最终分割结果。

图2 基于超绿特征图像分割

2.2 基于形态学去噪

在有噪声的情况下，分割结果非常杂乱，因此必须对图像进行滤波去噪[13]。开运算能够去除图像中比结构元素小的突刺，从而切断区域间的细长连接；闭运算可以把区域内的微小缺口填充完整，把短细的断口修补完整[14]。图3(b),(c)分别为对超绿特征(2G-B-R)分量图像进行闭运算和开运算处理的结果，对比图3(a)(2G-B-R)分量图像原图，可以看出形态学操作去除了噪声，图像整体变得比较平滑；对比图3(b)和图3(c)可以看出经闭运算处理后的图像色调更加均匀，对后续分割处理更加有利。对图3(b)和图3(c)采用OTSU二值化后通过色彩合并，观察分析分割结果可以看出，闭运算去噪处理后得到的分割效果更好。

图3 图像形态学去噪处理

3 茶叶嫩芽采摘点定位

3.1 嫩芽采摘点定位方式

茶叶嫩芽采摘点的确定是茶叶智能化采摘的关键。根据茶叶产品档次差异，可以将嫩芽的采摘类型分为单粒嫩芽、一芽一叶和一芽两叶等，其中以一芽一叶和一芽两叶使用面最广，经图像分割得到的嫩芽图像也以这两种类型为主，因此,本文主要针对这两种采摘类型进行采摘点定位方法研究。在实际人工采摘中，采摘点位于两节点(叶与茶梗连接点)之间，如图4(a)所示。

根据叶片数识别嫩芽整体及类型，并用识别框框出嫩芽整体，通过检测识别框与茶梗的交点，将该位置设为采摘点。如图4(b)所示，框中为嫩芽整体，茶梗与框交点即为茶叶采摘点。

图4 采摘点定位方式

3.2 基于边缘检测及骨架提取的采摘点定位

对已分割的包含多个嫩芽的图像进行边缘检测和骨架提取，寻找嫩芽的最小外接矩形，并扫描矩形底部最下方的骨架点，将该点确定为茶叶嫩芽的采摘点。

边缘检测可以获取嫩芽图像的边界信息。常用的边缘检测算子主要有一阶微分算子,如Sobel,Robert和Prewitt等，以及二阶微分算子Laplacian等，其中,Canny算子受噪声干扰影响小，可以更好地检测弱边缘，检测的边界信息更清晰[15]，因此本文采用Canny算子进行边缘检测。

对已分割的嫩芽图像进行骨架提取时，提取嫩芽图像的像素点进行拐点、弯曲点、方向点判断，将不符合条件的像素点删除，符合的进行像素点连接，从而得到大致的骨架。为了便于观察分析，取图像分割所得的部分图像进行后续处理及分析，如图5(a)所示。经过对图像进行边缘检测和骨架化处理合并，得到的结果如图5(b)所示。

将边缘检测结果进行最小外接矩形提取，如图5(c)所示，存在一些被遮挡的嫩芽不全干扰图像，设定最小外接矩形面积阈值将其过滤，仅对嫩芽图像完整的嫩芽进行采摘点定位，如图5(c)中①,②,③号嫩芽。因此，提取最小外接矩形与最下方的骨架交点位置即获得嫩芽的采摘点像素位置。通过对采集的多幅茶丛图像采用上述方法进行采摘点定位研究，图像处理结果表明,本文设计的方法能够稳定的确定采摘点在图像中的位置。

图5 嫩芽采摘点定位

4 结束语

本文针对优质茶智能采摘中的茶叶嫩芽识别与采摘点定位问题进行了研究。以相机倾斜姿态获取了茶丛图像，研究了RGB空间下的茶丛嫩芽特征，并以G-B分量作为分析对象，基于此，提出了基于超绿特征的图像分割方法，结合大津法获得了良好的嫩芽分割图像。在此基础上，采用闭运算对分割图像进行去噪处理，获得了更好效果的分割图像，之后提出了基于嫩芽整体识别框的嫩芽采摘点定位方法，设计了基于边缘检测及骨架提取的采摘点定位算法。实验结果表明:设计的方法能够稳定地识别嫩芽并实现采摘点在图像中的定位，并具有较强的鲁棒性。下一步工作将结合双目立体视觉研究采摘点在三维空间下的实际坐标位置，提高算法的实用性，并进一步提升茶叶嫩芽识别与采摘点定位精度。