采茶机械手嫩芽识别与定位方法研究

姜宏涛，何博侠，章亚非

(南京理工大学机械工程学院，江苏 南京 210094)

0 引言

名优茶采摘具有很强的时效性，如国人比较推崇的“明前茶”，其采摘周期一般在半个月内。在短时间内要完成大量采摘工作，劳动强度非常大。目前，现有的机械采摘设备存在无法区分老叶与嫩芽、不能保证采摘完整性等缺点，而名优茶对茶叶采摘的完整性有着很高的要求。因此，需要对嫩芽的识别与定位技术进行研究。名优茶嫩芽采摘点的精准识别与定位是采茶机械手完成准确采摘的关键，该技术主要包括图像预处理、颜色特征提取与嫩芽图像分割、嫩芽识别与定位等。

在嫩芽图像预处理方面，主要使用中值滤波法对RGB颜色分量逐个进行滤波后,再结合其结果来降低图像噪声，改善图像质量[1-3]。由于常用的滤波方式会导致图像变模糊，可采用基于偏微分方程原理的去噪模型消除嫩芽图像中的噪声[4]。为避免进行去噪时嫩芽图像灰度值较大的部分被处理掉，可使用梯度增强法锐化其灰度图像[5]，然后利用维纳滤波消除嫩芽图像中的噪声。

在嫩芽图像分割方面，针对单个色彩因子容易受到室外环境因素影响，目前主要的方法为Otsu法[6]；对于HSEG和JSEG的局限性，主要使用彩色纹理图像的分割方法(JBSEG)，结合边缘检测算子的幅值来改进JSEG[7]，并且综合研究轮廓边界非连续性和图像局部区域相似性。结果表明,JBSEG方法在避免过分割现象方面有更好的效果，同时在超绿特征2R-G-B分量基础上能很好地分割出嫩芽图像。

在嫩芽采摘点识别方面，深度学习的方法得到了应用[8]。如基于色调、饱和度等颜色特征，以及嫩芽平均宽度、面积大小、嫩芽图像中轴长度和弯曲度系数等形状特征作为图像特征集，输入经过优化后的卷积神经网络模型，经过训练使网络模型能够成功识别出嫩芽采摘点。孙肖肖等[9]在深度学习的基础上提出了茶叶嫩芽图像采摘点检测算法，该方法改进了YOLO网络架构，并采用大尺度和中尺度检测方法。

在嫩芽采摘点三维定位方面，目前的方法主要为在对茶叶图像“两瓣一心”的形状特征研究的基础上，采用了逐行扫描法和图像轮廓边缘检测法来定位嫩芽采摘点。

本文针对茶叶图像特点，选择合适的色彩因子进行提取，对分水岭算法进行改进以避免其“过分割”现象的产生，并结合双目测距原理获取嫩芽采摘点三维坐标，提供给采茶机械手以完成定位。

1 茶叶图像特征分析与提取

嫩芽分割的准确性直接关系到之后进行采摘点空间定位的精度。由于茶树所处的生长环境复杂，使得嫩芽图像分割受到了多种因素的限制：

a.光照强弱的影响。在不同光照下采集的嫩芽图像各不相同，光照较强时嫩芽部分区域会因反光出现白斑，光照较弱时，嫩芽与老叶的区分度较低。

b.嫩芽生长姿态的影响。嫩芽可能会受到附近枝干的遮挡或者与其他嫩芽、老叶重叠，导致分割结果不完整。

RGB 颜色模型是在红、绿、蓝三原色模型基础上设立的，是实际生活中最常使用的的面向硬件的颜色模型。模型中所有颜色是由红、绿、蓝三基色按一定比例混合而成的。而茶叶嫩芽与老叶的主要区别为绿色的深浅度上，可以从RGB模型中分离出G分量，但不确定具体的分割值；这时可以引入HSI颜色模型，该模型是由色调、饱和度和亮度三元素建立的模型，更加符合人眼观察颜色的习惯，其中色调代表颜色属性，其大小取决于光的波长；饱和度则表示纯色稀释程度，饱和度大小与颜色鲜艳程度成正比；亮度是用来度量颜色明亮程度的值。

下面对嫩芽与老叶分别进行颜色特征提取。通过计算可以得出各颜色分量特征灰度直方图，相比R、B分量，G分量的嫩芽与老叶灰度值重合最少，可考虑采用G分量进行后续图像分割。

由于RGB模型中，3个分量受亮度影响较大，故对3个分量进行组合及图像灰度化处理。选取6组色彩分量进行提取，结果如图1所示。

图1 单通道嫩芽图像

由图1可知，G-B分量图下的嫩芽轮廓最明显，可以将其作为图像分割的备选分量。在进行分割前，可分别求取嫩芽三通道灰度图与G-B单通道分量图的灰度三维立体图，如图2所示。由图2可以看出，G-B分量图中灰度值高的地方比较集中，较三通道灰度图更容易分割。

图2 嫩芽灰度三维立体图

2 基于改进分水岭算法的茶叶嫩芽图像分割

2.1 传统分水岭算法

目前，图像分割的方法有多种，如基于边缘、阈值和图论等分割方法。分水岭算法是一种基于地形的概念，它将灰度图看作是一个地形图，像素的灰度值代表地势高度，利用这种方式来研究图像在空间上的灰度变化。其具体思想为：在局部灰度最小值区域开1个孔，则水会流出，上升至淹没整个“地形”，为防止各个区域的水汇合，需要在交界点修建堤坝，该堤坝称为“分水岭”。分水岭原理如图3所示。由于分水岭算法对图像中的噪声比较敏感，往往会产生过分割情况，因此应尽量减少图像噪声。

图3 分水岭原理

2.2 改进分水岭算法

本文在传统分水岭算法的基础上，引入BM3D去噪算法对原始图像进行去噪处理，然后通过灰度拉伸法加大嫩芽G-B分量图的对比度，最后采用分水岭算法进行分割。

目前常用的图像去噪方法中，滤波器的使用较多。而对于茶叶图像，嫩芽与老叶的区别并不明显，使用滤波器会模糊嫩芽与老叶的边界，影响后续的分割。BM3D(block-matching and 3D filtering)算法是一种基于三维变换域的去噪算法，是目前图像降噪性能最好的算法之一。Makinen等[10]在2019年对其进行了改进，使用了新的方差计算方法，用于改进收缩精度与块匹配。本文将采用此方法进行嫩芽图像去噪。BM3D算法主要有以下2个阶段。

a.第1阶段：基本估计。

(1)

τdis为距离阈值。

参考块ZxR和匹配块Zx1的间距d(ZxR,Zx1)定义为

(2)

T2D为二维变换操作；σ为噪声标准差；λthr2D为二维阈值参数；γ为硬阈值操作，其定义为

(3)

②协同硬阈值滤波与聚合：对三维数组进行3D变换，通过硬阈值滤波减少噪声，即

(4)

每个FSxR有1个对应的权值矩阵ωxR，其定义为

(5)

Nh为硬阈值处理后系数矩阵中的非零个数。非零系数越少，得到的权值就越大。

然后通过三维逆变换得到二维相似块的估计值，对于重叠的相似块进行重新估值，最后通过加权平均得到图像基本估计。

b.第2阶段：最终去噪(第1步作为输入)。

①块匹配：用块匹配的方式在基本估计中得到相似块位置，可以分别得到噪声图片和基础估计生成的图片产生的2个三维数组。

②协同维纳滤波：用上一步中的三维数组作为真实信号的能量谱，并进行协同维纳滤波，对滤波后的数据逆变换并返回到相似块的原位置，得到估计值，最后对多个估计值的像素加权平均得到最终图像。

块匹配算法包括全局搜索与快速搜索块匹配2种。全局搜索块匹配需要搜索所有的块，得到的结果较为准确但是运算量很大。快速搜索块匹配算法只在搜索区域内进行搜索，速度较快但有时可能无法得到需要的全局最优解。考虑到实际采集的茶叶图像噪声并不是很多，为减少去噪算法的运行时间，本文采用BM3D算法第1步基本估计中得到的图像作为最终图像，并在块匹配过程中采用快速搜索块匹配算法。

利用峰值信噪比PSNR对去噪后的图像质量进行评估。PSNR计算公式为

(6)

A为最大像素灰度值；g(i,j)为去噪图像；f(i,j)为含噪图像。

上述3种算法峰值信噪比如表1所示。

表1 不同去噪算法去噪效果对比

由表1可知，BM3D算法可以取得更好的去噪效果。

在完成图像去噪后，针对G-B嫩芽分量图使用灰度拉伸加大其对比度。图像灰度拉伸是一种更改图像对比度的方法，利用灰度映射，可以将原图中某区间中的灰度值映射到另一灰度值，对图像的灰度分布范围进行拉伸或压缩。拉伸前后G-B嫩芽分量对比情况如图4所示，在对G-B嫩芽分量图进行灰度拉伸后，嫩芽部分与背景图像的区分度明显提升，使得嫩芽能更好地从图像中分割出来。

图4 灰度拉伸前后G-B分量灰度图

接下来使用分水岭算法对拉伸后的图像进行分割，最终得到分割图像如图5所示。由图5可知，部分嫩芽由于受到遮挡，没有很好地分割出来，未受遮挡嫩芽能够基本完成分割。

图5 分割结果

2.3 采摘点平面坐标求解

对于茶叶图像采摘点平面坐标而言，通常可采用求解最小外接矩形的方法进行求解。最小外接矩形描述了物体在主轴方向上的长与宽，用来表示物体轮廓特征。本文通过MATLAB编写程序求解嫩芽的最小外接矩形，对2.2节中得到的嫩芽分割后图像中的每1个连通域求取最小外接矩形，标记每个最小外接矩形与嫩芽图像接触点Y方向上坐标值最大处，如图6所示，则为采摘点平面坐标。

图6 采摘点平面坐标求解

3 茶叶采摘点匹配

茶叶采摘点的三维坐标需要通过双目测距来得到。需要经过立体匹配后，才能获得正确的左右图像的像点对应关系。

考虑到光线对茶叶图像的影响，本文选择基于特征的匹配算法，其中的SURF特征点对外界噪声与光照抗干扰性较好，且运行速度较快，接下来采用SURF算法进行特征点提取。

为对采摘点进行正确匹配，可以利用RANSAC算法剔除误匹配点对，并进一步利用极线约束，对左右图像中行像素不一致的特征点剔除。图7为RANSAC剔除误匹配点效果，图8为极线约束后的匹配结果。由图7和图8可以看出，经过极线约束后错误的匹配点对已被剔除，得到了较好的匹配效果。

图7 RANSAC剔除误匹配点结果

图8 极线约束后的匹配结果

通过对左右相机中茶叶采摘点的匹配，结合2.3节的方法获取其二维坐标后，可利用双目测距原理计算出茶叶采摘点的三维坐标。通过多次改变相机与茶叶间距离，可以测出多组空间坐标值，如表2所示。

表2 茶叶三维空间定位结果

4 实验

为了验证茶叶识别与定位算法的有效性，使用自主设计的采茶机械手进行茶叶采摘点定位实验。

实验步骤如下：将茶树盆景固定在桌面上，通过双目相机采集图像，经由嫩芽识别与定位算法处理后得到了采摘点的三维坐标，引导机械手运动到采摘点，气缸动作，末端执行器闭合。

采茶机械手进行定位过程如图9、图10和图11所示，分别为机械手初始状态、机械手到达采摘点以及定位成功。

图9 机械手初始状态

图10 机械手到达采摘点

图11 定位成功

实验中，采茶机械手完成1次定位后回到初始状态。一共设置5组茶树位置，每组间隔80 mm，与机械手基座的间距从350 mm增加至670 mm。针对不同的位置一共进行50次实验，记录采茶机械手的定位成功率。采摘数据经处理后如表3所示。

表3结果表明，随着机械手基座与茶树距离增加，定位误差逐渐增大，在一定范围内能够基本满足茶叶采摘要求。待机械手结构完善，可进一步提高采摘成功率。

表3 机械手模拟定位实验数据

5 结束语

本文提出了一种基于改进分水岭算法的嫩芽图像分割方法，该方法为避免传统分水岭算法中的过分割现象，采用BM3D去噪算法对原始嫩芽图像进行去噪处理，并在其基础上进行灰度拉伸处理，进一步提升了嫩芽与背景图像的区分度，并最终分割出了较完整的嫩芽图像。完成了嫩芽采摘点的匹配，并结合双目测距原理计算出嫩芽采摘点的三维坐标。实验结果表明了嫩芽识别与定位方法的有效性。