基于图像处理技术的茶树新梢识别和叶面积计算的探索研究

吕丹瑜，金子晶，陆璐，何卫中，疏再发，邵静娜，叶俭慧*，梁月荣

基于图像处理技术的茶树新梢识别和叶面积计算的探索研究

吕丹瑜1，金子晶2，陆璐1，何卫中3，疏再发3，邵静娜3，叶俭慧1*，梁月荣1

1. 浙江大学茶叶研究所，浙江 杭州 310058；2. 浙江省农业技术推广中心，浙江 杭州 310000； 3. 丽水市农林科学研究院，浙江 丽水 323000

基于田间采集的大量茶树春梢生育图片，借助计算机视觉技术，利用目标检测算法YOLOv5构建茶树新梢不同生育阶段的识别模型，测试结果表明该模型具有较高的检测精度。进一步探究了Image-J软件处理以及基于Gray值、RGB值、HSV值的阈值切割图像处理方法在茶叶面积处理方面的应用，比较了不同方法的准确度和运行效率。结果表明，基于HSV阈值切割法的茶树叶片面积算法准确率在94%以上，表现优于RGB阈值切割法。研究结果为开发茶树新梢生育进度智能识别模型和叶片性状信息提取算法提供了技术支撑，为采茶机械的茶芽自动识别模块的研发提供了理论基础。

计算机图像处理技术；YOLO；茶树新梢；生育阶段；叶面积；模型构建

我国茶产业的数字化改革是茶产业向自动化、智能化发展的重要战略步骤[1]。由于劳动力转移和用工成本的逐年增加，茶园的田间工作和栽培管理越来越需要机械化、智能化工业技术的加持。然而，目前我国的智慧茶园建设仍主要处于大数据监测和数据收集阶段，如何对收集到的数据进行深度分析并获得具有指导意义的结论，以及如何将环境数据与茶树生长发育、生理状态指标结合，进而指导茶园农艺操作或应用于开发农艺操作装备的智能芯片，仍需要开展大量的基础研究工作[2]。这是一个多学科融合的新领域，信息技术的单独运用并不能有效解决农艺实践、作物生长调控等综合性问题，因此需要多领域专家的通力合作。目前，我国智慧茶业仍缺乏基础研究、技术积累和创新研发，缺少茶叶与信息多学科交叉的应用型人才。

计算机图像处理技术越来越广泛地应用于模拟仿真、质量安全监控、人工智能开发等领域。该技术通过提取图像中包含的某些特征或特殊信息，如灰度或颜色特征、边界特征、区域特征、纹理特征、形状特征等，为计算机分析图像提供便利，可用于图像识别或划分等级[3]。计算机视觉技术具有无损、实时、快速、客观等优势，近年来逐渐应用于茶树的栽培、病虫害防治[4-5]、茶叶加工和品控等领域[6-7]。为了更好地模仿人类行为处理图像信息数据，可通过机器学习算法进行数据解析。刘鹏等[8]利用随机森林方法筛选出了对茶叶外形特征属性贡献最大的几个特征并建立模型，能较好地实现茶叶感官审评分级。YOLO是一种基于卷积神经网络（Convolutional neural network，CNN）的目标检测算法，其核心是卷积层，能够自动学习图像特征和模式，并利用这些特征在后续神经网络层上完成分类、识别和图像处理任务[9]，已应用于图像识别、医疗影像、语音识别、自动驾驶等领域。YOLO模型的网络结构主要分为Backbone（用于提取图像的特征信息）、Neck（用于加强不同分辨率特征融合的能力）和Head（用于输出目标检测结果）3部分[10]，实现了高效而准确的目标检测和分类。目前，YOLO算法已应用于农作物生长发育阶段或品质等级等识别模型的创建，并呈现出优秀的工作性能，例如基于YOLO模型的棉花发育期自动识别算法[11]、小麦外观分类器[12]、名优绿茶品质检测模型[13]。此外，YOLO网络模型亦可应用于茶树栽培相关领域，如检测茶园中杂草的位置[14]，检测复杂背景下茶叶嫩芽[15]等。

智慧茶园建设是我国茶园田间管理设施化、数字化、智能化发展和应对劳动力紧张的重要举措，是未来茶园建设和管理的重点内容之一。但目前智慧茶园的建设多数仍处于对茶树长势、茶园气象要素、水肥水平监测的阶段，尚缺乏解析监测所得图像、数据信息的模型或算法，以及将监测信息与茶树本身的生长状态、抗逆措施、水肥管理措施等指令的耦合机制。另一方面，目前关于茶叶开采期和产量的预测模型多属于半经验模型，遥感模型中茶叶产量等相关的数据需人为提供。因此，所采纳基础数据的真实性和可靠性直接影响遥感预测模型的准确性。再者，同一品种的茶树新梢生育和鲜叶产量往往受到栽培方式、气象、水肥等因素的影响，而鲜叶产量与采摘标准直接相关，每年的田间情况均有可能发生变动，这使得基于历史数据建立的预测模型缺失了一定的实时效应。因此，需要开发基于茶树生育规律、生长状态的相关模型或算法对茶园监测图像及数据进行关联解析，并对遥感模型的预测结果进行补充和校准。本研究收集了不同生育阶段茶树春梢照片，采用YOLO深度学习模型建立茶树新梢不同生育阶段的识别算法，并采用计算机图像处理技术计算不同叶位叶片的面积。通过探索图像处理技术和人工智能在茶树新梢识别和叶面积计算方面的应用潜力，旨在为茶园监测图像信息处理和茶树新梢生育状态识别模型的创建提供技术支持，为未来基于新梢密度和叶片面积测算茶园鲜叶产量模型的开发提供理论基础。

1 材料与方法

1.1 试验场地和样品信息

试验和样品采集地为丽水市农林科学研究院松阳茶叶基地。茶树春梢生育阶段识别的数据集构建采用的研究对象主要为龙井43的茶树春梢，部分白叶1号的茶树春梢作为补充数据。对不同生育程度的新梢进行高清拍照。

叶片面积测算试验采用的龙井43和白叶1号春梢图片由4 000万像素超感光镜头（索尼IMX600）拍摄，采用自动对焦模式，拍摄条件为正常室内无遮挡的光照环境（光照强度约100 lx），图像分辨率为3 024×4 032。从春梢第一真叶的下端部分进行采集，同时按照顺序，依次摆放第一真叶、第二真叶、第三真叶、……、春梢茎部。为了对所采集的图片进行归一化处理，在拍摄照片中放置同一标尺作为叶片大小的参照物（图1），获取单位长度，计算单位标准面积。

1.2 春梢生育阶段识别数据集的构建

对数据集进行打标处理，采用LabelImg软件对图片中的茶芽种类进行识别和框取，采用yolo格式，进行标记的记录和存储，单芽、一芽一叶、一芽二叶、一芽三叶、一芽四叶、一芽五叶分别标记为singleBud、oneLeaf、twoLeaves、threeLeaves、fourLeaves、fiveLeaves。然后随机划分数据集，如表1所示，采取的比例约为训练集∶验证集∶测试集=7∶2∶1。

1.3 春梢生育阶段识别数据集增强

由于训练数据集只有白色背景，所以需要增加一些背景干扰以适应真实生产环境，并且在训练时进行数据增强，可以使模型更好地学习抵抗环境因素噪声。在YOLOv5中除了使用随机裁剪、随机旋转、随机平移、随机缩放、随机亮度、对比度和色调调整、随机擦除等基本的数据增强方法，还使用了Mosaic数据增强方法。如图2所示，Mosaic数据增强法的核心是将4张不同的图片随机裁剪，然后随机拼接形成1个新的图像，可以有效实现丰富数据集大小，同时增加了小样本目标，提高模型的泛化能力，防止模型过拟合。

图1 叶片信息采集展示

表1 数据集的划分

1.4 YOLOv5模型的构建

本研究的模型采取了GPU加速，运行环境为VOLOv5-5.0，Pthon3.8，torch 2.0.0，CUDA 11.3，主机显卡RTX3060Ti，RAM 16 G×2。为了提高试验效率，设置了YOLO5s的预处理权重，YOLO5s是YOLOv5系列中较为简洁的模型，具有较快的处理速度和较低的GPU显存消耗，同时识别精度也较高。试验设定的模型参数为总迭代次数为300，图片大小为640×640，批量处理张数为16，线程数为8，类别数量为6。图3为输入训练集的具体标签数据。

图2 增强数据过程展示

1.5 YOLOv5模型的性能评估和衡量指标

本研究采用损失函数（Loss function）作为衡量YOLOv5模型性能的指标，采用准确率（Precision）和召回率（Recall）作为模型效果的评价指标。准确率是针对预测结果而言，指被预测为正的样品中实际为正样本的概率，计算公式见公式（1）；召回率是针对原样本而言，指在实际为正的样本中被预测为正样本的概率，计算公式为公式（2）。

其中，为真阳性，为假阳性，为假阴性。

准确率和召回率通常为一对互相影响的性能度量指标。为了更加全面地评估模型性能，本研究使用F1值作为综合测评的指标，其计算公式见公式（3）。F1值越接近1，说明模型的预测性能越佳。

1.6 基于图像处理方法的叶片面积计算

（1）将茶叶新梢的茎干部分采用背景色进行遮蔽，同时利用标尺绘制出对照的标准单位面积；（2）利用阈值切割的方法（分别基于Gray、RGB、HSV值）选取出属于茶树叶片的像素点区域，此时仍然有小部分光斑的区域未被选择；（3）将图片转换为二值图（0-1，像素表示）；（4）进行闭运算，膨胀和腐蚀的组合操作，消除噪声，弥补图片中的一些小空洞，平滑叶片的边缘；（5）进行图片区域闭合运算后，删除与叶片无关的背景信息，得到最终需要的茶树叶片二值图像（从左到右依次为第一叶、第二叶、第三叶、第四叶、茎）；（6）利用算法内嵌公式自动计算出每张叶片的面积。

注：A为训练集中各个目标类别数量的统计图；B为目标框的尺寸与数量；C为目标中心相对于整个图像的位置；D为目标框与整个图像的高宽比例

2 结果与讨论

2.1 损失函数和准确度

经过训练集训练了300轮之后，由图4可知，随着迭代次数的增加，Loss曲线在训练集和验证集下降明显，说明模型的学习效果良好。Loss随着训练步数增加而逐渐减小，并最终接近于零，Loss越小即损失越小，即方框框定的越准确。

图5为不同模型准确度与置信度之间的关系图，其中准确率在最后1次迭代之后的值为0.907 5，召回率为0.898 2。PR-curve为均值平均精度，精度越高，召回率就越低。一般来说，模型最理想的状态是能够尽可能覆盖全部类别，即接近（1,1），面积接近1。如图5所示，本次试验生成的茶树春梢分类模型的面积接近1，表现出色；同时，F1作为准确率和召回率的调和平均数，也接近1，最后1次迭代的值为0.902 8。

图6为最终结果的混淆矩阵。混淆矩阵的每1列代表1个类的实例预测，而每1行表示1个实际的类的实例。singleBud和oneLeaf，threeLeaves和fourLeaves之间虽然仍有极小的可能性被混淆，但基本可忽略不计，模型总体的识别分类能力非常完备。此外，所创建的模型对验证集的识别效果较好，识别分类能力完备，能够准确识别验证集中茶树春梢的种类。图7为验证集部分测试结果展示。

图4 模型构建的损失函数

图5 不同模型准确度与置信度之间的关系图

图6 混淆矩阵

图7 验证集部分测试结果展示

2.2 YOLO模型的测试结果

采用测试集进一步验证YOLO模型识别茶芽的准确度，结果如图8所示。测试集的29张图片均测试通过，准确率达到了100%，说明该模型可以准确识别不同生育阶段的茶树新梢。进一步分析发现，对于一芽四叶及以上的新梢识别虽然识别结果正确，但相较于其他生育阶段的新梢其置信度偏低，观察PR-curve和F1-curve，F1值也相对偏低。这可能由于一芽四叶、一芽五叶等的新梢较大，框取的面积也较大，增大了识别误差，交并比（IOU）降低。IOU用于衡量真实值和预测值之间的相关度，IOU值越大，相关度越高。此外，一芽四叶及以上的新梢本身同时包含了一芽二叶、一芽三叶的形态，新梢存在一定的概率仅被框取一半或部分，从而被模型错误识别成一芽二叶或一芽三叶，导致了置信度偏低。

2.3 不同切割算法的图像处理过程

科研中常用图像处理软件为Image-J，主要采用内嵌的BW二维分割算法。采用的像素分割阈值是基于Gray值，将图片导入即可实现图像的切割。图9为不同切割算法的图像处理过程。如图9A所示，采用Image-J处理会出现叶片面积损失的情况。本研究对叶片面积数据敏感，如果叶片面积识别出现偏差会导致试验结果出现误差。由于Image-J中的算法为内嵌的，通用于大部分背景简单、物体色相单一的情况，灵活度不高，无法适应茶叶叶面积的提取。

传统的灰度颜色提取对阈值的要求较为敏感，调整输入参数往往耗费大量时间，即使手动调整参数至最适宜的阈值，该识别算法对一些阴影部分和叶片边缘部分信息仍无法精准地提取（图9B）。

采取HSV法，即将图像从RGB格式转化为HSV格式，根据叶片特征设定H、S、V的阈值进行图像分割，效果较好，操作流程如图9C所示。HSV法通过限定HSV颜色的范围把带有绿色和黄色的像素点切割出来，避免了因叶面蜡质导致光照不均匀引起的像素点划分错误，有效提取了叶面的像素点，同时结合闭运算能够精准切割叶片边缘，从而计算得到更为准确的茶树春梢叶片面积。

图8 测试集的部分测试结果展示

图9 不同切割算法的图像处理过程

2.4 不同切割算法图像处理结果比较

图10为3种切割算法图像结果的比较。可见，基于Gray值和RGB值进行阈值切割的叶片，都出现了不同程度的叶面积损失、叶边缘识别精度不足的现象。相较而言，HSV切割具有明显的优势，对茶树叶片边缘处理极佳，能够有效、准确地进行植物叶片边缘提取。如图11所示，在不调整参数的情况下，Gray阈值切割没有普适性，在多数情况下表现较差，甚至无法完整切割茶叶，故没有进行比较。本研究采用不同叶面积计算方法对试验数据集中的龙井43和白叶1号样本分别进行了叶面积计算，结果如表2所示。标准面积为手动套索得到，设为100%。结果表明，HSV阈值切割法计算叶面积的平均准确率在94%以上，明显高于RGB阈值切割法。

图10 不同处理方法图像比较

图11 Gray阈值切割法在普通情况下的表现

表2 不同处理方法的面积计算结果比较

注：准确率=(1-|计算面积-标准面积|标准面积)100%；其中标准面积为通过Photoshop软件手动套索获得的叶片面积

Note: Precision (%)= (1-|calculation area - standard area|standard area)100%; The standard area is achieved by manual lassoing using photoshop software

3 结论

利用YOLO5建立的茶树新梢识别算法具有速度快、准确率高的优点，能够精准地区分和判定不同茶树新梢类型。建立茶树新梢生育阶段的计算机识别模型，主要是为茶园田间的高清监测和智能信息处理、反馈系统的建设提供基础模型和算法理论。例如，当多个高清摄像头监测茶树新梢生育进度时，借助计算机模型识别的多张反馈照片形成机器指令，能够得到茶树生育进度（是否是开采期），可与其他茶园智能监管系统耦合，进行茶园的智能管理。本研究探索了利用图像处理技术识别不同类型茶树新梢的可能性，为后续数字化茶园建设相关工作的开展提供初步的理论基础。可见，YOLO5模型具有高效识别茶树新梢生育阶段的潜力，为未来开发茶树生长模型、研发智能采茶机提供算法支持，有助于推动茶园栽培管理智能化的实现。由于本研究训练和验证时采用的背景较为简单，噪声较低，所以YOLO模型在茶园实际复杂背景下的识别效果仍有待进一步研究和完善。同时，该识别模型也可用于不同等级茶鲜叶的筛选，为未来开发茶鲜叶分级的人工智能技术提供研究基础。

在不同栽培条件下，即便是同一茶树品种同一叶位叶片的大小亦有所不同，从而造成同一采摘标准下相同品种茶树在不同种植区产量的差异。常规的基于栽培模式、气象因子、水肥因子等多个自变量建立的茶鲜叶产量测算模型需要大量的基础研究数据，涉及长时间、多种环境因素的监测和单位面积鲜叶产量的计算。工作量巨大，且数据的准确性仍需进一步验证。借助智慧茶园摄像头监测的实时性，通过多个摄像头的实时监控，获得一定数量的照片，通过深度学习识别茶树新梢生育进度，以及测算单位面积的茶树新梢密度，结合叶片面积、叶片单位面积质量、采摘标准等信息，有助于实现对茶园鲜叶产量的实时预测。这种方式能够有效规避栽培方式、气象因子、水肥条件等多因素对茶园鲜叶产量的影响，所获数据具有较高的准确度和明显的实时效应。本研究采用Matlab图像处理技术提取茶树叶片信息并进行计算，发现针对茶树叶面特点优化改进的HSV图像提取算法结果优于传统叶面积计算算法，准确度高，能够达到94%以上，可满足植物叶片面积计算需求。该算法高效省力，提高了叶面积计算效率，优化了数据集建立流程，为建立植物叶片信息大数据模型提供了良好的技术支持。结合茶园新梢识别和新梢密度测算，有助于将来开发基于叶片面积大小测算区域产量的预测模型，指导茶园精准管理和劳动力资源配置。此外，将来亦可开发复杂背景下的叶片面积计算，实现叶片面积的原位测算。

[1] 唐小林, 王家鹏, 范起业. 我国茶业装备数字化现状及路径分析[J]. 中国茶叶加工, 2022, 169(3): 69-72. Tang X L, Wang J P, Fan Q Y. Current situation and path analysis of digitalization of the tea industry equipment in China [J]. China Tea Processing, 2022, 169(3): 69-72.

[2] 金晶. 浙江省茶产业数字化改革进程与展望[J]. 中国茶叶加工, 2022, 169(3): 6-10, 33. Jin J. Progress and prospect of the tea industry digital reform in Zhejiang [J]. China Tea Processing, 2022, 169(3): 6-10, 33.

[3] 许云召. 计算机图像处理技术在茶叶感官品质检测中的应用研究[J]. 福建茶叶, 2022, 44(8): 13-15. Xu Y Z. Research on the application of computer image processing technology in sensory quality detection of tea [J]. Tea in Fujian, 2022, 44(8): 13-15.

[4] 陈晶, 朱启兵, 黄敏, 等. 基于机器视觉的茶小绿叶蝉识别方法研究[J]. 激光与光电子学进展, 2018, 55(1): 348-355. Chen J, Zhu Q B, Huang M, et al. Recognition ofbased on machine vision [J]. Laser & Optoelectronics Progress, 2018, 55(1): 348-355.

[5] 封洪强, 姚青. 农业害虫自动识别与监测技术[J]. 植物保护, 2018, 44(5): 127-133. Feng H Q, Yao Q. Automatic identification and monitoring technologies of agricultural pest insects [J]. Plant Protection, 2018, 44(5): 127-133.

[6] 黄藩, 刘飞, 王云, 等. 计算机视觉技术在茶叶领域中的应用现状及展望[J]. 茶叶科学, 2019, 39(1): 81-87. Huang F, Liu F, Wang Y, et al. Research progress and prospect on computer vision technology application in tea production [J]. Journal of Tea Science, 2019, 39(1): 81-87.

[7] 李素朵. 计算机视觉技术在茶叶等级检测中的应用研究[J]. 农机化研究, 2019, 41(5): 219-222. Li S D. Application of computer vision in tea grade testing [J]. Journal of Agricultural Mechanization Research, 2019, 41(5): 219-222.

[8] 刘鹏, 吴瑞梅, 杨普香, 等. 基于计算机视觉技术的茶叶品质随机森林感官评价方法研究[J]. 光谱学与光谱分析, 2019, 39(1): 193-198. Liu P, Wu R M, Yang P X, et al. Study of sensory quality evaluation of tea using computer vision technology and forest random method [J]. Spectroscopy And Spectral Analysis, 2019, 39(1): 193-198.

[9] Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection [C]//IEEE. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 779-788.

[10] Lei F, Tang F, Li S. Underwater target detection algorithm based on improved YOLOv5 [J]. Journal of Marine Science and Engineering, 2022, 10(3): 310. doi: 10.3390/jmse10030310.

[11] 毋立芳, 汪敏贵, 付亨, 等. 深度目标检测与图像分类相结合的棉花发育期自动识别方法[J]. 中国科技论文, 2018, 13(20): 2309-2316. Wu L F, Wang M G, Fu H, et al. Automatic recognition of cotton growth by combining deep learning based object recognition and image classification [J]. China Sciencepaper, 2018, 13(20): 2309-2316.

[12] 徐佳鹏, 张朝晖, 李智, 等. 基于YOLO模型的小麦外观分类算法研究[J]. 自动化仪表, 2023, 44(3): 83-87.Xu J P, Zhang Z H, Li Z, et al. Research on wheat appearance classification algorithm based on YOLO model [J]. Process Automation Instrumentation, 2023, 44(3): 83-87.

[13] 尹川, 苏议辉, 潘勉, 等. 基于改进YOLOv5s的名优绿茶品质检测算法[J]. 农业工程学报, 2023, 39(8): 179-187. Yin C, Su Y H, Pan M, et al. Detection of the quality of famous green tea based on improved YOLOv5s [J]. Transactions of the Chinese Society of Agricultural Engineering, 2023, 39(8): 179-187.

[14] 王根, 江晓明, 黄峰, 等. 基于改进YOLOv3网络模型的茶草位置检测算法[J]. 中国农机化学报, 2023, 44(3): 199-207. Wang G, Jiang X M, Huang F, et al. An algorithm for localizing tea bushes and green weeds based on improved YOLOv3 network model [J]. Journal of Chinese Agricultural Mechanization, 2023, 44(3): 199-207.

[15] 孙肖肖, 牟少敏, 许永玉, 等. 基于深度学习的复杂背景下茶叶嫩芽检测算法[J]. 河北大学学报(自然科学版), 2019, 39(2): 211-216. Sun X X, Mou S M, Xu Y Y, et al. Detection algorithm of tea tender buds under complex background based on deep learning [J]. Journal of Hebei University (Natural Science Edition), 2019, 39(2): 211-216.

Exploratory Study on the Image Processing Technology-based Tea Shoot Identification and Leaf Area Calculation

LÜ Danyu1, JIN Zijing2, LU Lu1, HE Weizhong3, SHU Zaifa3, SHAO Jingna3, YE Jianhui1*, LIANG Yuerong1

1. Tea Research Institute, Zhejiang University, Hangzhou 310058, China; 2. Zhejiang Agricultural Technical Extension Center, Hangzhou 310000, China; 3. Lishui Institute of Agriculture and Forestry Sciences, Lishui 323000, China

In this study, based on the picture collection of tea shoot growth in the field, we used deep learning target detection algorithm YOLOv5 to construct a model for identifying different growth stages of tea shoots, and the testing results indicate that the model had high accuracy. Furthermore, the Image-J software and the image processing methods of threshold cutting based on Gray, RGB and HSV values were applied to process tea leaf area, and the accuracy and efficiency of different methods were compared. The results show that the accuracy of HSV-based algorithm system of cutting tea leaves and automatically calculating tea leaf area was over 94%, which had better performance than RGB-based algorithm system. The research results provide technical support for the intelligent recognition model of tea growth state and information extraction algorithm of leaf traits, and also build a theoretical basis for the development of tea bud automatic recognition module of tea plucking machinery.

computer image processing technology, YOLO, tea shoot, growth stage, leaf area, model building

S571.1；TP391.41

A

1000-369X(2023)05-691-12

2023-05-29

2023-08-23

浙江省农业重大技术协同项目（2020XTTGCY04）、浙江省农业（茶树）新品种选育重大科技专项（2021C02067-5-1）

吕丹瑜，女，主要从事茶叶生产数字化品控技术方面研究，3190101348@zju.edu.cn。*通信作者：jianhuiye@zju.edu.cn