基于区域亮度矫正的番茄成熟度定量分级方法

张钟莉莉，何婷婷，李志伟，史凯丽，刘长斌，郑文刚

基于区域亮度矫正的番茄成熟度定量分级方法

张钟莉莉1,2，何婷婷1,3，李志伟3，史凯丽1,2，刘长斌4，郑文刚1,2※

（1. 北京市农林科学院智能装备技术研究中心，北京 100097；2. 农业农村部农业信息软硬件产品质量检测重点实验室，北京 100097；3.山西农业大学农业工程学院，太谷 030801；4.北京市农林科学院信息技术研究中心，北京 100097）

针对现有番茄成熟度分级标准不统一，泛化性有待提高等问题，该研究提出一种基于区域亮度矫正的果面红色着色区域提取的方法。采用-法增强番茄表面的红色区域，利用Otsu分割方法提取表面着色区域，判断各着色区域的轮廓树结构以计算着色区域面积占图像总面积的比例作为主要特征，构建多因子融合的随机森林模型以实现番茄成熟度的量化分级。同时，利用基于局部亮度均衡的图像快速修复方法以解决光照变化导致的番茄表面高亮度反射问题。结果表明：以番茄表面着色面积比成熟度评价指标的分级平均正确率为92.96%，相比传统颜色矩和颜色直方图作为评价指标时的分级准确率提高了6.53和20.6个百分点。高亮区域领域像素加权替代法可对番茄高亮区域亮度实现有效矫正，矫正后的未熟、半熟和成熟番茄图像的果面着色区域面积占番茄图像总面积的比例较矫正前提高了0.06、0.15和0.11，分级准确率分别提高了17.24、11.47和4.69个百分点。研究可为番茄成熟度的定量性分级提供决策基础。

随机森林；像素；番茄成熟度；亮度矫正；红色着色区域提取

0 引 言

番茄是全球普遍种植的蔬菜之一，在中国也占有重要地位，2021年中国番茄产量约为6 609万t，番茄行业工业总产值高达4 262.80亿元，具有显著的经济效益[1]。番茄品质分级是影响番茄市场销售和出口的关键因素，其中成熟度是重要指标之一。通常，在番茄的采收环节中，会对番茄成熟度进行初步判断，即根据采收季节、产品用途和保鲜方法等需求对相应成熟阶段的番茄进行采收[2]，采后分级的目的在于对不同成熟度阶段的番茄评价，实现不同用途的番茄的筛选。然而目前采后番茄的成熟度检测仍主要依靠人工作业，劳动强度大，工作效率低[3-5]，限制了番茄的标准化和商品化进程，降低了番茄产品的经济收益，因此研究番茄品质的在线实时分级方法十分必要。

机器视觉技术具有非接触、自动化的特点，为番茄成熟度的实时在线检测提供了一种低成本、高效率的解决方案，其通过描述番茄表面颜色特征实现成熟度的分级判定[6]，常用于描述番茄表面颜色的颜色模型有RGB、Lab、HIS、HSV等[7]，各颜色模型的颜色分量值及其颜色矩和颜色直方图是检测不同成熟度番茄的特征[8-9]，毕智健等[10]分别提取番茄的RGB、HSV、HIS图像的分量值进行自由组合，利用Mahalanobis、Quadratic、Linear 3种函数进行判别分析，实现了对不同成熟度番茄的分类判别。LIU等[11]根据不同成熟度番茄的直方图中峰值的分布区间差异，提取番茄的分量值作为颜色特征，开展番茄成熟度分类研究。JIANG等[12-13]计算了番茄的三阶颜色矩，并分别利用多项logistic回归和多层感知器对番茄成熟度进行分类。WAN等[14]将番茄图片划分为等面积的同心圆环，计算每个圆环区域的平均色调值，检测了不同番茄的成熟度。

值得注意的是，颜色矩和颜色直方图特征着重描述番茄果实表面颜色分量的分布比例，但并未能给出直观明确的分级标准[15]，从而导致不同研究确定的分级标准难以在其他品种番茄上应用，分级方法的可迁移性受到限制。

根据中华人民共和国供销合作行业标准《番茄》（GH/T 1193-2021）[16]定义红果番茄的不同成熟阶段：红熟前期（果实着色面1/10～3/10），红熟中期（果实着色面4/10～6/10），红熟后期（果实着色面7/10～10/10），可知，番茄果实着色面占比应作为量化番茄成熟度等级的特征。近年来，部分学者提出使用番茄表面的红色区域信息来对于番茄成熟度进行分级。赵杰文等[17]将番茄RGB图像转换至HIS颜色模型下，根据分量的灰度分布，使用阈值法分割出成熟番茄表面的红色区域。尹建军等[6]统计了直方图中对应红色的色调值的像素点总和，计算红色调所占着色面积比与其他色调所占着色面积比的差值作为描述番茄成熟度的主要特征，利用BP神经网络实现了成熟度的分级。袁亮等[18]通过不同成熟度番茄的HSV颜色直方图中的色调值的变化情况确定表面红色区域的分割阈值，从而提取红色部分的面积进行成熟度分级。但在番茄果品的检测实践中发现，由于番茄果面较为光滑，光照变化易于引起高亮反射问题，使用上述直方图阈值分割方法进行红色区域提取会造成将高亮红色区域误识别为非红色区域的情况，造成番茄成熟度的分级误差。

基于此，本文提出一种基于局部亮度均衡的图像快速修复方法对番茄表面高亮区域进行亮度矫正，并利用最大类间方差法（Otsu）法提取番茄表面的红色部分，计算红色部分占原番茄图像的面积比为主要特征，结合颜色矩和颜色直方图特征，使用随机森林模型对不同成熟度番茄进行分级，为量化番茄成熟度分级标准提供技术依据。

1 材料与方法

1.1 图像采集与处理

1.1.1 番茄图像采集

本文所用番茄的品种为Cappricia，其成熟后果实表面颜色为红色，试验样本于2021年7月至11月采摘自北京市大兴区宏福农业科技有限公司的连栋温室，图像采集装置如图1所示，主要包括光源、成像和数据传输3个模块[19]。本次试验选择的成像设备为500万像素的彩色相机，及焦距为12 mm的OPT-C1214-2M定焦镜头。试验分别安装两组成像设备于样本的正上方和正前方300 mm处，以采集番茄不同视角的图像。图像采集过程在规格为600 mm×600 mm×80 mm的小型摄影棚中进行，棚顶安装有两块白色LED灯板，用于提供图像采集所需的光照条件。采集的图像使用型号为U3 Micro-B/S to A的高柔线传输至计算机中，并以“jpg”的格式保存，分辨率为2 592 × 1 944（像素）。根据专家分级结果选择600张不同成熟度的番茄图像进行试验，其中未熟、半熟和成熟番茄图像数量分别为87、121和392张，将图片集按照2：1划分为训练集和测试集。

1.背景框架 2. 光源 3. 相机与镜头 4. 番茄样本 5.数据传输线 6. 计算机

1.1.2 图像处理

采集的番茄图像的处理包括图像分割和亮度矫正两个步骤（图2），将采集的番茄图像经过颜色空间变换、Otsu分割等操作，得到去除背景后的番茄图像；而后通过寻找番茄轮廓的最小外接矩形，实现番茄目标的感兴趣区域提取；最后基于番茄灰度直方图确定表面高亮区域的分割阈值，提取番茄表面的高亮区域进行亮度矫正，得到亮度均衡后的番茄目标图像，便于后续的特征提取与分级。

图2 图像处理流程

本文设计的图像采集系统保证了成像背景单一，且番茄目标与背景颜色差异较大，基于颜色特征的阈值分割能够快速提取图像中的目标番茄区域[20-22]。本文选择在Lab颜色模型下对番茄图像进行图像分割，图像从RGB到Lab的转换式如下：

RGB到Lab的转换无法直接进行，需使用颜色空间作为中间模式[23]。通过式（1）得到各分量的灰度值取值范围，而后使用一个校正函数将转换至Lab，如式（2）和式（3）所示。

式中X、Y、Z为参考白点的、、3种刺激值，用于对转换后的、、进行归一化。本文使用OpenCV内嵌函数完成图像的颜色空间转换，其白色参考点使用D65光源，2°入射角的条件得到，这时X、Y、Z的值分别为0.982，1.00和1.183，()函数是为了避免在=0处出现无限斜率。经式（1）～（3）的计算，得到番茄的Lab图像，、、的取值范围分别为（0，100）、（−127，128）和（−127，128）。

在分量图中番茄目标与背景的像素差异最大化，使用Otsu法即可快速提取出番茄目标，形态开运算和泛红填充算法用来修剪图像边缘毛刺和填充误分割的高亮区域。

针对番茄果实极易产生表面反射，进而造成图像中亮度分布不均的情况，本文使用一种图像快速修复方法[24]矫正番茄图像中高亮区域的亮度。该方法通过寻找番茄图像中的高亮区域，在其邻近的像素周围选择一个小邻域，由邻域中所有已知像素的归一化加权和代替原区域像素，对于靠近该点的那些像素，靠近边界的法线和位于边界轮廓上的像素，给予更多的权重。

1.2 颜色特征提取

1.2.1 果面着色面积比

果面着色区域面积比是指番茄果实表面的红色区域面积占果实表面积的比例，随着番茄成熟阶段的递进，番茄中番茄红素的含量逐步增加，使得果实颜色不断从绿色转变为红色，即果实表面红色着色面积逐渐增加[25]。当番茄表现为未熟时，其表面主要呈黄色或绿色，此时，番茄图像中的灰度值小于灰度值（–<0）；当番茄为半熟状态时，其表面主要由橙色和黄色组成，即番茄图像中存在部分灰度值小于灰度值的区域；而当番茄成熟后，其表面呈红色，图像的灰度值明显大于灰度值（–>0）。图3为不同成熟度的番茄图像与经过与的差值处理的图像，可以看出，通过与的差值处理，可以突出图像中的红色区域（图3b）。

番茄红色区域面积比的计算方法如图4所示，首先使用-方法来突出番茄表面红色区域，利用Otsu方法分割出番茄的红色部分，通过轮廓查找寻找番茄红色区域，并计算红色部分的面积在番茄图像中的占比，以此判断番茄的成熟度。值得注意的是，番茄表面的红色区域可能是相互独立的几个部分或存在复杂的内嵌关系，此时需准确判断个红色区域之间的关系，继而进行相加或相减才能得到实际的红色区域面积。本文选择cv2.RETR_TREE轮廓检索模式检测番茄图像中的所有轮廓，并建立一个等级树结构，此时轮廓检测函数会返回一个用来描述的轮廓的层级关系的数组hierarchy，包括4个int型变量：（hierarchy[][0]～hierarchy[][3]），分别表示第个轮廓的后一个轮廓、前一个轮廓、内嵌轮廓和父轮廓的索引编号，当第个轮廓没有对应内嵌轮廓或父轮廓时，hierarchy[][2]和hierarchy[][3]会被设置为-1，以此来判断各轮廓间的关系。

图3 不同成熟阶段的番茄图像与R-G处理后的图像

注：R-G代表番茄R与G分量的差值，A1，A2，A3分别为无内嵌轮廓和父轮廓的轮廓的面积、有父轮廓但无子轮廓的轮廓的面积、有父轮廓和子轮廓的轮廓的面积。

1.2.2 颜色直方图

颜色直方图用于描述不同色彩在整幅图像中所占的比例，而忽略了每种色彩所处的空间位置，因此通过将番茄的最小外接圆半径分为等份[26]，并从圆心开始以×/（即分别以/，2/，…，为半径进行画圆）（1≤≤）为半径做圆，以此将番茄图片划分为个同心圆环，分别计算每个圆环区域的直方图特征，可以反映番茄颜色的空间分布特性。颜色直方图特征包括直方图峰度、偏度以及直方图分布区间。

1.2.3 颜色矩

颜色矩包括一阶矩（均值）、二阶矩（方差）和三阶矩（斜度）等，由于颜色信息主要分布于低阶矩中，因此颜色矩可以用来表达图像的颜色分布，颜色矩已证明可有效地表示图像中的颜色分布[27]。一阶颜色矩采用一阶原点矩，反映图像的整体明暗程度，其值越大，图像越亮；二阶颜色矩采用的是二阶中心距的平方根，反映图像的颜色分布范围，值越大，颜色分布范围越广；三阶颜色矩采用三阶中心距的立方根，反映图像颜色分布的对称性。

1.3 工作平台

试验工作平台包括硬件与软件平台两个部分，硬件配置为英特尔酷睿 i5-11400H CPU处理器，内存为16.0GB，RTX 3050显卡。软件开发平台为Windows 11 64 位操作系统下，整个试验基于OpenCV 3.4.2.16开源软件库实现，编程语言为 Python，颜色特征数据使用Excel进行处理与分析。

2 模型选择与评价指标

2.1 模型选择

果蔬成熟度分类的常用模型主要有支持向量机[28]、反向传播神经网络[14]、-近邻算法[29]、决策树[30]、线性判别分析和二次判别分析[31]等。研究证明，相对于其他模型，随机森林（random forest，RF）对果蔬的成熟度分级具有更高的精度[27-33]，因此本文选择随机森林模型对不同成熟度的番茄进行分级。

随机森林是基于bagging框架的决策树模型，即由多个决策树以随机的方式建立一个森林，其中每棵决策树之间没有关联[34]。在进行分类时，RF中每棵决策树都会进行一次分类判断，样本最终的分类结果为最多的决策树选择的类别。本文使用基于Python语言的sklearn包来实现RF算法，此时，RF模型参数主要有两部分：一是RF框架参数，包括_estimators（决策树的个数）、bootstrap（是否进行又放回地抽取样本）、oob_score（是否用袋外样本评价模型好坏）；二是RF决策树参数，包括max_features（最大特征数）、max_depth（最大深度）、min_samples_leaf（叶子节点含有的最少样本）等。通过对RF框架参数和决策树参数进行选择优化，进而提高模型的分类准确率。

2.2 模型性能评估指标

模型的分级性能使用精确率、正确率和召回率进行评估。精确率代表在所有检测为正样本的结果中实际为正样本所占的比例，召回率反映了模型正确检测出正样本的能力，准确率反映了模型准确检测样本的能力[35]。

3 结果与分析

3.1 高亮区域矫正对比

本文所提的高亮矫正方法实现结果如图5所示，从图中可以看出，所提方法对不同成熟度的番茄的高亮区域都取得了较好的矫正效果，番茄表面的高亮区域由其3×3的邻域区间内的像素加权和替代，矫正前未熟、半熟和成熟番茄高亮区域内像素点的、、均值分别为（96, 233, 237）、（108, 211, 254）、（181, 192, 254），校正后该区域的、、均值为（71, 231, 237）、（52, 194, 254）和（159, 172, 254），即减小了分量的灰度值以降低高亮区域的亮度，但不影响与成熟度相关的和分量值。该方法不仅能够调整高亮区域的亮度，而且提高了图像对比度，突出了番茄表面的红色部分。

3.2 颜色特征提取与分析

3.2.1 果实着色面积比提取与分析

本文分别对成熟、半熟和未熟番茄进行着色区域提取并计算面积结果如图6所示。可以看出，使用Otsu分割-图像的方法可以准确的将番茄表面的红色区域和其他颜色着色区域分开，随着番茄逐渐成熟，其表面的着色区域面积逐渐增大，成熟番茄的整个果实表面都呈红色，仅果脐及周围部分可能会存在小面积的黄色或橙色。

注：图中蓝色曲线包围的区域代表待矫正的高亮区域。

使用亮度矫正后的番茄图像进行红色区域提取可以最大程度的避免表面高亮区域被误分割为其他颜色区域的情况，亮度矫正前后不同成熟度番茄的着色面积比的计算结果如图7所示。由于表面高亮区域的和灰度值非常接近，即-的值接近于0，会被误分割为其他颜色着色区域，因此亮度矫正前提取的番茄红色面积比偏小，以此来判断不同成熟度的番茄容易发生混淆，而矫正后的番茄红色面积更接近其实际值，不同成熟度的番茄计算的番茄着色面积比大致呈阶梯式分布，即未熟番茄的着色面积比最小，集中在0～0.5之间；其次为半熟番茄，果实着色面积比值分布在0.5～0.8之间，成熟番茄的果实着色面积比值最大，集中在0.8～1.0之间；亮度矫正后，未熟、半熟和成熟番茄的表面着色区域面积比较矫正前分别提高了0.06、0.15和0.11。此外，图7a中存在成熟度番茄的红色着色面积比小于0.8以及图7b中半熟番茄的红色着色面积比小于0.4的个例，出现这种现象的原因是番茄样本中包含带花萼或表面分布有大面积缺陷的样本，从而导致计算的红色面积比与实际成熟度等级的分级标准值相差过大。

图6 不同成熟度番茄的果面着色区域提取结果

图7 不同成熟度的番茄亮度矫正后红色面积比计算结果

3.2.2 颜色直方图特征提取与分析

不同成熟度番茄的RGB颜色直方图曲线如图8所示，不同成熟阶段的分量直方图曲线呈现右偏态分布，像素个数峰值出现在灰度值0～50区间内；分量直方图呈左偏态分布，像素个数峰值在灰度值220～255内；而不同成熟度的番茄分量直方图呈差异性波动分布，未熟番茄的分量像素个数的峰值在200～250灰度区间，半熟番茄的分量峰值在150～200灰度区间，成熟番茄的分量像素个数的峰值在灰度值50～100区间内。

注：R、G、B分别为R、G、B分量的灰度直方图曲线。

经过亮度矫正的番茄图像颜色直方图分布情况与矫正前基本一致，但矫正后的番茄颜色分量直方图曲线间的分布区间更明显，矫正前未熟番茄图像的、、颜色直方图曲线分别分布在0～200、70～250和100～250灰度区间内，其像素个数峰值所对应的灰度值分别为19、235和238；半熟番茄的、、直方图曲线分布在0～50、100～210和200～255灰度区间，其峰值分别对应灰度值为22、186和254，成熟番茄的、、直方图曲线分布在0～150、30～170和170～255灰度区间，像素个数峰值对应的灰度值分别为51、86和253。而矫正后的未熟番茄图像的、、颜色直方图曲线分布区间为0～130、70～250和100～250，各曲线峰值对应的灰度值为19、231和238；半熟番茄的、、直方图曲线集在0～50、100～200和200～255灰度区间，其峰值分别对应灰度值19、190和253；成熟番茄的、、直方图曲线分布在0～140、30～150和200～255灰度区间，其峰值对应的灰度值为51、86和253。因此，亮度矫正后的番茄图像提取的直方图特征能够更清晰的反映不同成熟度番茄的分级界限。需要注意的是，未熟番茄的图像经过亮度校正后，其分量的直方图曲线在灰度值为100处存在突变，分析出现这种情况的原因是未熟番茄表面除高亮区域外的其他区域的灰度值偏低（0～50范围内），在进行亮度矫正时，高亮区域的灰度值被其领域的低灰度的加权和所替代，导致高亮区域的分量灰度分布范围从原来的100～200降低至50～100。

3.2.3 颜色矩的提取与分析

从不同成熟度的番茄图像中提出的RGB颜色矩分布情况如图9所示，可以看出，不同成熟度番茄的一阶矩（均值，mean）、二阶矩（标准差，standard deviation，std）和三阶矩（third order moment，thm）均按照、、的顺序逐渐增大，未熟和成熟番茄的_mean、未熟和半熟番茄的_mean以及_mean和_std均表现出较小的差异，其差值仅为0.75、0.54，0.09和1.09，不适合作为番茄成熟度分级的特征，而不同成熟度番茄的_thm、_thm、_std、_std、_thm之间的差值均大于3.0，可以用于番茄的成熟度分级。

未进行亮度矫正的番茄的颜色矩分布较分散（图9a），成熟番茄的、、的一阶、二阶及三阶颜色矩的平均绝对偏差为1.67、5.09、11.49，4.11、6.18、11.48和7.76、6.61、7.87；半熟番茄的、、的一阶、二阶及三阶颜色矩的平均绝对偏差分别为6.21、8.22、14.91，6.66、5.18、10.42和5.55、3.82、5.46；半熟番茄的、、的一阶、二阶及三阶颜色矩数据离散度最大，其平均绝对偏差分别为10.06、13.59、20.21，10.53、9.38、15.99，7.73、4.35、8.07。此外，同成熟度等级的番茄的颜色矩数据存在较多异常点，特别是半熟番茄的二阶和三阶矩。相对而言，亮度矫正后的番茄颜色矩数据分布更集中（图9b），其中成熟番茄的分量三阶矩数据的变化最明显，其平均绝对偏差较亮度矫正前降低了3.5，在一定程度上规避了异常点的出现。

注：图中“°”代表特征数据的异常点。

3.3 特征重要性评估

由图7～图9可知，表面红色着色面积比（red coloring area ratio of fruit surface，Rar），、、的颜色直方图和、、的三阶颜色矩共13个颜色特征均与番茄成熟度有一定的相关性，但不是所有特征都能对随机森林模型的分类结果造成影响，且过多的特征输入会增加模型的训练时间。因此，从13个特征中筛选出对成熟度分级结果影响较大的特征，以此简化随机森林模型，减少计算量[36]。本文使用基尼指数来评价各特征对RF模型的重要性，结果如表1所示。

表1 特征重要性评估结果

注：Rar表示番茄表面红色着色面积比。

Note: Rar represents the red coloring area ratio of tomato surface.

从表1可以看出，果面着色面积比、颜色矩和颜色直方图特征对RF算法的重要性逐渐下降，而在所有颜色矩和颜色直方图特征中，分量对RF模型的重要性大于分量，分量的颜色矩和颜色直方图特征对RF的重要性最小。重要程度排序第1的果面着色面积比的重要性分值为0.293，其次，分量的三阶颜色矩和直方图特征对RF算法的重要性迅速下降，其重要性分值分别为0.199和0.127，相比果面着色面积降低了0.094和0.166。分量二阶颜色矩和分量二阶、三阶颜色矩对RF模型的重要性较前三个特征进一步降低，重要性分值分别为0.077和0.057、0.050。分量的一阶矩、分量的二阶矩等其他特征对RF模型的重要性很低，重要性分值在0.021～0.037之间。因为重要性分值小于0.05的特征对RF模型的分级结果影响很小，因此，本文选择对RF模型的影响程度大于0.05的颜色特征进行成熟度分类。

3.4 模型分类结果

本文分别以亮度矫正前后的番茄图像提取的表面着色面积比、颜色直方图（分量的二阶、三阶颜色矩和分量二阶、三阶颜色矩）以及分量的直方图特征为输入，利用随机森林模型对200张不同成熟度的番茄图像进行分类，使用十折交叉验证法选择最优estimators为110，其他参数设置为默认值，分类结果如表2所示。未进行亮度矫正时，以颜色矩、颜色直方图和番茄着色区域面积比为输入的随机森林模型对不同成熟阶段的番茄的分级准确率差异非常大，在40%～94%之间，其中对半熟番茄的分级准确率最低。经过亮度矫正后，随机森林模型的分级准确率有了大幅度提升，相比亮度矫正前，模型的分级准确率、精确率和召回率平均提高了6.86、7.53和9.06个百分点。其中以亮度矫正后的番茄表面红色着色面积比为评价指标的随机森林模型对未熟、半熟和成熟番茄的准确率分别提高了17.24、11.47和4.69个百分点。而亮度矫正后的图像直方图特征对半熟番茄的分类准确率低于矫正前，分析出现这种情况的原因是经过亮度矫正后，半熟番茄表面的颜色分布较矫正前更均衡，导致其表面的着色区域与其他着色区域的界限不明显。从模型的整体分级准确率来看，使用经过亮度矫正后的颜色特征进行成熟度分级，能够更准确地区分不同成熟度的番茄。

从表2给出的以不同颜色特征进行番茄成熟度分级的结果可以看出，以着色区域面积比为输入特征的RF模型精度明显大于颜色矩和颜色直方图，以颜色直方图特征为输入时的分级准确率最低，为72.36%，模型的精确率和召回率维持在较低的水平，分别为61.50%和59.86%；颜色矩的整体分级准确率是86.43%，精确率为79.81%，召回率为85.91%，模型性能相较于颜色直方图特征有了大幅度提高，尤其在成熟番茄的分级中表现突出；但整体来看，以红色区域面积比为输入时，模型的整体分级准确率为92.96%，相比颜色矩和颜色直方图特征分别提升了6.53和20.6个百分点，尤其对半熟和未熟番茄的检测准确率提升显著，分别为90.04%和96.55%。由于半熟番茄的表面颜色分布情况相对复杂，该成熟阶段的番茄包含果体呈黄色、橙色或果面存在小面积红色而大部分果面呈黄色或橙色等情况，导致计算机在进行成熟度分级时将这些颜色的番茄误分级为未熟番茄，因此不同颜色特征对半熟番茄的分级准确率整体低于成熟和未熟番茄。综上，基于图像快速修复方法的着色区域面积提取技术能够准确分级不同成熟度的番茄，该方法能够普遍用于番茄实际生产包装过程中对不同成熟度番茄的分级工作。

表2 输入不同特征时模型的分级准确率

4 结 论

针对番茄采后成熟度在线智能化分级的需求，为克服当前分级方法无法量化限制了其应用范围的瓶颈，本文提出了基于番茄果面着色区域提取的番茄成熟度分级方法，实现了对番茄成熟度量化分级，主要结论如下：

1）针对番茄表面极易形成高亮反射现象，设计了一种基于图像快速修复算法的区域亮度矫正方法，通过灰度变换和直方图阈值分割获取番茄表面的高亮区域，使用待矫正区域的邻域像素的加权和替代原像素，相较于亮度矫正前，矫正后的不同成熟度的番茄表面着色区域面积比提高了0.06～0.15，以亮度矫正后的颜色特征的分级正确率、精确率和召回率分别平均提高了6.86、7.53和9.06个百分点。

2）针对目番茄成熟度的可量化分级问题，本文提出了一种果面着色区域提取的方法以实现番茄成熟度量化分级，通过使用-法突出番茄表面的着色区域，采用阈值分割方法分割番茄表面的红色区域并计算红色区域面积比，进行了番茄成熟度的准确分级。以亮度矫正后的番茄着色区域面积为输入的随机森林模型得到了最高的分级准确率，为92.96%，对于成熟番茄、半熟番茄和未成熟番茄的识别准确率分别为92.97%、90.04%和96.55%，相较于颜色矩和颜色直方图特征提高了6.53和20.6个百分点，能够实现对番茄成熟度的准确检测。

考虑亮度矫正的番茄成熟度分级方法克服了因光照变化导致的番茄表面亮度分布不均的问题，该方法通过对番茄多视角的二维图像进行着色区域提取，再统计不同视角的果面着色面积，计算番茄果体表面着色面积占番茄表面积的比例，实现了番茄果实的成熟度分级，可为番茄成熟度的流水线式在线监测提供理论支持。

[1] 张鑫. 2022年中国西红柿产业供需现状及前景展望，未来出口量有望进一步增长[EB/OL]. (2022-05-26) [2023-03-20]. http://huaon.com/channel/trend/841188.html.

ZHANG Xin. The supply and demand situation and prospect of China’s tomato industry in 2022, and the export volume is expected to increase further in the future [EB/OL]. (2022-05-26) [2023-03-20]. http://huaon.com/channel/trend/841188.html. (in Chinese with English abstract)

[2] 赵彤，于思晗，韦强，等. 采收成熟度对番茄贮藏品质的影响[J]. 中国农学通报，2015，31(7)：241-245.

ZHAO Tong, YU Sihan, WEI Qiang, et al. Effects of harvest ripeness on storage quality of tomato fruits[J]. Chinese Agricultural Science Bulletin, 2015, 31(7): 241-245. (in Chinese with English abstract)

[3] 龙洁花，赵春江，林森，等. 改进Mask_R-CNN的温室环境下不同成熟度番茄果实分割方法[J]. 农业工程学报， 2021，37(18)：100-108.

LONG Jiehua, ZHAO Chunjiang, LIN Sen, et al. Segmentation method of the tomato fruits with different maturities under greenhouse environment based on improved Mask R-CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 100-108. (in Chinese with English abstract)

[4] 李寒，张漫，高宇，等. 温室绿熟番茄机器视觉检测方法[J]. 农业工程学报，2017，33(增刊1)：328-334，388.

LI Han, ZHANG Man, GAO Yu, et al. Green ripe tomato detection method based on machine vision in greenhouse[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.1): 328-334, 388. (in Chinese with English abstract)

[5] 王丽丽，魏舒，赵博，等. 基于Niblack自适应修正系数的温室成熟番茄目标提取方法[J]. 农业工程学报，2017，33(增刊1)：322-327.

WANG Lili, WEI Shu, ZHAO Bo, et al. Target extraction method of ripe tomato in greenhouse based on Niblack self-adaptive adjustment parameter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.1): 322-327. (in Chinese with English abstract)

[6] 尹建军，毛罕平，王新忠，等. 自然条件下番茄成熟度机器人判别模型[J]. 农业机械学报，2009，40(10)：146-150，168.

YIN Jianjun, MAO Hanping, WANG Xinzhong, et al. Judgment model on maturity of harvesting-tomato for robot under natural conditions[J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(10): 146-150, 168. (in Chinese with English abstract)

[7] 王俊平，徐刚. 机器视觉和电子鼻融合的番茄成熟度检测方法[J]. 食品与机械，2022，38(2)：148-152.

WANG Junping, XU Gang. Research on tomato maturity detection method based on machine vision and electronic nose fusion[J]. Food & Machinery, 2022, 38(2): 148-152. (in Chinese with English abstract)

[8] 缑新科，常英. 基于机器视觉的樱桃番茄在线分级系统设计[J]. 计算机与数字工程，2020，48(7)：1798-1803.

HOU Xinke, CHANG Ying. Design of cherry tomato online grading system based on machine vision[J]. Computer and Digital Engineering, 2020, 48(7): 1798-1803. (in Chinese with English abstract)

[9] 林伟明，胡云堂. 基于YUV颜色模型的番茄收获机器人图像分割方法[J]. 农业机械学报，2012，43(12)：176-180.

LIN Weiming, HU Yuntang. Image segmentation method based on YUV color space for tomato harvesting robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(12): 176-180. (in Chinese with English abstract)

[10] 毕智健，张若宇，齐妍杰，等. 基于机器视觉的番茄成熟度颜色判别[J]. 食品与机械，2016，32(12)：133-136.

BI Zhijian, ZHANG Ruoyu, QI Yanjie, et al. Tomato maturity color discrimination based on machine vision[J]. Food & Machinery, 2016, 32(12): 133-136. (in Chinese with English abstract)

[11] LIU L, LI Z, LAN Y, et al. Design of a tomato classifier based on machine vision[J]. PLoS One, 2019, 14(7): e0219803. https://doi.org/10.1371/journal.pone.0219803.

[12] JIANG Y P, BIAN B, WANG X C, et al. Identification of tomato maturity based on multinomial logistic regression with kernel clustering by integrating color moments and physicochemical indices[J]. Journal of Food Process Engineering, 2020, 43(10):1-14.

[13] ARAKERI M P, LAKSHMANA. Computer vision based fruit grading system for quality evaluation of tomato in agriculture industry [J]. Procedia Computer Science, 2016, 79: 426-433.

[14] WAN P, TOUDESHKI A, TAN H Q, et al. A methodology for fresh tomato maturity detection using computer vision[J]. Computers and Electronics In Agriculture, 2018, 146: 43-50.

[15] 刘志刚，王丽娟，喜冠南，等. 水果成熟度检测技术的现状与发展[J]. 农业与技术，2020，40(8)：17-21.

LIU Zhigang, WANG Lijuan, XI Gaunnan, et al. Present situation and development of fruit maturity detection technology[J]. Agriculture & Technology, 2020, 40(8): 17-21. (in Chinese with English abstract)

[16] 中华全国供销合作社.中华人民共和国供销合作行业标准GH/T 1193-2021[S]. 北京：中华全国供销合作社，2021：1-6.

[17] 赵杰文，刘木华，杨国彬. 基于HIS颜色特征的田间成熟番茄识别技术[J]. 农业机械学报，2004，35(5)：122-124，135.

ZHAO Jiewen, LIU Muhua, YANG Guobin. Discrimination of mature tomato based on HIS color space in natural outdoor scenes[J]. Transactions of the Chinese Society for Agricultural Machinery, 2004, 35(5): 122-124, 135. (in Chinese with English abstract)

[18] 袁亮，涂雪滢，巨刚，等. 基于机器视觉的番茄实时分级系统设计[J]. 新疆大学学报（自然科学版），2017，34(1)：11-16.

YUAN Liang, TU Xueling, JU Gang, et al. Tomato real-time classification based on machine vision detection system design[J]. Journal of Xinjiang University (Natural Science Edition), 2017, 34(1): 11-16. (in Chinese with English abstract)

[19] 姚应方，刘峰，张海东，等. 基于机器视觉的八角颜色与果形识别研究[J]. 中国农业科技导报，2021，23(11)：110-120.

YAO Yingfang, LIU Feng, ZHANG Haidong, et al. Research on octagon color and fruit shape recognition based on machine vision[J]. Journal of Agricultural Science and Technology, 2021, 23(11): 110-120. (in Chinese with English abstract)

[20] 周文静，查志华，吴杰. 改进圆形Hough变换的田间红提葡萄果穗成熟度判别[J]. 农业工程学报，2020，36(9): 205-213.

ZHOU Wenjing, ZHA Zhihua, WU Jie. Maturity discrimination of “Red Globe” grape cluster in grapery by improved circle Hough transform[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(9): 205-213. (in Chinese with English abstract)

[21] 冯俊惠，李志伟，戎有丽，等. 基于改进Hough圆变换算法的成熟番茄果实识别[J]. 中国农机化学报，2021，42(4)：190-196.

FENG Junhui, LI Zhiwei, RONG Youli, et al. Identification of mature tomatoes based on an algorithm of modified circular Hough transform[J]. Journal of Chinese Agricultural Mechanization, 2021, 42(4): 190-196. (in Chinese with English abstract)

[22] 马翠花，张学平，李育涛，等. 基于显著性检测与改进 Hough变换方法识别未成熟番茄[J]. 农业工程学报，2016，32(14)：219-226.

MA Cuihua, ZHANG Xueping, LI Yutao, et al. Identification of immature tomatoes base on salient region detection and improved Hough transform method[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2016, 32(14): 219-226. (in Chinese with English abstract)

[23] 许高建，沈杰，徐浩宇. 基于Lab颜色空间下的小麦赤霉病图像分割[J]. 中国农业大学学报，2021，26(10): 149-156.

XU Gaojian, SHEN Jie, XU Haoyu. Image segmentation of wheat scab based on Lab color space[J]. Journal of China Agricultural University, 2021, 26(10): 149-156. (in Chinese with English abstract)

[24] ALEXANDRU T. An image inpainting technique based on the fast marching method[J]. Journal of Graphics Tools, 2004, 9(1): 23-34.

[25] 黄玉萍，王德镇，周海燕，等. 基于光学吸收和散射系数光谱的番茄成熟度分析方法研究[J]. 光谱学与光谱分析，2020，40(11)：3556-3561.

HUANG Yuping, WANG Dezhen, ZHOU Haiyan, et al. Ripeness assessment of tomato fruit by optical absorption and scattering coefficient spectra[J]. Spectroscopy and Spectral Analysis, 2020, 40(11): 3556-3561. (in Chinese with English abstract)

[26] 张亚丽. 基于颜色特征和极端学习机的番茄成熟度识别[J]. 江苏农业科学，2014，42(7)：411-413.

ZHNAG Yali. Tomato maturity recognition based on color feature and extreme learning machine[J]. Jiangsu Agricultural Sciences, 2014, 42(7): 411-413. (in Chinese with English abstract)

[27] 杨露露，秦华伟. 基于颜色和纹理特征的花生仁外观品质检测研究[J]. 中国农学通报，2022，38(27)：151-156.

YANG Lulu, QIN Huawei. Study on peanut appearance quality detection based on color and texture features[J]. Chinese Agricultural Science Bulletin, 2022, 38(27): 151-156. (in Chinese with English abstract)

[28] 张靖祺. 基于机器视觉温室番茄成熟度检测研究[D]. 泰安：山东农业大学，2019.

ZHANG Jingqi. Research on Maturity Detection of Greenhouse Tomato Based on Machine Vision[D]. Tai’an: Shandong Agricultural University, 2019. (in Chinese with English abstract)

[29] 刘金秀，贺小伟，罗华平，等. 基于高光谱成像技术的小白杏成熟度判别模型[J]. 食品研究与开发，2022，43(15)：158-165.

LIU Jinxiu, HE Xiaowei, LUO Huaping, et al. Maturity discrimination model of little white apricot based on hyperspectral imaging technology[J]. Food Research and Development, 2022, 43(15): 158-165. (in Chinese with English abstract)

[30] 刘海军，赵文锋，刘韵锋，等. 基于ANN和贝叶斯优化算法的香蕉成熟度检测模型研究[J]. 现代农业装备，2021，42(5)：42-46.

LIU Haijun, ZHAO Wenfeng, LIU Yunfeng, et al. Model for detecting banana maturity based on artificial neural network and bayesian optimization algorithm[J]. Modern Agricultural Equipments, 2021, 42(5): 42-46. (in Chinese with English abstract)

[31] MOHAMMADI V, KHEIRALIPOUR K, GHASEMI- VARNAMKHASTI M. Detecting maturity of persimmon fruit based on image processing technique[J]. Scientia Horticulturae, 2015, 184: 123-128. https://doi.org/10.1016/j.scienta.2014.12.037.

[32] 谢滨瑶，祝诗平，黄华. 基于BPNN和SVM的烟叶成熟度鉴别模型[J]. 中国烟草学报，2019，25(1)：45-50.

XIE Binyao, ZHU Shiping, HUANG Hua. Model for identification of tobacco leaf maturity based on BPNN and SVM[J]. Acta Tabacaria Sinica, 2019, 25(1): 45-50. (in Chinese with English abstract)

[33] 王承伟，宾俊，范伟，等. 基于近红外光谱技术结合随机森林的烟叶成熟度快速判别[J]. 西南农业学报，2017，30(4)：931-936.

WANG Chengwei, BIN Jun, FAN Wei, et al. Rapid discrimination of maturity of tobacco leaf based on near-infrared spectroscopy and random forests[J]. Southwest China Journal of Agricultural Sciences, 2017, 30(4): 931-936. (in Chinese with English abstract)

[34] PAL M. Random forest classifier for remote sensing classification[J]. International Journal of Remote Sensing, 2007, 26(1): 217-222. https://doi.org/10.1080/01431160412331269698.

[35] 陈锋军，张新伟，朱学岩，等. 基于改进EfficientDet的油橄榄果实成熟度检测[J]. 农业工程学报，2022，38(13)：158-166.

CHEN Fengjun, ZAHNG Xinwei, ZHU Xueyan, et al. Detection of the olive fruit maturity based on improved EfficientDet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(13): 158-166. (in Chinese with English abstract)

[36] 张东彦，韩宣宣，林芬芳，等. 基于多源无人机影像特征融合的冬小麦LAI估算[J]. 农业工程学报，2022，38(9): 171-179.

ZHANG Dongyan, HAN Xuanxuan, LIN Fenfang, et al. Estimation of winter wheat leaf area index using multi-source UAV image feature fusion[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(9): 171-179. (in Chinese with English abstract)

Quantitative grading method for tomato maturity using regional brightness correction

ZHANG Zhonglili1,2, HE Tingting1,3, LI Zhiwei3, SHI Kaili1,2, LIU Changbin4, ZHENG Wengang1,2※

(1.100097,; 2.100097,; 3.030801,; 4.,100097,)

It is necessary to improve the generalization of tomato maturity grading for better consistent criteria in modern agriculture. In this study, an extraction was proposed for red-colored regions from the fruit surfaces using region brightness correction. The-method was used to enhance the red areas on the tomato surface, and then the Otsu method was used to segment them. All the colored areas on the tomato surface were obtained to evaluate the relationship between the contours of each red region of tomato after segmentation by the contour tree structure. The proportion of the area of the red region to the total area of the image was calculated as the main feature of maturity grading. The surface red coloring area ratio, color moments, and color histograms were selected to perform the feature importance analysis, in order to screen out the color features with a significant impact on the maturity grading. The random forest model was used to determine and grade the different maturity stages of tomatoes. Among them, the image in-painting technique based on the fast marching method was used to reduce the high brightness reflection of surface that reduced by the illumination changes. The test results showed that the effect of the area ratio of fruit surface coloring areas on the tomato maturity grading was significantly greater than the color histogram and color moment. The coloring area ratio,-component third order color moments, and-component color histogram feature posed the greatest impact on the maturity grading, with importance scores of 0.293, 0.199, and 0.127, respectively. Among all color features, the tomato coloring area ratio as a classification index shared the highest classification accuracy, with an average classification accuracy of 92.96%, which was 6.53 and 20.6 percent point higher than the traditional color moment and color histogram indicators. The domain pixel-weighted sum performed an excellent correction effect on the brightness of the tomato-highlighted areas. After correction, the proportion of the fruit surface colored area of immature, slightly mature, and mature tomato images to the total area of the tomato images increased by 0.06, 0.15, and 0.11, respectively, compared with before correction. The classification accuracy was improved by 17.24, 11.47, and 4.69 percent point, respectively. The area extraction of tomato red areas with the image fast restoration can be used as the recommended extraction of tomato maturity grading.

random forest; pixel; tomato maturity; brightness correction; red shaded area extraction

2022-11-22

2023-03-17

北京市科技计划项目（Z201100008020013）；北京市数字农业创新团队数字设施应用场景建设项目（BAIC10-2022-E02）；吴忠自治区级农业高新技术产业示范区建设专项项目（2022WZYQ0001）

张钟莉莉，博士，副研究员，研究方向为农业信息化节水技术。Email：lilizhangzhong@163.com

郑文刚，博士，研究员，研究方向为农业信息技术与智能装备技术。Email：zhengwg@nercita.org.cn

10.11975/j.issn.1002-6819.202211192

S24

A

1002-6819(2023)-07-0195-10

张钟莉莉，何婷婷，李志伟，等. 基于区域亮度矫正的番茄成熟度定量分级方法[J]. 农业工程学报，2023，39(7)：195-204. doi：10.11975/j.issn.1002-6819.202211192 http://www.tcsae.org

ZHANG Zhonglili, HE Tingting, LI Zhiwei, et al. Quantitative grading method for tomato maturity using regional brightness correction[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(7): 195-204. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.202211192 http://www.tcsae.org