基于机器视觉的盆栽微型月季品质分级方法研究

张阁 兰升 刘新伟 贾彪 张黎

摘要建立准确高效的品质分级方法，对于花卉产业的标准化发展具有重要的意义。针对人工分级劳动强度大、经验要求高、缺乏统一性等问题，提出了基于机器视觉技术的盆栽微型月季品质分级方法。该方法根据盆栽微型月季的株高、花朵数、整齐度、花盖度和病虫害状况特征的不同，分别提取其相应的特征参数，并利用最小二乘支持向量机作为分类器，对其品质等级进行评价。经试验研究，单独利用株高、花朵数、整齐度、花盖度和病虫害状况特征进行分级的准确率分别为95.65%、94.68%、94.68%、94.20%、96.61%，而综合特征分级准确率为99.50%，验证了特征提取和分类模型的有效性，利用综合特征进行分级时间为10 s，明显提高了分级效率，该方法为建立准确高效的智能盆栽微型月季分级方法提供了理论参考。

关键词机器视觉；盆栽微型月季；品质分级；特征提取

中图分类号S126  文献标识码A  文章编号05176611（2024）07023005

doi：10.3969/j.issn.05176611.2024.07.053

Research on Quality Grading Method of Potted Mini Rose Based on Machine Vision

ZHANG Ge1，2，LAN Sheng3，LIU Xin-wei1，2 et al

（1.Yinchuan Aibida Horticulture Co.，Ltd.，Yinchuan，Ningxia 750005;2.Ningxia Flower Engineering Technology Research Center，Yinchuan，Ningxia 750005;3.School of Automation，Tsinghua University，Beijing 100084）

AbstractPotted mini rose has the characteristics of varieties，difficult of storage and large quality gap.Therefore，the establishment of accurate and efficient quality grading technology is of great significance for the standardized development of flower industry.As the traditional manual grading method need high labor intensity，high experience and lack of unity，we proposed a new quality grading method of potted mini rose based on machine vision.According to the different characteristics of plant height，flower number，uniformity，flower coverage and pest status of potted mini roses，the corresponding characteristic parameters were extracted，and the least squares support vector machine was used as a classifier to evaluate the quality grade.Through the experiment，the accuracy of a single characteristic were 95.65%，94.68%，94.68%，94.20% and 96.61%，respectively，while the accuracy of grading using the synthetic features was 99.50%，which verified the effectiveness of the proposed method.Generally，the manual grading method took several days，while the time of grading by the proposed method was 10 s，which obviously improved the efficiency.This method could provide basis for establishing an accurate and efficient intelligent grading method of potted mini rose.

Key wordsMachine vision;Potted mini rose;Quality grading;Feature extraction

微型月季具有株型矮小、色彩豐富等特点［1］。小型化紧凑型的盆栽成为新兴的花卉热门产品，盆栽微型月季因其娇小美丽、寓意美好而受到人们喜爱［2］。目前，我国每年盆栽微型月季产量可达4 000万盆，但由于其品种多、不易存储、品质差距大等特点，在包装环节对其进行品质分级存在瓶颈。目前我国盆栽微型月季分级包装主要依靠人工分选，该方法劳动强度大、分级效率低、分级成本高，而且对工作人员要求高、缺乏统一评价标准［3］。

随着计算机技术的发展，机器视觉的方法因其精度高、成本低和性能稳定等特点，越来越多地被应用到植物的病害检测和分类中［47］。目前国内外已有一些蔬菜的自动化分级系统，如郝敏［8］通过机器视觉技术，将遗传算法与概率神经网络结合，实现了基于重量、薯形和外部缺陷3个指标的马铃薯外观品质分级系统，对大、中、小3种尺寸的马铃薯分类准确率分别达到97%、96%和98%。任锐等［9］根据辣椒的形状和颜色特征，采用霍夫森林分类器实现了辣椒的外部品质分级模型，得到了一种适合有一定弯曲度、带柄农作物的研究方法。Tokuda等［10］通过研究开发了一个可用于西瓜自动收获的机器视觉系统，将样本图像的颜色模型由 RGB 模型转换成 HSI 模型，对 HSI颜色模型中饱和度 S的观察发现，当西瓜成熟度增加时，对应图像饱和度的平均值会线性下降，同时在彩色直方图中到达峰值的像素个数和达到峰值的左侧像素的个数之间的比值将会减少，运用该原理可以建立一个机器视觉系统来对西瓜的成熟程度进行分级。王巧华等［11］通过机器视觉，建立了鸭蛋大小的自动分级系统，研究表明不论蛋壳颜色以及蛋芯颜色，鸭蛋的大小和重量都与像素面积成正比，相关性达到0.97。孟繁佳等［12］设计了一种实时分选霉变玉米种子的系统，根据玉米种子表面颜色的差异，设计了一种基于HSV颜色空间的霉变玉米种子分级算法，准确率达到94%。国内关于植物分级已有一些研究，但鲜见基于机器视觉的有关盆栽微型月季的分级方法。因此，结合机器视觉研究一种快速、准确的盆栽微型月季分级方法，对于推动我国花卉产业的标准化、智能化发展具有重要的意义。

鉴于此，笔者研究基于机器视觉技术，以盆栽微型月季的株高、花朵数、整齐度、花盖度和病虫害状况作为特征，以最小二乘支持向量机作为分类器，实现其外观品质的自动分级，从而提高包装环节的效率和准确度，推动我国花卉产业的发展。

1材料与方法

1.1试验材料

试验材料为宁夏银川市本地种植的盆栽微型月季“欧布”，在白天遮光环境下使用华为Honor 30手机自带相机拍摄，摄像头为索尼IMX 700型4 000万像素。共拍摄660组图像，每组图像包括盆栽月季的侧视图和俯视图，图像大小为4 608×3 456。

将试验盆栽按照3∶1的比例进行划分，其中440组作为训练组，其余220组作为预测组。图像的选择采用随机方式，以避免拍摄顺序以及人为因素对试验造成的影响。

1.2分级标准

参考GB/T 18247.2—2000国家盆栽花卉产品等级标准和 NY/T 1656.3—2008花卉检验技术规范，制定了适用于该研究对象的企业分级标准，如表1所示。根据盆栽微型月季高度、花朵数量、整齐度、花盖度、病虫害状况等特征的综合情况将样本分为3类：A类为最优级别，B类次之，C类最差。

1.3试验方法

通过图像采集系统采集盆栽月季的侧视图和俯视图，并随机分为训练集和预测集。然后，将采集的图像进行预处理，分别提取其高度、花朵数量、整齐度、花盖度、病虫害状况特征。最后，采用最小二乘支持向量机（LSSVM）作为分类器，基于特征值对其进行训练和预测，得到最优的分级模型，并进行相应的品质分级软件的开发与测试。

图像采集系统包括相机、光源及遮光暗箱［13］，如图1所示。拍摄时，相机分别处于顶部和侧面的固定位置，使用黑色遮光布作为拍摄背景，从而避免相机抖动和背景噪声对图像采集的影响。

2图像预处理

2.1图像滤波与去噪

在图像采集的过程中，由于空气灰尘、叶片掉落、湿度变化等因素，往往会导致图像中存在一定的噪声，进而对后续的特征提取产生不利的干扰。为了避免这种负面的影响因素，采取中值滤波算法［14］对图像进行预处理。通过滤波处理，可以较好地消除图像中的噪声，同时保留有用的颜色和形状信息。由图2可知，进行中值滤波后的图像中无关颜色分量减少，同时保留了有用颜色信息，有利于消除非关键信息的干扰，从而便于后续图像特征的提取。

2.2图像的Itti颜色显著图

Itti显著图是根据早期灵长类动物的视觉神经系统构造的一种视觉注意力机制模型［15］。人脑具有通过分析对图像中的区域产生不同显著等级的能力，而Itti模型［1617］就模拟了这种自下而上的注意力机制。该方法主要是先通过高斯采样方法构建图像的多个尺寸的高斯金字塔，然后由高斯金字塔分别计算图像的颜色特征图，最后将不同尺寸的特征图进行融合得到颜色显著图。

在计算Itti颜色显著图时，首先设定1个图像像素值大小的阈值，这里为图像中像素最大值的1/10。当像素值小于阈值时，将该像素点的R、G、B值设为0，当像素值大于阈值时，分别计算其R、G、B颜色分量的值如公式（1）所示：

RR=R（G+B）2GG=G（R+B）2BB=B（R+G）2（1）

对于高斯金字塔中的每层图像，其颜色分量分别表示为RR（n）、GG（n）、BB（n）和Y（n），其中n∈{0，1，2，…，6，7，8}。接着计算总颜色分量如公式（2）所示：

RR=8n=0RR（n）GG=8n=0GG（n）BB=8n=0BB（n）     （2）

由于该研究中试验样本花朵为红色，而叶片颜色为绿色，在提取其花朵数量、整齐度、病虫害特征时使用了俯视图的红色显著图，提取其高度特征时使用了侧视图的绿色显著图，提取其花盖度特征时则同时使用了俯视图的红色显著图和绿色显著图，如图3所示。

2.3图像的二值化与形态学处理

经过中值滤波和Itti颜色显著图的处理，已基本可以区分开图像中的关键区域与背景区域，但是由于图像中像素点的值为0～255，进行特征提取时计算量较大。实际上，在数字图像处理中，常常对图像进行二值化处理［1819］，从而提高算法的运算效率。在图像二值化之后，由于图像像素值被压缩到0和1这2种数值，往往会使得一些区域的噪声被放大而形成孔洞，不利于特征的进一步提取。因此，对二值化后的图像进行形态学的处理，包括腐蚀和膨胀等开运算，也是图像预处理的重要部分。图4所示为进行二值化和形态学处理后的图像。

3特征的提取与分级

3.1特征提取

3.1.1高度特征。

一株盆栽的高度是指植株顶部与其根颈部之间的距离。在图像中，则对应其侧视图中像素不为0的点的纵坐标最大值与最小值之间的差。在该研究中，通过侧视图的绿色二值显著图来计算植株的株高特征，如公式（3）所示：

H=（TmaxTmin）α（3）

式中：Tmax、Tmin分别为非零像素点的纵坐标最大值与最小值;α为归一化系数，根据图像的大小而定。

3.1.2花朵数量特征。

一株盆栽中的花朵数量是衡量其品質级别的重要依据，花朵数越多，其成为优质级别的可能性就越大。由于试验样本的花朵颜色为红色，主要基于俯视图的红色二值显著图来计算花朵数量。通过观察发现，在红色二值显著图中，每一个花朵区域都是一个连通的白色区域，通过统计其中白色连通区域的数量，即可得到该盆栽中的花朵数量：

N=σNσ（4）

式中，σ表示图像区域；Nσ为区域连通状态，即Nσ=1，σ连通Nσ=0，σ连通

3.1.3整齐度特征。

整齐度是盆栽中的花朵分布整齐程度的量化特征，是影响盆栽整体观感的一个重要因素。整齐度越高，则盆栽整体看起来越规则而具有美感，相反，整齐度较低时盆栽整体看起来会比较杂乱，影响其外部观感。当在图像中计算整齐度时，该研究使用花朵区域的纵坐标的统计标准差，即盆栽俯视图的红色二值显著图中连通区域中心的纵坐标标准差作为衡量的标准：

V=σ（TσiT）2Ni=0，1，…，N（5）

T=σTσiNi=0，1，…，N（6）

式中：N為花朵数量；T为连通区域中心纵坐标的平均值；Tσi表示第i个连通区域的中心纵坐标。

3.1.4花盖度特征。

盆栽的花盖度反映了花朵在植株中的密集程度，一般是指一株盆栽中花朵所占的总面积与植冠总面积之间的比值，而植冠总面积可以看成是花朵面积与枝叶面积的和。对应到图像中，花朵的面积可以通过俯视图的红色二值显著图中连通区域的总面积计算得到，而植冠的总面积可以通过俯视图的绿色二值显著图中非零区域的总面积得到。用Rσ表示俯视图的红色二值显著图中的连通区域，Gσ表示俯视图的绿色二值显著图中的非零区域，S表示区域面积，则花盖度可以表示为：

D=SRσSGσ（7）

3.1.5病虫害状况特征。

由于农作物在生长过程中常常会受到病虫害侵扰，使其外观和品质产生较大的影响，病虫害状况也是衡量盆栽品质等级的一个不可或缺的因素。通常来说，可以由花朵上的虫害咬食痕迹来判断植株的病虫害状况，痕迹越严重的受害程度越严重。在图像中，本文通过盆栽俯视图的红色二值显著图中的孔洞数量来作为计算病虫害状况特征的依据：

B=σBσ（8）

式中，σ表示图像区域，Bσ为区域连通状态，即Bσ=1，σ是孔洞Bσ=0，σ不是孔洞

3.2分级模型

3.2.1连续投影法特征筛选。

对每一组盆栽月季样本，分别提取其高度、花朵数量、整齐度、花盖度和病虫害等特征后，将其组成一个特征向量：

x=［H，N，V，D，B］（9）

由于在进行分级操作时，特征向量中的各个特征分量对于分级结果的重要程度各不相同，需要对特征进行筛选来减少原始特征矩阵中的冗余信息，从而提高模型的计算效率。在本文中，利用连续投影法［20］（SPA）对样本的特征向量进行筛选。

连续投影法是一种使向量空间共线性最小化的前向变量选择算法，早期被用于光谱分析技术对农作物和食品重要成分含量的分析中［2123］。对于初始的特征矩阵X，假设为初始的特征向量，n为筛选后的特征个数，J为筛选前的特征个数，则SPA算法首先选择任意一个样本特征作为初始特征向量：

xk0=Xk，k∈1，…，N（10）

然后，分别计算xk0对其他特征向量的投影：

Pxk0=xk0（xk0Txk（n1））xk（n1）（xk（n1）Txk0）1（11）

根据投影值的大小取最大值作为筛选后的特征向量：

k（0）=arg（max‖Pxk0‖）xk0=Xk（0）（12）

由此类推，可以得到：

k（n）=arg（max‖Pxkn‖）xkn=Xk（n）（13）

在该研究中，经过SPA算法筛选后的特征向量记作x′。

3.2.2最小二乘支持向量机分级。Chandra等［24］提出的最小二乘支持向量机（LSSVM）是一种通过核函数变换后，在高维空间对所有样本利用最小二乘误差进行拟合的方法。在该研究中，利用LSSVM作为筛选后特征的分类器，在样本训练集上对其进行训练，得到最优的分类器模型，并将其在样本预测集上的预测类别作为分级的级别。

LSSVM分类器以机器学习的损失函数作为着眼点，在其最优化问题的目标函数中使用二范数，并使用等式约束取代SVM方法中的不等式约束条件，使优化问题的求解变为一组线性方程组的求解。对于分类问题，LSSVM的约束条件为：

minw，b，eJ（w，e）=12wTw+12γNk=1ek2（14）

s.t. yk［wTφ（x′k）+b］=1ek， k=1，…，N

式中：x′k为第k个样本筛选后的特征向量；w为分类器模型权重；e为一个松弛变量，主要用于表示优化过程中离群点的影响;而γ是惩罚系数，其值越大，对误差的限制越大，越容易过拟合，反之，则越容易欠拟合。优化问题的目标在于寻找使目标误差函数最小的最优参数，这里利用Lagrange 乘数法［25］将该优化问题转化为对单一参数α的极大值求解问题：

L（w，be;α）=J（w，e）Nk=1αk{yk［WTφ（x′k）+b］1+ek}（15）

分别对参数w，b，e，求导，可以得到：

Lw=0→w=Nk=1αkykφ（x′k）

Lb=0→Nk=1αkyk=0Lek=0→αk=γek， k=1，…，NLαk=0→yk［wTφ（x′k）+b］1+ekw=0（16）

根据公式（16）中的条件，可以列出一个关于a，b的线性方程组：

0yTyΩ+I/yba=0IV（17）

其中，Ω为核矩阵：

Ωkg=ykygφ（x′k）Tφ（x′g）=ykygK（x′kx′g）， k=1，…，N（18）

求解该方程组，即可得到最优的参数a，b，最后LSSVM分类器的模型为：

y（x′）=sign［∑Nk=1αkykK（x′，x′k）+b］（19）

对于输出y，对应于盆栽月季品质等级划分标准中的A、B和C级，分别标记为1、2和3类，并将其预测结果与人工标注的标签进行对比，来统计得到分级模型的准确度评价。

4结果与分析

利用预处理后的440组盆栽月季训练集图像对特征提取和分级模型进行训练，然后使用训练得到的模型对预处理后的220组盆栽月季测试集图像进行分级预测试验，分级结果如表2所示。

使用高度、花朵数量、整齐度、花盖度和病虫害状况单一特征和综合特征分别进行分级时，A级基于综合特征的分级准确率最高达99.5%，高度、花朵数量、整齐度、花盖度和病虫害状况单一特征的分级准确率分别为95.65%、94.68%、94.68%、94.20%、96.61%，均低于综合特征的分级准确率；B级基于综合特征的分级准确率最高达90.0%，高度、花朵数量、整齐度、花盖度和病虫害状况单一特征的分级准确率分别为

60.00%、80.00%、70.00%、60.00%、60.00%，均低于综合特征的分级准确率；C級基于综合特征、高度、花盖度的分级准确率均为60.00%，花朵数量、整齐度和病虫害状况的分级准确率均为40.00%。综上所述，基于综合特征分级的准确率相较于5个单一特征均有所提高，预测结果产生差异的原因主要如下：①盆栽月季人工分级是通过综合各个特征指标，经过观察后对其总体生长状况做出的评价，因此使用单一特征指标无法全面地表示其总体品质，分级的准确率也就较低。

②使用单一特征时，样本个体之间的差异可能较小，例如高度差异可能只有几毫米，花朵数量差异可能只有1或2朵，整齐度和花盖度差异只有不到百分之一等，这导致单一特征无法全面表示样本个体之间的差异。③使用综合特征的分级结果中B和C类正确率较低，这是由于公司种植的样本中A类的优质样本较多，而B和C类样本较少造成的，未来将考虑进一步完善训练样本库。

5结论

针对盆栽微型月季的品质分级问题，该研究综合考虑高度、花朵数量、整齐度、花盖度和病虫害状况等多种特征指标，提出基于一套完整的基于机器视觉的分级方法。该方法初步实现了盆栽微型月季的自动分级，准确率达到98%，分级模型较为稳定，弥补了国内盆栽微型月季分级的不足，为机器视觉方法在该领域的应用打下基础，有利于推动我国花卉产业的标准化、智能化发展。

参考文献

［1］陈俊愉.中国花卉品种分类学［M］.北京：中国林业出版社，2001：32-148.

［2］ 谢磊.盆栽月季栽培研究进展［J］.现代园艺，2017（5）：35.

［3］ 何东健，杨青，薛少平，等.果实表面颜色计算机视觉分级技术研究［J］.农业工程学报，1998，14（3）：202-205.

［4］ 曹乐平.基于机器视觉的植物病虫害实时识别方法［J］.中国农学通报，2015，31（20）：244-249.

［5］ 蒋丰千，李旸，余大为，等.基于Caffe的生姜病害识别系统研究与设计［J］.中国农机化学报，2019，40（1）：126-131.

［6］ 郭小清，范涛杰，舒欣.基于图像融合特征的番茄叶部病害的识别［J］.湖南农业大学学报（自然科学版），2019，45（2）：212217，224.

［7］ 党满意，孟庆魁，谷芳，等.基于机器视觉的马铃薯晚疫病快速识别［J］.农业工程学报，2020，36（2）：193-200.

［8］ 郝敏.基于机器视觉的马铃薯外部品质检测技术研究［D］.呼和浩特：内蒙古农业大学，2009.

［9］ 任锐，张淑娟，赵华民，等.基于机器视觉的辣椒外部品质检测［J］.食品与机械，2021，37（1）：165-168.

［10］ TOKUDA M，KAWAMURA T，YAMAMOTO H，et al.Development of visual system for watermelon harvesting robot （Part 1）：Relationship between lighting and detectability［J］.Journal of the Japanese society of agricultural machinery，1997，59（3）：29-36.

［11］ 王巧华，余佑生，宗望远，等.鸭蛋大小等级模型研究［J］.华中农业大学学报，2001，20（6）：579-583.

［12］ 孟繁佳，罗石，孙红，等.玉米种子实时检测分选装置设计与试验［J］.农业机械学报，2021，52（3）：153159，177.

［13］ 王跃文.基于机器视觉的观叶盆栽分级方法研究［D］.广州：华南农业大学，2017.

［14］ 赵高长，张磊，武风波.改进的中值滤波算法在图像去噪中的应用［J］.应用光学，2011，32（4）：678-682.

［15］ ITTI L，KOCH C.Computational modelling of visual attention［J］.Nature reviews neuroscience，2001，2：194-203.

［16］ VINAY M B，REKHA K S.A model of saliency-based visual attention for rapid scene analysis［J］.International journal of recent technology and engineering，2019，7（6s4）：412-415.

［17］ CHEN Z S，TU Y，WANG L L.An improved saliency detection algorithm based on Ittis model［J］.Tehniki vjesnik，2014，21（6）：1337-1344.

［18］ 田凯，张连宽，熊美东，等.基于叶片病斑特征的茄子褐纹病识别方法［J］.农业工程学报，2016，32（S1）：184-189.

［19］ 吴娜，李淼，陈晟，等.基于融合多特征图切割的作物病害图像自动分割［J］.农业工程学报，2014，30（17）：212-219.

［20］ 陈斌，孟祥龙，王豪.连续投影算法在近红外光谱校正模型优化中的应用［J］.分析测试学报，2007，26（1）：66-69.

［21］ 张津源，张德贤，张苗.基于连续投影算法的小麦蛋白质含量近红外光谱预测分析［J］.江苏农业学报，2019，35（4）：960-964.

［22］ 董哲，杨武德，朱洪芬，等.基于连续投影算法与BP神经网络的玉米叶片SPAD值高光谱估算［J］.山西农业科学，2019，47（5）：751-755.

［23］ 何鸿举，王洋洋，王魏，等.NIR高光谱成像技术联用SPA算法快速检测五花肉的过氧化值［J］.食品工业科技，2020，41（8）：236-241.

［24］ CHANDRA M A，BEDI S S.Benchmarking tree-based least squares twin support vector machine classifiers［J］.International journal of business intelligence and data mining，2020，16（3）：381-395.

［25］ 叶正麟，潘璐璐.拉格朗日乘数法是怎样导出的［J］.高等数学研究，2020，23（3）：11-13.

基金项目  宁夏自然科学基金项目（2022AAC03756）；第五批宁夏回族自治区青年科技人才托举工程项目。

作者简介  张阁（1992—），女，宁夏石嘴山人，中级园艺师，硕士，从事设施园艺相关研究。

通信作者，教授，博士，从事信息技术与精准农业研究。