基于机器视觉的玫瑰花检测与特征提取

李锐风　杨云福　杨永发　于永顺

摘要：种植环境下的玫瑰花分布紧密、互相遮挡，为准确检测并提取玫瑰花的特征，基于机器视觉对玫瑰花的颜色和形状进行识别与处理。首先选取双边滤波对玫瑰花图像去噪，然后采用六角锥体模型颜色空间（hexagonal cone colour model，HSV）提取玫瑰花颜色，创建滚动条函数对六角锥体颜色模型各分量图阈值分割从而确定最佳阈值，最后运用形态学运算、面积阈值、孔洞查询填补等方法提取玫瑰花轮廓，并提出玫瑰花内切圆形状拟合算法，将拟合内切圆的圆心和半径作为玫瑰花图像特征。结果表明，玫瑰花颜色阈值能够有效去除玫瑰花枝叶、泥土等图像，形状拟合算法能有效提取玫瑰花的形状特征，并擦除玫瑰花苞。运用该算法单朵玫瑰花识别率为98.17%，3朵及以下重叠玫瑰花的识别率为92.67%，4朵及以上重叠玫瑰花的识别率为74.07%，被枝叶遮挡的玫瑰花识别率为83.03%，该套机器算法在复杂的种植环境中能有效识别并提取玫瑰花的特征值，结果可为玫瑰花采摘机器人研究提供重要技术支撑。

关键词：玫瑰花；机器视觉；图像识别；特征提取

doi：10.13304/j.nykjdb.2022.0951

中图分类号：S685.12；TP391.41 文献标志码：A 文章编号：10080864（2024）04010608

玫瑰花在中国具有悠久的历史，有美容、药用、食品原料、染料、花茶、表达爱意[12]等作用。现如今玫瑰花种植基地不断涌现，其主要的采摘方式为人工采摘。玫瑰花茎带刺，给采摘工作带来诸多不便，人工采摘需耗费大量的人力和物力。玫瑰花的花朵与花茎和花叶颜色形成鲜明对比，使玫瑰花便于识别，但成熟期的玫瑰花高约50～90 cm，且花朵易倾斜，从花丛上方1 m拍摄玫瑰花时，摄像头内玫瑰花的姿态各不相同，花朵互相遮挡、重叠。因此，准确获取种植基地内姿态各不相同的玫瑰花特征值是玫瑰花采摘机器人的关键问题之一。

近几年，国家重视农业自动化的研究，涌现出大量不同果实的检测研究和算法。王彦钧等[34]提出的基于神经网络的食用玫瑰花图像识别算法中，用色调、色饱和度和亮度来描述色彩，并利用最大类间方差法分割识别玫瑰花，对单支玫瑰花有较好的识别效果，但不能识别重叠玫瑰花并且无法获取玫瑰花特征。姚应方等[5]利用极坐标变换思想建立极坐标模型，通过对极坐标模型错位相减、归一化、角数判别，有效地识别八角的角数，其算法识别正确率为94.73%。在农业视觉当中与玫瑰花识别类似的研究有苹果[67]、橘子[8]和黄瓜[910]等，这类研究的共同特点是：果实和其背景有明显的差别，利用颜色阈值能较容易地将果实从背景中分离出来。同时也面临关键难点，即如何准确地区分相邻和重叠部分的果实并获得其特征值。本研究运用双边滤波函数初步处理图像使图像平滑并选取六角锥体模型颜色空间（hexagonal cone colour model，HSV）提取玫瑰花颜色，使用形态学预处理将图像中的各种缺陷和干扰去除，为了使重叠玫瑰花能够被单个有效分割，提出一种新的玫瑰花轮廓拟合算法，该套机器视觉算法能较准确识别种植环境中的玫瑰花并获取其特征值信息。

1 材料与方法

1.1 试验材料

玫瑰花一般种植在阳光充足、地势高燥的环境下。土质要求疏松肥沃、排水良好的壤土或沙壤土。为了获取丰富的试验数据库，试验图像需要尽可能包含试验对象的形态特征和各种环境因素如早、中、晚、雨天、晴天等。本试验样品图像取自云南省安宁市八街的玫瑰山谷。该地玫瑰花种植基地的玫瑰花品种主要为‘滇红，种植面积达653 hm2。

该玫瑰山谷玫瑰花种植面积较广阔，不同种植区域的土壤和水分有所不同，造成玫瑰花的姿态特征和花朵大小有所区别。基于上述原因选取3 块光照、土壤、水分条件不同的玫瑰花种植区域，在中午和傍晚拍取300幅图像，拍摄使用的相机为佳能EOS 750D，其像素为2 400 万，感光度25 600。

试验样本图像如图1A所示，拍照视角选取俯视， 距离花朵大约1 m处。通过观察图像发现，玫瑰花易相互重叠且存在叶片、花茎遮挡玫瑰花的情况。玫瑰花图像中存在凹凸不平的土壤，且少数图像中存在蜜蜂，图像中物体的颜色与形状较复杂。

1.2 试验方法

1.2.1 图像初步处理

玫瑰花图像中的环境背景复杂，需进行初步的滤波处理。滤波操作可以将图像信号里的特定波段频率滤除，在保存大量图像特征的情况下让图像更加平滑。选取合适的滤波操作和参数值可为后续试验提供便利。为选取合适的玫瑰花滤波函数，分别对同一幅图像进行均值滤波、中值滤波、高斯滤波和双边滤波等操作。其中，均值滤波器和高斯滤波器属于线性滤波器，中值滤波和双边滤波属于非线性滤波器。均值滤波器和高斯滤波器虽能去除噪声，但会使玫瑰花花瓣边缘和背景边界区域模糊；而中值滤波器将图像的边缘噪声平均计算到图像中所以输出将受到噪声的影响。双边滤波函数[11]计算公式如下。

式中，g（m， n）为输出点，（m，n）为图像中某点的像素坐标；S（m，n）为以（m，n）为中心的（2N+1）（2N+1）区域范围，N 为滤波区域的半径；f（k， l）为多个输入点；w（m， n， k， l）为经过2个高斯函数的计算值。

对上述公式进行转化，假设公式中w（m，n，k，l）为y，则有公式（2）。

从上式可知，图像矩阵与周围点的权重通过卷积算子作加权和，最终得到输出值。

w（m， n， k， l） = ws wr （4）

式中，ws 为空间邻近度因子；wr 为亮度像似度因子。

运用双边滤波函数需输入 3 个参数，即空间邻近度因子ws 、亮度相似因子ws 与滤波区域半径N。调用双边滤波函数处理图像时常使用δs 代表ws，δr 代表wr。

从上式可知，双边滤波基于空间分布的高斯滤波函数，双边滤波通过对权重的妙用，使离玫瑰花边缘较远的像素不会严重影响到边缘上的像素值，保证了边缘附近像素值的保存。相比于均值滤波器、高斯滤波器和中值滤波器，双边滤波器利用权重保护玫瑰花的边缘。

1.2.2 图像颜色提取

颜色空间选择。在提取玫瑰花颜色过程中发现，长势良好的玫瑰花暴露在阳光下其颜色为鲜红色，而长势较差的玫瑰花处于花丛中其颜色趋向于暗红色。因此，对于颜色空间的选择需要尽可能减小阳光对玫瑰花颜色提取的影响。对比红绿蓝三原色颜色空间（red green blue，RGB）、明亮度与色度颜色空间（luma chrominanceblue-difference chrominance red-difference，YUV）、六角锥体模型颜色空间（HSV）3种常用的颜色空间。RGB颜色空间运用简单但光照因素使得种植环境下的玫瑰花颜色复杂多样，导致RGB颜色空间的3个颜色参数高度相关，难以确定参数的数值。HSV颜色空间在顺光条件下识别效果较好，但由于其明度（value，V）参数受光照影响较大，使得遮阴条件下部分玫瑰花图像无法识别[12]。因此，本研究舍弃V 参数通道的信息对玫瑰花进行阈值处理。

1.2.3 图像预处理

综合采用形态学开运算和闭运算去除玫瑰花的毛刺、连接和细小孔洞等噪声，开运算将玫瑰花的花刺和连接噪声去除，闭运算将玫瑰花细小孔洞去除。玫瑰花中心花蕊形成的大孔洞和未开放的花苞类噪声面积过大不宜使用形态学运算进行去除，未开放的花苞类噪声需通过面积阈值进行去除，玫瑰花中心花蕊形成的大孔洞运用孔洞查询函数查询填补。图像预处理严格按照以下步骤：形态学开运算→面积阈值→形态学闭运算→孔洞查询填补。

1.2.4 图像轮廓拟合和特征提取

在农业识别检测中经常利用图像拟合获取果蔬的特征值，图像轮廓拟合是指利用规则的图像代替被识别物体，合理的图像拟合能够为提取图像特征带来便利[13]。采摘玫瑰花的机械末端执行器以包裹切割采摘为主，将玫瑰花的内切圆半径和圆心作为玫瑰花自动化采摘的2个关键位置特征信息为自动化采摘玫瑰花带来便利[14]。农业识别中hough变换经常用于拟合各类圆形果蔬，例如猕猴桃、桃子、西瓜等，利用hough变换虽然能够准确地获取单朵玫瑰花的特征值，但对于重叠的玫瑰花无法准确拟合对应玫瑰花的圆。而且hough变换需要计算三维空间下玫瑰花边界点的圆使得计算量太大，无法达到精准分割的效果。

玫瑰花外形复杂、生长不均匀等特点使其特征值提取难度增大，为准确提取玫瑰花特征值，提出一种新型玫瑰花形状拟合算法。调查发现玫瑰花重叠时像素数有明显不同，因此，先计算玫瑰花图像各个轮廓的像素数量[15]，根据轮廓的像素数量确定该轮廓内玫瑰花数量，然后对玫瑰花轮廓进行最小二乘法计算，计算后的图像轮廓变的更加平滑，最后使用opencv中的函数画出对应数量的内切拟合圆[16]。

2 结果与分析

2.1 不同重叠玫瑰花图像像素分析

将300幅玫瑰花样本图像中的重叠玫瑰花像素汇总，如表1所示。可以看出，不同重叠的图像像素差别很大，重叠花朵数量越多，图像像素越高。为了获取更加全面的数据，并对种植环境下的玫瑰花图像进行试验验证，可将试验对象分为单朵玫瑰花、重叠玫瑰花、被枝叶遮挡的玫瑰花[17]。

2.2 玫瑰花图像双边滤波参数确定

玫瑰花具有复杂的图像特征和背景，为得到更准确的参数区间，采取中间值法寻找最佳区间，部分参数滤波处理效果如图1所示。经测试分析发现，滤波区域半径（N）的最佳区域为12～16， δr值为60～70，δs 值为50～70。参数选取过大将使图像过度模糊，玫瑰花图像中部分有用的信息将被去除；过小则无法达到去除玫瑰花图像细小噪音的效果，同时增加了图像运算量并降低识别效率[18]。

2.3 HSV 颜色空间阈值分析

以图1A为例绘制图像灰度折线图，如图2所示。图中的x 轴是玫瑰花图像的灰度值（0～255），y轴为图像中具有相同灰度值的点的数目。观察图像发现，玫瑰花样本的灰度等级集中在40～125之间，玫瑰花图像整体颜色为暗沉色且图像颜色灰度呈单峰型，利用HSV颜色空间模糊提取玫瑰花更加简单高效。HSV颜色模型为六角锥体模型，其中参数H（hue）为色调、S（saturation）为饱和度、V（value）为明度。创建opencv 中的滚动条函数分别对H、S、V 分量图进行阈值分割，确定理想阈值，对HSV 颜色空间中H、S、V 分量阈值如图3。由于可食用玫瑰花色系繁杂，玫瑰花可能出现的颜色众多，本研究主要对‘滇红玫瑰花色进行阈值分割。单个HSV颜色区间无法包含‘滇红玫瑰所有可能出现的色系，最终利用2个HSV颜色空间完成对所有图像样本的阈值分割[19]。阈值分割后图像中还存在大量的背景噪声，其中有玫瑰花花刺、掉落在地面的玫瑰花花瓣和花苞，玫瑰花本身因为花蕊中心呈黄色有所残缺。

2.4 玫瑰花图像与特征提取结果分析

使用图1A作为示例。首先使用HSV颜色空间阈值方法对玫瑰花原图阈值分割得到对应的二值图像图（4A），随后对玫瑰花二值图像进行卷积合大小为12×12的开运算（图4B），图像中大部分的花瓣碎片和花刺被去除，剩下花苞和粗壮的枝条未被处理。这些噪声通过利用图像中最大联通区域面积（像素点）的1/7进行面积阈值去除（图4C）。观察图像可知，玫瑰花花朵本身还存在缺口噪声，这类噪声利用闭运算对图像进行填补，卷积合大小为15×15的闭运算能有效部分填补漏洞（图4D）。由于玫瑰花中心缺口太大，若进行更大的卷积合闭运算会使玫瑰花图像变形严重，故运用开源计算机视觉库中的opencv-fillpoly 函数对玫瑰花图像进行遍历查询，对查询到的孔洞进行填补（图4E）。将图片中的噪声完全清除后，利用玫瑰花内切圆形状拟合算法，计算出各个轮廓中的玫瑰花内切圆（图4F、G）。

2.5 图像特征与识别准确率分析

以图4G作为研究对象，玫瑰花特征提取结果如表2所示。为验证结果的准确性运用空间一阶矩对玫瑰花样本集的二值图像运算，将得到的实际重心位置坐标与试验坐标对比发现，玫瑰花圆心像素坐标较准确误差在15个像素内。玫瑰花内切圆直径与实际测得玫瑰花直径（玫瑰花短轴的像素值）误差在25个像素内。

玫瑰花识别结果如表3所示，本研究中单支玫瑰花的检测与特征提取效果理想，利用颜色阈值将单支玫瑰花分割后拟合玫瑰花的最大内切圆，能够得到较准确的玫瑰花特征值，识别率高达98.17%。对于重叠的玫瑰花进行颜色阈值后只能提取出完整的玫瑰花群，运用本研究提出的花蕊定位法能够有效逐个拟合玫瑰花。在本研究中的样本集中，重叠玫瑰花类型数量有394簇，能有效提取玫瑰花特征值的有335簇，重叠玫瑰花识别率为85.02%，其中3朵及以下重叠玫瑰花的识别率为92.67%，4朵及以上重叠玫瑰花的识别率为74.07%，试验误差集中在4朵及以上的重叠玫瑰花类型。被叶片遮挡的玫瑰花识别率为83.03%，其中部分遮挡的玫瑰花能被有效识别，但被严重遮挡的玫瑰花（花朵面积小于未开放花苞）会被直接擦除无法被检测。完成300幅图像所耗时间约为3 060 s，每幅图像平均耗时10.2 s。

2.6 光照强弱对结果的影响分析

针对光照强弱，选取具有代表性的2幅图像进行分析。如图5所示，顺、逆光玫瑰花图像中所含信息丰富，具有参考价值，图5A玫瑰花图像颜色较杂乱，且能明显区分泥土、绿叶、枝条，观察图5C中的泥土、绿叶枝条因为光照原因更加难以区分，尤其是泥土和枝条已经混为一体。本研究对玫瑰花颜色阈值区间进行了重点研究，颜色阈值区间抗干扰能力较强，对泥土、绿叶、枝条有较好的剔除能力。如图5B、D所示，顺、逆光玫瑰花图像仍有较好的识别效果，光照强弱对试验影响较小。

3 讨 论

对玫瑰花在种植环境下单支、重叠、遮挡等状态下的检测和特征提取方法进行研究，验证了提出方案的可行性，其中无法识别的玫瑰花原因有如下几点：①被阳光直射时，玫瑰花反射阳光使得照片出现空白，对试验结果造成严重影响；②重叠玫瑰花数量过多，部分玫瑰花被完全遮挡无法被检测，且花蕊完全偏离摄像头，使得花蕊定位法获取的图像特征不准确；③玫瑰花被枝叶遮盖严重，被作为小面积花苞去除；④玫瑰花枝叶少数呈红色，红枝叶面积过大且与玫瑰花接触时将形成连接噪声，若这类连接噪声面积过大，则无法通过图像预处理去除。若想避免上述误差，需要更加深入探讨颜色空间的选取与参数的选择，或者运用神经网络识别玫瑰花提高准确率，对于玫瑰花的轮廓分割，需要进一步改进分割算法。

目前，已经有许多基于机器视觉的农业识别产品，这类研究对中国现代化农业有极大的推动作用，本研究相较于其他的农业识别项目实现方法改进较大，且最终得出的结果较为理想。为保存图像特征并使得图像更加平滑，本研究使用双边滤波函数对玫瑰花图像过滤，‘滇红品种的玫瑰花颜色鲜艳，为减弱光照强度对试验结果的影响，通过合并2个HSV颜色空间完成玫瑰花颜色的提取，且提取效果良好。本研究提出的方法适用于类圆形农作物的图像噪声处理，利用形态学运算、面积阈值和孔洞填补等操作，有效去除颜色阈值后玫瑰花二值图像的噪声，得到较为干净的玫瑰花二值图像。为准确提取玫瑰花特征值，提出花蕊定位法，该方法相较于hough变换有更好的拟合效果。

本研究经过大量的玫瑰花样本试验及资料查询，并对玫瑰花的种植环境进行了详细调查，最终能够对种植环境下的玫瑰花准确识别，可推动玫瑰花采摘机器人的实现，同时对类圆形农作物采摘机器人具有一定的参考价值。

参 考 文 献

［1］ 陈昆，杨云福，方卫山，等.云南食用玫瑰花产业现状及发展研究[J].南方农机，2022，53（6）：6-8.

CHEN K，YANG Y F，FANG W S，et al ..Study on the currentsituation and development of edible roses production inYunnan [J]. China Southern Agric. Mach.， 2022，53（6）：6-8.

［2］ 胡晓燕，沈才洪，敖宗华，等.玫瑰花有效成分及玫瑰花酒的研究进展[J].酿酒科技，2014（11）：68-72

HU X Y，SHEN C H，AO Z H，et al ..Research progress in theactive ingredients of rose ＆ rose wine [J].Liquor-Making Sci.Technol.， 2014（11）：68-72.

［3］ 王彦钧.食用玫瑰花采摘机器人研究[D].昆明：昆明理工大学，2014.

WANG Y J. Study on picking robots for ediable rose [D].Kunming： Kunming University of Science and Technology，2014.

［4］ 王彦钧，张云伟，王大龙，等.基于神经网络的食用玫瑰花图像识别算法[J].中国农业大学学报，2014，19（4）：180-186.

WANG Y J， ZHANG Y W， WANG D L，et al .. Recognitionalgorithm of edible rose image based on neural network [J].J.China Agric. Univ.， 2014，19（4）：180-186.

［5］ 姚应方，刘峰，张海东，等.基于机器视觉的八角颜色与果形识别研究[J].中国农业科技导报，2021，23（11）：110-120.

YAO Y F， LIU F， ZHANG H D， et al .. Research on octagoncolor and fruit shape recognition based on machine vision [J].J. Agric. Sci. Technol.， 2021，23（11）：110-120.

［6］ 司永胜，乔军，刘刚，等.基于机器视觉的苹果识别和形状特征提取[J].农业机械学报，2009，40（8）：161-165.

SI Y S，QIAO J，LIU G，et al ..Recognition and shape featuresextraction of apples based on machine vision [J].Trans. Chin.Soc. Agric. Mach.，2009，40（8）：161-165.

［7］ 祝前峰，陆荣鑑，李奉顺.苹果采摘机械的研究现状与发展趋势[J].林业机械与木工设备，2021，49（5）：4-9.

ZHU Q F， LU R J， LI F S. Research status and developmenttrend of apple picking machinery [J].For. Mach. WoodworkingEquip.， 2021，49（5）：4-9.

［8］ 任会.基于机器视觉的自然条件下橘子检测研究[D].长沙：中南林业科技大学，2021.

REN H. Study on orange detection under natural conditionsbased on machine vision [D]. Changsha： Central SouthUniversity of Forestry and Technology，2021.

［9］ 王海青，姬长英，顾宝兴，等.基于机器视觉和支持向量机的温室黄瓜识别[J].农业机械学报，2012，43（3）：163-167.

WANG H Q，JI C Y，GU B X，et al ..In-greenhouse cucumberrecognition based on machine vision and least squares supportvector machine [J].Trans. Chin. Soc. Agric. Mach.，2012，43（3）：163-167.

［10］ 鲍官军，荀一，戚利勇，等.机器视觉在黄瓜采摘机器人中的应用研究[J].浙江工业大学学报，2010，38（1）：114-118.

BAO G J，XUN Y，QI L Y，et al ..Research on the application ofmachine vision in cucumber picking robots [J].Zhejiang Univ.Technol.，2010，38（1）：114-118.

［11］ TOMASI C， MANDUCHI R. Bilateral filtering for gray andcolor images [C]// Proceedings of the Sixth InternationalConference on Computer Vision. IEEE， 1998： 839-846.

［12］ 汪杰，陈曼龙，李奎，等.基于HSV与形状特征融合的花椒图像识别[J].中国农机化学报，2021，42（10）：180-185.

WANG J，CHEN M L，LI K，et al ..Prickly ash image recognitionbased on HSV and shape feature fusion [J]. J. Chin. Agric.Mech.，2021，42（10）：180-185.

［13］ 刘志伟，周东傲，林嘉宇.基于图像显著性检测的图像分割[J].计算机工程与科学，2016，38（1）：144-147.

LIU Z W，ZHOU D A，LIN J Y. Image segmentation based onsaliency detection [J].Comput. Eng. Sci.， 2016，38（1）：144-147.

［14］ 王滨.猕猴桃采摘机器人目标果实空间坐标获取方法的研究[D].杨凌：西北农林科技大学，2016.

WANG B. A method for obtaining target fruit coordinates inspace using on kiwifruit picking robot [D].Yangling：NorthwestA&F University，2016.

［15］ 王伟斌.采摘机器人目标识别及定位研究[D].西安：西安理工大学，2017.

WANG W B. Picking robot target identification and positioningresearch [D]. Xian： Xian University of Technology， 2017.

［16］ HU M H， DONG Q L， MALAKAR P K，et al .. Determiningbanana size based on computer vision [J]. Int. J. Food Prop.，2015，18（3）：508-520.

［17］ 伍蓥芮，张志勇.基于图像处理技术的棚室番茄果实识别[J].山西农业科学，2021，49（7）：898-902.

WU Y R， ZHANG Z Y. College of agricultural engineering tomatofruit recognition in greenhouse based on image processingtechnology [J]. J. Shanxi Agric. Sci.， 2021，49（7）：898-902.

［18］ 张猛.基于网络摄像头的人脸识别系统设计[D].西安：西安电子科技大学，2020.

ZHANG M. Design of face recognition system based on webcamera [D]. Xian：Xidian University，2020.

［19］ 余博文.数字图像阈值分割研究与应用[J].科学技术创新，2021（19）：91-92.

YU B W. Research and application of digital image thresholdsegmentation [J]. Sci. Technol. Innov.， 2021（19）：91-92.

（责任编辑：胡立霞）

基金项目：云南省科技厅科技技术项目（202104AR040012） 。