基于改进的Otsu法对红花图像分割的研究

董芙楠, 郭 辉, 潘江如, 韩英杰

(1.新疆工程学院控制工程学院,新疆 乌鲁木齐 830039;2.新疆农业大学机电工程学院,新疆 乌鲁木齐 830052)

红花是一种特色复合经济作物,且有良好的医药功效[1]。红花的采摘周期比较短,一般在12～15天[2]左右,因此需要及时采收。由于红花生长姿态参差不齐、茎秆高低不一以及花球分布不均匀等,致使采收机械无法实现自动化采摘。因此,开发一种智能化高效红花采摘装置对红花产业有重要意义,其中红花的识别是实现红花自动化采摘的关键。日本冈山大学的Kondo[3]在对番茄图像的识别中,在预处理时,利用番茄的颜色信息,以RGB图像的R、G分量的差异对图像进行了处理。得到了很好的分割效果,但是对树枝遮挡的部分无法分割。Woebbecke等[4]也对RGB颜色空间下的颜色信息进行研究。将R 、G、B分量归一化,即使在光照不均匀的情况下,也可以减少光照影响。除此之外,HSI颜色模型中的色调分量也可以较好地将绿色植株分离出来,但是该方法耗时较长。Bulanon等[5]在RGB颜色空间中发现R分量中果实与背景有最大的差异,结合图像的直方图中双峰值差异得到了超过88%的分割准确率。该算法的准确率受成像时的光照条件的影响,在光照可控的条件下可以获得较高的准确率。Wei等[6]针对智能农机采摘机器人的视觉系统,提出了一种改进的最大类间方差法全局阈值算法,在复杂环境下对4种水果图像进行了识别,取得了较好的识别效果。闫彬等[7]对猕猴桃的RGB图像采用K-means聚类算法和最大类间方差法相结合提取出猕猴桃的果萼。闫建伟等[8]采用RGB色差分量法和YCbCr颜色空间模型对刺梨图像进行两次阈值分割,最终刺梨果实识别正确率均高于92%。但是目前对于利用机器视觉识别和定位红花的研究较少,张天勇等[9]对红花图像识别采用色差因子R-B区分目标和背景,并采用最大类间方差法(OTSU算法)进行图像分割,但是模型的鲁棒性不强,需要进一步优化。本文针对大田背景下成熟期的红花提出了一种改进的色差模型结合Otsu法,可快速准确识别目标红花,为红花采摘机器人视觉导航系统的开发提供理论基础。

1 试验材料和方法

1.1 样本采集

采集环境为自然光照下的上午11点和下午17 点。采集时间为2021年7月7日至2021年7月15日。大田红花可以进行采摘的标准:当红花花冠裂片开放,雄蕊开始枯黄,红花花冠由黄变鲜红油润时,进行红花花冠的采摘。盛开期呈红黄色或红色,主要以红色为主,本文样本为开放 2～3 天的红花,符合红花花丝的采摘要求。红花图像采集设备由Stereolabs厂家推出的ZED 2K Stereo Camera(ZED2)的双目深度相机[10]、笔记本计算机以及移动平台等组成。ZED2相机参数见表1。

表1 ZED2相机基本参数

室外采集环境下以大田环境为代表,红花的生长环境复杂,采集图像的背景也是复杂多样的,主要有绿叶、花冠托、茎秆和土壤四种背景。如图1所示。这四种背景元素的大小和形状也不相同。

图1 不同背景下的红花图像

1.2 色差模型的构建

为了分析红花采摘条件的颜色特征,需要采集大量的红花的图像样本。在颜色空间下对红花特征值分析,最后利用统计学原理得到颜色空间下满足采摘条件的红花颜色阈值,为全局阈值分割Otsu[11]法提供数据基础。

1.2.1 颜色空间下特征值分析

为了分析红花图像在颜色空间下的特征规律,利用Image pro-Plus6.0图像处理软件在图像中画一条黑色椭圆剖线,线内像素覆盖红花花丝、茎叶、土壤、花冠托等要素,如图2(a)所示。此剖线图能够反应出要素在特征值上的区别。在软件Color选项中分别选择RGB颜色空间[12]和HSV颜色空间[13],分量图分别如图2(b)和2(c)所示,其中在RGB颜色空间下红色曲线代表R分量,绿色曲线代表G分量,蓝色曲线代表B分量。同理在HSV颜色空间下红色曲线代表H分量,绿色曲线代表S分量,蓝色曲线代表V分量。

图2 红花图像剖线分量图

采集100张光照强度不同的红花图像,对红花区域像素进行分析,对各分量的均值和标准差进行计算和统计[14]。在RGB颜色空间下通过统计计算,红花区域R均值在242～252之间,标准差在2.8～10.4之间;B均值在4.4～6.6之间,标准差在5.6～7.8;G均值范围比较大,标准差最大为51.8。由此可见R、B值分布区间比较集中, G均值范围比较大,数据离散。原因是盛开期的红花主要以橘红色为主,且色素分布集中,而绿色素和蓝色素主要集中在茎叶和花冠托中。通过计算结果分析可知,图2(b)分量图中,4个黑色方框标记的是红花花丝区域。原因是像素在150～320、580～720、1 000～1 200以及1 600～1 760区间,R、G、B数值区别较大,且R值处于最大水平处,B值在最低端。

同理在HSV颜色空间下通过统计计算,H、S、V分量均值范围分别为0～30、200～255、220～255之间。图2(c)分量图中像素区间分别在150～350、560～740、1 000～1 900以及1 600～1 750之间,H、S、V数值区别较大,且H值处于最低端,S、V值走势相同,且远远大于H值。结合图2(b)和2(c)分量图的像素区间范围,几乎吻合,由此确定,4个黑色方框为红花花丝区域。

RGB颜色空间是最基本的模型。R、G、B三分量是高度相关的,任意的可见颜色光都可以由红色、绿色以及蓝色三种基本色相混合而成。 HSV颜色空间和RGB颜色空间可以相互转换,前者与后者不同之处在于,HSV颜色模型不将特定的颜色分解为RGB三种颜色,只描述HSV三种颜色基本属性,将光强信息与颜色信息分离表示,色度值保持较稳定,对周围环境光线强弱不敏感[15]。

1.2.2 基于最小二乘原理的图像分割色差模型

色差模型是利用图像中不同颜色通道之间的色差特点或规律对图像像素进行遮蔽或抽取的一种技术[16]。一般在对图像前景(目标)进行提取时,通常先将彩色图片转换成灰度图,再通过色差模型将灰度图转变成前景和背景分开的色差图[17]。所以如何将色彩空间下的彩色图片转化成突显出感兴趣目标轮廓的色差图是本文的关键。

通过1.2.1节分析,对于红花花丝区域的R、B参数分布区间集中稳定且R和B的变化趋势接近,非红花区域则没有以上特性。红花花冠区域的这种特性非常适合利用最小二乘法[18]拟合来建立R和B之间的关系,利用这种关系可以在灰度图中将花丝与背景区分,具体方法如下。

利用红花花丝区域的R、B参数,建立基于最小二乘法的R、B拟合模型。如图3所示,R、B数据区间稳定符合一元线性回归特点。实线是在建立模型之前对数据进行了处理,默认置信度为95%对数据进行处理。直线表达式如式(1)。

图3 最小二乘法R、B分量值线性拟合图

R=0.4681B+224.1880

(1)

为了在转化灰度图片时,红花区域灰度值尽量最小,建立色差C的计算模型如式(2)。

C=0.4681B+224.1880-R

(2)

利用式(2)色差可以将彩色图片转换成突显前景的灰度图片。

基于色差模型的图像分割方法,其计算流程如下:

(1)利用色差模型对图像中的背景进行弱化,更有效地突出了目标,增大了前景与背景的灰度差异,此时的灰度图片称为色差图;

(2)根据色差图,做出相应的灰度直方图并分析;

(3)结合灰度直方图,利用固定阈值,将目标从背景中准确分割出来。

1.2.3 基于改进的色差模型Otsu分割方法

自适应阈值分割法Otsu法具有较好的算法适用性,Otsu法是利用不断迭代的计算把图像的灰度层次分成2个部分,使2个部分之间的灰度值差异最大。

传统的色差模型分割法,对前景和背景区别度大的图像,识别效果很好,但是在室外环境下,尤其在大田背景下易受光照和其他杂质的影响,造成误识别。对于智能化图像分割,固定阈值需要在不同环境下手动更改分割阈值,不能实现实时性。因此,为了减少光照影响,提高识别速度,在色差法处理之前,可以先加入一种基于 HSV 色彩空间的像素检测筛选处理。首先将RGB颜色空间转换为HSV颜色空间,利用H、S、V阈值范围清除明显不是红花的像素,初步对图像像素进行筛选,缩小后期色差法遍历的像素个数,提高效率。然后,利用色差模型处理筛选过的红花图像得到背景干净的色差图,绘制并分析灰度直方图。最后利用全局阈值Otsu法实现实时图像分割,前景和背景完全分离,效果和速率得到很大的提升。

2 红花图像识别试验及结果分析

2.1 图像预处理

图像预处理[19]关系到图像分割算法的效率和准确性。文中采用高斯、均值、中值及双边滤波这四种图像预处理方法对图像滤波、双边滤波能很好地保留边缘信息,所以本文选择双边滤波对图像进行处理。

2.2 图像识别

对比分析1.2.2节和1.2.3节分割法的分割效果,随机对采集的样本图像进行分割,红花图像如图4(a)所示。

图4 色差图

分别对图4(b)和图4(c)色差图做灰度直方图,如图5(a)和图5(b)所示,两个图中均显示两个峰值以区分前景和背景,在两个峰值之间存在最优阈值。图5(a)像素分布范围广,说明背景因素多,其对应的二值图如图6(a)所示。但图5(b)目标与背景分界明显,背景干净,几乎不存在杂质,灰度值突变,效果显著,其对应的二值图,如图6(b)所示。

经二值化处理后的红花图像仍然具有少量的噪声干扰,并且存在有大量因红花花丝纹理特性带来的黑色空洞。为了执行后期的区域连通与最小外接矩[20]操作,有必要对空洞进行填充。本文拟采用的形态学处理方法[21]为先进行闭运算,后开运算。效果图如图7所示。

根据采集样本的多样性,选择不同时段以及不同角度具有代表性的红花样本图片,其中包含若干不等的红花花簇,如图8(a)～(d)所示。

图8 红花样本图片

利用改进的色差模型Otsu分割法对以上几种图像进行分割,同样采用先进行闭运算,后开运算的形态学处理方法,分割效果如图9所示。

图9 改进的色差模型Otsu分割法效果图

采用Sobel边缘算子检测[22]的方法检测分割图,得到红花的边缘轮廓清晰。在提取出红花边缘后,采取最小外接矩的方法标记出目标红花和重心点,如图10(a)所示,此时红花的主要识别工作已经完成。将标记效果融合到未经处理的红花原图中,即可清晰明了地将红花位置表达出来,显示效果如图10(b)所示。

图10 目标红花的标记与融合

为了验证本文识别的准确性,首先手动用矩形框标记出目标区域,如图11所示,并利用程序求出目标区域面积,并标记重心点,如图12(a)所示。红花识别标准是图中肉眼可分辨红花花丝部分,即进行标记,利用本文识别方法,将形态学处理后的不规则白色轮廓区域用最小外接矩包围如图12(b)所示,求出矩形框的面积,然后与手动标记面积进行对比,面积误差小于8%,且重心坐标误差小于6%,红花识别被认定为准确识别。重心点坐标(x,y)的xy方向的误差、面积误差公式分别如式(3)、式(4)和式(5)。

图11 手动标记效果

(3)

(4)

(5)

随机选取10组包含不同花簇的图像样本进行试验,重心点坐标误差和面积误差试验结果记录见表2、表3。

表2 重心点坐标误差记录表

表3 面积误差记录表

2.3 结果分析

基于改进的色差模型分割法,用全局阈值法Otsu与固定阈值法作对比,识别准确率和效率都得到很大提升,而且实现了实时性。改进的色差模型结合Otsu算法可以准确地识别出红花目标,背景包含信息少,杂质几乎被滤除。利用本文分割方法,采用误差法评价标准,对10组不同光照背景下的红花图像进行识别试验,验证结果显示红花识别准确率均高达90%以上。

3 讨论与结论

对试验结果进行分析可以发现,利用改进的色差模型分割后色差图背景干净,几乎无杂质,噪声干扰小。从灰度直方图可以直观地看出前景和背景灰度值分布明显,存在最优阈值,结合Otsu法,实现实时分割。为了验证本文方法的可行性,利用手动标记红花的方法,将面积和重心点标注,与本文方法分割出来的面积和重心点做对比,重心点坐标小于6%,面积误差小于8%,认定完成识别,识别准确率高达90%。本文方法能识别背景复杂的红花图像,利用HSV颜色空间筛选方法进行像素检测筛选处理,降低了光照和其他背景杂质的影响,提高了准确率和效率。因此,本文建立的色差模型图像分割的方法,能很好地将红花目标识别出来,并获取重心点,为今后红花空间定位奠定基础。