韩巧玲,崔树强,徐钐钐,赵 玥,赵燕东
基于HSV空间和拟合椭圆的光核桃种核表型自动量化系统构建
韩巧玲1,2,3,4,崔树强1,2,3,4,徐钐钐1,赵 玥1,2,3,4,赵燕东1,2,3,4※
(1. 北京林业大学工学院,北京 100083;2. 城乡生态环境北京实验室,北京 100083;3. 国家林业局林业装备与自动化国家重点实验室,北京 100083;4. 智慧林业研究中心,北京 100083)
针对现有青藏高原光核桃种核表型主要采用手工测量和目视法获得,操作繁琐,且提取参数种类有限的问题,该研究构建了一种基于HSV(Hue,Saturation,Value)空间和拟合椭圆的光核桃种核表型自动量化系统。该系统包括图像自动分割和多重参数提取2个部分,首先,采用HSV阈值法实现光核桃种核图像的精准分割;其次,用拟合椭圆法进行光核桃种核的核尖提取;最后,对光核桃种核形态、颜色、纹理3类表型进行定量描述。结果表明,该系统对光核桃种核的自动分割准确率达到99.7%,且能够实现多种表型的自动、准确量化,为光核桃表型参数研究提供数据基础和技术支持。
图像识别;图像分割;光核桃;表型参数;拟合椭圆;核尖
光核桃是一种主要分布于中国青藏高原的蔷薇科桃属植物,有着较高的医药和食用价值[1-3]。光核桃种核的表型是揭示其遗传多样性和遗传变异性的重要指标[4]。光核桃种核表型包括长度、宽度、面积、核形指数等[5],可为桃种质的抗旱、抗病育种及改良提供重要的遗传基础[6]。
目前,对光核桃种核表型多是采用手工测量方式获得[7],工作量大,操作繁琐。而且部分表型如种核面积、核尖锐度等获取难度大、精度较低[8]。此外,现有研究提取的光核桃形态表型种类较少,多是长度、宽度等;对于光核桃种核的纹理和颜色没有详细的量化指标,仅能用目视法进行定性描述和评估[9-10]。
基于图像处理的研究方法能够直观便捷地提取目标,具有自动化程度高、特征量化精确度高的优点[11]。图像处理可以分为图像分割与特征提取两部分[12-13]。现有图像分割方法主要包括边缘检测和阈值法,其中边缘检测能够描述物体的轮廓,常用于检测目标体表特征,例如识别葵花籽的虫蚀孔、获得猪的眼睛形态参数等[14-16]。阈值法能够根据图像中像素点灰度值或RGB(Red,Green,Blue)值设定阈值范围,从而实现目标分割,在医学图像分割、物体损伤检测等多个研究领域具有较为广泛的应用,操作简单、运算效率快、精度较高,适用于图像的自动分割[17-18]。对于分割后的图像,可通过像素、灰度值等图像信息,获取实际物体几何形态、颜色纹理特等多种表型特征,具有运算效率快、准确性高的特点[19]。
因此,为实现光核桃种核表型参数的自动、高效量化分析,本文提出了一种基于HSV(Hue,Saturation,Value)空间和拟合椭圆的光核桃种核多参数自动提取系统。该系统在HSV空间下,采用阈值法,结合形态学操作,实现了光核桃种核图像的高精度自动分割;同时,在准确提取核形指数等形态特征的基础上,该系统对于难以提取的核尖锐度和面积、难以量化评估的颜色和纹理特征能够进行数字化表达,可为西藏光核桃的品种特性研究提供数据基础和技术参考。
针对西藏光核桃种核表型参数提取操作繁琐、数量有限、精度较低等问题,本文提出一种光核桃种核表型自动量化系统(图1)。
该系统包括:
1)光核桃种核图像采集。采用数码相机、摄影棚等设备获取光核桃种核图像。
2)光核桃种核图像的分割和标准化。首先,提取原始图像中的感兴趣区域;然后,将其由RGB模式转换为HSV模式,用阈值法进行种核分割,并由形态学操作弥补分割图像的欠分割与过分割部分;最后,用拟合椭圆法提取光核桃种核的核尖状态,并以拟合椭圆为依据,实现光核桃种核图像的标准化。
3)光核桃种核表型的量化表达。首先,通过外接矩形和种核图像像素信息,获取核形指数、种核面积、核尖锐度等光核桃种核形态特征;然后,用颜色低阶矩和灰度共生矩阵分别提取桃种核的颜色与纹理特征,实现对光核桃种核表型的量化分析。
1.1.1 试验材料
本文采用西藏光核桃种核作为试验材料。所有光核桃种核均由西藏自治区农牧科学院提供,共计598颗,采集自西藏自治区波密县。
1.1.2 光核桃种核图像获取与预处理
采用佳能EOS M5数码照相机和小型摄影棚采集光核桃种核图像。试验过程中,将598颗光核桃种核依次放置于小型摄影棚中的白色纸板上,用自制纸台装置保证种核大致处于水平状态,且放置种核时保持尖端朝向左方。此外,纸板上用计算机软件绘制并打印了面积为1 cm2的黑色方块,其作用为计算物体在图像所占像素与实际尺寸比例。摄影棚光亮度调至最大(25.98 klx),数码照相机固定于种核上方约23 cm处垂直拍摄。相机拍摄焦距45 mm,光圈值40,曝光时间0.005 s。所得图像为大小长6 000像素,宽3 368像素,其中黑色方块在图像中占据24 039个像素(图2a)。
基于上述图像,用python语言设计自动裁剪程序,在每张图片上选取左上点和右下点坐标分别为(4 250,1 990)和(1 750,70)的矩形区域(图2b),对该区域进行截取,再进行等比例尺寸压缩,得到长×宽为625× 480 像素的图片,即为本文后续研究采用的图像(图2c)。
在RGB(Red,Green,Blue)空间下,光核桃种核部分区域的RGB值会和背景较为相似,难以准确区分目标区域与背景区域。而HSV空间能更直观地表达图像不同区域间的明暗、色调和鲜艳度,有利于颜色之间的对比[20]。因此,将光核桃种核图像由RGB空间转换为HSV空间(图2c和图2d)。转换公式如(1)~(3)所示。
式中、、分别为同一位置像素点的色调、饱和度和明度分量数值,max和min分别是集合{,,}的最大值和最小值,、、分别为同一位置像素点的红色分量数值、绿色分量数值和蓝色分量数值。
对于HSV空间下的光核桃种核图像,通过多次试验法先确定空间在何种阈值范围时能最大程度分割种核与背景,然后确定在该阈值范围下,空间的最佳分割效果,最后在已得空间与空间阈值范围内,选定最佳分割效果的空间阈值,并保证所有图片为同一组分割阈值。
通过该组阈值,并经过形态学闭运算弥补欠分割部分(先膨胀后腐蚀),获得用于图像分割的二值化掩模图像(图 2e)。最后由掩模在原图中分割出所需要的目标图(图 2f)。
核尖信息是描述光核桃种核特性的重要指标。本文提出基于拟合椭圆的光核桃种核核尖提取方法。
首先用canny算子检测种核边缘(图3a),在边缘中任选边缘点求出满足公式(1)的所有拟合椭圆参数,包括长轴、短轴、圆心等,由这些参数绘制拟合椭圆[21],其公式如(4)所示
式中()表示椭圆函数,(x,y)表示边缘点坐标,α表示椭圆函数里各项参数,N表示边缘点总数。
在光核桃种核图像中,种核形状呈椭圆形,但其两端位于椭圆外部[22]。在拟合椭圆图像(图3b)中,分离光核桃种核在拟合椭圆内部和外部的区域。
对于种核位于拟合椭圆外部的区域,首先将其转换为二值化图像(图3c),然后求取各个连通域的几何中心点[23]。由于所有图片均保持种核尖端朝向左方,因此依据所得各个几何中心点坐标,仅保留其中横坐标最小的连通域,即图像中最左侧的连通域(图3d中圆圈内部分),该部分即为核尖区域(图3e)。其公式如(5)~(6)所示
式中点(,)表示连通域的几何中心点,(,)表示图像在点(,)上的灰度值。
在此基础上,为排除种核排列方向可能造成的表型参数差距,以拟合椭圆为依据,实现光核桃种核图像的标准化,保证种核均处于水平状态(图3f)。
基于标准化后的光核桃种核图像,提取了形态、颜色和纹理3类表型参数。
1.4.1 形态参数
形态特征为光核桃种核的形状与几何参数。本文主要提取的形态参数指标包括:
1)种核长度与宽度
本文将光核桃种核最大外接矩形(图4a)的长度与宽度定义为种核的长度与宽度,单位cm,该参数反应光核桃种核的尺寸大小。
2)核尖锐度
本文将光核桃种核核尖区域最大外接矩形(图4b)宽度与长度比值定义为核尖锐度。
其值越大,表示核尖尖锐程度越大,计算公式为
式中表示核尖尖锐度。w表示核尖外接矩形宽度,l表示核尖外接矩形长度,cm。
3)核尖面积
核尖面积为光核桃种核核尖总像素点数目与1个像素点实际面积的乘积,其公式为
式中S为光核桃种核核尖部分面积,cm2;N为光核桃种核核尖部分所占据像素点总数;表示1个像素点的实际面积,其值为0.000 041 cm2。
4)种核面积
光核桃桃种核面积为其整体部分的水平截面积,描述桃种核轮廓的大小。其计算公式为
式中S为种核面积,cm2;N为种核所占图像像素点总数。
5)核形指数
核形指数是光核桃种核长度和宽度的比值,其值越大表示种核椭圆程度越高。反之,种核形状越趋近于圆形。其计算公式为
式中S表示核形指数。
1.4.2 颜色参数
本文采用计算颜色低阶矩的方式来提取光核桃种核的颜色参数。其具体公式为
其中,一阶矩反映光核桃种核的颜色明暗信息,二阶矩反映光核桃种核的颜色分布范围,三阶矩反映光核桃种核的颜色分布对称性[24]。
1.4.3 纹理特征
本文基于灰度共生矩阵提取纹理参数,灰度共生矩阵是将图像中任意两点灰度值之间产生的关联概率归一化后得到的矩阵,是一种二阶统计度量[25]。灰度共生矩阵有多种指标参数,本文选取其中的对比度、同质性、能量和相关性4个指标来反映光核桃种核的纹理信息[26]。其计算公式为
本文分别采用RGB阈值法[27]、灰度阈值法[28]和HSV阈值法进行光核桃种核分割。如图5所示,从598张光核桃种核图像中,随机选择一幅图像进行结果展示。其中,图像真值(图5 b)获取方法为采用PhotoShop图像处理软件,通过手动勾勒种核边缘的方法提取种核区域。同时,为消除主观因素对提取精度的影响,由4人进行重复修正标定。
从图5可知,RGB阈值法和灰度阈值法的分割结果均存在不同程度的缺失现象。其原因可能是因为种核的部分区域的RGB值或灰度值与背景较为接近,因此,很难选择准确的分割阈值对种核进行分割操作。而通过HSV阈值法,光核桃种核能从原图中被准确分离,其轮廓与内部区域无明显缺失。因此,相比于RGB间阈值法、灰度阈值法,HSV阈值法适用于光核桃种核表型参数的自动提取与量化研究。
为进一步评价不同方法的分割性能,采用准确率、召回率、精确率和交并比4个指标进行了定量分析[29]。定量分析结果如表1所示,数据均为均值和标准差。
由表1可知,灰度阈值法和其他2种方法具有较为接近的分割准确率(98.1%)和精确率(94.6%),但其具有最低的召回率(88.8%)和交并比(84.8%),说明灰度阈值法对于种核存在严重的欠分割现象,不适于光核桃种核的图像分割。相比于灰度阈值法,RGB阈值法具有较高的召回率(98.6%)和交并比(94.3%),说明RGB阈值法相比于灰度阈值法,在一定程度上对光核桃种核有着较好的分割效果。但HSV阈值法相比而言,其召回率(98.5%)虽略低于RGB阈值法,但具有最高的准确率(99.7%)、精确率(98.9%)、交并比(97.4%),4项指标均在95%以上。综上所述,相对于其他2种方法,HSV阈值法对光核桃种核分割效果最佳。
表1 3种分割方法定量分析结果
此外,为验证本文HSV阈值法的分割普适性,对甘肃桃、毛桃、山桃的种核进行了分割试验,分割所用阈值与光核桃相同,其结果如图6所示。
从图6可以看出,HSV阈值法法对其他3种桃种核分割效果也较好。因此,在拍摄条件相同时,本文方法具有较好的分割普适性。
2.3.1 形态特征
基于光核桃种核图像,量化分析了光核桃种核的核形指数、种核长度、种核宽度、核尖锐度、核尖面积等6个不同形态参数。为测试本文提取形态参数的精度有效性,与手工测量法进行对比分析,其结果如表2所示。
表2 形态参数精度分析
由表2可以看出,长度、宽度和核形指数的相对提取误差均在1%以下,特别是宽度相对误差低至0.02%。因此,本文提取的形态参数与真实值具有较高的一致性。
在此基础上,采用种核长度、种核宽度、核尖锐度、核尖面积、核形指数等6个指标对光核桃整体形态参数分布情况进行分析,其结果如图7所示。
由图7可知,光核桃种核长度范围为1.2~1.8 cm,宽度范围0.5~0.8 cm(图7a和7b)。部分种核无核尖或核尖不明显,存在核尖的种核,其核尖锐度或面积差异亦较大(图7c和7d)。核尖面积仅占种核面积的少量部分,前者范围0~0.035 cm2,后者范围1.5~4 cm2(图7e)。种核核形指数范围约为1.2~1.6,部分种核核形指数高达1.8,均大于1,说明光核桃种核椭圆程度较大(图7f)。不同个体光核桃种核的形态参数存在一定差异。
综上所述,本文方法能够较为准确地提取不同光核桃种核的形态参数。特别是,能够实现对光核桃核尖锐度和核尖面积的定量描述。
2.3.2 颜色特征
基于光核桃种核图像,量化分析了光核桃种核的颜色参数,并通过与目视法的比较分析,验证了颜色参数提取的有效性。并随机选择部分图片进行展示。其结果如表3所示。
由表3可以看出,随着种核颜色深度逐渐加深,其一阶矩、一阶矩呈下降趋势,一阶矩呈上升趋势。所提取的光核桃种核颜色参数与目视法结果较为一致。
在此基础上,用HSV空间的一阶矩、二阶矩、三阶矩对种核整体颜色分布参数进行分析,其结果以均值和标准差形式表示(表4)。
由表4所示,一阶矩标准差(0.7)、二阶标准差(0.9)、三阶矩标准差(1.1)均为最小值,说明不同光核桃种核在空间的差异较小,不同光核桃种核的色调差异较小。一阶矩标准差(5.4)、二阶标准差(5.1)分别小于一阶矩标准差(6.6)和二阶矩标准差(5.4),而三阶矩标准差(4.8)与三阶矩标准差(4.7)相近,说明光核桃种核整体上在空间的差异略大于空间,不同光核桃种核颜色明度的差异略大于色调的差异。综上所述,本文提取的颜色指标能够较准确描述光核桃种核颜色特性。
表3 颜色特征精度分析
表4 光核桃种核的颜色特征
2.3.3 纹理特征
通过前文介绍的纹理参数提取方法对光核桃整体纹理参数分布情况进行分析,其结果如图8所示。
由图8可知,不同光核桃种核的对比度和能量差异较大,表明种核表面沟纹的深浅程度和纹理的细致程度相差较大;与之相比,同质性差异较小,纹理数量与复杂程度对同质性的影响;相关性的分布差异最小,说明不同光核桃种核表面均匀程度较为相近。
在此基础上,为验证本文纹理参数提取方法的有效性,随机选择了部分光核桃种核图像,将其纹理参数与目视法结果进行了比较,其结果如表5所示。
由表5,在种核表面沟纹深度逐渐增大,数量逐渐增加时,其对比度逐渐增大(0.255~0.442),同质性逐渐减小(0.972~0.948);种核表面纹理清晰程度增大时,其能量值呈降低趋势(0.629~0.446),但相关性无明显变化(0.992~0.993)。
表5 纹理特征精度分析
综上所述,本文方法提取出的纹理参数与目视法得到的结果较为一致,能够在一定程度上对光核桃种核纹理特性进行量化分析。
在光核桃种核图像分割与参数提取的基础上,本文研制了一款可视化系统,其界面如图9所示。运行环境为Windows10,开发工具为pycharm。系统的开发语言为python,运行库包括OpenCV、PyQt5、numpy、skimage等。该系统包含图像读取、图像分割、参数提取以及自动切换4个模块。
首先,图像读取模块组件如图9左上角“文件”按键和“图片文件地址”一栏所示。点击“文件”按键,可选择欲进行处理的任意一幅经过裁剪和尺寸压缩的光核桃种核图像,被选中的图像会显示在“原图”框中,同时在“图片文件地址”栏中会显示图片文件的地址,便于查找。
其次是图像分割模块和特征提取模块,其可视化组件如图9上方“特征提取”按键,图9左侧“hsv空间”、“掩膜”、“分割+特征提取”四幅图像,图9右侧“纹理特征”、“形态特征”、“颜色特征”包含的数据框所示。点击“特征提取”按键,会在左侧四幅图像框中自动生成对应的图像,同时在右侧数据框中自动生成对应的形态、颜色和纹理参数数据。
此外,自动切换模块的可视化组件为图9右下侧“上一张”“下一张”按键。其功能为将系统所处理的图像自动切换为相同文件夹内的上一幅或下一幅光核桃种核图像。该模块可在无需点击“特征提取”按键对新图像进行图像分割和特征提取的重复操作的前提下,自动于目标区域生成所需要的处理后图像与表型数据。
综上所述,本文提出的光核桃种核表型参数量化系统具有便捷、高效的特点,不仅能够实现光核桃种核图像的自动、准确分割,还能够完成光核桃种核多重表型的定量、精确表达。
针对现有光核桃研究中存在的表型提取困难、定量参数指标较少的问题,本文提出一种光核桃种核表型自动量化系统,并得出了以下结论:
1)在HSV空间下,结合形态学操作的阈值法,其分割准确率、精确率、召回率和交并比均在95%以上,特别是准确率已到达99.7%,高于灰度阈值法和RGB阈值法。
2)相较于现有的基于手工测量的光核桃种核表型提取方法,本文系统能够更为高效、准确地提取种核的形态参数,其相对误差均在1%以下,特别是宽度相对误差低至0.02%。同时,本系统采用拟合椭圆法,提出了光核桃种核核尖锐度、核尖面积等指标,丰富了种核形态参数的研究。
3)本文采用颜色低阶矩和灰度共生矩阵法提取光核桃种核的颜色和纹理参数,其结果与目视法具有一致性。例如,随着种核表面纹理分布程度由简单至复杂,其对比度呈上升趋势(0.255~0.442),同质性(0.972~0.948)和能量(0.629~0.446)呈下降趋势。
综上所述,本文提出的光核桃种核表型参数自动量化系统能够准确地提取光核桃种核的形态、颜色、纹理3类表型参数,可在一定程度上对光核桃的育种研究提供数据基础和技术支持。
[1] 孙位军,周熙,王张,等. 光核桃仁油对实验鼠与兔的急性毒性实验[J]. 中国医药导报,2017,14(21):18-24.
Sun Weijun, Zhou Xi, Wang Zhang, et al. Study on the acute toxicity ofoil in rats and rabbits[J]. China Medical Herald, 2017, 14(21): 18-24. (in Chinese with English abstract)
[2] 张姗姗,邓岚,曾秀丽. 西藏光核桃研究进展及展望[J]. 农学学报,2016,6(2):88-91.
Zhang Shanshan, Deng Lan, Zeng Xiuli. Research progress and prospects of[J].Journal of Agriculture, 2016, 6(2): 88-91. (in Chinese with English abstract)
[3] Zhang S S, Ge S P C, Ying H, et al. Male sterility is linked to the flavonoid biosynthesis Pathways in[J]. Bioinformation, 2020, 16(5): 363-374.
[4] 左力旭,吕健,毕金峰,等.西藏光核桃超微粉粉体特性及活性成分研究[J]. 现代食品科技,2019,35(4):182-189.
Zuo Lixu, Lyu Jian, Bi Jinfeng, et al. Research on powder characteristics and active components ofpowder prepared by superfine grinding technology[J]. Modern food science & technology, 2019, 35(4): 182-189. (in Chinese with English abstract)
[5] 薛灵丽.光核桃遗传资源的经济价值评估与保护[J]. 林业科技情报,2019,51(1):24-25.
Xue Lingli. Economic value assessment and protection ofgenetic resources[J]. Forestry Science and Technology Information, 2019, 51(1): 24-25. (in Chinese with English abstract)
[6] 曾秀丽,张姗姗,格桑平措,等. 西藏光核桃果实的主要表型性状分析[J]. 西藏农业科技,2018,40(4):4-7.
Zeng Xiuli, Zhang Shanshan, Gesangpingcuo, et al. Analysis of phenotypic traits of Tibetan[J].Tibet Journal of Agricultural Sciences, 2018, 40(4): 4-7. (in Chinese with English abstract)
[7] 包文泉,乌云塔娜,杜红岩,等. 西藏光核桃表型性状遗传多样性分析[J]. 分子植物育种,2018,16(16):5463-5473.
Bao Wenquan, Wuyun Tana, Du Hongyan, et al. Genetic diversity analysis of the phenotypic traits offrom Tibet Plateau[J]. Molecular Plant Breeding, 2018, 16(16): 5463-5473. (in Chinese with English abstract)
[8] 刘会芳,鹿鑫,关法春,等. 林芝地区光核桃种子表型性状变异的影响因素分析[J]. 西南民族大学学报:自然科学版,2019,45(4):343-348.
Liu Huifang, Lu Xin, Guan Fachun, et al. Analysis of influencing factors on phenotypic variation ofseeds in Nyingchi prefecture[J]. Journal of Southwest Minzu University: Natural Science Edition, 2019, 45(4): 343-348. (in Chinese with English abstract)
[9] 魏丽萍,韩艳英,大布穷,等. 西藏光核桃果实表型性状变异分析与种质资源筛选[J]. 北京林业大学学报,2020,42(7):48-57.
Wei Liping, Han Yanying, Dabuqiong, et al. Analysis on phenotypic variation and germplasm resource selection of wildin Tibet of southwestern China[J]. Journal of Beijing Forestry University, 2020, 42(7): 48-57. (in Chinese with English abstract)
[10] 谭江平. 西藏光核桃果实性状分析及遗传多样性研究[D]. 成都:四川农业大学,2012.
Tan Jiangping. Study on the Fruit Characters Analysis and Genetic Diversity ofin Tibet[D]. Chengdu: Sichuan Agricultural University, 2012. (in Chinese with English abstract)
[11] 李龙龙,何东健,王美丽. 基于改进型LBP算法的植物叶片图像识别研究[J]. 计算机工程与应用,2021,57(19):228-234.
Li Longlong, He Dongjian, Wang Meili. Study of plant leaf image recognition based on improved local binary pattern algorithm[J].Computer Engineering and Applications, 2021, 57(19): 228-234. (in Chinese with English abstract)
[12] 韩巧玲,赵玥,赵燕东,等. 基于全卷积网络的土壤断层扫描图像中孔隙分割[J]. 农业工程学报,2019,35(2):128-133.
Han Qiaoling, Zhao Yue, Zhao Yandong, et al. Soil pore segmentation of computed tomography images based on fully convolutional network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(2): 128-133.(in Chinese with English abstract)
[13] 赵玥,韩巧玲,赵燕东. 基于灰度-梯度特征的改进FCM土壤孔隙辨识方法[J]. 农业机械学报,2018,49(3):279-286.
Zhao Yue, Han Qiaoling, Zhao Yandong. Improved FCM method for pore identification based on grayscale gradient features[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(3): 279-286.(in Chinese with English abstract)
[14] 王卫翼,张秋菊. 基于机器视觉的虫蚀葵花籽识别与分选系统[J]. 食品与机械,2014,30(2):109-113.
Wang Weiyi, Zhang Qiuju. Identification and sorting system of wormhole sunflower seeds based on machine vision[J].Food & Machinery, 2014, 30(2): 109-113. (in Chinese with English abstract)
[15] Di Y, Huang Y, Yang Y J, et al. Measuring the ocular morphological parameters of guinea pig eye with edge detection and curve fitting[J]. Computational and Mathematical Methods in Medicine, 2020, 2020(9): 1-13.
[16] Martínez A, Gómez L, Blanco N, et al. Clustered entropy for edge detection[J]. Mathematics and Computers in Simulation, 2021, 182: 620-645.
[17] 李晓峰,焦洪双,李东. 基于量子蚁群算法的医疗图像阈值分割算法[J]. 沈阳大学学报:自然科学版,2020,32(6):490-495,522.
Li Xiaofeng, Jiao Hongshuang, Li Dong. Medical image threshold segmentation algorithm based on quantum ant colony algorithm[J]. Journal of Shenyang University: Natural Science, 2020, 32(6): 490-495, 522. (in Chinese with English abstract)
[18] 叶祖坤,李恒,查文彬,等. 采用局部阈值分割的刀具损伤视觉检测方法[J]. 西安交通大学学报,2021,55(4):52-60.
Ye Zukun, Li Heng, Zha Wenbin, et al. Visual detection method of tool damage using local threshold segmentation[J].Journal of Xi'an Jiaotong University, 2021, 55(4): 52-60. (in Chinese with English abstract)
[19] 王东,方圣辉,王政. 基于光谱特征和颜色特征的油菜提取研究[J]. 农业机械学报,2018,49(3):158-165.
Wang Dong, Fang Shenghui, Wang Zheng. Extraction for oilseed rape based on spectral feature and color feature[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(3): 158-165. (in Chinese with English abstract)
[20] 韩巧玲,柏浩,赵玥,等. 采用染色示踪技术的土壤优先流自动分割与量化系统[J]. 农业工程学报,2021,37(6):127-134.
Han Qiaoling, Bai Hao, Zhao Yue, et al. Automatic segmentation and quantitative analysis of soil preferential flow using dye tracer technology[J]. TTransactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(6): 127-134. (in Chinese with English abstract)
[21] Lei I, Teh L, Si W. Direct least squares fitting of ellipses segmentation and prioritized rules classification for curve-shaped chart patterns[J]. Applied Soft Computing Journal, 2021,107: 107363.
[22] 曾秀丽,张姗姗,格桑平措,等. 西藏光核桃种质资源的桃种核特征分析[J]. 西藏农业科技,2019,41(2):6-8.
Zeng Xiuli, Zhang Shanshan, Gesangpingcuo, et al. Seed characteristics ofresources in Tibet[J].Tibet Journal of Agricultural Sciences, 2019, 41(2): 6-8. (in Chinese with English abstract)
[23] 何壸,白研,刘宏伟. 一种基于中心矩特征的SAR图像目标识别方法[J]. 火控雷达技术,2006,35(2):74-74.
He Kun, Bai Yan, Liu Hongwei. A SAR recognition method based on central moment features[J]. Fire Control Radar Technology, 2006, 35(2): 74-74. (in Chinese with English abstract)
[24] 谢文涌,柴琴琴,甘勇辉,等. 基于多特征提取和Stacking集成学习的金线莲品系分类[J]. 农业工程学报,2020,36(14):203-210.
Xie Wenyong, Chai Qinqin, Gan Yonghui, et al. Strains classification ofusing multi-feature extraction and Stacking ensemble learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(14): 203-210. (in Chinese with English abstract)
[25] Gao Y I, Xue C, Wang R, et al. Chinese fingerspelling recognition via gray-level co-occurrence matrix and fuzzy support vector machine[J]. EAI Endorsed Transactions on e-Learning, 2021, 7(20): 166554.
[26] 邹修国,丁为民,陈彩蓉,等. 基于改进灰度共生矩阵和粒子群算法的稻飞虱分类[J]. 农业工程学报,2014,30(10):138-144.
Zou Xiuguo, Ding Weimin, Chen Cairong, et al. Classification of rice planthopper based on improved gray level co-occurrence matrix and particle swarm algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(10): 138-144. (in Chinese with English abstract)
[27] Shreeshan S, Subhra B, Gattu P, et al. Fully automated region of interest segmentation pipeline for UAV based RGB images[J]. Biosystems Engineering, 2021, 211: 192-204.
[28] Mohamed A, Diego O, Ahmed E, et al, Multi-level thresholding-based grey scale image segmentation using multi-objective multi-verse optimizer[J]. Expert Systems with Applications, 2019, 125: 112-129.
[29] Han Q L, Zhao Y, Liu L, et al. A simplified convolutional network for soil pore identification based on computed tomography imagery[J]. Soil Science Society of America Journal, 2019, 83(5): 1309-1318.
Construction of the automatic quantification system for the phenotype ofseeds based on HSV space and fitting ellipse
Han Qiaoling1,2,3,4,Cui Shuqiang1,2,3,4,Xu Shanshan1,Zhao Yue1,2,3,4,Zhao Yandong1,2,3,4※
(1.,,100083,;2.,,100083,;3.,, 100083,;4.,100083,)
Extracting the phenotypic characteristics ofseeds is to measure the size of a physical object that needs to operate a large number of peach seeds. However, some phenotypic data is still difficult to obtain at present. In this study, an automatic multi-feature extraction system was proposed for peach seeds using HSV color space and edge point detection. The system included three parts. The first part was the collection and image acquisition of Amygdalus mira seeds. Specifically, theseeds were collected from the scientific research institutions, and then seed images were captured using a small studio and digital camera. The second part was the image processing of peach seeds. First, the region of interest was obtained on the original image of peach seed, then converted from the RGB to the HSV color space. The threshold segmentation was then selected using the HSV space, in order to remove the seeds from the original image. The purpose of threshold extraction was to determine what threshold range of H space was used to segment the seed kernel and background and then determine the best segmentation of S space under the H threshold range. Finally, the V space threshold was selected in the threshold range of H and S space with the best segmentation, in order that all pictures were the same set of segmentation thresholds, further to realize the preliminary segmentation of peach seed. Binary morphological operations were then utilized to revise the under- and over-segmentation. The third part was the feature extraction and quantification of seeds. First, the morphological features were achieved, including area, shape index, and seed tip state. Specifically, the edge points of seed kernel images were detected to draw the fitting ellipse and separate the tip of seeds. Among them, the tip state was evaluated using the area and sharpness of the seed tip. Subsequently, the color and texture characteristics of the peach kernel were obtained using low-order moments and gray-level co-occurrence matrix. As such, the quantitative analysis was realized for the nucleus phenotype ofseeds. Additionally, the extracted color features included the first-, the second-, and the third-order moments. The texture features included contrast, energy, homogeneity, and correlation. A comparative experiment was conducted to evaluate the RGB and gray threshold. It was found that the HSV threshold presented a better segmentation, indicating the highest accuracy rate (99.7%), average accuracy rate (98.9%), and Intersection over Union (IoU) (97.4%). In addition, the extraction experiments of morphological, color, and texture features were carried out to further verify the performance of the system. The results showed that there were quite different phenotypic characteristics of different seed individuals. At the same time, the H-mean and S-mean moment showed a downward trend, as the color depth of seed gradually deepened, compared the extracted color features with the visual. The same comparison experiment was also performed on texture features. The contrast increased, while the homogeneity decreased gradually, as the depth of grooves on the seed increased gradually. The energy and correlation decreased gradually when the surface texture of seeds was much clearer. In summary, the extracted characteristics of color and texture were more consistent with that of the visual, indicating the quantitative texture ofseed kernel. Consequently, this system can be expected to realize the extraction and quantification of kernel tip state, color, and texture features. The finding can also provide the data foundation and technical support for the breeding research of.
image identification; image segmentation;; phenotypic parameter; ellipse fitting; seed tip
韩巧玲,崔树强,徐钐钐,等. 基于HSV空间和拟合椭圆的光核桃种核表型自动量化系统构建[J]. 农业工程学报,2021,37(20):202-210.doi:10.11975/j.issn.1002-6819.2021.20.023 http://www.tcsae.org
Han Qiaoling,Cui Shuqiang,Xu Shanshan, et al. Construction of the automatic quantification system for the phenotype ofseeds based on HSV space and fitting ellipse[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(20): 202-210. (in Chinese with English abstract) doi:10.11975/j.issn.1002-6819.2021.20.023 http://www.tcsae.org
2021-06-10
2021-09-30
国家自然科学基金青年科学基金(32101590);北京市共建项目;国家自然科学基金面上项目(32071838)
韩巧玲,博士,讲师,研究方向为图像处理与模式识别、生态信息智能检测等。Email:hanqiaoling0@163.com
赵燕东,教授,博士生导师,研究方向为生态信息智能检测与控制。Email:yandongzh@bjfu.edu.cn
10.11975/j.issn.1002-6819.2021.20.023
TP391
A
1002-6819(2021)-20-0202-09