马铃薯芽眼图像的分割与定位方法

田海韬，赵 军，蒲富鹏

(兰州交通大学 机电工程学院，甘肃 兰州 730070)



马铃薯芽眼图像的分割与定位方法

田海韬，赵 军*，蒲富鹏

(兰州交通大学 机电工程学院，甘肃 兰州 730070)

为了探索种薯自动化切种过程，填补关于马铃薯芽眼识别的研究空白，提出一种基于机器视觉技术的芽眼识别方法：从摄像头采集到马铃薯图像后进行计算机图像处理，从彩色空间中利用欧式距离直接分割芽眼区域，在灰度空间中对图像进行中值滤波后利用模糊技术对图像进行增强，之后利用动态阈值分割法分割芽眼区域，结合两个空间的分割结果后利用数学形态学处理方法标记出芽眼。结果显示：在彩色空间中，芽眼识别准确率为62%；在灰度空间中，识别率达到89%。将二者有机结合后，获得了96%的识别准确率。该方法识别成功率高，鲁棒性强，且芽眼区域标记完整，可为种薯切种自动化奠定基础。

芽眼识别；机器视觉；图像分割；马铃薯

近几年，中国的马铃薯种植面积维持在5万km2以上，居世界第一位。2015年2月农业部印发的《2015年种植业工作要点》指出，要加快马铃薯产业发展，让马铃薯成为中国的第四大主粮。目前，我国马铃薯种植业相对落后，种薯切种基本依靠人力，效率低、成本高，制约着优良薯种的推广。芽眼识别若能实现自动化，将为种薯切块自动化奠定基础，从而加快马铃薯产业的发展。

机器视觉技术在农产品检测中现已得到许多运用[1-4]，具有无损、快速、准确的特点。在马铃薯检测方面，Noordam等[5]设计了一套马铃薯品质实时检测和分级的机器视觉系统，每秒可以处理50张马铃薯图像；李锦卫等[6]提出了快速亮度截留与快速G截留2种图像分割方法，可以用来分割马铃薯表面的特征区域；李小昱等[7]结合上山法与区域生长法进行图像分割，可以同时分割马铃薯透射图像与反射图像；汪成龙等[8]提出了一种可以在复杂的图像背景中分割出马铃薯区域的分割算法，相比传统方法分割效果好，计算时间短；孔彦龙等[9]提取了马铃薯俯视图的面积参数和侧视图的周长参数，通过线性回归分析建立马铃薯的质量检测模型，实现对马铃薯的质量分选；Zhou等[10]利用最小外接圆提出了计算马铃薯切面直径的办法，提出形状失配率(shape mismatch ratio，SMR)，利用椭圆定量地描述马铃薯外形的规则或畸变程度。从文献检索情况来看，机器视觉技术在马铃薯品质检测方面现已取得较为丰硕的研究成果，但针对马铃薯自动化切种与芽眼识别的研究目前尚属于空白。马铃薯自动化切种时，应该首先剔除畸形马铃薯，以及不适合作为种薯的缺陷马铃薯，其次再设计芽眼识别系统。本研究在假设种薯筛选已经完成的前提下，对健康的马铃薯样本进行芽眼识别研究，设计了一套光照系统，利用单目相机采集图像，基于机器视觉技术进行芽眼识别，并对芽眼区域进行标记。

1 材料与方法

1.1 硬件系统与马铃薯图像采集

试验中，由环形灯管(32W，直径270mm)和内壁为白色的方箱来提供相对均匀的光照，由单目摄像头(Sony Exmor RS，1300万像素，F2.2)进行图像采集，由显示器(Samsung SEC4542)、计算机处理器(Intel i3-2310M)等进行图像处理，各部分如图1所示。

从市场中采购较为常见的马铃薯品种一点红进行芽眼识别研究。总计样本100个马铃薯，清洗晾干，把带有芽眼的马铃薯表面朝上，摆放在载物台中央，总共采集到300幅马铃薯彩色图像，覆盖726个芽眼。图像分辨率为700×900。

1，图像采集箱；2，环形灯管；3，摄像头；4，计算机；5，显示器；6，载物台；7，马铃薯；8，电缆线1，Image gathering chamber; 2，Circle lamp; 3，Camera; 4，Computer; 5，Displayer; 6，Stage; 7，Potato; 8，Cables

1.2 马铃薯芽眼识别流程

摄像头采集得到马铃薯样本图像后先分割出马铃薯区域，之后在彩色空间与灰度空间中分割出芽眼，将二者结合后通过数学形态学处理，得到芽眼标记结果，同时统计得到马铃薯表面的芽眼数目(图2)。

图2 马铃薯芽眼识别流程Fig.2 Flow path of bud eye recognition

种薯切种时要考虑每个种块上的芽眼数目、尽量带顶芽、尽量靠近芽眼等多个因素[11]，因此准确识别芽眼数目与芽眼区域完整标记对实现自动切种同等重要。为了评价芽眼分割算法，提出用芽眼分割准确率来定量描述图像分割质量。其中，单个芽眼分割准确定义为分割出的芽眼区域轮廓清晰、明显，且边界较为完整。

2 结果与分析

2.1 马铃薯图像识别

在进行芽眼识别之前，首先从样本图像中分割出马铃薯区域。首先，对原始图像进行B通道灰度化，如图3-a—c所示；然后，利用OTSU阈值分割法进行图像分割，结果如图3-d—f所示；之后，再分别与灰度化图像做“或”运算，分割出马铃薯区域，如图3-g—i所示。

2.2 彩色空间中的芽眼分割

同一个马铃薯品种个体间往往形态各异，表面差别很大。颜色是马铃薯芽眼的一个描述子，本研究选取的马铃薯芽眼位置为紫红色，薯皮为黄色，颜色分布均匀且一致。在RGB向量空间中找到芽眼紫红色的平均估计，基于欧式距离对芽眼进行分割，具体步骤为：

(1)用均值表征单个芽眼的颜色。芽眼区域的颜色均匀，在马铃薯彩色图像上截取100个芽眼区域的紫红色图片，大小为10×10，并计算出每个样本的均值a1，a2，…，a100，放到矩阵A中；

图3 马铃薯图像分割Fig.3 Segmentation of potato image

(2)计算芽眼紫红色的平均估计。用A的前50个向量的均值m作为芽眼紫红色的平均估计，用A的后50个向量评价m取值的充分性。利用欧氏距离度量a51，a52，…，a100与m的距离，算得距离的方差很小，认为m取值是充分的；

(3)设定相似性度量规则。若马铃薯彩色图像上任意一个向量w与m的欧式距离小于T即认为相似，在以m为球心，T为半径的球体内，如图4所示，将相似点标记为白色，否则标记为黑色。

以选取的3幅马铃薯彩色图像为例，按照以上步骤进行分割运算，得到的芽眼区域如图5-d—f所示，5-a—c为马铃薯原始图像。经过统计，本研究共分割出了450个轮廓形状较为完整的芽眼，芽眼识别准确率为62%。这种彩色图像分割方法方便快速，但一部分点和区域过于离散与孤立，很难在后续处理中得到完整的芽眼轮廓。显然单靠彩色特征无法满足芽眼识别的目的，需进一步结合其他方法来提高识别率。

图4 欧式距离下的相似性度量Fig.4 Comparability measurement based on Euclidean distance

图5 彩色图像中的芽眼区域分割结果Fig.5 Segmentation result of bud eye region in color images

2.3 灰度空间中的芽眼分割

2.3.1 灰度图像预处理

在灰度空间中，噪声对图像分割操作的影响很大，需要首先经过图像滤波来降低噪声干扰。使用中值滤波方法[12]对马铃薯灰度图像进行去噪，结果如图6-a—c所示。

马铃薯灰度图像的动态范围较窄，而且芽眼所占面积较小，不利于芽眼区域的分割，需要利用图像增强的方法突出芽眼特征。图像模糊增强技术[13]能增强图像的对比度，保留原始细节，突出感兴趣区域(region of interesting)。其具体步骤如下：

(1)建立模糊系统。按照“IF-THEN”规则把输入像素分到“深色”“灰色”“浅色”3个模糊集合，分别输出到“加深”“保持不变”“更亮”3个模糊集合。具体地：IF一个像素是深色，THEN加深它；IF一个像素是灰色，THEN保持它不变；IF一个像素是浅色，THEN使它更亮。

(2)用隶属度函数来表示以上6个模糊集合。如图7-a所示，“深色”与“浅色”的模糊集合用“Σ形”隶属度函数表示，“灰色”用“三角形”隶属度函数来表示；如图7-b所示，输出的3个模糊集合用“钟形”隶属度函数表示，“加深”“保持不变”“更亮”分别对应①、②、③。其中，横坐标代表归一化后的像素值，纵坐标代表隶属度。

(3)利用模糊系统进行灰度变换。将每一个像素点输入系统，通过“IF-THEN”规则输出到模糊集合，进行“去模糊”产生一个“干脆的”值，完成一个像素点的映射。

图6 图像滤波与图像增强Fig.6 Image filtering and image intensification

进行图像增强后，芽眼区域与薯皮区域进一步被分离，对比提升明显，如图6-d—e所示。增强前后的灰度直方图对比结果如图8所示。

2.3.2 局部的动态阈值芽眼分割方法

凹陷使得马铃薯芽眼具有一个深度信息，在灰度空间中此特征可以转换为灰度特征，呈现为深色。本研究尝试利用阈值分割方法将深色的芽眼区域从浅色的薯皮区域中分割出来。深入分析后发现，马铃薯芽眼区域的灰度值虽然比薯皮深，但在灰度直方图上所占的比率很小，没有明显的波峰，很难采用全局阈值分割方法；即使针对性地设计了照明系统，马铃薯表面的曲面特性造成的光照不均匀现象无法彻底解决，还是会影响图像分割的效果。

图7 模糊集合的隶属度函数Fig.7 The membership function of fuzzy set

图8 图像增强前后直方图对比Fig.8 Comparison of histogram before and after image intensification

综合上述2个问题，本研究采用局部的动态阈值分割算法来实现芽眼区域的快速分割。该方法将局部领域内的标准差和均值作为该领域的对比度和平均灰度的描述子，通过每个领域的局部统计属性来设定动态阈值。这种方法对小区域分割效果很好，并且适用于光照不均匀的图像，整个过程计算快速，参数灵活，鲁棒性强，具体步骤如下。

(1)根据灰度图像(M×N)，设定一个领域大小w×w；

(2)计算以像素f(i，j)为中心的w×w领域内的标准差σij与均值mij，(i=1，2，…，M；j=1，2，…，N)

(3)定义动态阈值Tij=aσij+bmij(a、b为大于0的常数，可以对标准差与均值进行加权)；

(4)根据动态阈值分割图像：

(2)

试验中，运用以上算法得到的最佳参数为：

基于局部统计的动态阈值分割方法可以很大程度地克服马铃薯表面曲面特性造成的光照不均匀的影响，分割出大部分芽眼区域(图9)。芽眼识别准确率达89%。

图9 灰度图像分割Fig.9 Segmentation result of gray images

为了进一步提升分割效果，叠加彩色空间与灰度空间的分割结果，如图10所示，芽眼区域更加完整，有效芽眼数也增加了，准确率达96%。

图10 两种分割结果的叠加结果Fig.10 Results of overlying 2segmentation images

2.4 基于形态学标记芽眼

为了将芽眼区域进行准确描述，以便于以后的切种决策，针对芽眼分割后的二值图像特征，进行大量的数学形态学处理试验，得到最优处理步骤：去除边界、闭操作、孔洞填充、开操作。

2.4.1 去除边界

去除边界的过程中存在着以下2个问题：(1)有些边界区域是间断的，不构成一个连通区域，很难通过边界特征来去除边界；(2)有些芽眼与边界“粘连”在一起，构成同一个连通区域，给边界去除增加了难度。

为解决以上问题，利用图3-d—f中OTSU分割结果提取马铃薯边界，用直径为7的圆盘模板对边界做膨胀操作得到“粗边界”，如图11-a—c所示。对粗边界求“反”，分别与图10中对应的分割结果图像做“或”运算，成功去除边界，如图11-d—f所示。这种方法可以保留“粘连”在边界上的芽眼，同时完整移除边界。

2.4.2 闭操作与孔洞填充

对二值图像进行的闭操作就是用定尺寸模板对图像做膨胀后再做腐蚀操作，这种形态学处理可以“吸收”二值图像中大连通区域周围的离散点，填充细小缺口与孔洞，消除毛刺与孤立点。试验中使用直径为9的圆盘模板进行闭操作处理。

利用闭操作和MATLAB函数工具箱提供的孔洞填充函数操作，将连通区域彻底变为“实心”。使用闭操作和孔洞填充处理后的图像结果如图11-g—i所示。

2.4.3 开操作

开操作可以移除图像中“残留”的一些小区域与孤立点，并平滑芽眼区域的边界形状，显得更加规则。试验中使用直径为7的圆盘模板进行开操作处理，结果如图11-j—l所示。

图11 数学形态学操作结果Fig.11 Mathematical morphology operation result

2.4.4 芽眼标记

经过以上步骤处理，芽眼区域的数目、位置、形状都已经很清晰，将芽眼区域边界在原图上标记为白色，效果如图12所示。

图12 识别效果图Fig.12 Recognition effect

3 结论

本研究建立起一套可用于马铃薯芽眼图像分割与定位的方法。研究发现，被标记出的芽眼中，顶芽的面积大，特征独特，轮廓清楚；中等芽眼的面积居于中间值，边界形状多变；小芽眼边界平滑，多为圆形。这些特征可以在后续的切种决策中加以利用。基于切种自动化的目标，机器视觉代替人眼完成了马铃薯芽眼识别的工作，不仅得到了马铃薯表面的芽眼个数，而且得到了每个芽眼的边界描述，识别准确率达96%，利用机器视觉技术获得的芽眼识别结果可为后续关于切种决策的研究提供便利。不同品种马铃薯的芽眼在灰度空间中有相似的灰度特征，研究使用的动态阈值分割方法在灰度空间中取得了理想的分割效果，且几种形态学处理方法的结合高效地标记出了芽眼区域，可以为后续的芽眼识别研究提供借鉴与参考。

[1] 潘立刚，张缙，陆安祥，等.农产品质量无损检测技术研究进展与应用[J].农业工程学报，2008，24(增刊2): 325-330.

PANLG，ZHANGJ，LUAX，etal.Reviewonnon-destructivedeterminationtechnologyforagriculturalproductquality[J].Transactions of the Chinese Society of Agricultural Engineering，2008，24(Supp.2): 325-330.(inChinesewithEnglishabstract)

[2] 姚立健，边起，雷良育，等.基于BP神经网络的水果分级研究[J].浙江农业学报，2012，24(5): 926-930.

YAOLJ，BIANQ，LEILY，etal.ClassificationoffruitbasedontheBPneuralnetwork[J].Acta Agriculturae Zhejiangensis，2012，24(5):926-930.(inChinesewithEnglishabstract)

[3] 胡孟晗，董庆利，刘宝林，等.基于椭圆傅里叶描述子的香蕉形状识别[J].浙江农业学报，2014，26(1): 200-205.

HUMH，DONGQL，LIUBL，etal.BananashaperecognitionbasedonellipticFourierdescriptor[J].Acta Agriculturae Zhejiangensis，2014，26(1):200-205.(inChinesewithEnglishabstract)

[4] 裴伟，王晓林.基于图像信息的茶叶二维采摘坐标的提取[J].浙江农业学报，2016，28(3): 522-527.

PEIW，WANGXL.Thetwo-dimensioncoordinatesextractionofteashootspickingbasedonimageinformation[J].Acta Agriculturae Zhejiangensis，2016，28(3): 522-527.(inChinesewithEnglishabstract)

[5]NOORDAMJC，OTTENGW，TIMMERMANSTJM，etal.High-speedpotatogradingandqualityinspectionbasedonacolorvisionsystem[J].Proceedings of SPIE，2000，3966: 206-217.

[6] 李锦卫，廖桂平，金晶，等.基于灰度截留分割与十色模型的马铃薯表面缺陷检测方法[J].农业工程学报，2010，26(10)：236-242.

LIJW，LIAOGP，JINJ，etal.Methodofpotatoexternaldefectsdetectionbasedonfastgrayinterceptthresholdsegmentationalgorithmandten-colormodel[J].Transactions of the Chinese Society of Agricultural Engineering，2010，26(10): 236-242.(inChinesewithEnglishabstract)

[7] 李小昱，陶海龙，高海龙，等.马铃薯缺陷透射和反射机器视觉检测方法分析[J].农业机械学报，2014，45(5)：191-196.

LIXY，TAOHL，GAOHL，etal.Comparisonoftransmissionandreflectionimagingtechnologiestodetectpotatodefectsbasedonmachinevisiontechnology[J].Transactions of the Chinese Society for Agricultural Machinery，2014，45(5): 191-196.(inChinesewithEnglishabstract)

[8] 汪成龙，李小昱，武振中，等.基于流形学习算法的马铃薯机械损伤机器视觉检测方法[J].农业工程学报，2014，30(1)：245-252.

WANGCL，LIXY，WUZZ，etal.Machinevisiondetectingpotatomechanicaldamagebasedonmanifoldlearningalgorithm[J].Transactions of the Chinese Society of Agricultural Engineering，2014，30(1): 245-252.(inChinesewithEnglishabstract)

[9] 孔彦龙，高晓阳，李红玲，等.基于机器视觉的马铃薯质量和形状分选方法[J].农业工程学报，2012，28(17)：143-148.

KONGYL，GAOXY，LIHL，etal.Potatogradingmethodofmassandshapesbasedonmachinevision[J].Transactions of the Chinese Society of Agricultural Engineering，2012，28(17): 143-148.(inChinesewithEnglishabstract)

[10]ZHOUL，VIKRAMC，YONGMINK.APC-basedmachinevisionsystemforreal-timecomputer-aidedpotatoinspection[J].International Journal of Imaging Systems & Technology，1998，9(6):423-433.

[11] 程天庆.马铃薯栽培技术[M].2版.北京：金盾出版社，2008

[12]BROWNRIGGDRK.Theweightedmedianfilter[J].Communications of the ACM，1984，27(8):807-818.

[13]GONZALESRC，WOODSRE，阮秋琦，等.数字图像处理[M].3版.北京:电子工业出版社，2011:105-119.

(责任编辑 高 峻)

A method for recognizing potato’s bud eye

TIAN Hai-tao，ZHAO Jun*，PU Fu-peng

(SchoolofMechanicalEngineering，LanzhouJiaotongUniversity，Gansu730070，China)

In order to explore automatic seed cutting of potato and potato bud eye recognition，the present paper reported a relevant approach based on machine vision.It used camera to collect images，and computer to process images.In the part of image segmentation，it utilized Euclidean distance to segment the region of bud eye in color space.Then，the dynamic threshold segmentation was carried out after image filtering and intensification，to segment bud eyes in gray space.At last，it combined the two segmentation part，and used mathematical morphology to label bud eye out.It was shown that in color space，the recognition accuracy rate was 62%，and in gray space，the recognition accuracy rate was 89%.Combined together，the recognition accuracy rate was 96%.The proposed method exhibited high recognition accuracy rate，acceptable robustness and intact boundary of bud eye，which laid theoretical foundation for automatic seed cutting of potato.

bud eye recognition; machine vision; image segmentation; potatoes

10.3969/j.issn.1004-1524.2016.11.22

2016-05-06

国家自然科学基金(61462059)；甘肃省自然科学基金(148RJZA054)

田海韬(1990—)，男，甘肃武威人，硕士研究生，研究方向为计算机视觉与模式识别。E-mail: 376092596@qq.com

*通信作者，赵军，Email: zhaojun@mail.lajtu.cn

S126；S532

A

1004-1524(2016)11-1947-07

浙江农业学报ActaAgriculturaeZhejiangensis，2016，28(11): 1947-1953

http://www.zjnyxb.cn

田海韬，赵军，蒲富鹏.马铃薯芽眼图像的分割与定位方法[J].浙江农业学报，2016，28(11)： 1947-1953.