基于模板匹配的核桃识别

刘坤，刘娜，王园园，张娜

基于模板匹配的核桃识别

刘坤1，刘娜2，王园园3，张娜3

（1. 商洛市丹凤县气象局，陕西 商洛 726000；2. 商洛市气象局，陕西 商洛 726000；3. 商洛学院 人工智能研究中心，陕西 商洛 726000）

核桃；模版匹配；阈值分割；重叠；识别

陕西省的核桃产量位居全国前三，是我国核桃的主产区，地理位置和气候条件独特使其成为核桃种植的优生区[1]．在自然环境中利用机器采摘核桃时，能否快速、准确地识别出核桃果实，并标注其具体位置是衡量果实识别性能好坏的标准[2]．

果实的识别引起了较广泛的研究，背景与果实颜色相差较大的被研究较多，也取得了较好的成果；背景与果实颜色相近如核桃，被研究较少，且效果不理想．因此，研究自然环境中核桃的识别对提高我国核桃采摘自动化具有重要的作用，对提升我国农业自动化水平也有着重要的意义．实现自动采摘的关键是对果实进行精准识别与定位[3]，而在自然环境中，由于光强不匀、果实遮挡、果实重叠、背景复杂等因素，采集的图像中既有核桃又有枝叶和天空，存在噪声、阴影等干扰[4]，给果实的识别带来了较大的干扰．图像匹配[5]是识别技术的重要研究内容之一，在目标识别、精确定位、视频跟踪等领域中得到广泛应用．章云[6]等提出2RGB模型和最佳阈值函数的方法，分别在顺光、逆光、遮挡等环境下对山核桃果实进行识别．SENGUPTA[7]等提出采用形状和纹理分析的方法，对自然环境中绿色柑橘进行识别．项荣[8]等提出采用边缘曲率的方法，对重叠番茄进行识别．赵德安[9]等提出最大类间方差法和极大值法提取重叠苹果的圆心和半径．于慧杰[10]等提出基于先验模板信息进行模板匹配的方法，实现苹果的识别．罗陆锋[11]提出人工蜂群优化模糊聚类改进的分割方法，实现对葡萄的识别．夏雪[12]提出采用视觉显著性检测的GrabCut方法并结合关键角点检测算法，提取出重叠苹果的轮廓与定位．

由于核桃果实和其枝叶颜色相近，采集的核桃图片有重叠和遮挡时核桃果实的识别率较低的问题，本文提出采用先验模板信息的方法，寻求相似度最小、匹配度最大时的模板作为最佳模板，实现对有重叠和遮挡时核桃图像的识别与定位．

1 基于模板匹配的核桃图像识别

图1 基于模板匹配的核桃识别总框图

第1步：将RGB图像转换为HSI颜色空间再进行阈值分割，包括灰度变换、去噪处理、二值化处理，再对图像进行形态学处理[13]；

第2步：得到填充后的图像区域面积，统计填充后的图形中各块图形所含像素个数的多少，获取核桃图像轮廓的周长（记录边界点像素个数）与轮廓所围区域面积计算出核桃的圆度，根据圆度的分布范围确定是否为核桃，若满足该范围则被确定为“核桃”，否则确定为“枝叶”；

第3步：使用先验模板进行图像匹配，计算得出核桃最佳模板，对采集图像中的核桃进行定位，并用矩形框绘制出来．

1.1 HSI颜色空间

将采集的核桃RGB图像转化为HSI图像（见图2）．

1.2 阈值分割

图3 HSI空间阈值分割图像

1.3 形态学处理

图像边缘检测的基本思想为：检测图像像素区域中哪些部分属于边缘点，然后将边缘点连接成闭合形状，以便提取分割区域，进而将目标与背景区域最大化分离[15]13．此处采用数学形态学算子进行处理，如边缘切割和图像填充．形态学算子常用的为膨胀、腐蚀、开运算、闭运算（见图4）．

图4 形态学处理

对比图4a～d分别为膨胀、腐蚀、开运算、闭运算．图4a显示了进行膨胀的结果，膨胀时对小孔洞进行填充[15]16；图4d为闭运算处理后结果，膨胀后再进行腐蚀消除了边界点，图像轮廓变得更清晰，图片中目标区域更加明显．

1.4 特征提取

由于核桃果实和其枝叶的颜色色度相近，所以不能用色度区分，以圆度为区分依据将特征提取出来．圆度计算利用公式为

采集100张核桃图片并计算圆度，核桃圆度居于0.8～1.2，当有图形满足以上条件时，被判断为核桃；枝叶圆度小于0.8，被判断为枝叶．

1.5 模板匹配

模板匹配是数字图像处理的重要方法之一，通过模板匹配法可以在图像中找到已知对象[16]．模板匹配就是把目标数据作为模板，将已知的和未知的进行匹配，使模板图像在分割结果上进行滑动，计算二者之间的相似度，根据最终的匹配度来实现目标区域的检测与跟踪[17]．

2 实验结果与分析

2.1 实验结果

将采集的核桃图像根据模板匹配算法对核桃进行定位识别，得到识别结果见图5．

图5中c，g为识别后的图像，从识别出的结果可以得到结论：（1）模板匹配对于核桃边界清晰，轮廓完整未被遮挡的目标区域识别率较高（见图5c）；（2）由于绿皮核桃与其枝叶、背景等颜色相近，因此不能用色度区分，以圆度为区分依据将特征提取出来；（3）对于有遮挡或重叠果实图来说，经过边缘检测及形态学处理后存在一条伪轮廓．为了更好地提取出目标果实的真实轮廓，采用凸包算法对分离后的二值图像进行处理，可解决过分割问题，但会出现空洞，采用填充的方法将空洞去除（见图5f），再采用模板匹配法进行定位识别（见图5g）．

图5 模板匹配后图像

2.2 实验分析

表1 核桃识别率

3 结语

自然环境下，所采集的绿皮核桃图像易受树叶、枝干、天空等背景因素干扰，采集的核桃图片有重叠和遮挡时核桃果实的识别率较低．本文提出对采集的RGB图像进行颜色空间转换、阈值分割、形态学处理、凸包算法及模版匹配的方法，对待测图像中的核桃进行识别、定位标记．实验结果表明，该算法对有重叠、有遮挡的核桃能进行识别，正确识别率达到了89.5%，具有一定的实用价值．

[1] 张毅．商洛市核桃产业发展的主要问题及对策[D]．咸阳：西北农林科技大学，2018．

[2] 沈明明．自然环境中绿苹果目标识别方法的研究[D]．天津：天津理工大学，2018．

[3] 王丹丹，宋怀波，何东健．苹果采摘机器人视觉系统研究进展[J]．农业工程学报，2017，33（10）：59-69．

[4] 马正华，吕小俊，徐黎明，等．近色背景果实识别的多源图像配准[J]．计算机工程与设计，2018，39（11）：3494-3499．

[5] 章毓晋．图像工程（中册）：图像分析[M]．北京：清华大学出版社，2005．

[6] 章云，周素茵，周竹．自然环境下山核桃果实的图像识别提取方法[J]．湖北农业科学，2016，55（21）：5643-5645．

[7] SENGUPTA S，LEE W S．Identification and determination of the number of immature green citrus fruit in a canopy under different ambient light conditions[J]．Biosystems Engineering，2014，117：51-61．

[8] 项荣，应义斌，蒋焕煜，等．基于边缘曲率分析的重叠番茄识别[J]．农业机械学报，2012，43（3）：157-162．

[9] 赵德安，沈甜，陈玉，等．苹果采摘机器人快速跟踪识别重叠果实[J]．农业工程学报，2015，31（2）：22-28．

[10] 于慧杰，李大华，高强，等．自然环境中重叠与遮挡绿苹果图像的识别[J]．激光杂志，2020，41（2）：20-24．

[11] 罗陆锋．视觉感知的葡萄机器人采摘行为及虚拟试验[D]．广州：华南农业大学，2017．

[12] 夏雪．基于计算机视觉的苹果树果实探测与定位方法[D]．北京：中国农业科学院，2018．

[13] 陈彦．基于图像去噪方法的研究[J]．数字技术与应用，2017（5）：131-132．

[14] 韩延彬，郭晓鹏，魏延文，等．RGB和HSI颜色空间的一种改进的阴影消除算法[J]．智能系统学报，2015，10（5）：769-774．

[15] 雷浩鹏．数字图像去噪算法研究及应用[D]．长沙：长沙理工大学，2010．

[16] 邓泽峰，熊有伦，黄小鹏．适应不完整目标的快速模板匹配[J]．光电工程，2010，37（5）：7-11．

[17] 沈明明．自然环境中绿苹果目标识别方法的研究[D]．天津：天津理工大学，2018．

Walnut recognition based on template matching

LIU Kun1，LIU Na2，WANG Yuanyuan3，ZHANG Na3

（1. Danfeng County Meteorological Bureau of Shangluo City，Shangluo 726000，China；2. Shangluo Meteorological Bureau，Shangluo 726000，China；3. Research Center of Artificial Intelligence，Shangluo University，Shangluo 726000，China）

walnut；template matching；threshold segmentation；overlap；identify

TP391.41

A

10.3969/j.issn.1007-9831.2022.02.006

1007-9831（2022）02-0031-06

2021-10-08

气候适应型城市重点实验室项目（SLSY2019031）；商洛市科技局项目（2021-Z-0049）；商洛学院科研项目（19SKY009）

刘坤（1987-），男，陕西商洛人，工程师，从事气象观测、生态监测研究．E-mail：zhang.na.love@163.com