自然环境下山核桃果实的图像识别提取方法

章云++周素茵++周竹

摘要：研究了自然环境下成熟山核桃果实的机器视觉图像识别方法。通过分析顺光、逆光、遮挡等环境下拍摄的山核桃成熟待采时的果实图像，确定了2R-G-B色差模型，用最佳阈值函数进行图像分割，经形态学滤波后采用Canny算子进行边缘检测，提取出复杂背景下山核桃果实的轮廓。试验结果表明，该方法对山核桃果实的有效识别率达86.7%，可为山核桃采摘机器人的研发提供技术参数。

关键词：成熟山核桃果；机器视觉；图像识别

中图分类号：TP391.41 文献标识码：A 文章编号：0439-8114（2016）21-5643-03

DOI：10.14088/j.cnki.issn0439-8114.2016.21.053

The Method for Recognition and Extraction of Pecan Fruit in Natural Environment

ZHANG Yun1，2，ZHOU Su-yin1，2，ZHOU Zhu1，2

（1.School of Information Engineering，Zhejiang A&F University，Linan 311300，Zhejiang，China；

2.Zhejiang Provincial Key Laboratory of Forestry Intelligent Monitoring and Information Technology，Linan 311300，Zhejiang，China）

Abstract： The image recognition method based on machine vision for mature pecan fruit in natural environment was researched.When the pecan fruit is mature，the dprofile of pecan fruit under complex background was extracted through the analysis on the images of fruit trees in direct light，backlight，shelter and other environment by using the 2R-G-B color model，adopting optimum threshold function to achieve image segmentation and selecting Canny operator for edge detection after morphological filtering. The experiment results showed that the effective recognition accuracy of the image recognition method for pecan fruit reached 86.7%，which can provide technical parameters for the research of the pecan fruit picking robot.

Key words： mature pecan fruit； machine vision； image recognition

山核桃是中国特有的一种经济树种，其果实经过加工是一种口味醇香独特、广为大众喜爱的名优干果，具有较高的营养、保健、美容及药用价值，主要生长在中国长江以南的浙江、安徽等省。山核桃产区虽然海拔不高地形却通常陡峭，山核桃树一般高5～10 m，很难通过机械方法进行采收，而白露之后的一两周是山核桃每年仅有的采摘期，一户人家一个星期往往需要打几千斤的核桃[1]，危险性因此更加高。目前，一些厂家试制出的山核桃采摘机械，多是基于高速振动树干或拍打枝条的半自动机械，对山核桃树的损伤较大，因此有必要继续研发山核桃智能采摘机。在机器人采摘研究方面，中国起步不久[2]，近年来国内许多高校积极介入农业机器人领域的研究，通过跟踪国外先进技术，在机器人采摘领域内取得了初步的成果[3-9]，但针对的多为温室或地垄中的栽培作物，无法通用于自然生长环境下的山核桃采摘，在许多关键技术上存在很大差异。

山核桃果既不同于果实与茎叶颜色差异较大的果蔬品种如苹果、荔枝、柑橘等，也有着不同于猕猴桃、黄瓜等近色系果蔬的形态与颜色特征，之前鲜有针对山核桃果实分离识别方法的研究。为此，本文以自然环境下成熟山核桃果为研究对象，根据自然光下山核桃果的颜色特征选取合适的颜色模型，通过自动获取最佳阈值函数进行图像分割，经形态学滤波消除噪声后采用Canny算子进行边缘检测，可以实现对山核桃果的有效识别。

1 图像采集

本研究使用的圖像采集设备是三星GT-I9158相机。在各种自然光照下对多棵山核桃果树上的成熟待采果实进行拍摄。获取图像的分辨率为1 152×2 048，图像类型为JPG。之后在联想电脑Win7系统下使用MATLAB R2010a对所获取的图像进行分析和处理。

2 图像分割

2.1 选择颜色模型

图1为不同自然环境下拍摄的山核桃果图像中为最具典型性的3张，转换成各种颜色模型（包括RGB、YIQ、HSV、Ycbcr、灰度图）进行分析比较，发现辨识度都不佳。再尝试RGB色差模型，将R、G、B三通道的灰度图像分离出来，通过光标读取不同特征区域（山核桃果实、叶片、枝条、天空）的R、G、B值并分析特点，对比了2R-G-B及R-B两种算法的结果，确定前者最为合适，转换结果如图2所示。

2.2 阈值分割

在进行了颜色模型变换后，需要对图像进行二值化处理。目前，最常用和快速的图像分割方法是阈值分割法，其基本原理是通过设定不同的特征阈值，把图像像素点分成若干类。根据对阈值函数的不同约束，有全局、局部、动态三种类型的阈值，其中全局阈值只与点的灰度值有关，可以通过分析灰度直方图来确定阈值[10]。Bulanon等[11]先获得亮度Y与红色R的差值图像，通过计算果实与背景的类间方差最大值求得最优分割阈值；姜林等[12]通过分析R-G灰度采用Otsu阈值法对果实图像进行分割；赵晓霞等[13]采用大津法对灰度图像进行自动二值化处理。本研究采用的是自动获取最佳阈值函数，先将图像转换成Double型，再将水平轴的阈值归一化，经阈值分割后的图像如图3所示。

3 提取果实边缘信息

3.1 图像去噪

因为自然环境下山核桃果图像背景的复杂性，仅运用阈值分割还不能很好地从背景中完全分离出山核桃果实区域，分割后的图像还会有一些残留的噪声，这些噪声主要是一些跟山核桃果颜色特征很相近的枝叶造成的，而图像噪声的存在会妨碍对图像做进一步的分析，因此采用了形态学滤波進行去噪。先对分割后的图像进行先膨胀再腐蚀（开运算），再进行均值滤波，就可以消除绝大部分的噪声，得到比较干净清晰的二值化的山核桃果实区域图像，处理效果如图4所示。

3.2 边缘检测

边缘检测的基本思想是通过检测每个像元和其邻域的状态，如果其邻域像元灰度值的变化比较大，说明该像元位于一个物体的边界上。常用的边缘检测算子有：罗伯特（Roberts）边缘算子、索贝尔（Sobel）边缘算子、Prewitt边缘算子、log边缘算子、拉普拉斯（Laplacian）边缘算子、坎尼（Canny）边缘算子[10]。本研究在试验了各种边缘检测算子后，确定采用Canny算子对处理后的二值图像进行边缘检测，获得的山核桃果轮廓信息如图5所示。

对120幅图像的试验结果进行统计分析，图像中遮挡面积小于50%的山核桃果实共计497个，最后能识别出特征轮廓（圆形或半圆形）的果实431个，成功率为86.7%。在这120幅图像中，包括了各种自然光条件和视角情况，结果表明，本文采用的识别算法能很好地去除树枝、树叶、天空、土地等复杂背景，在逆光（仰视）、果实无遮挡的情况下轮廓提取得最完整，在顺光（俯视）和有遮挡时轮廓提取不完整，甚至失去果实的基本特征产生误识别。分析原因，可能是山核桃果实表面的棱状突起以及色斑会在顺光条件下产生阴影区和色差，在阳光强烈时球状果实还会出现局部的强反射光，在识别结果中就会产生各种变形，造成误识别。后续可以通过建立形态特征模型对已提取的山核桃果实轮廓做进一步的修正，此部分研究工作正在进行中。

4 小结

研究了自然环境下成熟山核桃果实的图像识别方法。利用2R-G-B色差模型对原始图像进行灰度化处理，采用最佳阈值函数进行二值化处理，通过Canny算子进行边缘检测，提取了山核桃果实的特征轮廓。试验结果表明，该方法能准确提取山核桃果实特征轮廓，其有效识别率达86.7%，可有效消除树枝、树叶、天空、土地等复杂背景的影响，证明该方法可以基本满足现场采摘作业的需要，可为今后山核桃智能采摘机机器视觉系统的研发提供理论基础。

参考文献：

[1] 杜香莉，郭军战，冯 汀.我国核桃资源的综合利用研究[J].西北林学院学报，2003，18（3）：82-85.

[2] 吕继东，赵德安，姬 伟，等.开放分布式苹果采摘机器人控制系统研究及实现[J].小型微型计算机系统，2012，33（2）：289-292.

[3] 钱少明，杨庆华，王志恒，等.黄瓜抓持特性与末端采摘执行器研究[J].农业工程学报，2010，26（7）：107-112.

[4] 司永胜，乔 军，刘 刚，等.苹果采摘机器人果实识别与定位方法[J].农业机械学报，2010，41（9）：148-153.

[5] 熊俊涛，邹湘军，陈丽娟，等.荔枝采摘机械手果实识别与定位技术[J].江苏大学学报（自然科学版），2012，33（1）：1-5.

[6] 丁亚兰，耿 楠，周全程.基于图像的猕猴桃果实目标提取研究[J].微计算机信息，2009，25（18）：294-295.

[7] 吕 强，蔡健荣，赵杰文，等.自然场景下树上柑橘实时识别技术[J].农业机械学报，2010，41（2）：185-188.

[8] 张亚静，李民赞，刘 刚，等.基于机器视觉和信息融合的邻接苹果分割算法[J].农业机械学报，2009，40（11）：180-183.

[9] 崔永杰，苏 帅，吕志海，等.基于Hough变换的猕猴桃毗邻果实的分离方法[J].农机化研究，2012，34（12）：166-169.

[10] 秦襄培.MATLAB图像处理与界面编程宝典[M].北京：电子工业出版社，2009.

[11] BULANON D M，KATAOKA T，OTA Y，et al. A segmentation algorithm for the automatic recognition of Fuji apples at harvest[J].Biosystems Engineering，2002，83（4）：405-412.

[12] 姜 林，陈德凤，潘 聪，等.不同形状植物成熟果实的识别提取方法[J].科学技术与工程，2012，12（21）：5135-5143.

[13] 赵晓霞，张铁中，陈兵旗，等.自然环境下桃子图像分割算法[J].农机化研究，2009，31（2）：107-111.