山核桃图像头尾检测方法

张塔烺，应宏微，邱雪娜，徐迪凯，戴志阔

(宁波工程学院电信学院 315211)

2017-07-08

张塔烺，男，1993年生，助理工程师。

*通讯作者：应宏微，男，1979年生，讲师

(E-mail：yinghongwei@163.com)。

浙江省宁波市自然科学基金(2013A610113)；国家级大学生创新创业训练计划(201511058001)。

山核桃图像头尾检测方法

张塔烺，应宏微*，邱雪娜，徐迪凯，戴志阔

(宁波工程学院电信学院 315211)

为了将山核桃击压姿态调整至最佳，以提高手剥山核桃的碎壳品质，提出了一种基于机器视觉与山核桃图像特征的山核桃头尾检测方法。运用数学形态学等方法，提取山核桃图像的外轮廓、纹理、大小等特征，结合山核桃的几何尺寸与纹理分布建立数学模型，进行山核桃头尾位置的检测，从而得到姿态调整的角度，为后期自动化击压加工山核桃提供了便利。

山核桃；机器视觉；图像处理

山核桃又称小核桃，其坚果种仁富含脂肪、蛋白质及大量人体必需矿质元素，风味独特，深受消费者喜爱，是我国南方重要的特色干果和木本油料树种，在全国范围内具有广泛的知名度[1]。在各类山核桃产品中，手剥系列的山核桃由于食用方便占据了市场一半以上的份额，但品质尚未达到消费者满意的程度。目前手剥的工序主要由机械击打式或挤压式碎壳机实现，但有些手剥山核桃未被有效碎壳，还是需要借助工具才能打开，有些山核桃被击打过碎造成折损率过高。而造成这些情况的主要原因就是山核桃碎壳工艺一直没有太大的进步。

山核桃虽然个体大小存在差异，但内部的构造却较为一致，如图1所示，从果顶一直延伸到果尾共有4个支柱，每2个支柱夹着一片核桃仁。要想得到真正意义上的手剥品质，必须把这4根支柱进行压碎。但传统碎壳机在击压方位、距离和力度上随机性较大，难以精确调整，导致碎壳效果的随机性，而碎壳的优劣情况直接影响到成品山核桃的折损率与手剥品质[2]。

图1 山核桃内部结构图

根据经验，山核桃最佳击压位置位于头尾两端，对这两个固定位置进行击压，就可以在保证低折损率的前提下大幅度提高山核桃的手剥品质。但是，目前的山核桃击压机械中，并没有有效的姿态自动调整方法，而是任意角度的击压，因此造成了市场上山核桃手剥品质普遍不高的现象。基于以上问题，本文提出了一种基于机器视觉的山核桃头尾检测方法。采用CCD相机获取山核桃的数字图像[3]，在对山核桃形状及纹理进行大量统计分析的基础上，通过数学形态学的方法，提取山核桃图像的外轮廓、纹理、大小等特征[4]，结合山核桃的几何尺寸与纹理分布建立数学模型，检测出山核桃头尾的位置，为后期山核桃的自动姿态调整提供依据。

1 山核桃特征提取

1.1图像采集及预处理

试验所使用的山核桃样本由浙江省临安市南阳炒货食品有限公司提供，其果径范围1.80～2.20 cm。山核桃的图像采集在一个安装有圆环形LED灯带、背景为白色的区域内进行。首次采样时，调整摄像头的教具和样品位置，使采集到的图像达到最佳的清晰度。固定相关参数，以便后续图像采集，并将采集到的图像数据通过USB接口传送到计算机。

对获取的原始彩色图像进行灰度变换，得到原始图片的灰度图，如(1)式所示：

I=0.3·B+0.59·G+0.11·R

(1)

(1)式中，B、G、R分别表示彩色图像的蓝色、绿色、红色分量，I表示对应的灰度值。将灰度图像进行平滑滤波，去除图像中的噪点，避免对后继处理造成干扰。平滑滤波的方法具体采用高斯滤波[5]，高斯滤波的核采用标准差为1.0的整数高斯核，与I做卷积运算后产生滤波后的图像I′， 如(2)式所示：

(2)

灰度化及平滑滤波效果如图2所示。

1.2外轮廓及纹理特征提取

得到滤波后的灰度图像后，采用一阶微分(Prewitt算子)进行变换[6]，得到如图3a所示的山核桃图像，突出山核桃的边缘信息。接着采用递归二值化操作，得到二值化后的山核桃边缘图像，边缘为黑色，非边缘为白色，如图3b所示。对二值化图像选择最大连通域[7]，去掉二值化图像中较小的区域，只剩下山核桃区域的二值化信息，然后进行数学形态学上的闭合操作，可填充山核桃区域内较小的孔隙，如(3)式所示：

图3 山核桃图像的分割

A·B=(A⊕B)ΘB

(3)

(3)式中，“·”表示二值化图像A与结构算子B的闭合元算，“⊕”表示膨胀运算，“Θ”表示腐蚀运算，本文中结构算子B选取为5个像素的十字形结构。填充闭合运算后的山核桃区域二值图像，得到如图3c所示的图像，黑色部分为完整的山核桃区域，白色部分为背景区域。将该图像作为模板，从原始灰度图像中提取山核桃目标，得到不含背景的山核桃灰度图，如图3d所示，其仍然保留了原始图像的纹理、轮廓和大小等信息。然后，扫描山核桃的无背景灰度图，如图4a所示。将背景和山核桃交界处的像素置为黑色，其他置为白色，提取出山核桃的外轮廓，如图4b所示。

图4 山核桃外轮廓和纹理图的提取

将无背景的原始灰度图像进行高斯滤波，去除噪点，再利用Sobel算子进行边缘检测[5]，接着进行递归二值化，得到二值化边缘图像，采用连通面积大于阈值的方法除去细小边缘的干扰，得到干净、稳定的山核桃纹理图像，如图4c所示。

2 山核桃头尾检测算法

分析山核桃的图像特征，首先从形状上来看，山核桃呈坚果卵形或广椭圆形。果尾圆滑，果顶尖锐，果头较其他部位有明显的凸起；其次从纹理上来看，整体的纹理呈纺锤形，集中于果头和果尾。在果头附近大而粗；在果尾附近纹理细而密，而且其尾部果蒂周围的颜色明显比周围更深。

根据前述，在提取出山核桃图像的纹理、外轮廓等特征的基础上，可进行果头果尾的检测，根据果头果尾在图像中的坐标，可计算出将要调整的角度。具体过程如图5的流程图所示。

图5 头尾检测算法流程图

对于外轮廓凸点明显的情况，采用凸点检测得到山核桃的头部位置，然后根据其中心点坐标和头部坐标计算出调整角度；对于外轮廓凸点不明显的情况，采用纹理检测近似得到山核桃的头部位置，同样可以计算出调整角度。

2.1外轮廓凸点检测

得到轮廓图后，首先检测该轮廓是否存在凸起，具体步骤：

根据(4)式求出山核桃的中心：

(4)

式中，n为图像外轮廓像素点数，xi、yi表示外轮廓各像素点的坐标，x0、y0表示山核桃的中心坐标，如图6a所示。

从最左下角外轮廓的像素点开始，顺时针进行边界跟踪，每隔3个像素点进行采样，得到每个采样点的坐标。根据采样得到的坐标点依次按(5)式求得各个斜率，按(6)式求得各斜率差值。

(5)

(6)

式中ki为每个采样点的斜率；Di为每个采样点的斜率与后一采样点斜率的差值。当外轮廓存在凸起时，由图6c可知，该折线图中存在一个较大的波峰。利用该特性，得到差值最大的采样点坐标就是该凸起的位置，也就是该山核桃的果顶位置，如图6b所示。根据中心点和凸点的坐标，从(7)式，就可以得到姿态调整的角度。

(7)

图6 外轮廓凸点检测头尾点

2.2纹理检测

对于外轮廓凸点不明显，难以直接得到果头位置的情况，可采用纹理检测的方法近似得到果头的坐标。根据观察，在均匀光照下，山核桃表面的纹理具有对称性，而且分布呈现规则的纺锤形，集中于果顶和果尾，如图7a所示。这个规律是分析纹理的重要信息，它是利用纹理信息进行调整角度求解的基础。

图7 纹理检测头尾点

对中心点(x0,y0)建立穿过该中心点的备选直线方程，如(8)式所示，作为中心轴方程族，k为斜率。

y-y0=k(x-x0)

(8)

固定k，依次求出对称轴两侧的纹理目标点数和Sl和Sr，最后得到对称轴两侧目标点数值。

当对称轴越接近实际对称的角度时，Sl和Sr的差值D越小，当D最小时，对称轴最接近于实际的对称轴，记此时的k等于最优的kopt，则对称轴方程为y-y0=kopt(x-x0)，如图7b所示。根据该对称轴方程，就可以得到姿态调整的角度。对称轴的两个端点即是山核桃的头尾端。

3 结果与分析

通过对随机选取的40颗山核桃样本进行机器检测和人工实测发现：当拍摄的照片中既存在果头又存在果尾时，自动计算出的角度与实际角度最为接近；当图像中只存在果头时，所得到的调整角度与实际偏差最大在2°左右；当图像中只存在果尾时，由本算法计算出的调整角度与实际偏差最大在10°左右。传统人工碎壳的实际最大角度偏差基本在±15°左右[8-9]。因此，本文所提出的头尾检测算法，其偏差对碎壳品质的影响甚小，在碎壳工艺中完全处于可接受范围之内。

在后续的研究中，应结合姿态调整的机械结构进行合理优化，提高处理效率和可靠性，在保证效率的前提下，大幅度提高手剥山核桃品质，以此满足山核桃加工行业的需求。

[1]常君,任华东,姚小华,等.山核桃不同无性系果实性状及营养成分分析[J].林业科学研究, 2017,30(1) :166-173.

[2]刘明政,李长河,张彦彬,等.柔性带差速挤压核桃脱壳性能试验[J].农业机械学报,2016,47(9):99-107.

[3]MARSHALL G.Choosing A Frame Grabber For Performance & Profitability[EB/OL].(2017-05-20).http://www.imagenation.com/white_papers.html WhitePaper_5,1997/2017-1-25.

[4]HONGWEI YING,JIATAO SONG,JINHE WANG, et al.Reseach on Feature Points Extraction Method for Binary Multiscale and Rotation Invariant Local Feature Descriptor[J].ICTACT Journal on Image and Video Processing:Special Issue on Video Processing for Mulimedia Systems,2014,5(1):873-878.

[5]姚敏.数字图像处理[M].北京:机械工业出版社,2006:225-261.

[6]夏德深,傅德胜.现代图像处理技术与应用[M].南京:东南大学出版社,2001:80-100.

[7]SALEMBIER P,SERRA J.Flat Zones Filtering,Connected Operator and Filters by Reconstruction [J].IEEE Transactions on Image Processing,1995,4(8):1153-1160.

[8]曹乐平,温芝元.补偿模糊神经网络水果形状分级器分级误差[J].农业工程学报,2008,24(12): 102-106.

[9]饶秀勤,应义斌.基于机器视觉的水果尺寸检测误差分析[J].农业工程学报,2003,19(1):121-123.

ImageinspectionforheadandtailofCaryacathayensis

ZHANG Ta-lang, YING Hong-wei*, QIU Xue-na, XU Di-kai, DAI Zhi-kuo

(CollegeofElectronicandInformationEngineering,NingboUniversityofTechnology,ZhejiangProvince315211)

A detection way for head and tail ofCaryacathayensisbased on the machine vision and image characteristics were proposed in order to adjust the best position for crumbling and improve the shell crumbling quality ofCaryacathayensisduring artificial processing. On the basis of mathematical morphology, the characteristics ofCaryacathayensis, such as shape, texture, size, were established firstly, and a mathematics model was built according to the size and texture ofCaryacathayensis; then the head and tail ofCaryacathayensiswere detected, and the suitable position for shell crumbling was determined to provide reference for the automatic shell remove ofCaryacathayensisin future.

Caryacathayensis; machine vision; image processing

10.13651/j.cnki.fjnykj.2017.07.011

(责任编辑：黄金泽)