计算机视觉技术在核桃壳、仁及分心木识别中的应用研究

李成吉，张淑娟，邢书海，陈彩虹，孙海霞

(山西农业大学 工学院，山西 太谷 030801)

核桃(Juglans regia)又称胡桃，羌桃，为胡桃科植物，与扁桃、腰果、榛子并称为世界“四大干果”[1]。核桃仁中含有丰富的脂肪、蛋白质、碳水化合物等营养成分，其中不饱和脂肪酸含量很高，核桃仁中含有丰富的维生素、矿物质等微量元素，以及许多对人体有特殊生理功效的生物活性物质，具有很高的营养与食用价值[2]。随着生活水平的提高，人们对饮食结构和营养价值的要求也随之提高，尤其对核桃产品的需求量大大增加，这就需要提高核桃壳仁分选的效率，便于后续核桃深加工。

国内核桃的壳仁分离大多还停留在人工分拣阶段，费时费力，劳动成本高，且主要以物理方法为主。随着计算机视觉技术的不断发展，运用于农产品方面的检测越来越多，并且相对于其它无损检测方法，计算机视觉技术有着成本控制、快速高效等优点。颜秉忠[3]等人基于计算机视觉技术对大枣品质进行检测分级，试验结果表明，系统对各级大枣的识别准确率平均为94%，精准度较高。胡孟晗[4]等人基于计算机视觉技术对香蕉在贮藏过程中的颜色和纹理进行监测，结果表明，结合R和G均值的变化曲线可对香蕉在第6阶段之前的表面状况进行描述，采用基于灰度共生矩阵的对比度和均匀度的变化曲线可对香蕉在第6阶段之后的表面状况进行描述。申爱敏[5]等人基于计算机视觉技术实现了核桃核仁的大小分级，分级正确率达90%以上。赵海波[6]等人基于计算机技术对番茄催熟和正常熟进行识别，识别率为91.7%。

综上，国内研究者基于计算机视觉技术对农产品的检测分级作了大量研究，且效果较好，但在核桃壳、仁及分心木识别方面鲜有报道。本研究自行搭建图像采集系统，采用计算机视觉技术对核桃壳、仁及分心木的识别进行研究，为快速、准确在线识别核桃壳、仁及分心木提供有效的建模方法。

1 材料与方法

1.1 试验材料

山西是核桃种植大省，本试验所用样本为太谷“清香”核桃，并进行人工破壳处理，分离壳、仁及分心木，挑选出180个核桃仁样本、135个分心木样本以及236个核桃壳样本作为研究对象。由于核桃壳的内外侧特征明显不同，对核桃壳的内外侧都需进行研究，故核桃壳样本分为两组，115个样本研究其内侧，121个样本研究其外侧，并利用Kennard-Stone算法[7]将样本分为校正集和预测集，其中核桃仁样本校正集135个，预测集45个；分心木样本校正集101个，预测集34个；核桃壳内侧样本校正集86个，预测集29个；核桃壳外侧样本校正集91个，预测集30个，各样本如图1所示。

图1 试验样本Fig.1 Experimental samples

1.2 图像采集系统及图像处理软件

自行构建图像采集系统，如图2所示，由FRD-AL00相机，北京松下照明光源有限公司的三基色环形荧光灯(型号为YH327200KE)，载物板，检测箱组成。检测箱为自行设计(长宽高为440 mm×335 mm×425 mm)的暗箱，箱体密不透光，内部涂刷成黑色，产生均匀的漫反射环境，外面用黑布遮盖，防止外部环境光线影响。检测箱的上方开一个圆形口(直径为80 mm)，用于放置相机及镜头，且内部顶端安装光源，底部中央有一个载物板，用于放置试验样本。

图2 图像识别系统Fig.2 Image recognition system

将采集好的图像放入计算机(Dell N4120，i5-2 430 M)中存储并筛选，使用Photoshop CS6(Adobe Systems Software Ireland Ltd，USA)获取不含背景的样本图片，在Matlab R2009a( The MathWorks，Natick，USA)对样本图像进行预处理并提取特征值，然后对提取的数据建立LS-SVM 模型，最后在Origin8.5(Origin Lab，USA)绘制模型预测结果。

1.3 图像采集及数据处理工具

核桃壳仁样本采集时，将各样本均匀放置在暗箱内载物板上，并做好标签，然后调整光源和相机，使达到理想的成像效果，依次采集图像。每次采集3幅图像，选取其中成像质量最好的样本图像。

2 结果与分析

2.1 图像预处理

由于采集的原始图片含有噪声信息，影响试验结果。为改善图像的成像效果，消除噪声的影响，需采用合适有效的图像预处理方法，常用的预处理方法有中值滤波和锐化处理。

中值滤波法较一般的线性滤波器，它能够避免边缘模糊，更好的保留图像细节[8]。核桃仁样本图像用不同模板中值滤波效果如图3所示。

图3 核桃仁图像不同模板中值滤波Fig.3 Different template median filtering of walnut kernel image

图像锐化的作用是增强图像的细节表现力，致力于图像边缘轮廓和线条细节信息的表达[9]。核桃仁样本图像用不同邻域锐化处理效果如图4所示。

图4 核桃仁图像不同邻域锐化处理Fig.4 Different neighborhood sharpening of walnut kernel image

由图3和图4可见，3×3模板中值滤波去噪效果较好，四领域锐化处理效果较明显，使特征边界等细节更加明显。因此本文采用3×3模板中值滤波处理，以消除噪声影响。随后对图像进行四领域锐化处理，以增强图像细节的表现力。

2.2 样本图像特征值提取

2.2.1 图像颜色特征提取

颜色测量技术在农产品和食品领域是一种重要的质量评价和监控手段，可以用多种模型来描述物体颜色，但在实际应用中，常用RGB和HSI模型[10～13]。核桃仁样本图像RGB模型和HSI模型如图5所示。

图5 核桃仁图像RGB模型、HSI模型Fig.5 RGB model and HSI model of walnut kernel image

本研究提取各样本RGB和HSI各分量均值和方差共12个颜色特征，各样本颜色特征平均值如表1所示。从表1中看出，4种样本的颜色特征有所差别，因此可作为输入进行建模判别。

2.2.2 图像纹理特征提取

纹理特征描述图像中物体的表面性质，在描述图像同质现象方面有独特优势。在提取纹理特征值时，需将目标图像转换为灰度图像，各样本灰度直方图如图6所示。

灰度共生矩阵(gray level co-occurrence matrix，GLCM)是关于图像亮度变化的二阶特征统计[14]，本文通过灰度共生矩阵分别提取各样本能量、熵、惯性矩、相关性、逆差矩4个方向(0°，45°，90°，135°)共20个纹理特征参数，各样本纹理特征平均值如表2所示。

表1 样本各颜色特征平均值Table 1 Average values of color characteristics of samples

图6 各样本灰度直方图Fig.6 The grayscale histogram of each sample

由表2可见，四种样本各纹理特征有所差别，其中相关性这一纹理特征差别最为显著。

2.3 LS-SVM判别模型的建立

最小二乘支持向量机(LS-SVM)是在经典SVM(Support Vector Machine)上的一种改进，能降低计算复杂度，加快求解速度[15]。

将样本分别赋值作为判别依据，将核桃仁赋值为1，分心木赋值为2，核桃壳赋值为3。分别以校正集样本颜色特征值、纹理特征值、颜色-纹理特征值融合作为输入，建立LS-SVM模型，分别用Y-LS-SVM、W-LS-SVM、Y-W-LS-SVM表示，并对预测集样本进行判别。由于模型预测结果为非整数型数值，所以确定0.5作为最大偏离值，即认为预测类别值与假设类别值之间差值小于0.5时都判定为此类样本。

表2 样本各纹理特征平均值Table 2 Average value of texture features of samples

建立最小二乘支持向量机(LS-SVM)判别模型时，采用径向基核函数(Radial Basis Function，RBF)，其中正则化参数γ和RBF核函数的核宽带σ2的选取采用基于交叉验证(Cross-validation)的网络搜索(Grid-search)，各判别模型参数γ和σ2的选取结果如表3所示。

表3 LS-SVM模型参数Table 3 Parameters of the LS-SVM models

三种模型预测集结果如表4所示，图7a、b、c分别为Y-LS-SVM模型，W-LS-SVM模型，Y-W-LS-SVM模型预测集样本判别结果。

由表4可见，使用颜色特征值作为输入建立的Y-LS-SVM模型对核桃仁、分心木及核桃壳的判别准确率分别为91.1%、82.4%、96.6%，总判别正确率为91.3%；使用纹理特征值作为输入建立的W-LS-SVM模型对核桃仁、分心木及核桃壳的判别准确率分别为100%、85.3%、84.7%，总判别正确率为89.9%；使用颜色-纹理特征值融合处理作为输入建立的Y-W-LS-SVM模型对核桃仁、分心木及核桃壳的判别准确率分别为93.3%、97.1%、100%，总判别正确率为97.1%。显然，颜色和纹理特征融合建立的Y-M-LS-SVM模型识别效果最好，正确识别率高于单一特征模型，这是由于颜色和纹理特征融合后，能更好的区分出核桃壳、仁及分心木的差别，表明特征组合可以产生更好的识别效果。

3 结论

(1)构建图像采集系统，通过对获取的核桃壳、仁及分心木样本图像的处理，提取样本图像12个颜色特征值和20个纹理特征值，比较全面的描绘了不同样本的特征，能够满足进一步对不同样本的识别。

(2)建立了分别以颜色特征值、纹理特征值以及颜色和纹理特征值融合处理为输入的最小二乘支持向量机(LS-SVM)模型，均对核桃壳、仁及分心木有很好的识别效果，其中以颜色和纹理特征值融合处理为输入的Y-W-LS-SVM模型判别准确率最高，识别效果最好，总判别正确率为97.1%。

(3)基于计算机视觉技术的方法可以对核桃壳、仁及分心木进行识别，为进一步实现核桃壳、仁及分心木自动分选技术提供基础条件，为提高我国核桃产业水平具有重要意义。