张玉荣 陈赛赛 姜忠丽 周显青
(河南工业大学粮油食品学院,郑州 450001)
基于图像处理的小麦容重检测方法研究
张玉荣 陈赛赛 姜忠丽 周显青
(河南工业大学粮油食品学院,郑州 450001)
为了实现图像处理技术对小麦容重影响因素的分析和容重的准确识别,研究了一种基于小麦图像特征和模式识别的小麦容重检测方法。采集不同容重小麦完整籽粒和籽粒横切面图像,对图像进行中值滤波、形态学运算、图像分割等处理,提取原图像与处理后图像的形态、颜色和纹理共3大类44个特征参数。最后采用逐步判别分析对提取的特征参数进行筛选,建立线性参数统计分类器和BP神经网络模型实现小麦不同容重的检测。结果表明,与小麦横切面图像特征相比,小麦完整籽粒图像的特征参数能更好的反映不同容重的差异;2种分类器对基于完整籽粒图像的小麦容重整体识别率均在95%以上。研究结果证明将图像处理技术应用于小麦容重检测识别是可行的。
图像处理 小麦 容重 逐步判别分析 神经网络 识别
《小麦》国家标准(GB 1351—2008)采用容重作为小麦定等的指标,该标准是小麦流通过程中判定其质量等级的重要依据[1]。一般来说,籽粒成熟饱满、结构紧密、颗粒小、含水量低的样品,容重较大;反之,容重较小。目前,关于水分[2-3]、杂质[4]等因素对小麦容重影响的研究已有大量的报道。关于小麦自身结构如形状、大小、整齐度、胚乳质地等综合因素对容重的影响程度如何,目前鲜见报道,主要原因在于以人工检测为主的常规检测难以实现此类指标的描述和统计分析。
随着信息技术的迅速发展,粮油及其他农产品检验已经逐渐向无损检测、在线检测的方向发展,计算机图像处理技术作为一种新的检测方法,受到国内外学者的普遍关注。图像处理技术在农产品质量与品质的检测过程中,通常从样品的形态、颜色和纹理等方面提取特征参数,用于农产品特征描述并对其进行评价。因此,可以使用图像处理技术对小麦籽粒的形状、大小、光滑度、胚乳质地等因素进行描述。目前,利用图像处理技术进行大米[5-7]、玉米[8]、马铃薯[9-10]、花生[11-12]等农产品质量与品质检测已经取得了一定进展。在小麦质量与品质检测方面,也有诸多研究成果,主要涉及小麦品种与种类识别[13-17]、质量分级[18]、角质和硬度检测[19-21]等方面。本研究以不同容重小麦作为研究对象,采用图像处理技术获取小麦籽粒的形态、颜色和纹理特征,研究小麦形态、内部结构等因素对容重的影响程度,以期客观的认识和评价小麦容重的影响因素。此外,根据不同容重小麦的特征差异,使用相应的模式识别方法建立检测模型,为图像处理技术在小麦容重检测中的应用提供参考。
本试验所用的4个等级小麦样品(2012年产)均采自黄淮麦区,由河南省粮油饲料质检中心提供,除去样品中的杂质和不完善粒后将样品储存于4℃左右的恒温冰箱。
HGT-1000A型容重器:上海东方衡器有限公司生产;LDS-1G谷物水分测定仪:上海青浦绿洲检测仪器有限公司生产;纷腾h9型平板式扫描仪(光学分辨率(dpi):2400×4800;扫描元件:CCD):上海中晶科技有限公司生产;计算机(处理器:Intel Core;内存:2.00 GB):联想有限公司生产;MATLAB R2010a、SPSS17.0、SAS9.1软件。
小麦水分用谷物水分测定仪测定,水分测定后将所有样品水分调至(12.5±0.5)%。
小麦样品调节水分并至水分平衡后测定容重,容重测定方法参见GB 5498—1985《粮食、油料检验容重测定法》。
从一等到四等4个等级的小麦样品中分别选取若干份容重相近的小麦样品,分别对每种等级的小麦进行完整籽粒图像和籽粒横切面图像采集。对小麦籽粒横切面图像进行采集时,使用单面刀片将小麦籽粒从中部横向切断,保留带胚芽的部分用于图像采集。对于每个等级的样品,将小麦籽粒以互不粘连的方式置于扫描仪上,以黑色环氧树脂板为背景,将扫描仪亮度调为-30,对比度调至30,分辨率600 dpi扫描小麦籽粒数字化图片,图片以BMP格式储存。图像采集完成后,对图像进行中值滤波、形态学运算等预处理,以达到图像增强的目的。
不同容重的小麦籽粒在外观、颜色、光滑度等方面均存在一定差异,故选择形态、纹理和颜色特征参数表征小麦容重的不同。对于采集到的原始图像和预处理后的图像,使用MATLAB R2010a软件编程实现特征参数提取,本试验选取以下图像特征参数参与小麦籽粒特征参数的提取。
颜色特征参数:提取RGB(红色、绿色、蓝色)颜色模型和HSI(色调、饱和度、亮度)颜色模型中的各颜色分量均值和方差等参数用于小麦容重的识别。
形态特征参数:小麦籽粒形态可以通过二值图像标号将每一个小麦籽粒从整体图像中提取出来,图像经形态学运算处理后,可有效去除噪声干扰,之后利用籽粒区域和边界特性可提取籽粒形态特征。本研究使用的小麦形态特征参数包括籽粒长轴长、短轴长、长宽比、周长、面积、伸展度、等效圆直径、离心率、紧密度等参数。小麦籽粒形态特征中的周长、面积、长轴长等参数可以通过区域内像素点个数统计得到,离心率、紧密度等特征参数可以通过相关参数之间的比率得到。
纹理特征参数:纹理是对局部区域像素之间关系的一种度量,可用于定量描述图像中的信息。本试验选取基于区域的亮度直方图的一些纹理描绘子用于小麦籽粒的纹理分析,选取的纹理特征参数包括图像的平均亮度、平滑度、平均对比度、一致性、三阶矩、熵等参数。图像的平均亮度表示为:m=其中zi是表示亮度的随机变量,p(z)是一个区域中灰度级的直方图,L是灰度级数。其他纹理描绘子表示为:
由于相同容重的小麦在籽粒颜色、形态和纹理特征之间也会存在较大的差异,因此单个籽粒的图像特征难以准确的反映该容重下的小麦整体特征。本次试验中,提取出每个籽粒的特征参数后,进一步对整张图像的籽粒特征参数取均值,将每张图像的特征参数均值用于不同容重小麦的特征差异描述。
为了减少数据冗余并缩短数据处理时间,使用逐步判别分析进一步选取对分类识别贡献率较大的参数,该过程使用SAS数据处理软件完成。
模式识别过程分别使用线性参数统计分类器和BP神经网络模型完成,线性参数统计分类器使用SAS 9.1软件建立,BP神经网络模型使用MATLAB编程完成。
本试验中BP神经网络选用单隐层结构,其神经元传递函数选用S型正切传递函数tansig,输出层采用S型对数传递函数logsig,网络训练函数采用trainlm。输入层神经元个数由通过逐步判别分析筛选的参数数量确定,中间层节点数通过训练来确定。网络输出为4种容重等级,因此输出层的神经元应该有4个,目标输出模式为(1000)、(0100)、(0010)和(0001)。对于每种等级的小麦样品,分别采集小麦完整籽粒和籽粒横切面图像各100张,随机选取其中的60张作为训练样本,剩余的40张作为测试样本,用于模型的学习和测试。
采集到的小麦完整籽粒与横切面图像如图1所示,本研究选取的小麦样品来源于同一收获年限且水分含量相同,避免了因小麦水分含量、收获年限等因素的不同对图像特征参数造成影响。
图1 小麦籽粒原始图像
由图2可以看出,图像经滤波处理后,噪声明显减少,图像变得清晰,图像边缘及细节部分信息也得到较完整的保存。图像的二值化处理有助于提取籽粒的形态特征信息,但是二值化处理后的图像容易使小麦籽粒形成断裂、孔洞等现象,影响籽粒区域和边界的描述。形态学图像处理可以平滑籽粒的轮廓、消除细小的突出物或孔洞,依次使用形态学处理中的开运算、闭运算对图像进行处理后,小麦籽粒图像中的孔洞和裂缝基本被清除。
图2 图像预处理效果
小麦图像完成采集或预处理后,首先采用MATLAB软件编程提取小麦籽粒原始图像与预处理后图像的44个特征参数,然后使用SAS软件中的逐步判别分析对提取的特征参数进行筛选,参数类型及数量如表1所示。
表1 逐步判别分析前后图像特征参数数量
通过逐步判别分析对所有特征参数进行筛选后,可有效减少数据冗余,并筛选出对识别影响较大的前10个贡献最大的特征参数。由表2可知,对于完整籽粒图像,颜色特征能较好的反映不同容重小麦的籽粒差异,其次是形态特征和纹理特征。对于籽粒的横切面图像,颜色和纹理特征能较好的反映不同容重小麦的籽粒差异,形态特征影响很小。
表2 利用逐步判别分析选取的前10个贡献较大的特征参数
之前的逐步判别分析已经完成了特征参数的筛选,利用筛选出的对识别贡献较大的变量,继续使用SAS软件中的DISCRIM过程,完成线性参数分类器的建立。以完整小麦籽粒图像为例,将通过逐步判别分析得到的形态、颜色和纹理特征参数用于小麦容重的识别,利用SAS判别分析建立各容重等级相应的线性判别模型,4种等级容重对应的判别函数分别为:
Y1(X)=-4 5 0 2+1 6.2 1X1-8 7.5 1X2+0.6 9X3-1 9 0.7 9X4-2 8.4 6X5+4 3 5 1 3X6+2 4 5.9 8X7+1.2 1X8+2 3 0.7 3X9+3 8.6 1X10
Y2(X)=-4 2 3 0+1 3.6 9X1-9 8.9 4X2+1.1 9X3-1 6 4.9 9X4-2 7.2 8X5+4 0 6 7 8X6+2 1 9.1 1X7+1.0 9X8+2 0 9.8 7X9+3 8.7 7X10
Y3(X)=-4 6 0 7+1 8.6 3X1-7 0.3 6X2+1.2 8X3-1 9 8.1 8X4-3 0.9 1X5+4 6 3 4 7X6+2 5 4.6 2X7+1.1 8X8+2 3 4.3 8X9+3 7.7 5X10
Y4(X)=-4 7 4 7+1 8.1 1X1-9 7.2 1X2+0.9 5X3-2 1 0.0 4X4-2 9.5 4X5+4 5 7 8 6X6+2 6 4.9 5X7+1.2 9X8+ 257.14X9+39.09X10
使用上述线性判别分析模型对小麦容重进行识别,对样本训练集的正确回判率达到96.67%~100%,可以较好的反映小麦容重的差异,对测试集的识别结果如表3所示。
表3 完整籽粒图像测试集样本容重识别结果
使用相同的方法,将通过逐步判别分析筛选出的形态、颜色和纹理特征参数用于不同容重小麦横切面图像的描述分析,可以建立基于横切面信息的不同容重小麦的识别模型,4种等级容重对应的判别函数分别为:
Y1(X)=-21 104+26 078X1+1 665X2-108X3+25.26X4-60.78X5-50 379X6+416X7+109X8+5 786X9+28.31X10
Y2(X)=-20 848+25 969X1+1 594X2-107X3+25.15X4-60.04X5-50 101X6+382X7+108X8+5 761X9+27.51X10
Y3(X)=-20 677+25 907X1+1 573X2-103X3+24.53X4-59.51X5-51 546X6+376X7+103X8+5 721X9+27.62X10
Y4(X)=-20 723+25 869X1+1 547X2-102X3+23.77X4-58.71X5-51 512X6+360X7+104X8+5 710X9+27.36X10
该模型对训练集的正确回判率为86.67%~95.00%,对测试集的识别结果如表4所示。
表4 籽粒横切面图像测试集样本容重识别结果
由表3和表4可知,使用统计分类器对小麦容重进行识别时,分类器对基于完整籽粒图像的小麦容重识别正确率高于基于横切面图像的小麦容重识别。由筛选出的特征参数可知,基于小麦横切面的图像特征参数主要为颜色和纹理特征,缺乏小麦籽粒大小等形态特征。由于小麦籽粒结构的紧密程度、胚乳质地等因素可以通过颜色和纹理参数表现出来,因此可以肯定小麦胚乳质地等内部结构因素对容重影响较大,同时小麦籽粒大小、粗糙度等因素对小麦也有一定影响。
将相同的样本使用BP神经网络模型进行分类识别,由筛选出的特征参数个数可知网络的输入神经元个数为10,根据Kolmogorov定理,隐含层可以取21个节点。由于中间层的神经元个数直接影响网络的非线性预测性能,因此隐含层节点数分别选取17、19、21、23、25,采用试凑法检验不同节点个数下的网络性能,即BP神经网络的结构为10-(17、19、21、23、25)-4,当网络的预测误差最小时,网络中间层的神经元个数就是最佳值。
使用不同隐含层节点数构建神经网络,学习速率定为0.05,网络训练结果表明,当中间层节点数为19时,经过73次训练后,网络输出的均方误差已经降低到0.007 25,达到了目标误差要求,并且网络训练时间与其它结构网络相比也较短。因此,研究中将中间层节点数选为19,神经网络结构为10-19-4。
用160个测试集样本对神经网络模型的识别正确率进行检验,其结果如表5所示,该模型对小麦不同容重等级的识别正确率为95.00%~97.50%,总体识别正确率为95.63%。
表5 BP神经网络模型对基于完整籽粒图像的容重等级识别结果
使用相同的方法对基于横切面信息的小麦容重进行识别,经过比较,将网络结构设计为10-21-4时,网络性能最好。使用该模型对小麦容重进行识别,其结果如表6所示。
表6 BP神经网络模型对基于横切面图像的容重等级识别结果
由表5和表6可以看出,使用BP神经网络模型对小麦容重进行识别时,模型对基于完整籽粒图像的小麦容重识别正确率同样高于基于横切面信息的小麦容重识别。
由表3~表6可知:从2种分类器对小麦容重识别的正确率可以看出,BP神经网络分类器的性能与线性参数统计分类器相当。此外,从完整籽粒的图像提取特征参数用于小麦容重的识别,统计分类器和神经网络分类器均能得到较高的识别正确率;采集小麦横切面图像用于小麦容重的识别时,两种分类器对其识别率均略低于基于完整籽粒图像的小麦容重识别。由于小麦横切面图像缺少了小麦籽粒的表皮褶皱情况、小麦籽粒的大小、饱满程度等信息,但却可以更直接的反映小麦籽粒内部的胚乳质地等情况,因此可以证明,小麦容重大小主要取决于小麦籽粒结构的紧密程度等内在品质,但小麦籽粒的饱满程度、腹沟深浅、籽粒光滑度等因素对容重也有明显影响。
3.1 对采集到的真彩色图像进行中值滤波、形态学运算等预处理,可以较好的实现图像增强和消除噪声的目的,能够满足图像特征信息提取的要求。通过对形态学运算处理后的二值图像进行像素点统计等相关运算,可以得到小麦籽粒的形态特征信息,对原始图像及其子图像处理后进行颜色和纹理特征参数提取,可以获取小麦籽粒图像的颜色和纹理特征信息。使用这些特征参数反映小麦籽粒的大小、长宽比、饱满程度、光滑度等与容重相关的因素是可行的。
3.2 利用图像处理技术分别提取了小麦完整籽粒和小麦横切面图像的形态、颜色和纹理共44个特征参数,提取出每个籽粒的特征参数后,对整张图像的籽粒特征参数取均值,将此均值用于不同容重小麦的特征差异描述,比使用单籽粒图像特征参数更具代表性。使用逐步判别分析对特征参数进行处理,比较筛选出的特征参数可知:对于完整籽粒图像,颜色和形态特征能较好的反映容重的差异;对于小麦横切面图像,颜色和纹理特征能较好的反映容重的差异。
3.3 分别建立线性参数统计分类器和BP神经网络分类器,用于不同容重小麦的检测识别。结果表明,2种分类器对基于完整籽粒图像的小麦容重识别率均高于基于小麦横切面图像的小麦容重识别,由此可见小麦容重主要取决于籽粒结构的紧密程度、胚乳质地等因素,但小麦籽粒的饱满程度、腹沟深浅、籽粒光滑度等因素对容重也有明显影响。此外,2种分类器对基于完整籽粒图像的小麦容重的整体识别率均在95%以上,证明将图像处理技术应用于小麦容重检测是可行的。
[1]GB 1351-2008,小麦[S]
[2]邵慧,李荣锋,张景花,等.小麦水分含量对容重影响的研究[J].粮油食品科技,2009,17(3):1-3
[3]司建中.小麦水分含量对容重及硬度的影响[J].粮食储藏,2011,40(5):47-49
[4]张玉荣,王君利,周显青,等.杂质类型及含量对小麦容重的影响[J].河南工业大学学报,2008,29(1):7-11
[5]Wan Y N,Lin CM,Chiou JF.Rice quality classification using an automatic grain quality inspection system[J].Transactions of the ASAE,2002,45(2):379-387
[6]尚艳芬,侯彩云,常国华.基于图像识别的黄粒米自动检测研究[J].农业工程学报,2004,20(4):146-148
[7]Courtois F,Faessel M,Bonazzi C.Assessing breakage and cracks of parboiled rice kernels by image analysis techniques[J].Food Control,2010,21(4):567-572
[8]郝建平,杨锦忠,杜天庆,等.基于图像处理的玉米品种的种子形态分析及其分类研究[J].中国农业科学,2008,41(4):994-1002
[9]Tao Y,Heinemann PH,Varghese Z,et al.Machine vision for color inspection of potatoes and apples[J].Transactions of the ASAE,1995,38(5):1555-1561
[10]周竹,李小昱,陶海龙,等.基于高光谱成像技术的马铃薯外部缺陷检测[J].农业工程学报,2007,28(21):221-228
[11]陈红,熊利荣,胡筱波,等.基于神经网络与图像处理的花生仁霉变识别方法[J].农业工程学报,2007,23(4):158-161
[12]韩仲志,赵友刚.基于计算机视觉的花生品质分级检测研究[J].中国农业科学,2010,43(18):3882-3891
[13]Manickavasagan A,Sathya G,Jayas D S.Comparison of illuminations to identify wheat classes usingmonochrome images[J].Computers and Electronics in Agriculture,2008,63(2):237-244
[14]Paliwal J,Shashidhar N S,Jayas D S.Grain kernel identification using kernel signature[J].Transactions of the ASAE,1999,42(6):1921-1924
[15]LuoX,Jayas D S,Symons S J.Comparison of statistical and neural network methods for classifying cereal grains usingmachine vision[J].Transactions of the ASAE,1999,42(2):413-419
[16]Zhang G,Jayas D S,Jiang D Y,et al.Grain classification with combined texture model[J].Transactions of the ASAE,2001,17(1):149-153
[17]Choudhary R,Paliwal J,Jayas D S.Classification of cereal grains using wavelet,morphological,colour,and textural features of non-touching kernel images[J].Biosystems Engineering,2008,99(3):330-337
[18]王志军,丛培盛,周佳璐,等.基于图像处理与人工神经网络的小麦颗粒外观品质评价方法[J].农业工程学报,2007,23(1):158-161
[19]Xie F,Pearson T,Dowell F E,et al.Detecting vitreous wheat kernels using reflectance and transmittance image analysis[J].Cereal Chemistry,2004,81(5):594-597
[20]Wang N,Zhang N,Dowell FE,etal.Determining vitreousness of durum wheat using transmitted and reflected images[J].Transactions of the ASAE,2005,48(1):219-222
[21]范璐,周展明,汤坚,等.图像分析测定红麦硬度方法的研究[J].中国粮油学报,2002,17(6):28-31.
Detection Method of Volume-Weight of Wheat by Image Processing
Zhang Yurong Chen Saisai Jiang Zhongli ZhouXianqing
(College of Food Science and Technology,Henan University of Technology,Zhengzhou 450001)
In order to analyze the factors that affect the volume-weight and realize accurate identification of volume-weight ofwheatby image processing technology,a novel detectionmethod has been researched based on image features ofwheat and pattern recognition method.Different volume-weights ofwheat have been utilized and full grain imageswere taken aswell as grain cross-section images.Then some image processing likemedian filtering,morphological operations and image segmentation were performed to extract44 parameters from the three characteristic categories(shape,color and texture).STEPDISC was used to select image features and linear-function parametric statistical classifier.Back propagation neural network model was established to detect different volume-weights of wheat.The results showed that the features of full grain images expressed amore significant difference between different volume-weight than the features of grain cross-section images.The overall recognition rate of over 95%was achieved for full grain images using the statistical classifier and BPNNmodel.The results indicated that itwas feasible to identify the volume-weight ofwheat by image processing.
image processing,wheat,volume-weight,stepwise discriminant analysis,neural network,identification
S126;TS210
A
1003-0174(2015)03-0116-06
国家自然科学基金(31371852),河南工业大学校科学研究基金研究生教育创新计划(2012YJCX29)
2013-11-29
张玉荣,女,1967年出生,教授,农产品储藏与品质分析
姜忠丽,女,1968年出生,副教授,食品质量控制及粮油储藏