韩仲志 赵友刚
(青岛农业大学理学与信息科学学院,青岛 266109)
花生外观品质品种图像分析与系统仿真
韩仲志 赵友刚
(青岛农业大学理学与信息科学学院,青岛 266109)
针对目前花生外观品质检测的局限性,提出采用图像处理的方法进行的花生外观品质的检测,并基于Matlab的图形用户界面(GUI)环境建立仿真平台,平台集成了ANN、SVM等模式识别新方法和相应的经典图像处理算法,并给出了在该平台上的仿真实例,针对10个品种、14种品质的单籽粒图片共4 800副,检测了形态、颜色和纹理3大类共33个特征,采用了基于ANN和SVM识别模型对花生的商业规格、品种和品质进行了检测,总体检测正确率达到了97%以上,该平台具有良好的交互性、扩展性、可视性和实用性,对花生外观品质评价结果客观量化、快速无损。该平台在花生的生产、流通、贸易领域具有一定的实用性。
花生 品质检测分析 图像处理 人工神经网络 仿真平台
花生品质的好坏直接影响着生产、加工、消费、外贸各个方面。我国花生年产量占世界的40%,世界第一,但出口量只占世界贸易的5%,同时贸易价格比国际平均价格低2成。究其原因是我国花生的品质不高和花生品质检测手段的落后,这两个方面已是制约我国花生产业发展的瓶颈。此外花生的大小规格和花生的品种在一定程度上影响着花生外贸的价格,花生的品种还影响花生种子贸易的发展。
目前我国对花生仁的外观感官品质品种的检测,多在手工层面及生化鉴定方面进行,手工检测工作量大、易疲劳、要求工作人员应具有较丰富的检测经验;生化鉴定方法需要价格昂贵的检测设备、精致复杂的实验技术、测定人工成本较高。随着深加工和花生外贸的要求,如何快速准确的对花生感官品质进行鉴定,已成为一个亟待解决的问题。
基于种子图像处理的机器视觉检测方法是一种无损、速度快、鉴别力强、重复性高、可大批量检测、低成本无疲劳的检测新方法。该方法用于种子品种品质鉴定,在玉米[1-3]、水稻[4]、小麦[5]和扁豆[6]上都获得了良好的效果。但花生检测方面的报道较少,作者曾尝将该方法用于花生品种和品质的统计检验,在两项省基金的支持下进行了一系列的研究工作,取得了较好的效果[7-10]。但是基于计算机视觉的花生品质检测方法还存在着如下不足:(1)算法泛化能力差、鲁棒性不高、没有比较不同算法的优势;(2)系统集成程度差,可扩展性不强,系统交互性差;(3)没有建立花生品质与市场贸易的基本联系,商用性能不高。
本研究拟通过图像处理和计算机视觉的方法,针对以上不足构建一个基于Matlab的花生品质集成检测平台,主要目标有:(1)构建一定规模的模式识别样本库,采集多个品种、多种品质情况下单个和群体花生籽粒图像;(2)对外观形态特征、颜色特征和纹理特征等进行智能检测与分析,可对多个特征进行特征优化以提高检测效率和算法的泛化能力;(3)建立花生品质检测算法集成平台;利用神经网络和支持向量机等分类算法进行品种识别,提高平台的可扩展性;(4)建立系统检测结果和商业形状之间的客观联系,增强软件的商业通用性。最后拟在建立的平台上进行仿真试验。
总体设计往往是系统设计的核心。系统设计的初衷、目的和总体构架等应得到通盘考虑。这将有利于设计出高效实用的仿真平台。
目前在Matlab中具有图像处理、神经网络、模式识别以及统计工具箱,它提供了分析和设计品质检测系统的部分函数。然而在实际应用中存在如下不足:(1)Matlab工具箱仅仅提供了基本函数,并未针对一类问题给出一整套设计方案,也未给出仿真结果分析;(2)一般Matlab程序以命令形式调用上述工具箱的函数,这种形式往往不像人机交互界面那样直观,也不易数据处理,而且给程序代码的维护带来了不少困难。
正因为这些困难与不足,有必要设计基于Matlab GUI的花生品质检测平台,同时它还能够:(1)提供良好的人机交互仿真环境,便于用户在各种参数条件下的仿真实验。(2)提供一定的可扩展性。通过给定接口,实现新算法(M文件或C文件)的动态加载。
基于图像处理的花生品质检测仿真平台之所以基于Matlab GUI进行设计,是为了依托Matlab环境提供的基本科学计算,减少开发周期。通常而言,Visual Basic/C++,Java等面向对象的程序语言是设计平台很好的工具,这里之所以选择Matlab是因为其提供了丰富的科学计算函数,比如图像的类型转换、边缘检测、区域特征提取等,以及用于识别的PCA算法、ANN神经网络的训练与识别和统计函数,另外并提供了大量的数学函数,这些函数零散的分布在图像处理、神经网络、模式识别以及统计等多个工具箱内,用到时直接调用,采用模块化程序设计方法,只要知道输入输出参数接口,即使不详细了解函数的内部程序结构也可以开发出成功的仿真系统。这些均是其他语言所无法媲美的。更为重要的是,Matlab GUI开发环境提供了创建用户界面的捷径。在这一环境中,可以方便地创建各种图形句柄对象,实现仿真平台的用户界面。因此,在本仿真平台的设计中,将通过模块化思想有机地把Matlab提供的函数嵌入到自己编写的算法中,形成整体的算法框架,进而由主控模块进行参数传递和整体控制。不得不说明,基于Matlab开发出来的平台运算速度较慢,特别对于一些较大的图像进行循环操作的时候,但Matlab同时给出了一些和其他语言C++等的接口,将一些循环可以导到其他开发环境中运算,再将运算结果返回Matlab显示,同时Matlab提供的编译器可以直接将Matalb代码转换到C等其他语言的代码,这样在一定程度上改善了代码的执行效率,提高了编程效率。
从软件设计的角度出发,系统构架始终在逻辑设计中处于核心地位。这里使用传统的模块化设计思想来划分模块。主要模块为:文件模块、图像预处理模块、特征分析模块、缺陷分析模块、品种识别模块、显示结果模块和帮助模块。
图1 花生品质检测分析系统构架
【文件】模块,打开载入要分析的花生图像。【图像预处理】模块可显示花生的整个预处理过程:分别显示“原始图像”、“中值滤波图像”、“灰度图像”、“对比度增强图像”、“自适应阈值分割二值化图像”、“开闭合运算后图像”、“背景分割后图像”、“HSV图像”和“边缘检测图像”。【特征分析】模块可获取单个或群体花生得33个特征均值;包括形态特征8个,颜色特征12个。纹理特征13个,并对这些特征参量进行统计分析。【品质检测】模块可以对花生的外观品质进行分析;分析项目包括:有无破损,破损程度(严重/中度/轻度),有无霉变及霉变的程度(严重/中度/轻度),大小规格(4种规格)及其比率;被检测数量积平均单果重、大小均匀性、破损比例和霉变比例。【品种识别】模块可以识别花生所属的品种及所属品种的个数与百分比,品种的异种率及品种纯度。【显示结果】模块可以显示花生品质、品种报表,报表内容包括:品种、纯度、平均单果重、规格、破损花生比、霉变花生比、大小均匀性、最后给出综合等级和市场建议价格。【后台管理】模块可对相应的检测识别算法进行扩充和添加。【帮助】模块可显示使用指南和版本信息。
本平台的实现是在 Matlab的图形用户界面(GUI)设计环境下完成。利用Matlab的API函数与自定义模块结合形成总体算法框架,以形成完整的仿真平台。
在Matlab的Command Windows指令提示符“ ”后输入:GUIpeanuts回车,可以看到欢迎界面。点击“进入”启动“基于图像处理的花生品质检测分析系统”。图2是对群体花生进行特征检测的平台界面,界面上列出了所检测的群体花生的颜色、形态和纹理共33个特征,为进一步品质分析和品种识别打好基础。篇幅所限其他界面不能一一列出。
图2 花生品质评价仿真界面举例
选取2008年山东莒南农户种植收获后未经人工挑选的原始花生一宗,其中包含10个品种的训练组和对照组,每个品种各100粒,共200粒,10个品种共2 000粒;14种不同品质籽粒,每种品质包含训练组和对照组,每个品种各100粒,共200粒,14种品质共2 800粒。
此样本库共获得单个籽粒图片4 800幅,考虑到了北方常规种植的10个品种和14种常规外观品质,模式识别样本库具有一定的规模。
品质共14类包括:霉变(轻度、中度、重度)、破算(轻度、中度、重度)、籽粒规格(5个规格)、杂质(土块、石块、带壳小果)。
按固定次序与方向将种子摆放于扫描仪(佳能CanoScan 8800F平板式CCD扫描仪)面板上,为了使扫描背景为黑色,扫描仪盖板完全打开进行扫描,将图片存在Matlab当前目录下,计算机主要性能指标为:联想四核 Intel(R)CPU Q1400@2.66 GHz 1.73 GHz,2 G内存,Winows Vista操作系统。
图3 图像采集系统示意图
采集10个品种(每个品种200个花生籽粒)和14种不同品质(每种品质200个籽粒)的4 800个籽粒特征。每个籽粒33个特征,这33个特征分别为:
形态类8个:面积、长轴与短轴长度、等面圆直径、最小外接凸多边形、矩形度(面积/外接矩形面积)、椭圆度(焦点间距/长轴长)、凹凸比(面积/最小外接凸多边形面积);颜色类12个:RGB色彩空间的红色R均值、绿色G均值、蓝色B均值、红色R方差、绿色G方差、蓝色B方差6个分量;以及HSI色彩空间的色调H的均值、饱和度S均值、亮度I的均值和色调H的方差、饱和度S方差、亮度I的方差6个分量;纹理类13个:均值、方差、平滑度、三阶矩、一致性、熵以及7个统计不变矩。
此特征库记录条数为4 800×33=158 400条;特征库数据比较全面,具有一定的代表性。
基于这33个特征可以进行一系列的分析,如可测量其变异系数和回归分析系数,变异系数反映单位均值上的离散程度,越小说明统计的品种间差别越小,也就是说变异系数越大说明此特征是一个好的特征;R2又称为方程的相关指数或确定性系数(coefficient of determination),表示方程中变量X对Y的解释程度。R2取值在0到1之间,越接近1,表明方程中X对Y的解释能力越强,R2取值在0到1之间,越接近1,表明方程中X对Y的解释能力越强,说明此特征是一个品种识别较好的特征,可以发现花生的面积和伸展度是较好的特征。为节省篇幅,表1中只列出33个特征中的14个统计特征。
表1 部分特征的变异系数和确定性系数
国标[11]中对花生大小衡量是可用颗/每盎司表示,见表2。由于每盎司是28.35 g,很容易通过国标数据计算出不同规格的花生仁的平均质量。
表2 外贸花生大小规格要求
通过特征分析不难发现反映大小类的特征中像素的面积为衡量大小规格的最直观的特征,将彩色图像读入,进行必要的预处理。然后进行二值化求得目标区域的像素和,即可在很大程度上反映花生的质量。用天平称出试验花生实际质量。
统计了100粒花生的面积和质量,运用SAS软件统计求得花生象素面积x和花生大小质量y之间的数学关系为:
y=0.003 2x-0.304 6
该模型的相关系数为R2=0.923 5,线性相关度为R=0.961。图3为除掉野点后100颗花生仁图像像素面积与花生仁质量的回归模型,先行相关度达到了96%以上。可见通过统计花生仁的像素数目能在很好不同规格的花生进行筛选。由花生的上述回归方程,只要通过像素数便可以快速的计算出花生的质量。经过计算两者的平均误差率为1.118%,误差在可接受的范围之内。
图4 质量面积回归曲线
同一个品种正常花生种人工检测为4个不同规格的花生各100个,共400个籽粒,统计每个籽粒的33个特征,构建三层反向传播BP(Back Propagation)神经网络,其中输入层33个节点,隐含层10个节点,输出层4个节点,训练网络,将训练好的网络保存,分别那训练过的这400个花生籽粒进行识别识别率为100%,拿没有训练的同样4个不同大小规格100个花生进行识别,识别率达到了100%。
将10品种中的正常花生各100个,共1 000个籽粒图像,统计每个籽粒的33个特征,构建三层BP神经网络(输入层33个节点,隐含层10个节点,输出层10个节点)训练网络,将训练好的网络保存,分别拿训练过的这1 000个花生籽粒进行识别识别率为98%,拿没有训练的同样10个品种每个品种100个花生进行识别,识别率也达到了97.5%,证明平台的识别效果较好。
分别拿同一个品种的14种不同品质的花生各100个,共1 400个花生图像统计每个籽粒的33个特征,构建三层BP神经网络(输入层33个节点,隐含层10个节点,输出层14个节点)训练网络,将训练好的网络保存,分别对训练过的这1 400个花生籽粒进行识别识别率为99.5%,拿没有训练的同样14个品质每个品种100个花生进行识别,识别率达到了98.9%。
将SVM识别模型通过后台管理加入检测平台,同样针对上述检测情况,对获取的33个特征组成的特征库进行检测,检测效果与神经网络对比见表3,可见在特征集合比较大的情况下,SVM的总体识别性能比ANN效果好。
表3 两种算法花生规格、品质和品种的检测性能
针对花生品质检测与分析的要求,基于计算机视觉和图像处理的方法,建立了检测与分析平台,界面友好,操作简单,图形文字相结合进行信息显示,比较更加直观,算法研究更加容易。总体来说,平台的建立提高了算法研究的效率,达到了建立该平台的目的。平台具有良好的实用性,交互性和可扩展性。
为检测平台的有效性进行了相关的仿真试验,建立了包含4 800颗籽粒花生图像的图像数据库,通过Matlab内置函数获取每个籽粒的33个特征,特征数据共158 400条,建立了三层神经网络进行相关的品质和品种识别,总体识别率达到了97%以上。检测效果良好,根据花生品质的规格、破损霉变及颜色均匀度和形状端正度给出了市场的参考价格。试验证明整个平台有效实用。
本研究基于数字图像处理技术获得的花生外观特征数据与认识,为花生品质的计算机视觉检测的进一步深入研究与应用奠定了基础,图像处理的测定方法具有准确、快速、适合大批量的优势,将在作物科学的理论与实践领域发挥日益重要的作用。
[1]赵春明,韩仲志,杨锦忠,等.玉米果穗DUS性状测试的图像处理应用研究[J].中国农业科学,2009,42(11):4100-4105
[2]郝建平,杨锦忠,杜天庆,等.基于图像处理的玉米品种的种子形态分布及其分类研究[J].中国农业科学,2008,41 (4):994-1002
[3]杨锦忠,郝建平,杜天庆,等.基于种子图像处理的大数目玉米品种形态识别[J].作物学报,2008,34(6):1069-1073
[4]Sakai N,Yonekawa S,Matsuzaki A.Two-dimensional image analysis of the shape of rice and its application to separating varieties[J].J Food Eng,1996,27(3):397-407
[5]Dubey B P,Bhagwat S G,Shouche S P,et al.Potential of artificial neural networks in varietal identification using morphometry of wheat grains[J].Biosyst Eng,2006,95(1):61-67
[6]Venora G,Grillo O,Shahin M A,et al.Identification of sicilian landraces and canadian cultivars of lentil using an image analysis system[J].Food Res Intl,2007,40:161-166
[7]韩仲志,匡桂娟,刘元永,等.基于形态和颜色特征的花生品质检测方法[J].花生学报,2007,36(4):18-21
[8]韩仲志,刘竟,杨锦忠.花生籽仁感官品质鉴定中的计算机色选机制研究[J].花生学报,2009,38(2):15-19
[9]韩仲志,赵友刚.基于外观特征识别的花生品质与品种检测方法[J].中国粮油学报,2009,24(5):123-126
[10]Zhongzhi Han,Yougang Zhao.A method of detecting peanut cultivars and quality based on the appearance characteristic recognition.[G]//Qiyong Gong,Yong Jiang,Christos Grecos.The second international conference on information and computing science.Manchester:CPS,2009,2:21-24
[11]GB/T 1532—2008,中华人民共和国国家标准——花生[S].
Image Analysis and System Simulation on Quality and Variety of Peanut
Han Zhongzhi Zhao Yougang
(College of Information Science&Engineering,Qingdao Agricultural University,Qingdao 266109)
Aiming at the limitation in quality detection of peanut,a method based on image processing was developed;moreover,a simulation platform was constructed based on MATLAB GUI.This platform has integrated some new pattern recognition methods such as ANN&SVM and some classical image processing arithmetics.Finally,a simulation example was proposed.Based on 4 800 pictures for single grain of 10 varieties and 14 kinds of quality,33 characters were detected.These characters could be divided into three categories:shape,color and texture.Using the ANN&SVM model,the peanut commercial standard,varieties and quality were tested.Results:The total correct rate of the tests by using the ANN&SVM model is 97%.It is proved that this platform has good interactivity,expansibility,visibility and practicability.The peanut quality evaluation is objective,quantitative,rapid and nondestructive.It possesses practicability for peanut trade,production and circulation.
peanut,quality detection and analysis,image processing,artificial neural network,simulation platform
S126 文献标识码:A 文章编号:1003-0174(2010)11-0114-05
山东省自然科学基金(2009ZRA02123),山东省科技攻关项目(2009GG10009057),青岛市科技发展计划(08-2-1-15-nsh)
2009-11-18
韩仲志,男,1981年出生,讲师,农业图像处理
赵友刚,男,1970年出生,博士,工程师,农业信息化