基于BP的食品外观品质检测可视化系统研究

吴秀君

(乌鲁木齐职业大学,新疆 乌鲁木齐 830001)

随着计算机技术的发展,机器学习的应用越来越广泛[1]。利用计算机代替人眼去识别加工大米外观品质,是对过去传统方法的改进,对于促进我国大米品质检测技术的发展具有深刻的意义。目前,针对加工大米外观品质的筛选积累了很多经验,如李心悦等[2]介绍了粮食加工中常用的几种机器视觉检测方式,为加工大米外观的筛选提供了参考;陈昊然等[3]则提出通过图像识别技术对加工大米中的垩白粒进行识别。以上研究为大米加工提供了参考。但本研究认为,大米加工要识别多种加工大米,如垩白粒、黄米粒等。对此,为拓展智能技术在大米加工中的应用,提出一种基于BP神经网络的大米可视化识别方法,并对该方案的可行性进行验证。

1 大米外观品质检测可视化系统整体框架

本系统总体划分为采集和执行装置两部分。前者负责采集图像信息,涉及摄像头、光源等;后者为自动控制系统、升降以及旋转、识别算法等。系统的结构如图1所示[4-5]。

1.检测室;2.光源;3.托盘;4.丝杠螺母;5.步进电机;6.CCD摄像头;7.摄像头支架;8.数据线;9.计算机图1 图像采集装置

2 硬件系统

2.1 采集装置

检测室实际为升降运动装置,用于大米外观检测时高度的调整。其中,在检测台中放置样品,然后将摄像头置于样品顶部,用于完成加工大米图像的采集。另外,为形成漫反射的效果,需要将检测室内部涂刷成白色[6-7]。在检测过程中,将右侧的取样窗关闭,然后打开光源,由此降低光照对图像的不利影响,保证图像质量。

2.2 光源

机器视觉系统对光源要求高,因此必须选择适宜的光源,确保图像采集所需亮度及均匀性的要求。目前市场中出现了多种类型的光源,包括LED灯以及荧光灯等。这些光源在光源特性以及价格等方面存在一定差异,其中LED灯的稳定性高,使用年限长,成本较低。因此采用圣格尔LED灯[8-9]。

2.3 图像采集设备

基于专业化的图像采集设备采集大米图像,主要涉及到图像采集卡以及摄像机。其中,采用日立HV-D20标清3CCD摄像机,其重量和体积均较小,易于部署和应用,满足了图像采集的要求;图像采集卡则采用加拿大Matrox公司的Metero-II/Multi-channel采集卡。

3 识别算法设计

通常情况下主要通过人眼观察方式检测大米的品质,这种传统的方式不仅效率较低,而且可靠性不高,导致在大米中混入一些质量不高的米粒,影响到消费者的权益。因此基于图像处理的检测技术,提升了大米品质鉴定的准确性[10]。

3.1 大米图像预处理

3.1.1灰度化处理

由于采集到的图像为RGB图像,因此采用加权平均值计算RGB图像的灰度值,得到如图2的结果。根据图2可知,在灰度化处理后,米粒更为清晰,便于描述大米的形态和数量。

图2 灰度化处理

3.1.2图像噪声处理

受干扰因素的影响,采集到的大米图像中含有一定的噪声,这对于后续图像处理会带来不利的影响。因此采用中值滤波、均值滤波法等对图像进行处理[11-12]。

(1)中值滤波方法。将某点邻域内各个点的灰度值中位数作为该点的像素值。具体过程见图3。

图3 中值滤波过程

(2)最大值滤波法。以某点邻域中的像素最大值作为该点的像素值。

(3)均值滤波法。以某点邻域像素的均值作为该点像素值,其过程如图4所示。

图4 均值滤波模板

分别采用上述3种方法对图2灰度化后的图像进行处理,得到的效果如图5(a)～(c)所示。

图5 图像滤波

根据图4可知,采用中值滤波方法处理之后,不仅有效压制了噪声,而且米粒清晰完整;而采用其他两种方法处理之后仍然存在较多的噪声,米粒不够清晰,增大了米粒检测的难度。因此该部分最终选用了中值滤波方法。

3.1.3背景分割

大米图像主要划分为米粒区域和背景区域两部分。而要区分这两种区域,一般通过背景分割技术对二者进行有效地分离,具体思路是通过大律法计算最优阈值,从而达到预期分割效果。具体计算公式为[13]:

式中,Z代表大米区域。当f(x,y)的值分别为0、1时,分别表示背景区域、大米区域,二者对应的颜色为黑色、白色。

通过这种方法,得到背景区域和大米区域的分割效果如图6所示。

图6 背景分割

3.1.4图像标记算法

为更好地提取米粒特征参数,采用八邻域标记算法对图像中的各个像素点进行遍历,由此可以标记整个连续区域。通过该算法处理后的效果如图7所示。

3.2 大米外观品质识别模型构建

3.2.1构造特征数据库

首先选择4种品质的大米类型(完善粒、垩白粒、黄米粒、碎米粒),各个类型的粒数均为800,然后通过5个不同的角度采集各个米粒的图像4 000张,最后得到总数为16 000张的不同米粒图像。在特征数据库构建方面采用大米长宽比、面积等特征,并输入到BP网络中。部分大米样本信息如表1所示。

表1 部分样本特征参数信息

结合表1结果可知,不同品质的大米在特征参数上存在一定的差异性,如在长度方面,完善粒、黄米粒以及垩白粒总体处于6.2～6.5 mm的范围,但是碎米粒长度明显更低,总体处于5 mm以下;在面积方面,碎米粒基本低于10 mm2,其他3种品质的大米大多高于11 mm2;在长宽比上,碎米粒基本低于2,其他3种总体保持在2.6上下;在宽度上,4种品质的大米不存在明显的区别,均处于2.3～2.5 mm范围内;在色调均值上,黄米粒总体处于[60,100]之间,而其他3种在分布区间上有一定的交叠现象。除了上述信息之外,在垩白度上,垩白粒占比高于12%,而其他三种基本低于12%。

将整个数据集划分为训练集、验证集以及测试集,3者比例为7∶2∶1。

3.2.2BP神经网络设计

BP网络过程主要涉及网络层数、神经元数目等,具体的设计如下:

(1)网络层数

基于MATLAB工具构建BP网络,总体划分为输入层、隐含层以及输出层3部分,均为单层结构。

(2)神经元数目

针对各个层次的神经元数目进行设置,对于输入层、输出层分别为6、4,前者对应着长宽比以及面积等6个特征参数;后者对应着4种品质的大米。

隐含层神经元设置的基本原则是:保证在满足精度要求的基础上尽量设置较少的数目,一般通过经验方法进行确定,其公式如下所示:

式中,k代表隐含层神经元的数目;p、q分别是输入层、输出层的神经元数目,此处分别取值为6、4;d为2,由此可以得到k为6。

根据以上设计,得到网络的基本结构如图8所示。

图8 本研究的BP神经网络结构

(3)超参数

学习率代表各次反向传播修正权重的幅度,必须对该参数进行合理地设置,当过大或者过小时均会产生不利的影响,当过高时容易出现过拟合;当过低时,则增大了训练的时间,难以满足效率的要求。考虑到上述要求,采用了动态设置学习率的方法,在迭代初期设置较大的值,后期设置较小的值;迭代数为1 000,网络误差为0.005;隐含层、输出层的激活函数分别是Sigmoid函数、线性函数。

综合以上设计,可以得出BP神经网络的大米外观识别流程,具体如图9所示。

4 试验验证

4.1 大米外观识别结果

采用MATLAB 2014a构建BP网络,并应用到大米品质检测中。利用上述训练的BP模型,然后以测试集中的图像进行测试,得到结果如表2所示。

表2 大米品质测试结果

表2中,标签1～4对应着4种品质类型,依次是完善粒、垩白粒、黄米粒、碎米粒。结合得到的结果可知,对于各个品质类型的检测效果是不同的,相对于其他两种类型,对于黄米粒、垩白粒的检测精度明显更高。针对该现象进行分析,发现主要与采用了垩白度以及色调均值有关,此类信息极易受到外部环境条件的影响,因此对于识别结果的准确性必然会产生一定的影响。结果显示,相对于传统的人工观察方法,采用BP网络达到了较高的识别准确率(91.8%),而且降低了主观因素的影响,适合于应用到大米品质检测中。

4.2 软件测试

基于以上的硬软件和算法,搭建系统,并对系统进行运行。

4.2.1实验条件

实验配置如表3所示。

表3 系统硬件

4.2.2程序开发

在程序开发方面利用Android Studio 3.4工具,包括设计界面以及代码编写等工作。

(a)人机交互界面的设计

Android Studio 3.4工具针对交互界面开发提供了多样化的工具,可以直接通过ImageView、RadioButton等控件高效完成相关软件界面的设计,支持对文本颜色以及大小等进行灵活地设置。CheckBox表示复选框控件,可用于实现多选功能;RadioButton、RadioGroup控件组合应用可实现单选功能。

(b)网络模型文件格式的转化

这里主要涉及到了model.ckpt、events.out、checkpoint等文件,其中model.ckpt用于存储网络权重;checkpoint用于保存训练中的参数信息。

在程序开发完成之后即可进行测试,将编译完成的软件安装在Redmi 6 pro手机中,然后在手机中开始进行测试,检测软件是否可以实现对大米品质的检测。具体的操作流程如下所示:

(a)首先需要采集大米图像,该部分主要通过摄像头对米粒进行拍照;或者是直接利用手机中存储的大米图像;

(b)接着通过手机中的模型开始进行检测;

(c)最后将检测的结果呈现在界面中,可用于对大米的品质进行判断,生成最终检测的结果。

4.2.3识别结果

按照流程对各种品质的大米进行检测,得到表4的结果。

表4 测试结果对比

结合得到的结果可知,在2～3 s时间中即可完成对大米品质的检测,效率和精度均较高。采用计算机和手机端进行检测,对比二者检测结果的差异性。对于各个品质类型的大米分别输入80张图像,最终检测的结果如表4所示。

根据上述结果可知,计算机、手机端的识别准确率是不同的,二者分别是86.9%、85%,尽管有一定的差距,但是仍然处于合理范围内,由此验证了该检测方法的有效性。

4.3 实际应用检测

为进一步验证上述方法的可行性,选择市面上的大米进行检测,从而得到图10的可视化结果。

图10 手机端检测的可视化结果

5 结语

通过以上的研究看出,利用硬件+算法搭建的方式,实现了对加工大米的可视化检测,由此大大提高了加工大米外观品质辨别的效率,也为大米的加工提供了更多智能化手段。而通过实际测试结果也表明,本研究对不同类型大米的识别正确率均超过90%,且识别时间在2～3 s。由此说明本研究提出的方法可行。