基于深度学习的食用油灌装质量检测系统

俞芳芳　董　蓉　李　勃　李卫强

(南京大学电子科学与工程学院1，南京　210000) (南通大学电子信息学院2，南通　226000) (益海(泰州)粮油工业有限公司3，泰州　225300)

食用油脂提供了人体所需的营养与能源，是人们日常生活中膳食的重要组成部分。20世纪90年代初以来，我国食用油行业发展迅速，小包装食用油已在较大程度上取代了散装食用油，并带动了作为配套服务的食用油包装的发展。随着先进的设备、工艺的引进和技术创新，我国的食用油包装生产线已逐步采用机器代替人眼做检测和判断，可极大减少人力劳动，降低检测成本，提高检测精度与效率，产业的自动化与智能化程度得到进一步提高。但是传统的机器视觉算法需要对每个检测项目进行针对性的单独开发，算法复用性较差，开发周期较长，且参数设置繁琐，对于采图质量要求高，这些都给实际生产过程中操作的便捷性以及生产线的全自动化一体性带来阻碍。

为了进一步提高食用油生产线自动化程度以及用户使用的友好性，同时提高检测的准确率和效率，本研究提出了一种基于深度学习网络的食用油灌装质量检测系统，系统算法主要采用了深度学习有监督物体识别网络，对食用油进行从原料至销售全产线包装缺陷检测，具体功能包括瓶口缺陷检测、瓶盖缺陷检测、瓶身喷码缺陷检测、贴标缺陷检测、装箱点数检测。该系统具有无需做图像预处理、检测精度高、参数设置简单、算法复用性强、开发周期短的优点，可实现食用油生产质量检测的全面自动化。

1　系统结构

食用油的灌装容器主要采用PET瓶，食用油的灌装生产系统主要包括PET注塑、PET吹瓶、灌油压盖、瓶体喷码、贴标、装箱、封箱、码垛仓储等多个工序。根据该生产流程以及质量缺陷的来源，本研究设计的质量检测系统的工位布置如图1所示。由于吹瓶后瓶口可能存在磕碰、形变从而有漏油的风险，因而在吹瓶后加入瓶口缺陷检测。由于吹瓶后需要进行灌油和压盖，可能存在缺盖等风险，因而设置瓶盖检测模块，此外同时加入瓶身喷码识别模块，对瓶身喷码内容进行识别，检测是否存在叠码、错码、缺码、内容错误的情况。由于油瓶贴标时可能存在错标或者漏标的问题，因而加入贴标检测模块剔除异常标贴。最后在油瓶装箱后加入装箱点数模块进行箱内油瓶数量清点，保证装箱正确。

2　基于深度学习的质量检测算法

LeCun等[1]提出了卷积神经网络的概念后，2006年Hinton等[2]提出了用自学习初始化参数,然后再逐步调优的方法来解决深层网络的学习问题，从此深度神经网络开启了新的篇章。在深度学习算法中，网络的训练方式有多种：监督学习、半监督学习以及无监督学习等。区别不同的学习方式的关键在于网络训练时输入数据是否有标签。有监督学习通过人为提供的“标准答案”来指导网络学习，因此需要对训练数据进行人为标签。而无监督学习通过发现输入数据间呈现出聚群的结构来完成数据的聚类，也即相似类型的数据特征会聚集在一起，而不同类型的数据间特征距离较大，因而不需要对输入数据进行标签[3]。

目前在分类功能上有监督学习的设备，性能强于无监督学习，而无监督学习则在减少人工标签方面胜于有监督学习[4]。在缺陷检测领域亦有这两种学习方法的应用，既可以通过学习正负样本特征，从而对图像缺陷区域分类来实现缺陷的检测，如文献[5]中提出了一种通过滑动窗口法提取图像区块，继而送入深度卷积神经网络进行缺陷分类来进行缺陷检测的算法；也可以通过学习无缺陷的正样本获得已知响应，而有缺陷的负样本产生异常响应来判断缺陷，如文献[6]中使用了一种多尺度字典学习算法提取特征，构建正样本特征空间，通过判断检测图像特征是否在该空间中来判断正常或缺陷。但是在食用油包装缺陷检测中却鲜见深度学习算法的应用。在本研究设计的食用油灌装质量检测系统中，主要通过目标定位与分类的方式实现缺陷的检测，因而采用有监督学习网络，更进一步则采用了一种基于区域卷积的神经网络结构[7-8]。该网络结构通过对图像生成若干目标候选区域，继而对每个候选区域使用深度神经网络提取特征并进行分类的方式，实现对目标的定位和分类。传统候选区域算法主要基于图像特征，如基于大小信息的滑动窗口法、基于颜色信息的selective search法[9]、基于边缘信息的edge box法等[10]，但这些人为选择特征的方法往往不能兼容各种图像，而且对有重叠的候选区域需要重复进行特征提取，从而带来了大量的计算。为了解决这些不足，本研究的算法使用图像特征进行候选区域定位，可实现网络的端到端训练，该算法的网络结构主要包括通用卷积层网络、候选区域定位网络以及分类识别网络，其具体组成方式见图2。

图1　基于深度学习的食用油灌装质量检测系统工位分布图

图2　有监督物体识别网络结构

通用卷积层网络的输入为任意尺寸大小的图像，采用5层卷积层结构，层与层之间使用Relu激活函数和最大值池化层，主要完成图像底层特征的提取，第一层和第五层卷积层的特征图如图2a所示。由于输入图像大小不统一，因而特征图大小也有差异，采取对最后一层特征图进行尺度归一化的方式，保证网络特征图尺寸的统一。

候选区域定位网络根据提取到的图像的底层特征，在特征图上以多尺度采样的方式提取不同尺度物体的特征，如图2b所示，根据图像中检测目标的尺度先验知识，通过滑动窗口的方式对特征图中每个像素点，选择以其为中心点的2种面积大小{128,256}、3种长宽比{1:1,1:2,2:1}，共6种尺度的候选区域，并对每一维特征图选取以该点为中心的3×3大小的窗口提取特征，作为这6个候选区域的特征。该方法相比于传统的网络多尺度目标兼容方法，如枚举图像金字塔和滤波器金字塔等[11,12]，大大减少了网络重复完全计算的工作量，加速了网络传输时间。继而将每个可能的候选区域与训练集中目标区域的位置标注进行重叠度的计算，重叠度高于设定阈值的判定为正样本，低于阈值的判定为负样本，根据这些已经标记好正负样本可进行候选区域定位网络的有监督学习，获得每个候选区域是否属于目标区域的概率得分，并选取得分高的前N个候选区域，实现对一幅图像提取若干候选区域建议的功能。

最后分类识别网络完成对候选区域定位网络所得的N个候选区域进行分类判断。传统网络通常采用将候选区域图像提取出来后输入给一个专门分类识别网络进行特征提取和分类[13]，这将导致需要单独训练一个用于分类的网络，且对于每个候选区域需要重新计算，重复计算量很大。由于已知了候选区域的位置，并且整幅图像的特征图已在通用卷积层网络中得到，只需计算候选区域在特征图中的位置即可提取候选区域的特征图，从而使得网络只需计算一次整幅图像的特征图即可，且候选区域定位网络和分类识别网络可以共享通用卷积层网络提取的特征图，使得整个网络相比于传统的图像分类识别网络只增加了少量开销，就可完成定位与分类两项功能。将得到的每个候选区域的特征图通过全连接层输入给softmax分类判断层后即可获得该候选区域的类别判断概率得分。

在训练阶段，采用人工标定的包含所需识别目标的类别及位置信息的训练集对网络进行训练，网络训练采取标准误差反向传播和随机梯度下降法。具体步骤：

1)首先训练通用卷积层部分，由于图像的底层特征是相似的，因而对于通用卷积层部分采用从已训练好的模型进行迁移初始化，从而减少对训练样本量的需求，本研究采用基于PASCAL VOC2012数据集的ZF模型进行网络迁移训练[14]。

2)其次在已训练好的通用卷积层的基础上增加候选区域定位网络进行训练，固定通用卷积层网络参数，采用随机初始化的方式初始化候选区域定位网络的参数，根据候选区域定位网络的损失函数对候选区域定位网络的参数进行调整。

3)继而再增加分类识别网络，固定通用卷积层网络以及候选区域定位网络参数，采用随机初始化的方式初始化分类识别网络的参数，根据分类识别网络损失函数，对分类识别网络的参数进行学习和调整。

4)最后对整个网络进行端对端的微调，获得最终的训练网络模型结果，模型里包含了深度学习网络中每一层权值的数值。

在在线使用阶段，首先将相机采集所得的图像通过已训练好的模型，对每个候选区域，将它对于每个分类类别概率得分最高的类别，作为该候选区域的类别，并将该概率得分作为该候选区域的分类得分，从而获得N个候选目标的定位与识别结果。通常N的数值设置为在满足网络计算时间的要求下，尽可能大于图像中实际检测目标的数量，以保证可以包含所有的目标，因此这N个候选区域通常具有极大的重复性，通过对候选区域两两计算重叠度，重叠度大于设定阈值时保留得分高者的方式，去除重叠项，获得最终的识别结果。

该算法特点在于只需提供人为标注好的正负样本，网络可自行学习具有区分度的特征并进行分类，当应用于不同的缺陷检测模块时，只需采集相应的样本训练即可，无需修改算法结构以及设置大量参数。此外，当缺陷场景发生改变时，如出现新的油瓶瓶型等，只需采集新的样本训练即可达到兼容。因此，使用本研究提出的基于深度学习算法的质量检测系统，具有算法通用性高、开发简单的优势。

3　基于深度学习的食用油灌装质量检测系统实现

3.1　硬件实现与软件界面

本研究设计的食用油灌装质量检测系统中各个工位的模块硬件结构大致相似，主要包括传送带、光源、相机、工控机及控制板，分别用于图像获取和图像处理操作。以瓶身喷码识别为例，其模块硬件结构图如图3所示：油瓶通过直线传送带传送至检测区域，采用大小大于瓶身的LED平面光源以及背光照明方式照亮喷码区域，继而光电传感器触发相机进行拍照，获取的图像通过网络传输至工控机进行图像处理判断作出相应的处理操作，系统控制及参数设定则由控制板完成。系统不同功能模块的硬件结构差异主要在相机选择和打光方式上，具体每个模块的打光方案与参数见表1。

注：1-控制板；2-机架总成；3-瓶身光源；4-传送带；5-电气总成；6-相机总成。图3　瓶身喷码识别系统硬件结构图

表1　系统各功能模块的打光方案与参数

模块名称瓶口缺陷检测瓶盖检测、瓶身喷码检测装箱点数贴标检测打光方案参数环形光源、500万黑白相机平面光源、130万黑白相机 平面光源、130万彩色相机 条形光源、130万黑白相机

图4　瓶身喷码识别系统软件界面图

本研究设计的食用油灌装质量检测系统运行环境为Ubuntu 14.04系统，工控机配置为英特尔i7处理器，8G内存，英伟达GTX 960 4G显卡，继续以瓶身喷码识别为例，其软件界面图如图4所示。

3.2　模块功能实现效果

3.2.1瓶口缺陷检测

瓶口缺陷主要包括内圈缺陷、外圈缺陷以及贯穿缺陷，如图5所示，瓶口缺陷检测主要为在瓶口图像中提取缺陷部分，并进行缺陷类型判断，属于目标定位与分类的问题。

传统算法主要采用圆拟合与二值化分割结合的方式提取缺陷部分，算法参数配置繁琐复杂，并且对于一些形态、边缘复杂的缺陷，如弱边缘缺陷，传统算法无法很好地检出。本研究提出的瓶口缺陷检测算法采取深度网络，不依赖于人工设定特征，具有抗位置旋转、兼容低对比度缺陷的优势，可检出大小在0.5 mm2以上的不同类型的缺陷。其与传统算法对比检测结果如图6所示，可见传统算法对于低对比度缺陷检测效果不佳，而本研究提出的检测算法可以检测，且可区分不同种类的缺陷。

图5　瓶口缺陷类型

图6　瓶口缺陷检测结果对比

3.2.2瓶盖检测

瓶盖检测模块主要检测瓶盖以及瓶盖各部分是否缺失，以及区分不同产品使用的有字盖和无字盖是否正确。传统算法通过颜色、位置等先验信息实现瓶盖的定位与检测，而本研究提出的基于深度学习的瓶盖检测模块，采用本文所述的通用算法结构，无需进行单独开发，其检测结果如图7所示，网络通过定位和识别图像中瓶盖各个部分，从而判断不同类型的瓶盖缺陷，检出率达99.98%。

图7　瓶盖检测结果图

3.2.3瓶身喷码检测

喷码检测模块通过识别喷码字符的位置及内容，根据位置信息排列各字符，从而判断检测是否存在叠码、错码、缺码、内容错误的情况。传统算法通常采用先分割后分类的算法，即首先通过投影法等字符分割算法分割出每个字符的区域，继而对每个单个字符使用SVM分类器或神经网络等方式进行识别[15,16]。该算法通常要求输入图像使用规范的印刷体、拥有几乎无干扰的背景、具有较高的分辨率，而油瓶喷码属于自然场景字符，具有背景复杂、质量低下、形态不规则等特点，从而导致字符与背景间难以用简单的人为选择的特征进行区分，继而难以正确分割乃至识别。

本研究提出的喷码检测算法无需预先分割字符区域，而是利用深度学习网络提取图像的特征，并据此进行字符候选区域的提取及分类，从而实现直接在图像上定位并识别每个字符。该算法具有较强泛化能力以及抗背景干扰能力，通过网络训练可使得一个网络模型兼容多产线不同字体、汉数英全字符，其与传统算法检测效果对比如图8所示，由图8可见，当图像中存在背景干扰时(凹陷、模糊)，传统算法分割效果不佳，而本研究提出的喷码检测算法则可实现检测。

图8　喷码检测效果对比

其检测结果如表2所示，字符识别率达99.9%。继而根据图像中网络输出的每个字符的位置和内容，可完成是否存在喷码缺陷的判断。

3.2.4贴标检测

贴标检测通常采用模板匹配的算法来实现，本研究提出的标贴检测模块采用上述目标识别网络，通过采集所有类型的标贴图像训练，可使得网络识别不同种类的标贴，此外通过对标贴图片进行上下翻转的数据增强方式，扩充标贴正反的样本，使得网络可以分辨标贴正反，从而判断标贴是否存在异常，其检测结果如图9所示，检测正确率达99.9%。

表2　喷码检测结果

图9　贴标检测结果

3.2.5装箱点数

装箱点数模块通过识别提环与瓶盖的数量来判断是否存在异常：若提环数量与瓶盖数量不匹配，则存在提环丢失异常；若提环数量与瓶盖数量匹配，但与装箱应有数量不一致，则存在缺瓶异常。传统算法通过颜色二值化、霍夫变换方式检测瓶盖与提环，其受背景干扰影响大，对图像质量要求高，而本研究提出的装箱点数检测模块将油瓶上的瓶盖和提环作为网络识别目标，根据网络检测到的瓶盖与提环的数量判断装箱油瓶是否存在异常，检测结果如图10所示，该算法具有很好的泛化能力，可兼容多干扰、低质量图像，其与传统算法检测结果对比(暗色提环、反光干扰、提环遮挡)如图11所示。

图10　装箱点数检测结果

图11　装箱点数检测效果对比

3.3　系统检测结果

本研究设计的基于深度学习算法的食用油灌装质量检测系统检测结果数据如表3所示，其检测精度和速度均可满足实际生产产线需求。

表3　系统检测结果

4　结论

本研究提出了一种利用深度学习算法进行食用油灌装质量检测的系统，系统的算法采用了深度学习有监督物体识别网络，对食用油进行从原料至销售全产线包装缺陷检测，该系统具有无需做图像预处理、检测精度高、参数设置简单、算法复用性强、开发周期短的优点，可实现食用油生产质量检测的全面自动化。本研究设计的食用油灌装质量检测系统目前与益海嘉里企业合作，已投入金龙鱼食用油生产线使用。实践证明，相比于传统机器视觉解决方案，本研究提出的食用油灌装质量检测系统可进一步提高食用油生产产线的自动化程度以及用户使用的友好性，同时提高检测的准确率和效率。

[1]LÉCUN Y,BOTTOU L,BENGIO Y,et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324

[2]HINTON G E,SALAKHUTDINOV R R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504

[3]殷瑞刚,魏帅,李晗,等.深度学习中的无监督学习方法综述[J].计算机系统应用,2016,25(8):1-7

YIN RUIGANG,WEI SHUAI,LI HAN,et al.Introduction of unsupervised learning methods in deep learning[J].Computer Systems and Applications,2016,25(8):1-7

[4]朱陶,任海军,洪卫军.一种基于前向无监督卷积神经网络的人脸表示学习方法[J].计算机科学,2016,43(6):303-307

ZHU Tao,REN Haijun,HONG Weijun.Forward and unsupervised convolutional neural network based face representation learning method[J].Computer Science,2016,43(6):303-307

[5]WEIMER D,SCHOLZ-REITER B,SHPITALNI M.Design of deep convolutional neural network architectures for automated feature extraction in industrial inspection[J].CIRP Annals-Manufacturing Technology,2016,65(1):417-420

[6]CARRERA D,BORACCHI G,FOI A,et al.Scale-invariant anomaly detection with multiscale group-sparse models[C].IEEE International Conference on Image Processing.IEEE,2016:3892-3896

[7]GIRSHICK R.Fast R-CNN[C].IEEE International Conference on Computer Vision.IEEE,2015:1440-1448

[8]REN S,GIRSHICK R,GIRSHICK R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2017,39(6):1137

[9]UIJLINGS J R,SANDE K E,GEVERS T,et al.Selective search for object recognition[J].International Journal of Computer Vision,2013,104(2):154-171

[10]ZITNICK C L,DOLLR P.Edge Boxes:Locating object proposals from edges[C].European Conference on Computer Vision,2014:391-405

[11]王冠皓,徐军.基于多级金字塔卷积神经网络的快速特征表示方法[J].计算机应用研究,2015,32(8):2492-2495

WANG Guanhao,XU Jun.Fast feature representation method based on multi-level pyramid convolution neural network[J].Application Research of Computers,2015,32(8):2492-2495

[12]张文达,许悦雷,倪嘉成,等.基于多尺度分块卷积神经网络的图像目标识别算法[J].计算机应用,2016,36(4):1033-1038

ZHANG Wenda XU Yuelei,NI Jiacheng,et al.Image target recognition method based on multi-scale block convolutional neural network[J].Journal of Computer Applications,2016,36(4):1033-1038

[13]GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C].Computer Vision and Pattern Recognition.IEEE,2014:580-587

[14]ZEILER M D,FERGUS R.Visualizing and understanding convolutional networks[C].European Conference on Computer Vision,2014:818-833

[15]王伟,马永强,彭强.SVM多类分类器在车牌字符识别中的应用[J].计算机工程与设计,2011,32(9):3166-3169

WANG Wei,MA Yongqiang,PENG Qiang .Application of SVM multi-classifier on license plate character recognition[J].Computer Engineering and Design,2011,32(9):3166-3169

[16]巩玉滨,杨红娟,张运楚,等.一种数显仪表数字字符识别方法研究[J].山东建筑大学学报,2011,26(2):134-137.

GONG Yubin,YANG Hongjuan,ZHANG Yunchu,et al.Research on a character recognition method for numerical instruments[J].Journal of Shandong Jianzhu University,2011,26(2):134-137.