基于Faster RCNN深度学习的小包外观检测方案

邓春宁

(龙岩烟草工业有限责任公司，福建 龙岩 364021)

1 现有技术分析

传统包装外观检测系统主要采用基于模板匹配和颜色对比的图像识别算法[2]，配合工控机、电气设备、分离机构、剔除机构等主要器件，可以对产品包装外观中预设区域的质量缺陷做到较高的检出率。但是整体来说传统检测设备存在漏检高、误检多，配置复杂，设备维护困难等问题[3]。由于传统的视觉识别系统采用模板匹配和颜色对比的原则，因此只能预先判断缺陷会出现在什么地方并设置检测区域。传统机器视觉检测设备只能对预设的区域进行检测，预设区域外的信息不能检测。如果检测区域设置过大会引起误检，带来大量的产品损耗。由于传统机器视觉设备需要在烟包图像表面设置很多检测区域，每个检测区域设置参数又完全不同，因此大大增加了配置参数的复杂度。传统机器视觉检测设备局限于解决一个具体的物理场景问题，质量的控制只能依赖于单点检测设备的能力，设备未联网，数据不共享，无法做到全厂检测标准的统一和产品缺陷的统一分析判断。烟厂的工程师在维护这些检测设备时，无法对设备统一维护管理，耗费大量精力。针对传统检测方式暴露的问题，急需转变思路，寻求新的检测算法和检测方式。

2 解决方法

当前全国各大烟厂面临“高质量”发展的新需求，因此对现有的生产设备提出了更高要求。近几年，随着计算机运算能力的提高，人工智能技术得到快速发展。以图形计算为代表的GPU(图形处理器)在计算机视觉训练中替代原有的CPU(中央处理器)，大大提升了计算性能，让原来几个月才能完成的训练缩短到几天甚至几个小时，大大缩短了计算机视觉前期训练和推理的迭代周期，带来了效率上的成倍提升[4]。当硬件、算法、大数据这3个因素在各个领域的突破达到一定程度时，自然就带来了人工智能的大爆发。

本文利用华为强大的边缘计算、云、网络通信和综合解决方案能力推出新型人工智能烟草质检综合解决方案。此方案将机器视觉与人工智能图像识别[5]以及信息与通信技术(information and communications technology,ICT)相结合，突破了传统检测算法原理的局限性，提升了烟包外观检测的精度，降低了误检率，改善了检测设备的维护性和管理问题。

3 小包外观检测装置

本方案通过为卷烟厂建设基础的网络及边缘计算能力，进而为烟草数字化转型提供坚实的网络和算力基础，并逐步落实数字化工厂的各应用场景。人工智能质检平台打破原有的工控机模式，采用“端-边-云”一体化的三层网络架构，各层级分工明确。端侧负责图像采集和动作执行；边侧负责图像推理计算、综合检测结果的下发；云侧负责训练、算法优化、大数据分析和存储等。整体方案以高带宽固定网络作为承载网。

3.1 装置结构

小包外观检测装置主要由分离装置、视频柜、坏烟收集箱、电控柜、分离柜和显示终端等结构组成。其中，分离装置负责将连条小包分开一定距离，视频柜负责采集小包外观图像，通过人工智能算法判断是否有外观质量缺陷，剔除装置中不合格的烟包小包。系统结构如图1所示。

图1 小包检测装置结构组成

视频柜包括：

1)7台CCD工业相机。

翠姨从此想到了念书的问题，但是她已经二十岁了，上哪里去念书？上小学没有她这样大的学生；上中学，她是一字不识，怎样可以。所以仍旧住在我们家里。

7台CCD工业相机分别检测烟包的两个端面、上表面和侧面。

2)1套LED照明系统。

该照明系统由多条高亮度LED光源组成，其从烟包的不同角度打光，以有效消除阴影以及透明纸的反光。

3)1套高精度光纤位置传感器。

该传感器固定在烟包检测位置上。当烟包经过时，传感器发出定位信号，启动CCD相机进行图像捕捉，并将图像发送给推理服务器。

人工智能图像处理平台：其硬件根据烟厂要求可选配工控机或服务器。平台收到图像后会调用人工智能算法模型对图像进行推理运算来判断是否有缺陷。如果判断有缺陷则发送剔除信号给剔除系统。如果选配工控机，则会安装到电控柜里面；如果选配服务器进行网络化部署，则安装到配套的服务器机柜。

剔除机构包括：

1)1套反射式光纤位置传感器。该传感器固定在烟包剔除位置上，当有包装缺陷的烟包经过时，传感器发出信号给I/O控制板，I/O控制板将启动高速气阀击打装置，将该烟包迅速推出流水线。

2)1套高速气阀击打装置。该装置用来把有包装缺陷的烟包从流水线上剔除。

电控柜主要由交换机、I/O控制板、供电模块、接线端子、继电器、工控机(选配)等组成。电控柜需要接入到车间的配电柜通电。电控柜给整个系统提供电源并进行信号控制。电控柜提供12 V直流电给相机使用，提供24 V直流电给I/O控制板、工控机、灯光使用，提供220 V交流电给伺服电机、显示一体机(可选)使用。

显示终端：通过立式显示一体机触摸屏为用户提供友好的人机界面。用户可以通过维护终端进行系统配置、实时图像查询、历史图像查询、训练推理模型。

3.2 检测流程

烟包小包从机台传送带向前传送到达分离装置，分离装置将连包小包分开后以一定间距进入视频柜。烟包小包到达视频柜检测位光纤传感器时，I/O控制板会收到小包到位信号。I/O控制板一方面控制光源进行打光，另外一方面将拍照信号发给CCD工业相机[6]，CCD工业相机接收到信号后对小包进行拍照。推理系统调用人工智能图像处理算法模型，判断该烟包是否有外观质量问题。如果有缺陷，则对该烟包进行标记。烟包到达剔除机构的定位光纤传感器时，I/O控制板将收到烟包到位信号。I/O控制板查看程序是否有剔除标记。如果需要剔除，I/O控制板发出剔除信号给剔除装置进行剔除；如果不需要剔除，则不做剔除动作。显示终端(一体机)搭载客户端软件(可选配)，提供实时和历史检测图像查询、模型训练操作和系统配置等功能。流程图如图2所示。

图2 烟包检测装置主要检测流程图

4 检测算法

深度学习是一种机器学习方法，是人工智能算法的一个分支，深度学习取得的突破也驱动着人工智能蓬勃发展[7]。在RCNN、Fast RCNN之后，Ross Girshick在2016年提出Faster RCNN深度学习方法，将特征网络、提取、目标定位、目标分类整合到一个网络中，性能大幅提升,与RCNN和Fast RCNN相比，具有更快的速度和更高的精准度。该小包外观检测装置使用Faster RCNN作为主干网络进行小包的外观缺陷检测。该算法模型包含以下4个部分：

1)特征提取网络。本文选择ResNet50作为特征提取网络，与ZF、VGG16相比，其卷积层数较多，能提取更多的特征，比较适合于烟包小包这种小区域的图像特征提取的目标检测。

2)RPN区域选取网络。RPN使用滑动窗口遍历特征提取网络中的特征图，生成region proposals。通过softmax判断anchors(锚点，9个框)是前景还是背景，再通过边界框回归对anchors进行修正，获得精确的proposals。其损失函数如下所示：

(1)

其中：

图3 RPN网络结构

3)ROI Pooling。ROI Pooling的作用是根据预选框的位置坐标在特征图中将相应区域池化为固定尺寸的特征图，以便进行后续的分类和包围框回归操作。由于预选框的位置通常是由模型回归得到的，一般来讲是浮点数，而池化后的特征图要求尺寸固定,故ROI Pooling这一操作存在两次量化过程：将候选框边界量化为整数点坐标值；将量化后的边界区域平均分割成k×k个单元并对每一个单元的边界进行量化。事实上，经过上述两次量化，此时的候选框已经和最开始回归出来的位置有一定的偏差，这个偏差会影响检测或者分割的准确度[8]。为了解决上述缺点，本文采用ROI Align Pooling这一改进方法对原算法进行替换，步骤如下：遍历每一个候选区域，保持浮点数边界不做量化；将候选区域分割成k×k个单元，每个单元的边界也不做量化；在每个单元中计算4个坐标位置，用双线性内插的方法计算出这4个位置的值，然后进行最大池化操作。

4)Classification。通过将proposal特征图展平处理和一系列全连接层操作便可以得到目标分类结果以及边界框回归的结果。

5 实用效果

准确的视觉检测来源于稳定的成像，但实际在线检测时又很难保证每包烟的姿态完全一致。烟包晃动会造成大量误检、误剔，影响生产。本装置采用专门研发的钢丝护栏保证烟包在检测位置有稳定的姿态，从而保证检测效果的准确性和稳定性。为了验证Faster RCNN深度学习在烟包小包检错识别上的有效性，将标注好的数据集加入进行训练。数据集总共1 680张图片，其中80%用作训练集，20%用于验证集，训练100次。部分数据集如图4、图5所示。

图4 错误烟包图

图5 正确烟包图

本文提出的检测算法在实际应用中达到了很高的精度，可以对烟包以300～600包/min的速度进行5面检测。实验结果表明，一般缺陷检出率大于99%，严重缺陷检出率100%，误检率低于0.01%，可以有效识别2 mm×2 mm以上的污物、异物。可检测缺陷种类见表1。

表1 检测缺陷种类

6 结束语

本文将传统机器视觉检测装置升级到人工智能视觉检测装置，使检测装置具备自我学习、持续演进的能力，可大大提升识别的准确率，显著降低误检率。装置的高精度光学CCD的引入能有效提高烟包缺陷检测精度，人工智能图像处理平台的加持可有效提高系统的稳定性。硬件采用标准化设计，形成视频组件、电控组件、显示组件、剔除组件、分离组件、告警组件等系列产品，可满足卷烟厂不同应用场景下的快速实施要求，避免因烟包外观质量缺陷带来的损失，保障烟厂的烟支产品质量。