PET瓶封盖缺陷视觉检测算法研究

吴兰兰，陈 硕*，黄祥斌，陆 华

(1.福州大学 机械工程及自动化学院，福建 福州 350116；2.福州三龙喷码科技有限公司，福建 福州 350014)

0 引 言

随着饮料企业生产线的自动化程度不断提高，生产过程中也会产生一些不合格产品，封盖缺陷就是在旋盖过程中产生的，常见的封盖缺陷有无盖、高盖和歪盖。传统的人工目测的封盖缺陷检测方法效率低下，且稳定性差。基于机器视觉的自动化无损检测技术在饮料行业得到了广泛的应用。国外的KRONES、HEUFT、MIHO等公司，国内的大恒、浩克、明佳等公司已经研制出相应的视觉检测设备[1]。

对于基于机器视觉的封盖缺陷检测理论的研究，已经有不少学者取得一定的研究成果。文献[2]使用区域标记算法、Canny边缘检测算法、黑白二值化算法等，自动寻找瓶盖区域并确定瓶盖缝隙的像素宽度，实现了对瓶盖缝隙宽度的检测；文献[3]利用多传感器融合技术进行瓶盖封装检测，多传感器融合保证了检测系统的准确性，但仅对硬件平台的搭建进行阐述，未介绍具体的检测算法；文献[4]应用对称匹配算法来检测PET瓶封盖缺陷，该算法准确性高、鲁棒性强，并且能消除毛刺和水珠对封盖检测的影响，但算法比较复杂，对光照条件要求较高；文献[5]针对PET瓶防盗环是否断裂，设计了一种基于轮廓曲率计算和角点检测的防盗环断裂检测算法；文献[6]提出一种基于图像匹配的PET饮料瓶封装缺陷的检测方法，利用直方图不变矩并结合周长、面积、灰度等特征进行图像匹配，根据匹配程度判断瓶盖封装质量，该方法简单，但匹配算法速度较慢，且无法对具体缺陷进行分类；文献[7]利用Hough变换得到持胚环线，采用最小二乘拟合瓶盖顶部的直线，通过持胚环直线和瓶盖顶部直线位置关系完成瓶盖的快速检测，该算法准确率高，但是Hough计算量较大，且边缘提取效果对其影响很大；文献[8]用待检图像和标准图像进行配准和差影计算，利用得到的差影图像实现对药瓶封盖缺陷检测，该算法简单，但对光照条件要求较高，且易受背景噪声影响。

上述文献对检测系统对硬件要求较高，检测算法较为复杂、检测效率低，且只能检测出实际存在的瓶盖缺陷，无法对具体的缺陷进行分类和判别显示。

本文主要针对PET瓶在封盖过程中存在的无盖、高盖和歪盖缺陷进行检测，实现对多种类型瓶盖封盖缺陷的检测。

1 封盖缺陷视觉检测硬件平台搭建

该系统主要由光电传感器、成像系统、图像处理部分、工业IO卡和剔除装置等硬件组成[9-12]。待检PET瓶放置在运动的传送带上，PET瓶经过光电传感器时触发相机拍照，图像采集卡采集PET瓶图像并传输到图像识别系统对PET瓶图像进行实时检测，判断有无缺陷并标记。如果饮料瓶存在缺陷，检测系统对饮料瓶缺陷特征进行分析并识别缺陷类型，同时工控机通过工业IO卡发出剔除信号，剔除装置动作，把不合格品剔除生产线。检测系统硬件系统如图1所示。

图1 封盖缺陷检测硬件系统示意图

三维结构示意图如图2所示。

图2 封盖缺陷检测系统三维结构示意图

通过实验研究，目前PET瓶封盖缺陷检测存在以下难点：(1)PET瓶材质为聚苯二甲酸乙二醇酯，具有高透光率和反光率，且瓶内液体对光有折射特性，易造成采集图像不清晰、缺陷信息丢失；(2)由于PET的反光特性，对光电传感器的响应/释放时间有较高要求。

为了解决上述难点，本研究首先选取分辨率为640×480的CMOS工业相机、镜头选择像面尺寸为2/3''的大光圈镜头，选择背光照明方式。光源选择贴片LED，漫射面板，长宽均为120 mm的白色面光源，光源与饮料瓶平行布置。光源具体布置如图3所示。

图3 光源示意图

光电传感器选择反射式(响应释放时间为0.25 ms)，需要调整光电传感器的位置，使瓶子正好处在采集到的图像的正中央。光电传感器位置示意图如图4所示。

图4 光电传感器位置示意图

2 封盖缺陷图像处理算法

2.1 基于图像匹配的无盖检测算法

当相机位置固定，光照条件不变时，相机拍出来的PET瓶瓶盖部分效果图中瓶盖的灰度特征和形状特征都非常明显，因此可以根据图像匹配算法来检测瓶盖的有无。

图像匹配是指从一幅(或多幅)图像中找出与给定的图像相似的图像或者相似的区域(子图像)的过程。通常把给定的图像称为模板图像，而将待搜索图像称为目标图像[13]。因为瓶盖检测是对高速生产线上的PET瓶进行实时检测，对检测速度要求很高，本文选择基于特征的匹配算法对瓶盖进行检测，匹配过程可以分为两步：特征提取和相似性度量。

2.1.1 特征提取

根据瓶盖特点，笔者选择其轮廓作为特征进行图像匹配。基于轮廓的形状匹配算法主要在于对目标轮廓的提取，所以轮廓的提取精度会对匹配结果产生重要的影响。常见的轮廓边缘检测算法有：Sobel、Prewitt、Log、Canny等。其中Canny算子边缘检测效果较好，它利用高斯函数对图像进行去噪，能够在去抗噪声干扰和边缘精确定位之间取得较好的平衡[14]，其基本步骤如下：

(1)高斯函数平滑图像如下：

(1)

式中：f(x，y)—输入图像；G(x，y)—高斯函数。

高斯函数平滑后的图像为fs(x，y)为：

fs(x，y)=G(x，y)*f(x，y)

(2)

(2)用一阶偏导的有限差分来计算梯度的幅值和方向，图像上沿x和y方向上的一阶导数gx、gy为：

(3)

(4)

对应点的梯度和方向为：

(5)

(6)

(3)对梯度幅值进行非极大值抑制，通过当前像素点的梯度值与该点相邻的两个像素点的梯度值进行比较，如果满足以下条件：该梯度幅值大于相邻的两个像素点的幅值；相邻的两个方向间的梯度方向小于45°；该点周围的3×3区域的梯度幅值小于设定的阈值，则将该点作为图像的边缘点。如果该点梯度值小于相邻的点，则将其值置为0，从而完成非极大值抑制过程。

(4)用双阈值算法检测和连接边缘，双阈值处理以减少伪边缘点，并用连接分析来检测并连接边缘。

为了节省Canny算子检测时间，本研究先提取瓶盖区域，然后再用Canny算子进行边缘检测，检测出来的边缘为绿色。轮廓特征提取如图5所示。

图5 轮廓特征提取

得到轮廓线后，本研究记录轮廓的坐标以及相应的一阶导数作为轮廓的描述子，用于下一步匹配。

2.1.2 相似性度量

瓶盖轮廓建立模板后，接下来笔者用模板在待匹配图像中寻找匹配目标，进行相似性度量。在相似性度量上，本文设计了一种基于归一化互相关系数(NCC)的相似性度量算法，能有效地避免光照变化对匹配精度的影响。其基本原理如下：

假设在匹配模板中轮廓线的坐标以及X、Y方向上的梯度分别为

Pi=(Xi，Yi)

(7)

Gi=(Gxi，Gyi)

(8)

式中：i—模板轮廓坐标个数，i=0，1，2，…n。

同理在待匹配图像中X、Y方向上的梯度为

Gu，v=(Gxu，v，Gyu，v)

(9)

式中：u—待匹配图像的行，u=0，1，2，…M；v—待匹配图像的列，v=0，1，2，…N。

在匹配过程中，笔者将模板在待匹配图像上移动，比较模板与待匹配图像上与模板重合区域的图像之间的差异，取差异最小的区域为最佳匹配区域[15]。相似性度量基本思想是计算模板图像所有点的梯度向量与待匹配图像中相应点处的梯度向量的归一化点积的和[16]，相似性度量公式如下：

(10)

式中：Su，v—相似度阈值，0≤Su，v≤1，当Su，v=1时表示待匹配图像中有与模板图像完美匹配的图像，当Su，v=0时表示在待搜索图像中没有找到与模板图像匹配的图像。

基于归一化互相关系数的相似性度量算法还有一个值得利用的特性，就是可以人为设定一个相似度阈值Smin，这样在计算图像的匹配度时就不需要计算模板所有元素与目标图像对应的点积。使用Sj表示累计到模板的第j个元素时点积的总和[17]：

(11)

显然，从j到n的所有剩余项都小于或等于1。因此，当Sj

本研究用上述算法对正常瓶盖、高盖、歪盖、无盖进行测试，测得4种类型瓶盖相似性度量得分分别为0.998 501、0.990 258、0.978 18和0.641 889，测试结果如图6所示。

图6 图像匹配结果

经过大量实验测试发现：有盖的相似性度量得分都大于0.9，无盖的相似性度量得分都小于0.7。所以笔者设置阈值Smin为0.7。

2.2 高盖歪盖检测算法

通过上述匹配算法检测后，若判别瓶盖存在，则需进一步对高盖、歪盖进行检测。本文以持胚环作为测量基准，用Harris角点检测算法得到持胚环的两个边缘点，准确拟合出持胚环所在的直线，并用最小二乘拟合算法计算出瓶盖的上边缘线，通过比较基准线与瓶盖上边缘线之间的位置关系即可判断是否存在高盖、歪盖缺陷。

2.2.1 基准线的提取

持胚环是PET瓶为了抓取方便设计的一种特殊结构。以持胚环为基准首先要提取持胚环所在的直线。为了减少运算量，本研究先对持胚环所在区域进行提取。利用匹配算法得到的轮廓位置信息进行相应计算就可以获得持胚环所在区域。

由于持胚环周围灰度变化不是太明显，传统的边缘提取效果都不是很好。本文用Harris角点检测算法提取持胚环最左和最右两个角点，根据两角点位置准确计算出持胚环所在的直线。

由Harris角点检测算法对持胚环区域进行检测，根据最左边和最右边的两点确定的直线方程为y=k0x+b0。角点检测及持胚环直线确定如图7所示。

图7 角点检测及持胚环直线确定

2.2.2 瓶盖上边缘直线拟合

提取瓶盖上边缘所在直线也是先提取瓶盖上边缘所在区域。同样利用图像匹配算法得到的轮廓位置信息进行相应计算就可以获得瓶盖上边缘所在区域。瓶盖边缘与背景灰度变化非常明显，所以可以用Canny边缘检测算法得到瓶盖边缘。用Canny算法得到的边缘线还包括瓶盖两侧的边缘线，所以还需进一步把上边缘线单独提取出来。通过选取纵坐标小于一定值的边缘点[18]，最终得到的上边缘线如图8所示。

图8 瓶盖上边缘线

提取了上边缘线后，本文用最小二乘法对上边缘所在直线进行拟合。给定n个点{(xi，yi)，i=0，1，...，n}设

y=kx+b

(12)

式中：k—直线方程斜率；b—直线方程截距。

用最小二乘法估计参数时，要求观测值的偏差的加权平方和为最小。对直线拟合来说，就是使下式的值最小：

(13)

对上式中的k、b分别进行求偏导，得:

(14)

求解上述方程组便可求得直线参数k和b的最佳估计值:

(15)

(16)

最终瓶盖上边缘所在直线的拟合效果如图9所示。

图9 瓶盖上边缘拟合直线

基准线和上边缘线都求出来之后，根据两条直线的距离及夹角即可判断是否存在高盖、歪盖缺陷。

(17)

则说明瓶盖是歪盖，其中μ是设定的阈值，具体数值要根据瓶盖制造精度以及生产者要求精度来确定。

(18)

如果d>d0，则说明瓶盖是高盖，否则瓶盖合格。d0为持胚环到瓶盖上边缘的标准距离。

3 算法流程

本文先利用图像匹配算法对瓶盖轮廓特征进行提取，根据模版图像和待匹配图像相似性度量判别瓶盖的有无，再利用Harris角点检测拟合瓶盖持胚环基准直线方程，用Canny边缘检测算法和最小二乘拟合算法提取瓶盖上边缘直线方程，最后通过两直线方程位置关系判别是否为高盖或歪盖缺陷。

检测流程图如图10所示。

图10 PET瓶封盖缺陷检测算法流程图

4 实验结果

笔者对检测算法进行实验测试。本文选择SENTECH公司生产的STC-MB33PCL型工业相机，镜头选择Tokina公司型号为TC1214-3MPG的镜头，选用长宽都为120 mm的白色面光源。实验测试在处理器为Intel Core I5，主频3.3 GHz、内存4 G、win7操作系统的电脑上进行。

测试中本文设定瓶盖相似性度量匹配得分小于0.7即为无盖。瓶盖上边缘所在直线与持胚环所在直线的斜率绝对值之差大于0.03，即两条直线的夹角大于1.72°时，判定瓶盖为歪盖。瓶盖上边缘所在直线与持胚环所在直线的距离大于128个像素即为高盖。测试结果如图11所示。

图11 图像匹配结果

具体测试数据如表1所示。

表1 封盖检测试验测试结果

本文还对其他几种不同类型的PET瓶进行了封盖检测实验，对不同的PET瓶需根据瓶盖的几何特征对相应的检测参数进行修改，检测效果如图12所示。

图12 3种不同类型的瓶子检测效果

笔者对其他3种类型的PET瓶的封盖进行测试，具体的检测结果如表2所示。

表2 不同类型PET瓶测试结果

由实验测试结果可知：该封盖检测算法通用性较强，能适应不同类型的PET瓶瓶盖的检测。实验测试中，封盖检测的平均时间小于100 ms。

5 结束语

本文介绍了一种基于机器视觉技术的PET瓶封盖缺陷的检测算法，通过图像匹配算法能很好地实现瓶盖有无的判断；提出了基于持胚环线及瓶盖上边缘线的高盖、歪盖的检测方法，利用Harris角点检测算法，可精确确定出持胚环线所在直线方程，利用Canny边缘检测算法和最小二乘拟合算法得到上边缘线直线方程，使得高盖和歪盖的检测变得更加准确。

实验结果表明:该算法有较高的准确性和鲁棒性，检测时间短、通用性强，能对不同类型的缺陷进行实时分类和判别显示。

参考文献(References):

[1] 童季刚，廖 菲，罗良传.一种机器视觉的瓶罐缺陷检测系统设计[J].机电工程技术，2016，45(8)：28-31.

[2] 王海栋，赵巨峰，高秀敏,等.药品生产线瓶盖缝隙的视觉检测技术研究[J].光学仪器，2016,38(4):283-287.

[3] 张 哲，朱铮涛，李 渊,等.瓶盖缺陷在线自动检测技术研究[J].计算机技术与发展，2016，26(6):151-154.

[4] 王贵锦,刘 博,何 贝,等.应用对称匹配的PET瓶瓶盖缺陷实时检测[J].应用科学学报，2014，32(6):617-624.

[5] 彭 玉,王耀南,周显恩,等.基于轮廓曲率的PET瓶防盗环断裂检测[J].电子测量与仪器学报,2017,31(3):422-429.

[6] 孙 涛.基于图像匹配的PET饮料瓶封装缺陷检测研究[D].广州：广东工业大学自动化学院，2008.

[7] 郑云峰,王贵锦,何 贝,等.基于直线拟合算法的PET瓶瓶盖检测方法[J].计算机应用研究，2011，28(11):4398-4400.

[8] 王保军.基于机器视觉的药瓶封装缺陷检测系统研究[D].沈阳：东北大学机械工程与自动化学院，2014.

[9] CAMPOS M, FERREIRA M, MARTINS T. Inspection of bottle crates in the beer industry through computer vision[C]. Conference of the IEEE Industrial Electronics Society, Glendale: IEEE,2010.

[10] MERY D, MEDINA O. Automated visual inspection of glass bottles using adapted median filtering[C]. International Conference on Image Analysis & Recognition, Porto: Springer,2004.

[11] PENG Xiang-qian, LI Xiang-hua. An online glass medicine bottle defect inspection method based on machine vision[J].GlassTechnology:EuropeanJournalofGlassScience&TechnologyPartA,2015,56(3)：88-94.

[12] WANG Bao-jun, YANG Guang-yan. Medical bottle detecting system based on machine vision[J].AppliedMechanicsandMaterials,2013(373-375)：521-524.

[13] 郭倩茜.图像匹配的主要方法分析[J].科技创新与应用，2016(20):81.

[14] GONZALEZ R C.数字图像处理[M].3版.北京：电子工业出版社，2011.

[15] HOFHAUSER A, STEGER C, NAVAB N. Edge-based template matching and tracking for perspective distorted planar objects[J].LectureNotesinComputerScience，2008，5358(1):35-44.

[16] HARRIS C. A combined corner and edge detector[J].ProcAlveyVisionConf，1988(3):147-151.

[17] HOFHAUSER A, STEGER C, NAVAB N. Edge-based template matching with a harmonic deformation model[J].CommunicationsinComputerandInformationScience,2009,24(1):176-187.

[18] STEGER C.机器视觉算法与应用[M].北京：清华大学出版社，2008.