基于机器视觉的袋泡茶包缺陷检测方法

杨庆华，王　玲，荀　一，鲍官军，张　盛

(1.浙江工业大学 特种装备制造与先进加工技术教育部重点实验室，浙江 杭州 310032；2.浙江茶乾坤食品股份有限公司, 浙江 湖州 313100)

基于机器视觉的袋泡茶包缺陷检测方法

杨庆华1，王玲1，荀一1，鲍官军1，张盛2

(1.浙江工业大学 特种装备制造与先进加工技术教育部重点实验室，浙江 杭州 310032；2.浙江茶乾坤食品股份有限公司, 浙江 湖州 313100)

摘要：针对袋泡茶包的缺陷，设计了基于机器视觉的袋泡茶包缺陷检测装置，提出了识别袋泡茶包缺陷的图像处理方法.通过最大类间差算法对茶包图像进行阈值分割，去除背景.根据茶包外形特点以及不同的缺陷特征，对茶包进行四边形拟合并划分成不同区域.通过计算茶包边缘夹角以及统计分析各区域灰度信息的方法，识别斜包、皱包、空包、夹渣包、左右不对称包缺陷；通过形态学运算和边缘检测识别破包缺陷.实验结果表明：各种缺陷的正检率均达到85%以上，总的缺陷正检率达91.8%。

关键词：机器视觉;最大类间差;区域划分;灰度信息;形态学

Method based on machine vision for teabag defects detection

YANG Qinghua1, WANG Ling1, XUN Yi1, BAO Guanjun1, ZHANG Sheng2

(1.Key Laboratory of Special Purpose Equipment and Advanced Manufacturing Technology, Ministry of Education,

Zhejiang University of Technology, Hangzhou 310014, China；2.Zhejiang Tea World Food Co., Ltd., Huzhou 313100, China)

Abstract:To detect the defects of teabags, a defects detection device based on machine vision was proposed, and an image processing method was developed in this paper. The otsu algorithm was used to segment the object image so the background can be removed. According to the shape feature and different defects’ characteristics of the teabags, rectangle fitting was applied to fit the teabag outline. As the included angles of the teabag edge lines were figured out, the inclined teabags can be found out. The teabag was divided into several areas within the rectangle. As the gray value information of each area was drawn, the teabag, whether it was a crinkle bag, empty bag, left-right asymmetry bag or had dross contained in margin, can be tested out. Morphological algorithm and border detection algorithm were operated to extract the damage defect of the teabag. The experiment verified that all the detection rates can be higher than 85%, and the overall detection rate is 91.8%。

Keywords:machine vision; otsu; area division; gray value information; morphological algorithm

袋泡茶是将茶叶封装在薄滤纸袋中,用时连同滤纸袋一同放入茶具内.袋泡茶使用可以提高浸出率,使得茶末得到充分的利用，并且袋泡茶有冲泡快速,清洁卫生、用量标准,可以混饮,排渣方便,携带容易等优点，符合快节奏的生活需要,在国际市场中需求量大[1].袋泡茶要求外袋方正，表面平整、洁净，无污迹、皱褶、破洞.然而，加工后部分茶包存在着一些缺陷，主要有夹料包、破包、皱包、空包、斜包以及左右不对称等[2-3].目前这些缺陷的检测主要由人工观测完成，这种方法效率低、劳动强度大、准确度不稳定，检测结果随着工人积极性与精神集中度而变化。

机器视觉技术随着计算机技术，图像处理技术的发展常被应用到工业及农业产品的缺陷检测中[4-9],机器视觉技术用于产品包装缺陷的检测国内外也有大量的研究[10-13].基于机器视觉技术的缺陷检测方法，即利用图像处理和分析对产品可能存在的缺陷进行检测.将机器视觉检测技术应用于茶包的缺陷检测可以提高生产效率，降低工人成本，提高缺陷检测的准确度，保证茶包的质量.且采用机器视觉缺陷检测技术可以做到无接触，无损伤，不产生污染等优点。

1茶包的缺陷及其特征

本实验中的茶包来自浙江长兴茶乾坤食品有限公司生产的袋泡茶，茶包外形为75 mm×70 mm的矩形，两侧边缘封口宽度为10 mm，底部分口宽度为8 mm.如图1所示。

图1　袋泡茶包Fig.1　The image of teabag

茶包缺陷有很多种，主要有夹渣包、破包、皱包、空包、斜包、左右不对称等，如图2所示.观察缺陷茶包，可以发现不同的缺陷有不同的特征.特征如下：

图2　缺陷茶包Fig.2　Defects of teabags

1) 夹渣包：茶叶末在封装的时候夹入茶包边缘，使得茶包边缘灰度值降低。

2) 破包：茶包破损处茶叶会裸露，破损区域灰度值比其他部分灰度值低得多。

3) 皱包：茶包皱起，其特点是面积较正常的茶包要小。

4) 空包：空包中没有茶叶，茶包整体平均灰度值较正常茶包要高许多。

5) 斜包：倾斜茶包的边缘不垂直，其所成角度与90°相差较大。

6) 左右不对称茶包：茶包左边或右边边缘封口宽度与标准值相差较大。

2茶包图像采集

茶包缺陷检测系统由光源、摄像头、图像采集卡、采集箱以及计算机组成.图3为茶包缺陷检测装置.在本实验中，采集光源选用日光灯，平行布置于采集箱两侧。

图3　茶包图像采集系统Fig.3　Teabag image acquisition system

茶包的大小为75 mm×70 mm，拍摄面积为104 mm×81 mm.过对茶包的分析，最小缺陷尺寸为1 mm，误差允许值设置为±20%，则其检测精度为

δ=1 mm×20%=0.2 mm

(1)

设精度系数K=2.5，用V，H分别表示釆集区域的横向、纵向的尺寸，即可计算出横向、纵向的像素值m，n，其计算公式分别为

(2)

(3)

根据精度要求得拍摄像素不能低于1 300p×1 012p，选用北京嘉恒中自图像技术有限公司的OK_AM1300高分辨逐行扫描黑白摄像头。

3茶包区域提取

采用最大类间差法[14]寻找最优阈值对茶包图像进行分割.设阈值k对应图像目标和背景两组像素灰度方差为σ(k)，最优阈值K为maxσ(k)对应的k值，σ(k)的表达式为

(4)

式中：μ为图像平均灰度；ω(k)和μ(k)分别为阈值为k时目标像素所占比例和灰度平均值。

图4　茶包掩模和去除背景的茶包Fig.4　Teabag mask and teabag image with removed background

根据式(4)得到阈值K.对阈值分割后的图像提取轮廓，选取最外侧轮廓，并对图像轮廓进行填充，得到去除背景后的掩模[15-16]，如图4(a)所示.将掩模与原图叠加，得到去除背景的茶包图，如图4(b)所示。

4茶包缺陷提取

如图2所示，针对茶包的主要缺陷及其特征,采用筛选的办法从易到难排除茶包的缺陷.茶包缺陷的排除顺序为：斜包——皱包——空包——夹渣包——左右不对称包——破包。

斜包的特点是边缘夹角明显大于或小于90°,因此可以对茶包的边缘进行四边形拟合[17]，如图5所示。

图5　四边形拟合茶包Fig.5　Teabag image with fitted rectangle

四边形拟合的原理为：扫描茶包的轮廓，找到轮廓上距离最远的两个点，然后将两个点连成一线段，再查找轮廓上到线段距离最远的点，添加到逼近后的新轮廓.将该算法进行一次迭代，得到四边形的四个顶点PT0，PT1，PT3，PT4以及四条直线L1，L2，L3，L4。

则L1与L2夹角为

(5)

同理可求出L2与L3夹角α2，L3与L4夹角α3，L4与L1夹角α0.茶包为矩形，理想茶包α1=α2=α3=α0=90°，允许茶包夹角α在88°到92°，当茶包夹角小于88°或大于92°时，视觉上可明显感到茶包为斜包，影响茶包整体美观.故茶包夹角中有小于88°或大于92°的，则该茶包被视为斜包。

茶包规格为75mm×70mm，拍摄面积为106mm×82mm，由此得出茶包面积占拍摄面积的60.4%.允许茶包大小误差在4%以内，若茶包面积占拍摄面积(即非零像素占总像素的比值)小于56.4%，则认为该茶包为皱包。

夹渣的茶包，由于夹渣面积较小，直接统计茶包整体平均灰度值，发现平均灰度值与没有瑕疵的茶包相差不明显.如四叉树图像分割[18]，四边形拟合后的茶包可被划分成小块来分别统计其平均灰度值以提高识别精度。

根据茶包的尺寸特点画出相应的直线，得到便于统计的区域，如图6所示。

图6　茶包区域划分Fig.6　Teabag image with division lines

对图像进行像素扫描，记录非零像素总点数PN0，非零像素灰度值f(x,y)，记图像的像素值总和SP0，平均灰度值为AP0，则

SP0=∑f(x,y)

(6)

(7)

根据PN0所占总拍摄区域的比例，可判断茶包是否为皱包。

经过大量统计非空茶包整个茶包的平均灰度值在T1到T2之间，而空包由于中间没有茶叶，灰度值明显高于普通茶包，其平均灰度值AP0比普通茶包约高37%.故AP0大于一定值的茶包可定为空包。

在扫描统计过程中，同时计算划分所得的四边形G3PT1PT2G6，PT0G0G9PT3，G2G3G6G7，G0G1G8G9，G5PT2PT3G10，PT0PT1G4G11内像素的平均灰度PNAL，PNAR，PNBL，PNCL，PNCR.对于没有夹渣茶包值在210±5.对于有明显夹渣的茶包(夹渣面积占边缘区域面积大于10%)，其值明显下降，当其下降5%时该茶包被认为是夹渣包。

对于左右不对称茶包(左边封口过宽，右边封口过窄，或左边封口过窄，右边封口过宽)，则会导致过高.无左右不对称茶包约为180～190之间，而左右不对称茶包要高于普通茶包.当超过10%时，该茶包被视为左右不对称茶包。

对茶包进行区域标记，统计多个茶包非破包区域像素与破包区域像素进行对比，发现破包区域的像素灰度值在一定值以下，而非破包区域的像素绝大多数都在一定值以上.如图7所示。

图7　茶包像素抽样Fig.7　Sample value of teabag image

根据图7得到灰度信息，经过试验选择阈值T=90对茶包二值化分割，得到二值图如图8(b)所示。

图8　二值化茶包Fig.8　Teabag image after threshold

从图8(b)中可以看出：破损处可以被分割出来，普通茶包存在极少数灰度值小于T的点，故普通茶包不可能被分割出面积较大的黑色区域.由于破损处呈细长状，在某些区域是断裂的，因此可对二值化后的图像进行形态学闭运算.形态学闭运算的特点是可以填充物体内细小空洞、连接邻近物体、平滑其边界的同时并不明显改变其面积.对茶包进行形态学闭运算[19]可将断裂处连接起来.对形态学操作后的图像进行边缘检测.计算轮廓所包围的面积，发现普通茶包轮廓所包围的面积远小于破损茶包轮廓所包围的面积。

5实验验证与分析

为了检查该缺陷检测系统的精度，人工分别挑选出若干缺陷茶包及正常茶包进行测试.测试结果如表1所示.表中茶包的正检个数是指缺陷被识别出的茶包个数，正检率为正检个数/茶包个数，误检率为误检个数/茶包个数，其中误检包括将正常包判定为缺陷包或者缺陷判别错误。

表1　茶包测试结果

经过实验验证可以看出：对斜包，皱包，空包以及正常包的正检率较高，达到97%以上；对夹渣包，左右不对称包，破包的正检率相对较低，在85%以上；总的正检率为91.8%.对于少量夹渣的茶包，夹渣对区域影响不明显，故被检测出的概率不够高；有些破包破损处看不到缝，故不易检测出；左右不对称包由于受夹渣包的影响，被检测出的概率也不是很高。

6结论

本研究介绍了基于机器视觉的袋泡茶包缺陷检测装置并提出了识别袋泡茶包缺陷的图像处理方法.针对斜包，皱包，空包，夹渣包，左右不对称包缺陷，对茶包进行了四边形拟合并划分成不同区域，计算茶包边缘夹角以及统计分析各区域灰度信息来识别；而针对破包缺陷，则通过阈值分割，形态学运算等方法来识别.最后进行实验验证，茶包缺陷的正检率基本能满足厂家生产需求.但夹渣包，破包，左右不对称包检出的概率还不是很高，其图像处理算法有待下一步提高。

参考文献：

[1]廖亮.茶叶包装方法分析[J].食品与药品，2005(7):41-42。

[2]韦忠良.谈谈袋泡茶的产品质量标准[J].中国茶叶，1999(1)：16-17。

[3]蔡知凌，郑华，郑俊超.出口袋泡茶常见质量问题及分析[J].福建茶叶，2003(4):27-28。

[4]李江波.脐橙表面缺陷的快速检测方法研究[D].杭州：浙江大学，2012。

[5]HAO Shen, LI Shuxiao, GU Duoyu, et al.Bearing defect inspection based on machine vision[J]. Mesurement，2012，45(4):719-733。

[6]鲍官军，荀一，戚力勇，等.机器视觉在黄瓜采摘机器人中的应用研究[J].浙江工业大学学报，2010,38(1):114-118。

[7]NASHAT S, ABDULLAH A, ABDULLAH M Z. Machine vision for crack inspection of biscuits featuring pyramid detection scheme[J]. Journal of Food Engineering，2014，120:233-247。

[8]ZHANG Baohua, HUANG Wenqian, GONG Liang, et al. Computer vision detection of defective apples using automatic lightness correction and weighted RVM classifier[J]. Journal of Food Engineering，2015，147：143-151。

[10]ZHOU Wenju, FEI Minrui, ZHOU Huiyu, et al. A sparse representation based fast detection method for surface defect detection of bottle caps[J]. Neurocomputing,2014,123(10):406-414。

[11]LIN H D, CHIU Y S P. Computer-aided quality system for visual blemish inspection of epoxy packages[J]. Scientia Iranica,2011,18(6):1591-1599。

[12]南雅芳.块状食品包装生产线视觉及监控系统的开发[D].天津：河北工业大学，2013。

[13]阚文君.基于机器视觉的泡罩药品缺陷检测系统研究[D].石家庄：石家庄铁道大学，2014。

[14]齐丽娜，张博，王战凯.最大类间方差法在图像处理中的应用[J].无线电工程，2006，36(7):25-44。

[15]庞江伟.基于计算机视觉的脐橙表面常见缺陷种类识别的研究[D].杭州：浙江大学，2006。

[16]李江波.脐橙表面缺陷的快速检测方法研究[D].杭州：浙江大学，2012。

[17]姜利.基于矩形拟合的Chip元件位置误差视觉检测算法[J].机械制造与自动化，2013,42(5):72-74。

[18]宋宇彬，张秉权，郝永平.基于四叉树的图像分割技术[J].测控技术，2004,23(6):63-65。

[19]何斌，马天予，王运坚，等.visual c++数字图像处理[M].北京：人民邮电出版社，2002。

(责任编辑：刘岩)

中图分类号：TP242

文献标志码：A

文章编号：1006-4303(2015)02-0163-05

作者简介：杨庆华(1964 —)，男，浙江义乌人，教授，博士生导师，研究方向为机器人技术，E-mail：zjutme@163.com。

基金项目：浙江省特种装备制造与先进加工技术重点实验室开放基金资助项目(2011EM002)

收稿日期：2014-10-20