纸塑复合袋表面缺陷图像的梯度投影差值筛选方法

严国平李京钟飞吴世燃, 杨小俊

纸塑复合袋表面缺陷图像的梯度投影差值筛选方法

严国平1，李京1，钟飞1，2，吴世燃1, 杨小俊1

（1.湖北工业大学 机械工程学院，武汉 430068；2. 襄阳湖北工业大学产业研究院，湖北 襄阳 441100）

为了解决纸塑复合袋的缺陷图像筛选效率低、精度差等问题，提出一种基于梯度投影差值的纸塑复合袋表面缺陷图像筛选方法。首先采集纸塑复合袋图像，并利用Sobel算子函数得到其梯度幅值图像，使用水平投影和垂直投影计算公式，计算获取的梯度幅值图像信息，得出图像水平和垂直方向的投影均值，采集缺陷图像中具有丰富梯度信息的特点，分析梯度投影均值的差值，根据图像信息计算出阈值，通过比较投影差值和阈值，完成图像的筛选。针对此次采集的缺陷图像，当投影差值阈值设置在0.014 6～0.018 9内时，可以筛选出表面缺陷的图像。相较于差影法，该方法的筛选正确率提高了约10%，图片筛选时间加快了1.5 s。文中提出的梯度投影差值方法与差影法相比，具有图像筛选正确率高、筛选速度快等优点，满足图像筛选在工业生产上的需求。

纸塑复合袋；缺陷检测；图像筛选

纸塑复合袋广泛应用于食品包装、航空、科技、军工等领域[1-4]。目前，受到生产设备、加工工艺等因素的影响，纸塑复合袋表面存在较多种类的缺陷，如褶皱、破皮、孔洞、脏点等，这严重影响其外观和质量。为了确保纸塑复合袋的质量，必须对纸塑复合袋的生产过程进行实时检测，筛选出有缺陷的纸塑复合袋。传统的纸塑复合袋缺陷检测多依赖人工判断，这种方式效率较低，且检测结果因人而异。为了提高检测的效率和精度，研究人员提出采用机器视觉的方法对目标缺陷部位进行自动检测。

机器视觉技术在工业在线检测[5]、测量[6-8]等方面的应用逐渐广泛，国内外研究者也对此进行了大量的研究工作。Kim等[9]提出一种基于图像的农田检测系统，经过类激活图的阈值处理，可以检测农作物疾病症状，结果显示，现场检测系统可以自动检测出洋葱的真实病害症状。Ireri等[10]提出了一种基于单色相机和Arduino微控制器设计的番茄分拣系统，通过颜色和纹理分类识别缺陷，结果表明，该识别方法的总体检测精度为0.989。Manish等[11]提出了一种加工零件表面粗糙度和缺陷检测的图形方法。利用采集的直方图分析得出不同磨削零件的表面特征，根据灰度强度变化的分布区分表面纹理的差异。Nashat等[12]提出了一种饼干裂纹自动检测方案，使用单模态阈值技术，利用支持向量机（SVM）对饼干裂纹图像进行分类，结果表明，分类的正确率超过97%。

以上是机器视觉技术在缺陷识别中的应用，解决了从目标图像中找出缺陷的问题。在纸塑复合袋的生产过程中，会对所有的纸塑复合袋进行拍照采集。随着生产速度的提升，所采集的图片数量越来越多，若对所有纸塑复合袋图像进行处理，将会消耗大量不必要的时间。如何从所有采集到的纸塑复合袋照片中快速筛选出具有缺陷的照片是一个需要考虑的问题。

为了快速筛选出纸塑复合袋的缺陷图像，需要找出缺陷图像与正常图像的差异点。经过实践发现，纸塑复合袋图像中的缺陷区域和背景区域存在灰度差，缺陷区域的梯度幅值较大。由此得出，可以通过对比正常图像的梯度幅值差异来判断是否存在缺陷，从而筛选出具有缺陷的图像。

首先，利用工业相机采集目标图像。由于相机自身和外界环境会对采集图像产生噪声信息，因此在进行图像筛选前需要对图像进行预处理，以提高图片目标区域的辨识度。常见图像预处理算法包括均值滤波、中值滤波、高斯滤波等。针对纸塑复合袋缺陷图像的去噪，经过预处理后发现，采用均值滤波和中值滤波的去噪效果较差，处理后的图像模糊，细节丢失严重，而采用高斯滤波算法的去噪效果较好，缺陷边缘细节保留完整。图像筛选需满足实际生产中实时检测的要求，目前大多采用差影法[13-15]。由于纸塑复合袋表面本身存在一定的色差，再加上生产环境光照的影响，各纸塑复合袋表面成像的灰度值整体上存在差异。当缺陷与纸塑复合袋表面背景的灰度值较为接近时，则难以被差影法检测出，易造成缺陷漏检。针对差影法在对纸塑复合袋表面缺陷图像筛选中的不足，且缺陷区域比正常区域具有更明显的图片梯度信息，文中提出一种纸塑复合袋表面缺陷图像的梯度投影差值筛选方法。

梯度投影差值筛选方法根据梯度幅值图像来分别计算其水平投影和垂直投影，并计算图像各行、各列像素灰度平均值。由于纸塑复合袋表面缺陷图像的缺陷区域和背景区域存在灰度差，表面缺陷图像的梯度幅值会较大，可用梯度幅值图像水平和垂直方向投影均值曲线直观地衡量图像梯度。利用梯度幅值图像投影均值的最大值减去最小值，可以得出梯度投影均值的差值。通过比较差值与阈值，可以判断是否存在缺陷。采集到的纸塑复合袋表面缺陷图像包含丰富的梯度信息，根据各类缺陷梯度信息的不同，可以筛选出缺陷，因此采用梯度投影差值的方法对纸塑复合袋缺陷图像进行检测，可以弥补差影法在纸塑复合袋检测时容易漏检的问题，从而提高检测效率。

1 纸塑复合袋表面缺陷图像筛选方法

1.1 梯度幅值图像的投影理论

梯度幅值可以由式（2）来计算。

如图1所示，近似计算中心像素(,)的方向和方向的偏微分，如式（3）—（4）所示。

(3)

(4)

索贝尔算子主要用作边缘检测，它是离散性差分算子，用来运算图像亮度函数灰度的近似值。在图像的任何一点使用此算子，将会产生对应的灰度矢量或法矢量。

利用纸塑复合袋梯度幅值图像得到的信息，计算图像中的水平投影、垂直投影和图像的像素灰度平均值。

1.2 基于梯度投影差值的图像筛选流程及其实现

纸塑复合袋表面缺陷图像筛选流程见图2。

图2 缺陷图像筛选流程

纸塑复合袋外表面图片的梯度幅值投影见图3，图3中第1列为纸塑复合袋采集到的原图。由图3c可知，表面正常图像梯度投影均值曲线变化小，灰度值波动范围小，无明显灰度变化，而表面缺陷图像其梯度投影均值曲线存在明显灰度突变，因此可以依据纸塑复合袋表面图像梯度投影均值曲线的“山峰”高度，筛选出纸塑复合袋表面缺陷图像。

梯度投影均值曲线的“山峰”高度可以用梯度投影均值的差值来衡量，其计算过程见式（10）—（12）。

式中：()为梯度幅值图像水平投影均值； max[()]为最大值；min[()]为最小值。

式中：()为梯度幅值图像垂直投影均值；max[()]为最大值；min[()]为最小值。

和中的较大值为梯度投影均值的差值。

= max(,) (12)

设置梯度差值阈值，当大于时，判断这张表面图像是表面缺陷图像，否则为表面正常图像。

图3 纸塑复合袋表面图像的梯度幅值投影

2 筛选结果对比分析

2.1 图像筛选结果的分析

为了确定筛选准则，依据文中提出的筛选方法对每类200张（350像素×350像素）图像进行实验，表面缺陷图像梯度投影差值和表面正常图像的梯度投影差值的统计结果见图4。

由图4可知，当图像梯度投影差值阈值设置在0.014 6～0.018 9内时，可以判断表面图像是否为表面缺陷图像。

2.2 定量的比较与分析

取图像梯度投影差值阈值=0.016 3，对6类纸塑复合袋表面图像的每类100张图像样本进行测试，并与差影法比较，测试结果见表1，文中提出的纸塑复合袋图像筛选方法用GD表示。

从表1可以看出，与差影法相比，GD法取得了更好的筛选结果，筛选正确率为99.5%，筛选正确率提高了约10%，筛选图像的速度也有所提高，单张表面图像的平均判断时间仅为0.058 37 s。故采用GD法可以提高筛选纸塑复合袋表面图像的效率，加快检测速度，提高检测精度。

图4 纸塑复合袋表面图像梯度投影差值

表1 纸塑复合袋表面缺陷图像筛选测试结果

Tab.1 Surface defect image screening test result of paper-plastic composite bag

3 结语

以纸塑复合袋缺陷图像为研究对象，通过提出的新方法解决了缺陷图像筛选精度差、效率低的问题，实现了对纸塑复合袋表面缺陷的快速筛选。

1）分析了纸塑复合袋几种常见的缺陷特征，通过比较原始图像和不同方法预处理后的图像信息，根据峰值信噪比和算法处理时间的定量分析后发现，高斯滤波法的处理效果较好，同时运算速度也较快，因此确定高斯滤波为图像降噪算法。

2）将常规图像筛选方法用于纸塑复合袋缺陷检测时，由于纸塑复合袋的表面图像与背景的灰度值差异不大，缺陷图像难以被差影法检测，检测误差较大，因此不适用于纸塑复合袋表面缺陷检测。

3）提出了一种新的图像筛选方法，该方法基于图像的梯度投影差值信息，选择以水平投影的像素灰度值和垂直投影的像素灰度值来描述缺陷图像的纹理特征。通过比较缺陷图像与正常图像的投影差值，可以快速、准确地筛选出缺陷图像，且对纸塑复合袋的破皮、孔洞和脏点等均具有较好的筛选效果。实验证明，所提出方法的筛选正确率为99.5%，相较于差影法，提高了约10%。

[1] 崔卫鑫, 王克俭. 浅谈纸塑复合包装技术[J]. 塑料包装, 2019, 29(3): 16-19.

CUI Wei-xin, WANG Ke-jian. Introduction of Paper-Plastic Composite Packaging Technology[J]. Plastics Packaging, 2019, 29(3): 16-19.

[2] 乔广慧. 复合包装材料的基材、结构及性能分析[J]. 黑龙江造纸, 2012, 40(1): 27-29.

QIAO Guang-hui. Analysis of Substrate, Structure and Properties of Packaging Materials[J]. Heilongjiang Pulp & Paper, 2012, 40(1): 27-29.

[3] 常俊炜, 赵华菊. 探究纸塑干式复合工艺对覆膜印刷品性能影响[J]. 云南化工, 2018, 45(9): 100-101.

CHANG Jun-wei, ZHAO Hua-ju. Influence of Paper Plastic Dry Composite Process on Performance of Coated Printed Matter[J]. Yunnan Chemical Technology, 2018, 45(9): 100-101.

[4] 李学锋, 王建东, 石彪, 等. PP编织布与牛皮纸复合工艺易出现缺陷及改进措施[J]. 中国胶粘剂, 2001, 10(4): 36-38.

LI Xue-feng, WANG Jian-dong, SHI Biao, et al. Frequently Appeared Flaw and Improved Method of Lamination Process of PP Weaved Cloth and Kraft Paper[J]. China Adhesives, 2001, 10(4): 36-38.

[5] 戴斌宇, 吴静静. 基于机器视觉的定子表面缺陷检测系统研究[J]. 传感技术学报, 2019, 32(10): 1589-1594.

DAI Bin-yu, WU Jing-jing. Research of Surface Defect Detection System for Stator Based on Machine Vision[J]. Chinese Journal of Sensors and Actuators, 2019, 32(10): 1589-1594.

[6] JIA Hong-bin, MURPHEY Y L, SHI J, et al. An Intelligent Real-Time Vision System for Surface Defect Detection[C]// Proceedings of the 17th International Conference on Pattern Recognition, 2004: 239-242.

[7] 胡浩, 梁晋, 唐正宗, 等. 数字图像相关法测量金属薄板焊接的全场变形[J]. 光学精密工程, 2012, 20(7): 1636-1644.

HU Hao, LIANG Jin, TANG Zheng-zong, et al. Measurement of Full-Field Deformations in Metal Sheet Welding Processes by Image Correlation Method[J]. Optics and Precision Engineering, 2012, 20(7): 1636-1644.

[8] 卜雄洙, 李桂娟, 杨波, 等. 中心偏移的全景环形图像快速展开[J]. 光学精密工程, 2012, 20(9): 2103-2109.

BU Xiong-zhu, LI Gui-juan, YANG Bo, et al. Fast Unwrapping of Panoramic Annular Image with Center Deviation[J]. Optics and Precision Engineering, 2012, 20(9): 2103-2109.

[9] KIM W S, LEE D H, KIM Y J. Machine Vision-Based Automatic Disease Symptom Detection of Onion Downy Mildew[J]. Computers and Electronics in Agriculture, 2020, 168: 105099.

[10] IRERI D, BELAL E, OKINDA C, et al. A Computer Vision System for Defect Discrimination and Grading in Tomatoes Using Machine Learning and Image Processing[J]. Artificial Intelligence in Agriculture, 2019, 2: 28-37.

[11] MANISH R, VENKATESH A, DENIS ASHOK S. Machine Vision Based Image Processing Techniques for Surface Finish and Defect Inspection in a Grinding Process[J]. Materials Today: Proceedings, 2018, 5(5): 12792-12802.

[12] NASHAT S, ABDULLAH A, ABDULLAH M Z. Machine Vision for Crack Inspection of Biscuits Featuring Pyramid Detection Scheme[J]. Journal of Food Engineering, 2014, 120: 233-247.

[13] 曲蕴慧, 汤伟, 冯波. 一种基于差影法及SVM的在线纸病检测分类方法[J]. 包装工程, 2018, 39(23): 176-180.

QU Yun-hui, TANG Wei, FENG Bo. On-Line Detection and Classification Method Based on Background Subtraction and SVM[J]. Packaging Engineering, 2018, 39(23): 176-180.

[14] 雷波, 李清泉. 复杂交通场景中车辆视频检测的背景提取与更新[J]. 武汉大学学报·信息科学版, 2009, 34(8): 906-909.

LEI Bo, LI Qing-quan. Background Extraction and Updating in Complex Traffic Scene[J]. Geomatics and Information Science of Wuhan University, 2009, 34(8): 906-909.

[15] 刘晓杰, 罗印升, 张旻, 等. 基于机器视觉的零部件表面缺陷检测方法研究[J]. 现代电子技术, 2017, 40(24): 181-183.

LIU Xiao-jie, LUO Yin-sheng, ZHANG Min, et al. Research of Machine Vision Based Detection Method for Defects on Parts Surface[J]. Modern Electronics Technique, 2017, 40(24): 181-183.

Gradient Projection Difference Screening Method for Surface Defect Image of Paper-plastic Composite Bag

YAN Guo-ping1, LI Jing1, ZHONG Fei1,2, WU Shi-ran1, YANG Xiao-jun1

(1. School of Mechanical Engineering, Hubei University of Technology, Wuhan 430068, China; 2. Xiangyang Industry Research Institute, Hubei University of Technology, Hubei Xiangyang 441100, China)

The work aims to propose a surface defect image screening method for paper-plastic composite bag based on gradient projection difference, so as to solve the problem of low efficiency and poor accuracy in defect image screening. Firstly, the image of paper-plastic composite bag was acquired and the gradient magnitude image was obtained by Sobel operator function. Then, the information of the acquired gradient magnitude image was calculated by the horizontal projection and vertical projection calculation formula, and the average value of horizontal projection and vertical projection of the image was derived. The difference in average value of gradient projection was analyzed according to the feature of abundant gradient information in the acquired defect image, and the threshold value was calculated according to the image information. The screening of the image was completed by comparing the projection difference and the threshold value. For the acquired defect image, when the threshold value of projection difference was set in the range of 0.014 6 to 0.018 9, the image of surface defect could be screened. Compared with the differential shading method, the screening correct rate of this method was improved by 10% and the image screening time was accelerated by 1.5 s. The gradient projection difference method proposed has the advantages of high correct image screening rate and fast screening speed compared with the differential shading method, which can meet the needs of image screening in industrial production.

paper-plastic composite bag; defect detection; image screening

TB487；TP391

A

1001-3563(2022)19-0303-07

10.19554/j.cnki.1001-3563.2022.19.037

2021–10–28

湖北省技术创新专项（重大专项）（2018AAA026）；湖北省支持企业技术创新发展项目（2021BAB010）

严国平（1978—），男，博士，教授级高级工程师，主要研究方向为机械设计与仿真、包装工程设计。

责任编辑：彭颋