基于图像分析的纸张表面缺陷检测系统的研究与实现

罗磊，张二虎

(西安理工大学 印刷包装工程学院，陕西 西安 710048)

近年来，各种可视化的智能纸张表面缺陷检测和分类技术迅速发展[1-5]，但是，目前国内外刊发的各种先进技术都是针对大型造纸企业的，设备昂贵，适用于大型企业的流水线生产。

目前，我国在低碳环保性地发展造纸业的指导思想下，国内以中小型、民营造纸厂为主，对纸张表面缺陷检测的实际要求是识别率高、方式简单，设备成本低。

根据这一现实要求，本研究以模式识别为基础，结合SQL Server数据库，引入LBP(Local Binary Pattern，局部二进制模式)方法对采集到的纸张灰度图像进行表面缺陷检测识别，应用Visual C++开发工具实现了基于图像分析的纸张表面缺陷检测系统。使用本系统对采集到的纸张图像进行缺陷检测，验证了系统的可行性。

1 纸张图像处理

1.1 纸张表面图像采集

本研究所用的纸张图像通过四种方式得到，即，通过线阵CCD进行采集(搭配NIKKOR 24 mm F/2.8镜头)、利用数码照相机拍摄采集、利用扫描仪对纸张图像进行采集和通过网络进行搜索。这几种方式图像采集准确，设备成本低，实用性高。本研究采集到的六种常见的纸张表面缺陷图像如图1所示。

1.2 图像降噪

由于采集到的图像会含有各种噪声，因此，在进行图像分析前，要对采集到的图像进行降噪处理。本课题结合所采集到的纸张表面图像的噪声特性，分别采用了邻域平均法和中值滤波法对所采集的图像进行去噪[6-12]，描述如下。

图1 六种常见的纸张表面缺陷图像

1) 邻域平均法

设一幅图像f(x,y)为N×N的阵列，处理后的图像为g(x,y)，每个像素的灰度级由包含(x,y)领域的几个像素的灰度级的平均值所决定，即用下式得到处理后的图像[6]:

(1)

式中，x,y=0,1,2,…,N-1；S是以(x,y)点为中心的邻域的集合，M是S内像素点的总数。

图2给出了4个邻域点和8个邻域点的集合。

图2 邻域点的集合

图像邻域平均法的处理效果与所用的邻域半径有关。半径愈大，则图像的模糊程度也愈大。另外，图像邻域平均法算法简单，计算速度快，其主要缺点是在降低噪声的同时使图像产生模糊，特别在边沿和细节处，邻域越大，模糊越厉害[7-11]。为了减少这种效应，可以采用阐值法，也就是根据下列准则处理图像。

(2)

式中，T是一个规定的非负阈值，当一些点和它们邻域的差值不超过规定的T阈值时，仍保留这些点的像素灰度值。这样处理后的图像比直接采用公式(1)的模糊度要小。当某些点的灰度值与各邻点灰度的均值差别较大时，它可能是噪声，则取其邻域平均值作为该点的灰度值。

2) 中值滤波算法

中值滤波在算法设计上是使与周围像素灰度值相差较大的点处理后能与周围的像素灰度值比较接近，因此可以衰减随机噪声，尤其是脉冲噪声等，并且在处理时不是简单地取均值，因而产生的模糊要少得多。图3是对图1中(c)和(d)进行中值滤波后的纸张图像效果。由实验观察可知，中值滤波算法既可以消除图像中的噪声，又可以保留图像中的细节部分，防止边缘模糊。

图3 纸张图像使用中值滤波去噪处理后的效果

1.3 图像增强

在本课题研究中对于图像的增强采用了直方图均衡化和灰度变换的方法。采用直方图均衡化后可使图像的灰度间距拉开或使灰度均匀分布，从而增大反差，使图像细节清晰，达到增强的目的。具体步骤如下[13-15]。

第一步，根据公式计算原图像的灰度直方图p(rk)：

p(rk)=nk/Nk=0,1,…,255

(3)

其中，N为原图像像素总数，rk表示第k个灰度级，nk表示图像中灰度级rk出现的像素的个数，p(rk)表示灰度级出现的概率。

第二步，计算原图像的灰度累计分布函数sk，并根据公式求出灰度变换表。

(4)

gk=sk×255/N+0.5

(5)

其中，gk为第k个灰度级别变换后的灰度值，0.5的作用是四舍五入。

第三步，根据灰度变换表，将原图像各灰度级映射为新的灰度级，即可完成直方图均衡化。图4是对图1中(c)和(d)进行直方图均衡化后的效果图 。可以看出，原来的纸张图像的灰度集中在较小的区域内，细节不清楚，经过直方图均衡化增强后，细节清晰可辨。

图4 纸张图像使用直方图均衡化处理后的效果

2 基于LBP方法的纸张表面图像纹理分析

在系统的设计中，将纸张图像的LBP平均概率分布、期望和方差三个信息作为特征存入数据库中，并采用欧式距离分类器，利用向量间的欧式距离作为两者相似度的测量，进行分类识别，具体步骤如下[16]。读取纸张样本图像，利用LBP算法计算出该纸张样本的LBP概率分布；计算该LBP概率分布与数据库中的每一种纸张的平均LBP概率分布的距离；判断该距离是否在标准差sd范围内；对于数据库中的某一种纸张表面缺陷，若求得的距离不在方差范围内，则可以判断该纸张缺陷不属于该类别；对于数据库中的多个纸张缺陷类别，若求得的距离在方差范围内，则利用分类器设计准则中的近邻原则对该纸张图像进行分类。

对于N个纸张缺陷类别，求出要进行识别的纸张图像和这个纸张缺陷类别的平均LBP概率分布的距离，对于以上N个距离，在数据库中都分别对应一个纸张缺陷的期望，即距离的期望，由此可求得这N个距离(c1，c2，…,cN)和期望的差距。根据近邻准则，可以从以上N个差距中求出一个最小差距，即距离某种纸张缺陷的平均LBP概率分布最接近，将这个最小距离对应的纸张缺陷种类作为被识别的纸张表面缺陷的类别。

3 基于图像分析的纸张表面缺陷检测系统的实现

3.1 系统设计思路

在对采集到的图像进行预处理操作后，接下来是进行特征提取，并将提取的特征与保存在数据库中的类别已知的图像特征进行对比，根据相似程度的高低决定最后的识别结果。

3.2 系统的功能模块设计

根据系统的设计思路和实际需要，本检测系统总体上分为纸张图像采集和预处理模块、LBP算法特征提取模块、统计特征判断模块、Visual C++平台下的数据库模块。基于上述功能模块的划分，本系统各模块包括的具体功能详述如下。图像采集和预处理模块包括采集纸张图像、操作界面、灰度化操作、灰度图像预处理、图像显示界面、数据库界面的功能；LBP算法特征提取模块包括纹理识别、基本LBP算法、LBP算法均匀模式和LBP算法的旋转不变性；统计特征判断模块包括特征值表、均值和方差计算，直方图显示，判断函数的功能；数据库管理模块包括纸张表面缺陷图像训练库和样本库、标准直方图库。

3.3 系统工作流程设计

结合系统的设计思路和各功能模块的组成，为提高系统的执行效率，整个纸张表面缺陷检测系统的工作流程可按以下步骤进行：首先采集纸张表面图像，进行灰度化、降噪、增强等图像处理，然后提取图像的LBP特征值，与数据库中的样本参数进行匹配、分类，最后计算系统的识别率。具体的工作流程如图5所示。

3.4 纸张表面缺陷检测系统集成

3.4.1 检测系统的硬件构成

鉴于线阵CCD相机在工业生产上的性能和质量检测上的优势，在本课题的检测系统中，采用线阵CCD相机和转动滚筒等采集设备。其中，线阵CCD选用德国进口的Basler L301kc，镜头选用Nikon AF NIKKOR 24mm F/2.8镜头。

本检测系统的硬件装置如图6所示，在工作台上安装线阵CCD照相机，在匀速旋转(250 r/min，约150 m/min)的滚筒上装载待检测的纸张样本图像，采用2根T8高频荧光灯管为照明光源，构建了用于纸张表面缺陷检测的简易实验装置，用以模拟纸张生产和印刷行业中实际情况下的纸张表面缺陷检测过程。

本文所使用的计算机配置为联想启天M820E型号，其基本配置为Intel Pentium Duo-Core E5200处理器，主频2.5GHz，2G DDR2内存，采集卡采用Matrox公司的Solios XCL，旋转编码器采用E6B2-CWZ6C。

图5 系统工作流程图

图6 检测系统的硬件装置

3.4.2 检测系统的软件构成

软件组成是该检测系统的重点组成部分。本系统采用的操作系统为Microsoft Windows XP Service Pack2，利用Microsoft Visual C++ 平台，创建MFC应用程序。其中系统界面的设计基本遵循了操作简单、界面友好简洁的设计理念。通过MFC提供的应用程序向导和各种控件的调用和配置，通过菜单的设计和对话框的使用，结合数据库的应用，完成了系统的界面设计，实现了图像的显示、预处理、特征提取、直方图显示、识别等功能。

3.5 数据库

3.5.1 Visual C++平台下数据库的应用

目前应用的数据库大多为关系数据库，关系数据库的基础是关系模型。关系模型提供了优异的数据独立性和数据相容性，由3个部分组成，即，数据结构、完整性规则、完整操作。在Visual c++平台中采用3种方式实现数据库的访问，即，ODBC、OLE DB、ADO。ADO访问数据库有三个核心对象，即Connection对象、Command对象、RecordSet对象。需要注意的是，在VC中利用ADO访问数据库时，首先需要导入ADO库，方法是利用import指令将动态链接库导入到头文件stdafx.h中。

3.5.2 数据库的设计

本系统的数据库采用SQL Server 2000,在VC中使用ADO进行数据库的访问。考虑到本系统的数据库的实体只有纸张图像样本，为分析纸张表面缺陷图像的属性，设计了数据库中表的字段，这些信息包括：纸张缺陷的名称、纸张缺陷图像的LBP特征分布、纸张缺陷样本的期望及其方差。其中，在数据表的设计过程中，要根据上述四个属性，设计属性字段，并对每个字段的数据类型进行定义。在本系统中，对纸张表面缺陷图像数据表中字段的设计如表1所示。

表1 数据表的设计

3.6 实验结果及分析

本研究用采集到的150张五种常见纸张表面缺陷图像对系统进行了实际运行测试，得到了如表2所示的结果。

表2 实验结果

4 结论及展望

通过分析本系统的实验结果，可以得出以下结论：

1) 本课题设计制作的基于图像分析的纸张表面缺陷检测系统运行稳定性良好，对比较常见的纸张表面缺陷图像的识别率较高。系统所设计的主要功能基本上都能实现，也达到了之前的设计要求。所以总体来说，系统的设计与实现基本上是成功的。

2) 检测系统具有硬件构成简单实用、成本低、便于操作；检测软件的界面设计简洁友好、操作简单、扩充性强等特点。对缺陷较明显的图像的识别率要高于纸张缺陷图像模糊、不易分辨的样本，这也说明了应用LBP方法提取纹理特征并进行分类识别对于纸张表面缺陷检测是可行有效的。

3) 在系统正常运行的前提下，纸张表面缺陷图像的实际识别率还有待进一步的提高。分析产生这种结果的原因，主要是因为图像采集时的光照条件限制和噪声的影响，同时，系统的分类器设计环节还有待于进一步改进。

4) 与现有的商品级检测设备相比较，本系统在检测速度、精确度、检测种类、检测幅面等方面还有待提高。

5) 分析处理结果发现，对于同种纸张表面缺陷的不同图像样本个体的识别率，图像预处理效果好的样本的正确识别率明显高于与处理效果不好的样本，这是由于预处理效果好的纸张图像能够更加准确和方便地提取LBP特征，从而为后续的检测和识别环节打下良好的基础。

工作展望:

由于纸张表面缺陷的产生原因多，工艺流程多，因此纸张表面缺陷检测系统是一个相当复杂的系统。虽然本文取得了一定的研究成果，但是系统的识别率偏低，与开发产品级的检测系统还有一定的距离，因此，还有许多方面需要改进和完善，主要有：

1) 改进图像处理和图像增强的方法，为后续的特征提取打下良好的基础。

2) 对于其他种类的纸张表面缺陷和一个样本中有多种缺陷的检测还有待于进一步研究。

3) 选择更多、更有效的纸张表面缺陷特征，如面积、长宽比、平滑度、白度、透明度等，并将纸张的纹理特征与上述特征加以结合，从而提高系统的识别率。

4) 改善特征提取的方法和分类器的设计。

本文主要研究的是普通的打印纸、平板纸的表面缺陷检测识别，而在造纸厂和印刷厂的实际生产环节中，纸张的种类繁多，而且外观、性能和用途也各不相同，而且许多种类的纸张对表面缺陷检测的需求很高。在今后的研究中，将尝试把研究方法应用于这些纸张的表面缺陷检测，更好地提高系统的实用性。

参考文献：

[1] 邱书波，吕荫平. 基于DSP的纸张缺陷实时检测系统设计[J].中国造纸学报，2008，23(4):10-16.

Qiu Shubo,Lü Yinping. Design of paper defect real time detecting system based on DSP[J].Transactions of China Pulp and Paper，2008，23(4):10-16.

[2] 谷帅. 基于机器视觉的纸张缺陷检测系统的研究[D].山东：山东轻工业学院，2010.

Gu Shuai.Research of inspection system of paper defects based on machine vision[D].Shandong：Shandong Institute of Light Industry,2010.

[3] 刘铸红．基于机器视觉的纸张缺陷检测系统[J]．中华纸业，2009,30(2):64-67.

Liu Zhuhong.A paper surface defect detection system based on machine vision[J]. China Pulp & Paper Industry,2009,30(2):64-67.

[4] 宋文. 不含磨木浆未涂布纸张的表面强度[J].中华纸业，2012,33(4):25-27.

Song Wen.Relations between surface strength and bulk for uncoated non-wood paper[J]. China Pulp & Paper Industry,2012,33(4): 25-27.

[5] 李洒，臧永华，许英，等. 铜版纸和涂布白卡纸平版胶印印刷质量的影响因素[J].中国造纸,2011,30(6):20-22.

Li Sa, Zang Yonghua, Xu Ying,et al. Factors affecting lithographic offset printability of coated paper and board[J].China Pulp & Paper, 2011，30(6):20-22.

[6] 刘祝华.图像去噪方法的研究[D].江西：江西师范大学，2005.

Liu Zhuhua. Research on image De-noising methods[D].Jiangxi: Jiangxi Normal University,2005.

[7] Hajimowlana H S, Muscedere Roberto,Graham A Jullien, et al.An in-cameradata stream processing system for defect detection in web inspection tasks[J].Real-Time Imaging,1999,5(1)：23-34.

[8] Drouin R G,Chamrong C.A new way of testing paper sheet formation[J]．Composites Science and Technology,2001,(61):389-393.

[9] Keller D S, Lewalle J, Luner P. Wavelet analysis of simulated paper formation[J].Paper Japuu-Paper and Tomber,1999，81(7)：499-505.

[10] Jean-Philippe Bernie．Local grammage distribution and formation of paper by light transmission image analysis[J]．Tappi,1996,79：193.

[11] Sham F C, Huang Y H, Liu L, et al. Computerized tomography technique for reconstruction of obstructed temperature field in infrared thermography[J]. Infrared Physics & Technology,2010, 53(1):1-9.

[12] 章毓晋.图像处理[M].北京：清华大学出版社，2006.

[13] Yang J, Ume C, Zhang L. Defect detection of flip chip solder bumps with wavelet analysis of laser ultrasound signals[J].IEEE Transactions on advanced packaging, 2010, 33 (1):19-29.

[14] 曾苗，廖广兰，张学坤，等. 基于模态分析的倒装芯片缺陷检测[J]．震动与冲击，2013,32(6):13-17.

Zeng Miao,Liao Guanglan,Zhang Xuekun,et al. Defects detection for flip chip using modal analysis[J]．Journal of Vibration and Shock, 2013,32(6):13-17.

[15] Han L, Zhong J. Effect of tightening torque on transducer dynamics and bond strength in wire bonding[J].Sensors and Actuators A, 2008, 141: 695-702.

[16] 朱宁.基于LBP的树叶识别系统研究与实现[D].北京：北京林业大学，2008.

Zhu Ning. Research and implementation of leaf recognition system based on LBP method[D].Beijing:Beijing Forestry University,2008.