球粉板表面缺陷在线检测

吴方贵，刘文文，陶婷婷，曾 昊

(合肥工业大学 仪器科学与光电工程学院，合肥 230009)

球粉板表面缺陷在线检测

吴方贵，刘文文，陶婷婷，曾 昊

(合肥工业大学 仪器科学与光电工程学院，合肥 230009)

为快速准确检测球粉板表面缺陷，对球粉板表面光学特性不一致性和缺陷类型的多样性等关键问题进行了分析，以利于有效地解决关键问题；论文提出采用基于模板图片创建矫正模板来解决被测板材表面光学特性变动的均化问题、自适应萃取二值化阈值解决二值化阈值整定问题，以提高软件的执行鲁棒性；通过自定义算法实现了细线型缺陷修补，有效地提高了划痕类缺陷检测的精度和可靠性；提出了筛查模型实现了符合缺陷检测精度要求的噪点筛除；通过大量现场实验验证了本系统能够正确高效实现球粉板表面缺陷检测定位标识和面积测量功能，以及达到了目标检测精度；本系统能很好地胜任球粉板在线表面缺陷检测;实验证明检测系统非常高效精准，极大地提高了生产线自动化能力。

球粉板; 表面缺陷; 在线检测; 图像处理

0 引言

球粉板是无油自润滑材料，是在冷轧钢板或酸洗钢板上均匀涂覆铜粉和配方面料，经过铺粉、烧结、冷却、轧制、校平、取样性能检测等工艺制成，采用流水线卷料连续生产方式。由于生产工艺的不完备，包括带料与设备导辊打滑刮擦，异物掉入带面轧制，带料的抖动和基板热容量不匀等原因，在生产过程中经常容易出现各种表面缺陷，诸如：凹坑凸起、麻坑、划痕和黑印等表面缺陷，见图1。

图1 球粉板表面缺陷

球粉板的表面质量直接影响无油轴承的质量，决定了应用装备的性能、安全和使用寿命。目前，未见面向球粉板表面缺陷的有效检测方法，生产企业以人工目视方式检测，其检测效率低且难以实时监测，工人劳动强度大，难以满足现代化生产要求，企业生产效益难以提升。

球粉板表面缺陷检测的难点在于表面铜粉颗粒材质和尺寸的不同引起表面光学特性随板材的型号不同而改变、板材幅度宽带来的光照不均，以及表面缺陷的多样性。目前，视觉检测技术在表面缺陷检测方面正发挥着重要的作用。论文面向企业提出的表面缺陷检测要求，诸如在线快速检测，定位缺陷，计算缺陷面积大小，记录检测结果；基于对球粉板表面缺陷产生机理的研究认识，借助于主流开源计算机视觉库(OpenCV)开发面向球粉板的表面缺陷的在线检测系统。通过平滑照明不均实现二值化阈值的自适应整定，以提高表面缺陷辨识的鲁棒性；通过正常噪点筛除前的细线型缺陷修补有效地提高了划痕类缺陷检测的精度和可靠性。大量实验验证了系统的信息处理速度满足生产效率要求，正确实现了表面缺陷检测定位和面积测量功能。

1 缺陷检测系统设计

1.1 光学系统设计

光学系统设计关乎缺陷辨识的方法和缺陷检测的可靠性。考虑到企业工人的文化水平不高，要求尽量减少测量过程中的参数设定和调节环节，缺陷辨识方法需要具有较好的鲁棒性。因此采用板材两侧用平行光管的侧向照明，见图2，使凹坑、凸起、麻坑、划痕等缺陷部分形成明显阴影，见图1，利用亮度的变化来辨识和测量球粉板表面缺陷。

图2 光学系统

1.2 处理流程

二值化处理是常规的表面缺陷辨识方法的第一步，不同型号的板材表面光学特性有明显差异、照明板材幅度宽等原因造成板材表面光照不均匀，那么固定的二值化阈值等图像处理参数难以适应不同区域的处理，给缺陷辨识带来难度。应对的策略是在开始一卷板材生产时，拾取一幅没有表面缺陷的板材图片，称为模板图片，模板图片没有缺陷，包含照明不均和不同型号的板材表面光学特性的信息，据此创建矫正模板，对后续拍摄测量图片进行矫正，以消除不同材质和不同区域对同一组图像处理参数的不适应性，提高对缺陷辨识的可靠性。缺陷检测软件的准备工作流程如图3所示，基于模板图片通过特定算法创建矫正模板并萃取自适应二值化阈值。缺陷确认阈值告诉软件多大面积的缺陷可以认为是缺陷，该指标标志着软件的测量精度，也是算法收敛的依据。

图3 参数设置流程图

采用即拍即测的工作模式。在由走带速度和摄像机纵向视场尺寸决定的时间内，执行拍摄、辨识定位测量缺陷面积工作，并标记保存辨识结果。软件采用定时器控制，一个定时周期内的算法工作流程如图4。软件提供基于矫正模板和基于即拍图片的自均化照明处理方法、基于自适应二值化阈值和基于经验二值化阈值的图像二值化处理方法供用户选择，使得软件在图像处理方法上具有更大的灵活性以应对板材表面缺陷形式的多样性。

图4 即拍即测流程

2 关键问题及其解决

光照均匀化处理以减小其对表面缺陷正确辨识带来的困扰；面对不同型号板材表面光学特性的不同，图像二值化阈值的自适应设置策略；正常噪点筛除和细线型缺陷修补是面向球粉板表面缺陷检测软件设计中的关键问题，这些问题直接影响到缺陷辨识测量的可靠性和精度。

2.1 均匀化处理

由于拍摄的图像明暗不均匀，使同一张图像不同区域不能适应统一的二值化阈值。见图5(a)与(b)，将生图直接进行二值化处理后，明亮区域缺陷被抹除，暗沉区域缺陷被正常噪点淹没。见图5(c)，均化处理后使处理后的图像变得明暗均匀；见图5(d)，均化处理后可以使用统一的二值化阈值进行二值化处理，显然处理后噪点分布均匀、划痕突出。

图5 均化与二值化处理

可以使用矫正模板对获取的图像进行均化处理。矫正模板来自于拾取的模板图片，创建矫正模板的基本思想是：在模板图片φ(k,l),k=0,1,…，H，l=0,1,…,W上，共划分(M*N)个、尺寸为(w*h)的子区域，定义模板图片平均亮度与各个子区域平均亮度的比值为模板数据，见式(1)，显然矫正模板η(m,n),m=0,1,…,M,n=0,1,…,N就是一数据矩阵。

(1)

创建模板是在参数设置过程中完成，见图3，将即拍图片相应位置的像素值乘以相应的矫正模板数据即实现了均化处理。数学模型见式(2)。

g(mh+i,nw+j)=η(m,n)f(mh+i,nw+j)

(2)

其中:f(mh+i,nw+j)和g(mh+i,nw+j)分别为即拍图片数据和光照均化后的图片数据。

如果即拍图片中缺陷尺寸相对较小，亦可使用自均化处理模式，将即拍图片当作模板图片，将f(k,l),k=0,1,…,H,l=0,1…，W取代φ(k,l)带入式(1)创建及时模板，同样利用式(2)进行光照均化处理。两种处理方式的不同在于子区域的划分，若采用矫正模板进行均化处理，应适当取小的子区域尺寸，均化效果好；若采用自均化处理，子区域尺寸应大于缺陷尺寸的10倍，原则上推荐使用矫正模板。比较图6(a)与(b)，通过均匀化处理后的图像光照均匀，且表面缺陷对比度未见弱化。

图6 均化处理

2.2 获取二值化阈值及处理

由于各条生产线所处光照环境的不同、球粉板表面光学特性随板材的型号不同而改变等将致使不同型号板材图像亮度波动大、像素灰度值分布范围区间变动明显，因此需要设置不同的二值化阈值以应对整体亮度的波动，使程序不易于操作，为此这里提供两种二值化处理方法。

自适应二值化阈值获取方法：基于模板图片，通过遍历二值化阈值0到255循环统计模板图片二值化后图上的颗粒噪点占图总大小的百分比，以占1%左右为标准，获得此时的二值化阈值，以此值为同卷板材二值化标准阈值。1%标准是通过大量实验比较得来，通过二值化标准阈值测试的图片颗粒噪点会呈现均衡分布，通过判断统计噪点分布方差是否满足均匀分布的要求最终确定二值化阈值，获取自适应二值化阈值流程见图7，这一过程是在参数设置中完成，再基于图4进行常规二值化处理。

图7 自适应二值化阈值获取

基于直方图均衡化的二值化处理方法是对均化处理后的图像进行直方图均衡化，统一像素分布区间在[0,255]，不仅可以拉伸像素强度分布范围增强了图像对比度，而且使不同缺陷像素分布于[0,b1],[0,b2],…,[0,bn]，其有着公共区间[0,min(b1,b2,…,bn)]。通过对大量不同型号、不同环境的球粉板图片的分析，经验二值化阈值取min(b1,b2,…,bn)，对直方图均衡化处理后的图像进行常规二值化处理均获得了好的效果。

2.3 噪点筛除和缺陷修补

由于球粉板表面布满铜粉颗粒，进行二值化处理后，其正常部分出现大量的均匀分布的颗粒噪点，划痕型缺陷也呈现颗粒特性，见图5(d)。要提取缺陷部分，首先需要将正常的颗粒噪点筛除。基本思想：正常噪点为均匀分布的小颗粒，缺陷部分颗粒较为集中形成大的团块或排列成细线形状，这里将噪点颗粒比作谷粒，缺陷形成的团块比作稻草和树叶，线型缺陷形成的细线形状比作细棍子或树枝，通过筛子可以将谷粒与稻草、树叶、树枝等分离。因此首先构建筛眼矩阵，见式(3):

(3)

其中:筛眼尺寸α为用户设置的缺陷确认阈值。若二值化后图像上一点p(i,j)的灰度为min，说明该点不是噪点就是缺陷，此时用筛眼作评估计算:

如果φ(i,j)max，则说明点p(i,j)为噪点，应该滤除，点p(i,j)及其周围的灰度设置为max；如果φ(i,j)

当筛除颗粒噪点后，块状缺陷边缘遭到轻微削弱，但不影响边缘检测。而细线型划痕在二值化处理后呈现断断续续的颗粒线型特征见图5(d)，若不先行修补，在后续的噪点筛除处理中极易削弱或丢弃，见图8(a)。考虑到细线型划痕方向总是平行于走带方向，修补基本思想是在筛除噪点之前，在二值化图像中任意取hs×ws窗口数据，设min=1,max=0，将此窗口中的数据以与走带方向垂直方向进行“或”运算；在走带方向上进行“加”运算；计算线状排列统计量与hs的比值，判断其是否基本满足线状排列条件，若满足则将窗口数据全部赋值min，将其进行修补加强，若不满足条件则不进行处理。

(4)

例如取窗口尺寸为7*3，在二值化图像中任意取一窗口数据，见式(4),按行进行“或”运算后得到向量T=[1 1 1 1 1 0 1]T，那么，线状排列统计量η=6/7=85%，在此设线状排列条件为η≥50%，显然线状排列条件得以满足，将该窗口内全部数据用min赋值。将这一过程遍历整个图像，即实现了细线型划痕的修补，随后再进行噪点筛除，划痕得到的连接和加强，见8(b)。

图8 噪点筛除

3 检测系统的实现

本软件采用VS2010环境下基于MFC单文档模板开发界面，使用OpenCV2.4.9版库函数并结合自行开发的面向球粉板表面缺陷检测图像处理模块，实现了对表面缺陷的快速有效检测，大量的实际测试表明软件简洁高效，实现了根据设置缺陷确认阈值标记缺陷。

3.1 图像处理过程的实现及结果

软件根据式(1)定义了方法void CreateTemplet (Mat& src//in, Mat& temp//out, int xblock//in, int yblock//in)、根据图7定义方法int GetAdaption Threshold(Mat& src//in)，在参数设置阶段调用两方法实现基于模板图片的矫正模板创建和自适应二值化阈值萃取。

软件定义了方法void BalanceLight (Mat& src//in/out, int xblock//in, int yblock//in, bool IsTemplet//in)实现即拍图像的均化处理，如果IsTemplet=true，则根据式(2)执行基于矫正模板的均化处理；否则，根据式(1～2)执行基于即拍图片的自均化处理。软件定义了方法void BinaryImage (Mat& src//in/out, int section//in, bool IsAdaption//in)执行二值化处理，如果IsAdaption=true，使用自适应阈值；否则调用直方图均衡化函数equalizeHist()后，再使用经验阈值调用Threshold()函数进行二值化处理。

软件定义了方法void LinkFlawOfLine(Mat& image//in/out, int ws//in, int hs//in, int mstep//in, double link//in)执行缺陷修补；void SieveFunc (Mat& image//in/out, int hole//in)执行噪点筛除，在此，link 是线状排列条件、hole赋值用户设置的缺陷确认阈值。

以上处理完成后，图像中只留有缺陷信息，调用OpenCV中findContours()函数执行边缘检测，通过测试其返回值中边缘个数计数器确定即拍图片是否有表面缺陷。如果测试结果不为“零”，则调用OpenCV中drawContours()函数画出所有缺陷轮廓，如图9(a)，再使用rectangle()函数对缺陷部分进行重构融合成一个缺陷，如图9(b)，再重新利用find Contours()函数检测其边缘，并计算其面积大小，后根据要求将缺陷在原图进行标记保存。

图9 边缘检测与融合

3.2 实验结果与分析

球粉板表面缺陷检测系统采用大恒水星系列数字工业相机在线采集板材图片，其分辨率为500万。经过现场对不同型号板材的实际测试，证明本系统能够快速检测定位标记表面缺陷，误判率满足项目要求，图像处理时间约0.6～0.9秒。相对于球粉板生产过程中的走带速度(1米/分)，运行效率在满足检测效率要求的同时还有较长时间富余，因此还可通过在一个视场内多次采集处理来增加检测的可靠性，进一步减小误判率。

4 结论

基于对球粉板表面缺陷产生机理的研究和对球粉板表面缺陷检测中的关键问题分析，论文提出采用基于模板图片创建矫正模板并萃取自适应二值化阈值的方法来解决表面光学特性变动的均化问题、实现二值化阈值的自适应整定问题，以提高软件的执行鲁棒性；通过自定义算法实现了划痕型缺陷修补，有效地提高了划痕类缺陷检测的精度和可靠性；提出了筛查模型实现了符合缺陷检测精度要求的正常噪点筛除。通过大量现场实验验证了本缺陷检测系统的信息处理速度和误判率完全满足生产要求，正确实现了缺陷定位标识和面积测量功能。

[1] Wang P, Zhang X W, Mu Y, et al. The copper surface defects inspection system based on computer vision[A].Fourth International Conference on Natural Computation[C]. Jinan, 2008: 535-539.

[2] Tang B, Kong J Y, Wang X D, et al. Surface inspection system of steel strip based on machine vision[A].First International Workshop on Database Technology and Applications[C]. Hubei, 2009:359-362.

[3] Park C, Bae H, Yun J, et al. The automated surface inspection system for hot slab[A].13th International Conference on Control, Automation and Systems (ICCAS)[C]. Gwangju, 2013:1733-1735.

[4] Sekhar P. Duct fan based wall climbing robot for concrete surface crack inspection[A]. Annual IEEE India Conference (INDICON)[C]. Pune, 2014:1-6.

[5] Martínez S S, Vázquez C O, García J G, et al. Image fusion for surface finishing inspection[A]. IEEE International Conference on Imaging Systems and Techniques (IST)[C]. Macau, 2015: 1-6.

[6] 甘胜丰. 带钢表面缺陷图像检测与分类方法研究[D]. 武汉:中国地质大学,2013.

[7] 韩芳芳. 表面缺陷视觉在线检测关键技术研究[D]. 天津:天津大学,2012.

Online Detection of Surface Flaws on Spherical Powder Plate

Wu Fanggui, Liu Wenwen, Tao Tingting, Zeng Hao

(Hefei University of Technology, Hefei 230009, China)

In order to detect the surface flaws of the spherical powder plate quickly and accurately, the paper analyzes the key problems, such as the diversity of flaws and the optical inconsistency for different types, and the corresponding solutions are proposed. A correction template is created based on a template image which is collected from the flawless surface to realize the optical homogenization of the detected surface. The binary threshold is extracted automatically according to the template image of different type plate to improve the robustness of the software execution. A custom algorithm, which can effectively improve the precision and reliability of detecting the scratch type flaw, is used to compensate the loss of the fine line flaws in screening the flaws. In addition, screening model is established to remove the noise coming from the spherical powder according to the accuracy requirements. A lots of experiments show that the system can accurately and efficiently detect flaws on the spherical powder plate surface and achieve the identification, the location and the area measurement of the surface flaws in the production line, and meet the target accuracy. The system can be well qualified for online detection the flaws in surface of the spherical powder plate. Experimental results show that the detection system is very efficient and accurate, which greatly improves the automation of production line.

spherical powder plate; surface flaw; online detection; image processing

2016-09-18；

2016-11-03。

吴方贵(1989-)，男，安徽池州人，硕士研究生，主要从事图像处理方向的研究。

1671-4598(2017)03-0029-04DOI：10.16526/j.cnki.11-4762/tp

TP

A