基于机器视觉的手机屏幕表面划痕检测研究

（上海应用技术大学 机械工程学院，上海 201418）

引言

手机屏幕作为手机的重要组件之一，其表面状况直接影响手机的质量，所以在出厂前对屏幕表面进行检查具有重大意义。当前，人工目测是最常用的缺陷检测方法。但是人工目测非常耗时，不同的人甚至同一人在不同的情况下其测试的结果也会产生偏差[1]，不符合工业化生产高效和精确检测的要求。

划痕作为物体表面的一种细微特征，其长度、方向和深度不一，而且往往受产品表面的自然纹理或图案所干扰，很难准确提取划痕特征。针对上述问题，很多研究者在划痕视觉检测方面做了大量研究。边缘检测算法[2-5]通常采用Laplacian、Canny、Sobel、Prewitt 算子对产品表面的划痕进行检测，这些边缘检测算法在特定划痕图像上具有很好的检测效果，但是当待测物表面具有复杂纹理或者划痕对比度低时，边缘特征不易提取，极易导致误检或漏检。Kokaram算法[6]是最常用的划痕检测方法之一，它构造了划痕亮度衰减的余弦分布，并利用中值滤波和Hough 变换实现筛选，然后利用Gibbs 采样获取划痕的骨架，以确定它是真划痕还是误测，但是这种方法容易受到噪音干扰且耗时长。模板匹配法是划痕检测另一常用方法，文献[7-8]根据标准图像创建模板，然后采用基于形状的模板匹配进行划痕检测，该方法通常用于具有复杂背景的缺陷检测，但容易受到图像灰度变化的影响，且当匹配目标发生旋转时，该算法不适用。

在上述文献的基础上，本文提出了基于机器视觉的手机屏幕表面划痕检测方法，该方法能够准确提取出完整的划痕缺陷，具有较高的检测效率和精度。

1 图像采集

手机屏幕本身的透明透光、边框反光特性，以及受常规的光学系统灯影、泛白、透视和反光的影响，使得检测屏幕表面或边框上的细小缺陷特征变得困难。根据手机屏幕特征，设计如图1的图像采集系统。手机屏幕图像采集系统主要由光源、图像采集卡、相机和镜头构成[9]，相机采用德国Basler 工业相机acA2500-14gm，分辨率为500 万像素，帧速率达21 fps，符合手机屏幕缺陷检测的精度要求。镜头采用日本Computer 百万像素工业镜头，靶面尺寸为2/3"，焦距为25 mm。光源选择LED面光源，采用背面打光的方式。由LED面光源提供充足的光照，通过工业相机对待检测目标进行数据采集，并通过图像采集卡将采集到的手机屏幕图像传输到计算机，采集到的手机屏幕原始图像见图2。

图1 手机屏幕图像采集系统Fig.1 System of mobile phone screen defect acquisition

图2 手机屏幕原始图像Fig.2 Original image of mobile phone screen

2 手机屏幕缺陷检测方法设计

手机屏幕在生产过程中需要经过开料、倒边、抛光、镀膜等一系列加工工艺，其中任何一个工艺出现差错，都有可能导致手机屏幕上出现划痕。划痕的宽度在1到7个像素不等，极为细微，图3给出3种形态的划痕局部放大图，从图中可以看到，手机屏幕上的划痕形状不规则，有曲线状、直线状，还有2条划痕相交。

图3 划痕局部图Fig.3 Partial images of scratch

针对上述3种形态的典型划痕缺陷，设计了一种基于机器视觉的检测方法，结合VisionPro 视觉集成系统和C#语言开发检测软件对手机屏幕进行检测，其检测流程主要包括图像定位、图像校正、图像增强和图像分割4个部分。

2.1 图像定位

在图像采集过程中，检测目标在图像中的位置总会存在一定角度的偏转和位移，需要对图像进行定位，以便于后续图像处理。PatMax算法采用模板定位技术，利用图像特征间的空间位置和几何特征信息进行模板训练和图像匹配，可以快速定位发生平移、缩放、旋转甚至拉伸形变的物体，利用该算法得到的定位图像具有很高定位精度且图像具有较强的抗干扰性[10]。表1对比了PatQuick、PatMax、PatFlex 3种算法对于手机屏幕图像的定位效果。

从表1可以看出，利用PatFlex算法进行定位时，其耗时远远超过其他2种算法，且定位精度较低，PatMax和PatQuick算法定位耗时相差不多，但是使用PatMax算法定位得分最高，所以本文选择PatMax算法对手机屏幕图像进行定位。

表1 定位结果Table1 Location results

2.2 图像校正

仿射变换是从二维坐标到二维坐标之间的线性变换，且可以保持二维图形的“平直性”和“平行性”[11]。

仿射变换可以通过一系列的原子变换的复合来实现，包括平移，缩放，翻转，旋转和剪切。这类变换可以用一个3×3的矩阵来表示，矩阵将(x,y,z)的原坐标变换为(x′,y′,z′)的新坐标，即

通过仿射变换，将仿射矩形内的图像区域转换成直角矩形，实现图像的校正，同时可以对背景部分进行裁剪，并保留目标区域，为进一步的图像处理节省大量时间，并减少一些错误检测。图2通过仿射变换后其校正结果如图4所示。

图4 仿射变换效果图Fig.4 Effect diagram of affine transformation

2.3 图像增强算法

2.3.1 剪切变换

剪切变换是传统小波变换的多维版本，旨在解决不同尺度的各向异性和方向信息[12]。剪切变换的定义如下：

2）ψ1∈L2(R)是连续小波，满足Calderon条件

显然，剪切变换是三参数函数，其中a表示图像尺度参数，s表示剪切方向，t表示平移。因此，剪切变换能够在不同的尺度上设置不同的方向数。

本文采用剪切变换对仿射变换后的手机屏幕图像进行处理，将图像分解为高频部分和低频部分，其中低频部分包含了图像的主体信息，高频部分包含了图像的边缘或者噪声以及细节部分。

2.3.2 灰度形态学

灰度形态学是二值形态学向灰度空间自然扩展，它由腐蚀、膨胀、开运算、闭运算组成[13]。本文采用灰度闭运算操作对手机屏幕图像进行处理。闭运算是先对图像进行膨胀运算再对图像进行腐蚀运算。经过膨胀运算，将图像中目标像素连接起来，构成离散的缺陷像素聚合体，以此填补断开的目标区域，确保缺陷的连贯性。然后通过腐蚀运算，图像边缘灰度值较低的点会被侵蚀，而灰度值较高的点得以保留，使目标减小，以去除图像中干扰部分。灰度闭运算能够填充目标区域中的小洞，缝合小间隙，将相邻小目标联接在一起，而总的位置和形貌不变。

2.3.3 剪切变换和灰度形态学结合的图像增强算法

手机屏幕图像灰度值分布非常不规则，划痕的形状、位置、粗细不一，当划痕较细时，缺陷区域和正常区域之间的图像对比度很低，针对这一特点提出了一种基于剪切变换和灰度形态学结合的图像增强算法，图5为灰度形态学与剪切波变换结合算法流程图，其具体步骤如下。

图5 灰度形态学与剪切波变换结合算法流程图Fig.5 Flow diagram of algorithm combining gray-scale morphology with shear wave transformation

1） 对手机屏幕图像进行Shearlet 分解，分解成低频和高频2部分；

2） 执行灰度形态学操作，构造0°、45°、90°和135°四种方向的元素形状对低频部分进行灰度闭运算操作；

3） 采用N×M中值滤波[14]对高频部分进行去噪处理；

4） 采用剪切逆变换生成增强图像。

对于较浅和较细的划痕，由于部分缺陷边缘模糊，原本完整的缺陷被分割为数段，构造0°、45°、90°和135°四种方向的元素形状对低频部分执行灰度闭运算操作，形态学滤波器的复合大小为9×9，复合原点X、Y均为4。如图6（b）所示，经过灰度形态学处理后的低频图像，目标区域内断开的部分被填补，保证了划痕缺陷的完整性。同时，如图5（c）所示，高频部分包含大量的噪音信息，采用N×M中值滤波对其进行处理，根据多次实验，N和M值均取7时达到最佳的去噪效果。从图6（c）和图5（d）的对比发现，高频图像经过N×M中值滤处理后，其噪声得到很好的消除。最后将经过灰度形态学处理过的低频图像和经过中值滤波处理过的高频图像进行剪切逆变换操作，生成增强图像，见图6（e），可以看出灰度形态学与剪切波变换结合算法对目标有很好的增强效果。

图6 剪切变换和灰度形态学结合算法的结果Fig.6 Results of algorithm combining shear transformation with gray-scale morphology

2.4 图像分割

经过上述处理后，采用改进的Otsu 双阈值方法[15]来确定重构图像的最佳阈值t，即：

式中：L表示目标区域内灰度级个数；阈值t将其分为区域I和区域II；Pi表示灰度级为i的像素的概率；PI和PII表示区域I和区域II的像素与整个目标区域内总像素的比值。

式中：ωI和ωII分别表示区域I和区域II的灰度值；ω表示整个目标区域的灰度均值。

式中：σin和σout分别表示类内和类间方差。

进行图像分割时，阈值选取类内方差最小、类间方差最大的点，即：

F的最大值即为最佳阈值t。

式中，f(i,j)是经过图像增强操作后手机屏幕图像在点(i,j)处的灰度值。根据（8）式可以将全部的缺陷信息提取出来，为了验证上述方法的有效性，对比了本文算法和形态学检测法[16]缺陷分割效果，结果见图7，可见本文方法能够将图像中目标像素连接起来，填补了断开的目标区域，确保划痕的连贯性。

图7 缺陷分割Fig.7 Defect segmentation

3 实验结果

实验数据随机选取通过本实验图像采集系统获取的手机屏幕图像450张，这450张照片是像素为2 592×1 944的BMP格式的8位灰度图像，其中包括180张缺陷图像和270张非缺陷图像。试验所用计算机平台性能为

CPU：Inter i5 2.40 Ghz；

内存：4.00 GB；

操作系统：64位Windows 7；

软件平台：Visual Studio 2010，VisionPro 8.2 SR1。

为了验证上述算法的有效性，分别进行3组实验来比较本文算法、形态学检测法和人工检测法3种方法对3种形态的划痕的检测率、虚警率和每张图像平均检测时间，其中：a组实验包括60张深浅不一的曲线划痕图像和90张无缺陷图像；b组实验包括60张直线状划痕图像和90张无缺陷图像；c组实验包括60张交叉状划痕图像和90张无缺陷图像。3组实验的结果见表2。

表2 3种检测方法的比较Table2 Comparison of three test methods

由表2可知，对于深浅不一的曲线划痕图像文中所提出的方法的检测率为97.3%，虚警率为2.7%，与形态学检测法和人工检测方法相比，文中方法的检出率分别提高了3.3%和10.6%；对于直线状的划痕图像，文中所提出的方法的检测率为98.7%，虚警率为1.3%，与形态学检测法和人工检测方法相比，文中方法的检出率分别提高了2%和9.4%；对于交叉状的划痕图像文中所提出的方法的检测率98%，虚警率为2%，与形态学检测法和人工检测方法相比，文中方法的检出率分别提高了2%和9.3%；文中的检测方法每张图像的平均检测时间均略少于形态学检测方法，且远远低人工检测方法。由图6、图7和表2的检测结果可知，文中的方法具有较高的检测效率，能够完整地提取出划痕，减小了手机屏幕划痕的虚警率，对于较细小的划痕，其效果尤为明显。

4 结论

针对手机屏幕划痕缺陷检测的难点，采用面光源背光打光的方式获取手机屏幕图像，通过PatMax算法的模板定位技术对图像进行定位，通过仿射变换对图像进行校正并提取ROI，采用剪切变换和灰度形态学结合的图像增强算法有效抑制了噪音，同时增强了图像的细节信息，采用改进的Otsu双阈值方法确定了图像的最佳阈值，对划痕缺陷进行了准确的提取。实验结果表明，文中的方法在有效去除噪声的同时，能够有效增强图像的细节信息，填补目标区域内断开的部分，保证划痕缺陷的完整性。与形态学检测法和人工检测法使用对比，文中的方法具有较高的检测精度和较高的检测效率，其检测性能符合手机屏幕缺陷的工业检测要求。