车载触摸屏的机器视觉检测系统设计*

詹前贤，冯增辉，沈 奕，林典钦，王双喜

（1.汕头超声显示器有限责任公司，广东汕头 515044；2.汕头大学工学院，广东汕头 515063；3.汕头轻工装备研究院，广东汕头 515061）

0 引言

随着车载触摸屏功能的多样化发展以及分辨率不断提高，触摸屏的制造工艺越发精密复杂，在制造过程中容易出现各类缺陷，如：点缺陷、线缺陷与Mura 缺陷等。为了保证产品的质量，需要对车载触摸屏全面检测，传统的缺陷检测方法主要依靠人工裸眼检测，存在检测效率低、准确性差的缺点，且在检测过程中易损伤显示屏。因此，研究精准化、自动化的新型检测设备实现对触摸屏的缺陷检测具有重要意义。机器视觉检测是目前最为常用的检测方法，汕头大学与汕头超声显示器有限公司合作共同开发在汽车触摸屏领域的机器视觉质量检测设备，针对不同工序的质量要求，形成了自动化检测质量控制系统。本文内容作为广东省科技计划项目的重点建设内容，对研究方向具有积极推动意义。

20 世纪50 年代机器视觉技术起源于美国，到21 世纪，机器视觉自动化检测技术快速发展[1]，从早期简单的二维图像分析发展到如今图像的分割、识别和在工业中的应用。采用机器视觉检测系统代替人工检测的方法对屏幕缺陷进行检测，图像可以被精准采集、分割和识别，实现缺陷的识别与分类。Jian等[2]提出了一种改进的MPSG 缺陷识别和分割检测算法，可以更加准确地分割MPSG中的表面缺陷。Otsuki等[3]运用视觉系统将亮度和表面粗糙度等表面质量数据进行可视化，来评价零件表面加工质量。周晶等[4]开发了一种基于图像识别的异型玻璃表面质量全检测设备，提高了异型玻璃表面和边缘全检测效率。Wang 等[5]开发了一种用于LCD背光屏的检测装备，实现背光屏的漏光、变形、划痕等缺陷的检测。彭赶等[6]设计了一种手机屏幕缺陷在线检测系统，但在实际生产过程中，存在检测速度慢、正面拍摄无法准确抓取缺陷特征的问题。罗根等[7]基于最小二乘法较准确地检测出手机屏幕玻璃尺寸和崩边。周国栋[8]提出一种改进的SIFT 算法，在凹陷类和斑点类缺陷的检出率上有明显的优势，但在检测时间方面，比神经网络慢了近一倍。

为满足车载触摸屏的检测效率及准确性的需求，本文采用指数灰度变换法和中值滤波法对采集图像预处理，利用Canny算法、金字塔模板匹配法和仿射变换法实现图像定位与矫正，然后采用动态阈值分割法进行信息识别，最后通过合格产品模型与透过率转换关系图，完成缺陷检测。

1 触摸屏检测系统设计

针对车载触摸屏检测面积大、缺陷种类多等特点，本文采用工业CCD 相机、远心镜头、LED 矩阵光源等硬件，开发了一种具有目标区域易分割、图像光照均匀、光学畸变率小于0.025%、边缘定位精度较高等优点的机器视觉检测系统。视觉检测平台如图1所示。

图1 车载触摸屏的机器视觉平台

在检测之前，通过采集合格产品图像实现检测系统的机器自我学习，建立包含检测距离、Icon 位置、形状模型等参数的模型库。检测过程中，车载触摸屏到达指定位置，获取车载触摸屏当前位置对位mark 点的图像并传送至PC，检测软件识别玻璃窗区上的定位点，通过模型匹配方法对采集样本图像进行校正后，触发光电传感器、光源与相机同时工作，在阵列排布式LED灯矩阵光源的照射下进行多段扫描拍照，获取车载触摸屏面板上图标的高精度图像，将图像传送至检测计算机实时处理，完成信息记录。

2 图像处理

2.1 图像预处理

工业相机直接对触摸屏样本采集的图像由于存在灰度区分不明显，噪声过多等问题[7]易对图像的缺陷检测造成干扰，因此需要对图像进行图像灰度增强和图像降噪处理以便于目标区域的提取及避免检测干扰。

本文以车载触摸屏上一待测Icon区域图像信息为例。由于车载触摸屏的Icon 图标的有效信息集中在如图2 的高灰度区域，本文采用指数灰度变换法来实现图像灰度的增强，指数灰度变换公式为：

图2 待检测区域灰度直方图

式中：a为用来放大整体数字图像的灰度倍数；ε为补偿系数；γ为伽马系数，当γ＜1 时，低灰度区域被拉伸，高灰度区域被压缩；当γ＞1时，低灰度区域被压缩，高灰度区域被拉伸；当γ=1时，正比变换。

通过改变γ的数值实现对图像不同程度的灰度变换，选择性地拉伸不同的灰度区域，指数灰度变换特性曲线如图3所示。

图3 指数灰度变换曲线

由于该方法可以选择性的针对高灰度区域进行拉伸，故选用γ=2对图像进行拉伸处理，在压缩待检图像低灰度区域信息的同时，对图像高灰度区域信息进行了拉伸，使得高灰度区域信息部分更加明显，得到处理后的灰度3D图，如图4所示。

图4 待检区域及指数灰度变换处理结果

图像采集过程中产生的噪声会被检测为图标缺陷，影响后续图像的重构和分割，导致检测结果的不准确。图标的3D 图像中的椒盐噪声分布情况，如图5（a）～（b）所示，因此需要对图像进行滤波处理，对图像采集中产生的噪声进行消除。基于排序统计理论的中值滤波法是一种有效抑制噪声的非线性信号平滑处理技术[9]，二维中值滤波的数学表达式为：

式中：f（x,y）为原图像上的灰度值；g（x,y）为f（x,y）滤波后的灰度值；Med为f（x,y）模板领域内取中值。

本文采用圆形二维中值滤波模板，利用Halcon 软件生成一个半径为3 个像素的中值滤波器[10]，通过该中值滤波器对图5（a）进行滤波处理，得到的处理结果如图5（d）所示，采用中值滤波对图像进行降噪处理，既保留了图像的边缘信息又降低了图像中孤立点和线段产生的干扰，从而起到了良好的降噪作用。

图5 椒盐噪声图像与中值滤波对噪声图像的处理结果

2.2 图像定位

将相机固定在检测设备上，待测触摸屏移动至相机检测区域。在图像处理过程中图像模板位置信息的确定对图像的捕获与提取尤为重要。首先确定模板及模板上待检测信息的位置，其次将采集到的待测产品的图像与模板图像匹配并进行图像矫正，最终完成缺陷检测前的图像处理工作。

通过图像边缘检测算法来确定图像模板的位置。本文采用基于Canny 算子的边缘检测法对高斯滤波处理后的图像采用非极值抑制技术进行处理[11]，得到所需边缘图像，进而确定模板的位置信息，其处理步骤如下。

（1）高斯滤波器平滑图像：

式中：H（x,y）为二维高斯函数；σ为标准差。

式中：G（x,y）为高斯变换后图像上的灰度值。

（2）用1阶偏导计算梯度的幅值和方向，其模为：

计算得到的幅值为：

计算得到的方向为：

（3）由于得到的所有梯度不能确定最终的边缘，所以需要对梯度幅值进行非极大值抑制，保留局部梯度最大的点。

（4）采用双阈值分割法检测边缘和连接边缘。采用Canny算子对图4（a）进行边缘提取，检测结果如图6所示。

图6 Canny 算子边缘提取效果

采用图像金字塔搭配形状匹配的模板匹配法可以加快模板的匹配速度，表1 所示为不同模板匹配方法的运行时间的对比情况。图像金字塔需要向上采样和向下采样两个操作，图像金字塔的底层是高分辨率原图，图像先向上模糊，金字塔层级越高，则图像越小，其分辨率越低，则检测速度越快，但图像分辨率不能过低，否则会导致检测不到目标图像。采用图像金字塔模板检测方法向下采样，首先检测顶层图像，找到模板信息后映射到下一层图像，通过多次映射直至到达金字塔底层原始图像，实现图像模板匹配。本文采用4 层图像金字塔方法对待检区域进行模板匹配操作，其结果如图7所示。

图7 采用图像金字塔方法的模板匹配

表1 不同模板匹配方法的运行时间

2.3 图象矫正

由于待测品每次放置位置有差异，所采集的图像会出现平移、旋转等错位问题与模板图像不重合而影响缺陷检测，因此需要对采集的图像进行矫正使其与模板相重合。对于图像矫正的问题，可采用式（11）对待处理的图像进行矫正，其中a、b、c、d、e、f为变换矩阵中的约束，对应不同的待处理图片使用不同的约束。若一副不需要矫正的图像，其变换矩阵T就是单位矩阵，如式（12）：

（1）处理图像的平移问题需对原图像使用如式（13）所示的平移矩阵：

式中：t=；Tx为水平方向的位移；Ty为竖直方向的位移。

使用Halcon对采集的图像进行平移操作，需首先使用算子hom_mat2d_identity 生成一个如式（12）的单位矩阵，然后通过使用hom_mat2d_translate 算子对单位矩阵的X、Y进行赋值使其变成式（13），最后通过使用算子affine_trans_image 对图像进行仿射变换：

hom_mat2d_translate（: : HomMat2D,Tx,Ty: Hom-Mat2DTranslate）：为平移矩阵赋值

affine_trans_image（Image : ImageAffineTrans : HomMat2D,Interpolation,AdaptImageSize:）：对图像进行放射变换。

（2）处理图像的旋转问题需要对原图像使用如式（14）所示的旋转矩阵：

使用Halcon对采集的图像进行旋转操作，第一步与第三步与平移操作相同，其中第二步需要使用算子hom_mat2d_rotate把生成的单位矩阵变为旋转矩阵：

hom_mat2d_rotate（: : HomMat2D,Phi,Px,Py : Hom-Mat2DRotate）：为旋转矩阵赋值。

3 目标信息检测

3.1 信息识别

在待测面板信息目标检测过程中，阈值分割法能够有效地提取图像背景和待检目标灰度对比相差较大的区域，当待检图像目标灰度与背景灰度存在交集时，此时阈值分割法的鲁棒性较差，采用对待检区域灰度选择范围较灵活的动态阈值分割法来提高对灰度的鲁棒性。对图像进行阈值分割之后，将字符、图标等样本添加到分类器中对样本进行机器自主训练并对分类器进行分类，便于后续使用Halcon 软件创建OCR 分类器实现对待测触摸屏中OCR字符、图标等的精准识别。

3.2 缺陷检测

针对灰度差距小、缺陷位置不确定等问题，采用图像金字塔模板匹配方法配合差异化模型方法，通过将待测模型与模板相匹配从而提高触摸屏信息检测准确性。利用动态阈值方法提取目标区域并建立标准差异模型，根据像素点的灰度变化量建立变化模型库，将待检测区域与模型库进行差异对比，采用该方法实现对待测车载触摸屏中的缺陷部位的有效检测。由于车载触摸屏面板的透过率相差较大，而面板的透过率作为评定触摸屏光学性能的重要参数，因此通过计算目标区域灰度值的绝对和相对直方图，利用直方图计算目标区域的平均灰度值T，并设定允许偏移量，向高、低灰度区域延伸，得到黑、白缺陷区域与合格区域的检测灰度区间，计算出检测缺陷区域的形状因素并进行分类等步骤，建立一套触摸屏透过率缺陷检测的动态判断标准。

采用面阵相机采集一批良品的图像，检测该批次样品的透过率与灰度值，通过收集图像灰度值和面板透过率数据，从中寻找图像灰度值与面板透过率之间的关系，在二维坐标系中将每一个样品的灰度值与透过率进行函数拟合，并通过最小二乘法建立函数计算公式来计算面板透过率，从而得出灰度值与透过率的关系[12]，如图8所示。

图8 透过率转换关系

4 实验与测试

针对车载触摸屏存在黑白点、黑白不均、残缺等问题，利用该检测系统对尺寸为220 mm×180 mm 的车载触摸屏进行测试。该检测系统首先对检测面板的平均灰度值A1、缺陷的平均灰度值A2、缺陷的长度L、以及缺陷的宽度W进行检测，再根据产品的质量标准要求建立触摸屏缺陷筛选标准，如表2所示。

表2 缺陷筛选标准

利用检测系统对不同批次的触摸屏进行检测试验，部分检测结果如图9 所示。对检测系统确定为合格的产品进一步地人工检测来确定检测系统对缺陷检测的准确率。

图9 基于筛选机制的缺陷检测结果

其中表3 所示为车载触摸屏检测系统对样品的检测数据，表4所示为现场工人的检测数据。

表3 车载触摸屏检测系统的检测数据

表4 人工检测触摸屏的检测数据

实验结果表明，检测系统的良品率与人工检测的良品率相当，检测系统的漏检率小于2.5%，检测效率为8 片/min，是人工检测的3倍以上。

5 结束语

针对车载触摸屏的缺陷检测，本文设计了一种高效、高精度车载触摸屏检测系统，本文所研究的触摸屏的图标信息多集中在高灰度区域，采用指数灰度变换法对高灰度信息区域进行拉伸，解决了局部图像灰度差过低，不容易分割目标的问题；基于Canny 算子边缘检测法实现了亚像素精度，采用模板匹配方法配合图像变异化模型训练合格样品的模型库，并通过建立灰度值与透过率的关系方程，实现了对触摸屏表面黑白点、黑白不均、Icon残缺等缺陷与屏幕透过率的快速一体化检测。实验结果表明，对于220 mm×180 mm尺寸的车载触摸屏，检测效率达8片/min，是人工检测速度的3倍，缺陷检出率达97.5%。