基于机器视觉的平板背板辅料检测系统*

王羽强，胡开明※，周显恩，李跃忠

（1.东华理工大学机械与电子工程学院，南昌 330013；2.吉安市电子信息研究院，江西吉安 343099）

0 引言

平板电脑是一种小巧的、便携的个人电脑，在平板电脑的生产过程中，需要经过一道检测平板电脑背板上的辅料（图1）是否齐全的工序。传统的检测方法是在一条转速较慢的流水线上，由几个人分工分别检测几个辅料，这样的检测方法需要肉眼长时间盯着产品检测，难免会造成人为的误检，并且因为流水线流动速度不能太快而造成效率低下的后果。随着计算机技术、图像处理技术的不断发展，越来越多的学者和专家希望通过机器视觉技术来解决一些工业上的检测问题。

在国内，采用机器视觉技术进行系统的研究，已经相当成熟。庄碧芬[1]针对提高车联识别率的问题，提出了采用基于视频的虚拟线圈的车辆计数方法代替传统的物理识别检测方法；黄艺香等[2]针对学校普通教室使用过程中容易发生教室无人或人数很少时用电电器仍然工作这一电能浪费的问题，设计了一种基于机器视觉的教室智能控制系统；姬展鸿[3]提出了一种基于机器视觉的大块异物识别方法用于实现对皮带煤流中大块异物的识别与预警；肖剑等[4]针对目前常用的螺纹钢丝头人工检测方法效率低、精度差的问题，提出了一种基于视觉技术的螺纹钢丝头检测方法；王春光等[5]针对人工测量机油冷却管管口的圆度存在误差且检测效率低、无法实时检测的问题，提出一种基于视觉检测的机油冷却管口圆度检测与分拣方法；宋涛[6]设计了一种基于机器视觉的家庭智能分类垃圾桶；刘德志[7]针对如何对火车轮对轴端标记进行识别录入的问题，基于机器视觉技术提出了一种针对轮对轴端的熔炼号、钢种号、单位号、顺序号、年月、轴型标记及方位标记等7种类型标记的整体自动识别算法；陆渊章等[8]针对现有算法在解决无人机（UAV）协同跟踪过程中的实时视觉跟踪性能不足等问题,提出了一种基于机器视觉自主检测和协同跟踪算法；杨红军等[9]提出了利用机器视觉和气动机器人的自动化分拣解决方案；冯榆淇等[10]针对传统大空间建筑火源定位方法存在易受到外界环境的干扰、火源定位复杂以及不能全方位持续扫描定位等问题，提出一种基于机器视觉的大空间智能消防水炮；汤义勤等[11]提出一种基于机器视觉的室内无轨巡检机器人导航系统；茅正冲等[12]针对AGV视觉引导过程中的精确导航与实时监控的要求,提出一种基于机器视觉的AGV导航与定位算法；张飞等[13]提出了一种基于机器视觉的纸盒包装系统；兰英等[14]设计了一种基于机器视觉的车门锁闭状态安全监测系统；张志刚等[15]针对EAN-13商品条码提出一种运用机器视觉技术进行商品条码质量检测的方法；蒋丽丽等[16]设计了一种基于虚拟仪器与机器视觉技术相结合的轭铁尺寸高精度自动检测系统用于解决1/2晶体罩继电器电磁系统中轭铁零部件尺寸难以测量的问题。

针对人工检测存在的诸多问题，本文提出一种集辅料漏贴、错贴检测为一体的平板背板辅料检测系统，如图1所示，采用先进的机器视觉技术，实现检测过程的全自动化，极大地提高了检测准确性与效率，确保产品质量得到保证。

图1 平板背板辅料

1 系统总体方案设计

1.1 系统检测流程

系统检测流程如图2所示。当平板背板从皮带线上流下来，在经过CCD相机的视野中心时触发光纤传感器，随后光纤传感器发送信号触使相机进行拍照（hal⁃con联合相机SDK进行采图），摄取的照片经过图像处理软件的分析与处理，计算出检测的平板背板上的辅料是否存在漏贴或误贴的情况，若辅料存在误贴或漏贴，则声光报警器开始报警，并且控制皮带线自动停止运行，若辅料齐全且正确贴装，则显示OK字样。

图2 系统检测流程

1.2 系统机械结构设计

系统的机械结构如图3所示，一共由3个单元组成，分别是自动上料单元、图像摄取单元、中央控制单元。自动上料单元采用传送带的方式将产品型号为D01的平板背板送至图像摄取单元，其中导向条的作用为使平板保持水平，不会发生旋转。图像摄取单元由光纤传感器和相机、镜头、条形光源组成，将光纤传感器设置在图像视野的中央，当平板背板运动到光纤传感器发出的激光触发相机拍一次照，条形光源采用四周打光的方式，保证了摄取的图像的光照均匀度。中央控制单元主要是工控机、图像采集卡和一个上位机软件，图像采集卡用于相机数据传输的控制端口，上位机用于显示检测结果以及用户调整系统各种参数。

图3 机械结构

2 视觉检测系统硬件设计

在机器视觉系统中，硬件一般包括工业相机、镜头、工控机、图像采集卡、光源和光源。相机镜头选取的好坏直接影响所获得图像的质量，图像质量越高，后续的检测算法就越容易设计。由于本产品的尺寸为310 mm×180 mm，整体形状较小，综合考虑图像精度和硬件成本，本系统选择了500万像素的彩色全局曝光CCD相机、8 mm焦距的镜头和4个白色LED条形光源，其中镜头距离产品的距离大约为350~400 mm，打光方式采用四周打光。

3 视觉检测系统图像处理算法设计

平板背板辅料检测系统算法设计包括图像预处理算法和检测算法设计，其中图像预处理算法的作用是消除由于工作车间电磁信号、光照干扰、系统内部运行使图像产生的如高斯噪声、椒盐噪声、泊松噪声等图像噪声，检测算法用于检测出指定的位置是否是贴有准确的辅料。

3.1 图像预处理算法

在图像的获取过程中，由于环境的干扰，图像总是会存在着失真的现象，表现形式为图像整体较暗、对比度较弱等，解决图像失真的方法是增强对比度。在本系统中采集的图像，其辅料所在的区域与辅料周围的区域灰度较为相似，针对这个情况，可以采用灰度变换的方法来进行对比度的增强。

在图像的数字化过程中，由于一些不可避免的因素，如量化噪声、模拟信号转数字信号过程中信号的损失、以及传输过程中的信号损耗等因素，会使得到的图像产生噪声。图像的噪声指的是图片上存在的一些随机、离散、孤立的像素点，在视觉上噪声与它们相邻像素明显不同，例如黑色区域中的白点，白色区域中的黑点等。为了消除图像的噪声对于后期的处理产生的影响，消除噪声、恢复原始图像是一项很必要的工作。

由于图像的噪声对于后期提取图像特征和一系列的处理产生很大的影响，因此消除噪声，恢复原始图像是一项很必要的工作。消除噪声，在图像处理中一般采用滤波法，在本文采用中值滤波法，具体的滤波过程如下：中值滤波是用像素领域内的最大值代替该像素的灰度值，中值滤波首先对模板覆盖的像素领域内的所有灰度值进行排序，找到领域的中间值，用这个中间值作为中值滤波器的响应。假设3×3中值滤波模板覆盖的像素灰度值为（2、3、0、10、9、1、7、5、3），排序结果为（0、1、2、3、3、5、7、9、10），中间值为3，则该领域的中值滤波结果为3。中值滤波器使图像中突出的亮点或暗点更像它周围的值，以消除孤立的亮点或暗点，从而达到平滑图像的目的。

3.2 辅料检测算法

首先，绘制定位到需要检测的目标区域，接着再屏蔽掉图像的其余部分，只显示图像选择的ROI区域，接着对选择的ROI区域进行全局的手动阈值分割，最后对分割后的二值图像进行连通域分析，根据检测区域的面积特征来判别辅料的有无，随后根据连通分量的面积参数，设定一个面积阈值来进行辅料有无的检测，当面积参数大于设定的面积阈值时，则说明该连通分量是需要检测的辅料。

4 视觉检测系统软件设计

本文软件结合系统的功能需求以及企业的技术要求，设计了如下的内容：图像采集功能、缺陷检测功能、人机交互界面、系统数据管理。在Visual Studio开发环境，采用C#编程语言、相机SDK、Halcon图像处理算法库设计视觉检测算法；在WinForm框架下结合C#语言设计人机交互界面；采用SQL Server 2019数据库管理系统数据，软件的主界面设计如图4所示。

图4 视觉检测系统软件设计

整个界面分为5个部分，分别为图像显示窗口、图像采集手动控制栏、状态信息显示窗口、日志显示窗口、相机参数设置窗口、产品型号选择窗口。其中图像显示窗口可以显示当前采集的图像和处理后的图像以及处理的结果，当前图像处理的结果在显示窗口的右上角显示，显示为绿色的OK字样时代表检测的当前产品辅料齐全，显示为红色的NG字样时代表检测的当前产品辅料缺失；图像采集手动控制栏可以进行中断采集、检测状态的手动自动切换、复位、自动保存采集的图片操作；状态信息显示窗口打印当前检测的图像的信息和检测结果；日志显示窗口用于显示每天检测的产品的合格数与不合格数，并统计良率；相机参数显示窗口用于设置相机的曝光值和光源的亮度；产品型号选择窗口用于切换产品的型号。

软件使用时，首先进入用户身份确认界面，用户需要填写正确的账号和密码才能登录成功，或者可以选择注册账号并进行验证码身份验证进行登录。当用户需要进行历史数据查询时，可以打开本系统的数据库查询检测的日志和历史的图片，图5所示为系统的运行界面。

图5 系统运行界面

5 研究结果与分析

根据系统的设计方案，制造出平板背板辅料检测系统并在实际的企业现场进行测试，为了测试本系统性能，本文主要从两个指标来对系统进行评估，一个是系统的检测时间，一个是系统的检测准确率。系统的检测时间指的是从程序的初始化到输出最终检测结果所消耗的时间，系统的检测准确率指的是检测结果正确的数量与检测的总数量的比值。利用本系统对300个产品进行测试，其中有150个为OK的产品（即在准确的位置全部贴装有准确的辅料），150个为NG产品（即在指定区域存在漏贴或误贴的现象），在一台联想电脑上进行测试实验，实验数据如表1所示。

表1 实验数据

实验表明：采用本文提出的系统，能够完全满足企业现场的检测功能要求，能够精确地对每一个辅料的漏贴、错贴情况进行检测，平均每个产品的检测耗时约0.5 s，检测准确率可达到99.8%，与人工检测进行对比，平均每个产品的检测时间大大缩短，并且还可以在产线上24 h不间断地作业，极大地提高了企业的生产效率。

6 结束语

本文基于机器视觉对平板背板辅料检测系统进行了设计，首先在总体检测流程上进行了整体方案设计，包括机械结构设计与硬件方案的选型；其次对图像处理算法进行了设计，包括采用灰度变换增强对比度，中值滤波滤除噪声的图像预处理算法和手动阈值分割、连通域分析、面积筛选的图像检测算法；然后基于Visual Studio开发环境对系统软件进行了设计，包括调节相机曝光值、光源亮度、手动自动切换检测、历史数据保存、合格与不合格以及良率的自动统计；最后在现场采集图片对整个机器视觉检测系统进行实验验证，结果表明通过本系统，完全可以满足预期的检测需求。