天然皮革缺陷在线检测系统研制

蓝嘉豪，冯 培,2*，张荣根，魏大顺，杨崇倡,2

（1.东华大学 机械工程学院，上海 201620；2.东华大学 纺织装备教育部工程研究中心，上海 201620）

0 引言

皮革制品是将动物身上的皮经过一系列复杂工序包括对动物皮的物理加工以及化学处理最终形成皮革制品，使其成为一种坚固、耐用且时尚的产品[1]。以皮衣的加工制作为例子，其关键工序是在天然皮革上避开缺陷以及劣质纹理区域摆放服装样片进行裁剪，以保证皮衣产品的质量。由于皮革表面不可避免会出现痘疤、裂面伤、沙眼、死折、皮洞、皱褶、破皮等缺陷，而且由于得到的皮革其每张皮革的形状、大小以及缺陷位置都呈现随机性，无法预知，不能使用常规特征提取方法及单一固定的标准对其进行提取。当皮革经过物理加工以及化学处理后，会破坏皮革的伸缩性能使得皮革边缘出现所谓的荷叶边即在自然状态下表面不平整，在边缘处呈现凹凸不平的现象，这使得适用图像处理对皮革数据进行采集过程中会产生离焦区域，检测结果造成误检或多检问题。

范大煌[2]提出一种高清整张皮革表面缺陷自动检测方法，降低光照不均对图像检测的影响，但无法解决整张皮革边缘荷叶边问题，从而增加多检率以及误检率。丁彩红[3]利用卷积神经网络技术实现对皮革缺陷检测、定位，在一定程度上提高单张缺陷图像的检测效率，但针对整张大幅面皮革检测效率优化并未做出研究讨论，难以应用实际工业生产。刘飞飞[4]针对经典的缺陷检测算法无法解决纹理复杂、对比度低的皮革表面缺陷检测的问题，提出一种基于Gabor滤波的重建图像算法。该算法可解决宏观上较明显缺陷特征，但是针对微观上细微缺陷易造成漏检问题。然而目前皮装企业生产中的检测排版等工序还主要由人工来完成，而人工标注缺陷效率较低，且没有统一的缺陷检测标准，受人工主观性影响严重，难以保证皮革表面缺陷检测的稳定性、一致性，严重制约皮装企业自动化生产的发展。

通过设计皮革三维立体展平装置，使皮革在检测过程中展平，从而避免了皮革凹凸不平脱离的相机对焦区域以提高图像采集质量；针对整张皮革表面次要纹理区域常用于服装次要部位特点，设计皮革先纹理后缺陷的综合判断方法，通过统计皮革缺陷显著性特征，完成对整张皮革表面缺陷识别。

1 工作原理

本文结合皮装生产中缺陷检测的工艺，研制专门针对天然皮革缺陷的在线检测设备。首先在皮革背面贴一张条形码录入到PC端，并将待检测皮革由运动装置传送至检测工位，当皮革经过检测区域中三维立体展平装置后展平，采集装置开始采集图像并实时传输到PC端进行相应图像处理实现对缺陷进行识别，检测完成后传感器触发信号，CCD相机自动停止图像采集，运动装置转回到初始位置，此时皮革完成表面缺陷检测，皮革图像检测报告上传至数据库。

2 系统硬件设计

天然皮革缺陷检测系统硬件主要由工业计算机、控制装置、图像采集模块、三维立体展平装置、传动装置等组成，如图1所示。

图1 皮革缺陷检测平台硬件构成示意图

由于一张皮革受检面大，为保证实现连续、高效、在线的检测目的。因此需要多组CCD同时采集并实现拼接，为了保证多组CCD的采集图像光照一致，设计立体拱形光源，保证每组CCD下光照均匀，稳定。为了减小荷叶边皱褶对检测皮革缺陷影响，设计三维立体展平等辅助装置使皮革在图像采集区域展平；为了保证高质量的图像拼接以及高精度的图像要求，通过传感器可判断皮革是否进入和离开图像采集区域从而实现工业相机对皮革进行准确开始触发和停止触发操作，采用外部触发方式以保证多相机信号同时触发，并通过TCP/IP协议与上位机进行交互，采用欧姆龙CP1H作为检测系统的底层控制器，并基于NI OPC Server使得PLC与上位机进行通讯，从而实现有效控制。

2.1 三维立体展平装置

天然皮革在自然状态表面呈现凸凹不平的弯曲状态，展平指多向弯曲的曲面被展成与原曲面的形状和大小相似平面的过程，通过外力作用对曲面的空间角进行变化，实现曲面的展平功能[5]。为了避免外力对天然皮革伸缩性以及皮革性能破坏，且在夹子等外力作用下无法采集皮革完整图像，因此设计皮革立体展平装置，其展平运动简图如图2所示。

图2 在三维立体展平装置上运动简图

为了实现皮革展平，需保证皮革与展平装置产生相对运动，使展平装置与传动装置分离，本文通过导向皮能够将皮革运输到展平装置上，皮革经过扩幅辊产生扩幅作用力，使其表面荷叶边的空间角发生变化。为了保持皮革在检测区域内局部展平，因此在检测区域前后设置压皮辊，保证皮革经过扩幅辊后荷叶边处的空间角保持不变，实现皮革在检测区域局部展平功能。

通过安装三维立体展平装置实现对皮革表面在检测区域内展平，图3是为皮革在自然状态下与展平状态下使用图像采集获取的图像。从图中可以看出皮革在未展平状态下中间出现明显 皱，皮革四周凹凸明显，这种情况下使用图像处理很难达到完美的效果，容易对皮革产生误检；而经过三维立体展平装置的皮革，不仅使皮革中间的褶皱进行去除，且皮革四周的荷叶边也几乎都顺利展平，只有少数死折无法进行展平。因此通过三维立体展平装置，可将褶皱的皮革进行展平，降低了图像缺陷检测误检率，提高皮革可用区域利用率。

图3 采集的皮革完整图像

3 系统软件设计

结合皮装裁剪工艺特点发现，一件衣服上的次要部位样片上可放置沙眼等缺陷，但如果皮革缺陷是皮洞或者破皮那么这片区域将无法使用，不能用在任何地方，需要对其进行裁剪，因此设计如图4所示皮革缺陷检测综合判断方法。为了提高皮革表面可用区域利用率，整张皮革表面次要纹理区域常用于服装次要部位，因此对采集图像先进行纹理等级判别，再通过图像分割算法对灰度特征明显的缺陷特征例如皮洞、死折等缺陷进行特征识别；对灰度特征变化不明显，但是皮革表面纹理特征变化较大如痘疤等缺陷，通过图像训练以及共生矩阵对痘疤等缺陷进行识别，再利用显著性特征对表面缺陷进行综合判别，最终完成整张皮革表面缺陷的识别，并将结果上传至皮革数据库。

图4 皮革缺陷检测综合判断方法

3.1 纹理等级判别

本文通过选取纹理中最基本的一个特征即粗糙度进行纹理等级判别，利用图像处理对采集的皮革进行处理，提取皮革的密度大小作为粗糙度的计算，通过计算得到的粗糙度值来对皮革的纹理等级进行划分[6]。本文通过对灰度特征进行一系列的后处理，采集的图像中可以清晰的看到皮革呈现颗粒感，因此将图像中皮革颗粒占皮革面积作为区分纹理等级的特征值，采用这种这种方法与人体感官类似；对于不同的皮革如果使用传统纹理粗糙度的方式，会丢失大量的信息，对于皮革纹理的分类不准确，为了能够正确体现出采集的皮革图像其颗粒度占比，采用直方图的方式来表示皮革颗粒分布，通过直方图便可计算得到平均颗粒面积，将这一数值作为衡量皮革粗糙度的标准，本文步骤如下所示。

步骤一：提取阈值分割后图像的颗粒轮廓，计算纹理图像中像素尺寸为2k×2k的区域中像素粒子轮廓面积，将其放入面积数组中：

式(1)中n代表二值化后图像中颗粒的个数，a1代表第一个区域像素粒子轮廓面积；

步骤二：将面积数组转为直方图的形式，能够更清晰的表达皮革颗粒的分布。将直方图面积划分为m个子区间bins，统计属于每个子区间的面积个数，记为histR，以bins为横坐标，histR为纵坐标，绘制条形图成直方图，如图5所示。

图5 皮革纹理面积直方图

步骤三：从直方图提取的纹理特征，计算直方图中percintileHist80的纹理粒度面积记作该幅图像的粗糙度，计算如式(2)所示：

3.2 缺陷检测算法

由于受到工厂环境等其他外界因素干扰，采集到的皮革图像上或多或少存在噪点，为了提高图像质量，采用高斯滤波平滑处理方法，以达到图像去噪效果[7]。通过一系列的灰度变化函数将原图像的直方图进行均衡化修正，使对比度较低的图像达到增强图像细节效果[8]。由于该皮革图像背景具有多元化的特点，如若使用固定阈值对不同背景下的图像进行分割处理，效果不理想，没有通用性。自适应阈值分割原理是将原图像进一步细分为多个子图像，然后在子图像上使用不同的阈值进行阈值分割[9]。为了避免二值化处理图像时造成大量纹理信息遗失，需要保留纹理粒度，对缺陷准确识别起着至关重要的作用。为了避免固定阈值带来的缺陷，采用自动阈值分割能够自动的根据图像的变化更改阈值，自动与之中比较经典的算法为OTSU算法，其将一幅图像分为前景色和背景色，依据最大类间方差作为求得一个合适的阈值，因此本文将采用OTSU算法皮革图像进行阈值分割，其缺陷检测流程图如图6所示。

图6 缺陷检测图像处理流程

依据缺陷检测图像处理流程，其检测效果图如图所示，采用OTSU自动阈值分割能够明显的识别出缺陷。

表1 图像处理流程效果图

针对灰度变化不明显的缺陷，但是其表面纹理特征变化显著的缺陷如痘疤，采用共生矩阵技术对皮革图像纹理进行数理统计[10]。首先利用Biorthogonal小波对图像进行处理如图7所示，选用15×15窗口大小进行共生矩阵计算，其次利用Haralick[11]提出的共生矩阵中的多个二阶统计量计算纹理特征向量，并对大量无缺陷纹理图像样本进行训练，最终实现对皮革表面痘疤等缺陷的检测。

图7 皮革图像小波处理效果

3.3 显著性特征分析

目标图像中显著性特征可分为几何特征以及灰度特征，其中几何特征包括其基础参数如目标特征的面积、周长、位置等以及形状参数如矩形度圆度等特征量。然而在服装生产后道工序中可以通过熨平将褶皱去除，使得缺陷检测出的皱褶不判别为缺陷，因此需要分析皱褶的显著性特征。同时在整张皮革的次要纹理区域，沙眼缺陷不影响皮革的使用，为了提高皮革表面可用区域利用率，对沙眼缺陷显著性特征进行分析，在次要纹理区域不将其判别为缺陷。

延长因子（Elongation Factor，EF）是描述目标区域粒子的细长程度，其计算方法如式(3)所示：

式(3)中L表示目标区域中最长直径；D表示目标区域的等效矩形的短边长。

对多组皮革进行测试，分析显著性特征，得到图8所示结果，可看出，褶皱缺陷的延长性因子特征值明显高于其他类缺陷，与实际皮革上褶皱为细长状相吻合；沙眼的面积特征值最小，与人工对沙眼判别的直观感受一致。因此选取面积特征值作为沙眼显著性特征；延长因子作为皱的显著性特征。

图8 目标缺陷显著性分布

3.4 皮革数据库系统

TCP/IP是基于IP的协议，从运输层实现支持面向连接的、可靠的、面向流的传输服务。在皮革服装企业工厂应用中，TCP/IP是应用最广的连接方式，在厂区各个服务器的连接均使用此协议连接。

本文研究基于LabVIEW的数据库接入。通过LabVIEW软件和SQL数据库进行连接开发皮革数据库程序。

一台计算机中可能有多个数据库的存在。因此，需先找到MES系统数据库才能正确接入MES系统。由于某工厂MES系统正在建设，因此，在本地计算机搭建数据库并进行连接。在连接时，需要获取数据库类型、其所在服务器IP、数据库名及账户密码和所要连接的数据库名称。具体连接程序如图9所示。在进行与数据库建立连接后，通过LabVIEW拼接字符串生成执行语句并调用软件提供的数据库查询接口，本文将皮革ID信息、皮革等级、缺陷坐标值、缺陷种类信息以及皮革轮廓信息进行上传至数据库，方便下一工序从数据库从调用当前皮革信息。

图9 数据库连接

4 实验结果

为了实现皮革表面缺陷在线检测系统的产业化应用，本文搭建皮革缺陷在线检测系统，如图9所示。本文选用某皮装生产的天然皮革为检测对象，为了验证皮革缺陷在线检测系统的稳定性以及缺陷检测准确性，将该系统置于某皮装生产线上进行在线测试，共测试200张天然皮革。

图10 天然皮革缺陷检测平台

通过系统连续运行检测200张皮革，本文所述系统在检测过程中没有发现故障，其稳定性可靠。由表2、表3可知，该系统缺陷检测准确率达到97.5%，满足系统要求。

表2 机器检测缺陷数据表

表3 机器检测检测率

5 结语

本文通过三维立体展平装置将皮革展平，应用面积直方图、图像分割算法以及共生矩阵等图像处理方法，对缺陷显著性特征进行分析，实现对皮革纹理等级判断、表面缺陷识别。实验结果表明，该系统可获得高质量的皮革图像，降低了误检率，其缺陷检测准确率可达97.5%，有效提高整张皮革表面可用区域面积，对皮装自动化生产具有指导意义。