基于LDWS视觉的透明硬塑包装的纠偏标定研究

郭 燕，韩京海

（1.南京科技职业学院，南京 210048；2.南京交通职业技术学院，南京 211188）

0 引言

透明硬塑包装是目前广泛应用的包装形式［1］，但在生产过程中经常需要调整到固有的位置以便于加工，而其本身具有的透明性和复杂的工作环境常常会导致难以精确定位，从而无法有效地实现高效的自动化生产。孙琴等［2］以黑色蒙版为底色，研究了硬塑包装缺陷具有不同颜色深度的反光特征；KUSANO等［3］以动态化流程中的目标锁定算法，为目标物的截取提出了“多分段法”新思路；孙郑芬等［4］围绕机器视觉技术在工业智能化生产中的应用进行了论述，叙述了MES、PDM以及QMS等技术特点；傅田［5］基于机器视觉开展了动态带式输送机纠偏系统设计，将跟踪算法应用于煤炭机械领域；AMIRI等开展了群体决策算法研究，提出了ROI目标选定新思路［6-7］；谭子会［8］开展了基于双目视觉的包装过程分拣技术研究；安伟刚、苏楷以及FU等针对不同目标特点进行多目标算法研究［9-11］。但对于透明硬塑包装的特征识别和定位的研究均相对不足。

本文围绕某轴承公司包装生产线而展开，每个塑封包装可以容纳2个轴承，轴承基于其自身机械防锈的要求，采用吸油的塑料材质作为包装基材，同时基于国家对包装材质环保的要求，最终采取聚乙烯无污染透明塑料。塑料包装基于自身视觉上的属性，相较于其他类型材料的包装，对其边缘进行检测存在与环境识别较难的问题。在检测方面，硬塑包装表面的反光特征较难与环境反光特征进行区别化定位。本文针对透明硬塑包装同生产线其他部位相比所表现出反光特征表面差异性，评价透明硬塑包装边沿的定位精度，在本类型包装特征识别的基础上，开展视觉定位识别，具有较强的现实意义。

LDWS机器视觉涉及到ROI视图选取、多阙值特征识别、RGB灰度处理和双边滤波处理4部分，其定位识别更精准高效。目前在包装研发与设计领域，通过LDWS机器视觉来进行透明硬塑包装的纠偏标定还相对较少。本文基于透明硬塑包装的纠偏不同标定方式，展开分析论证，分析归纳透明硬塑包装在LDWS机器视觉过程中的问题难点，采取机器视觉设计归纳整理出一套具有科学性的透明硬塑包装图像反光特征识别的方法。

1 基于机器视觉的图像预处理

LDWS机器算法的信号输入是在生产线特定位置安置摄像头，在生产线运行时进行拍摄，通过计算机进行图像特征提取。因为生产线中环境较为复杂，经常会因为设备、导轨和管线等信息，对硬塑包装外形标定造成干扰。在机器视觉进行标定前需要对图像中的无关区域因素进行剔除，确定硬塑包装特征所在区域，在对图像中的目标区域进行强化的基础上进行图像预处理，即图像ROI提取、图像灰度化处理。

1.1 图像ROI目标区域选取

摄像头选取的图像除了包含透明硬塑包装的目标特征外，还包括钢制传动带、护栏和设备外壳等诸多干扰信息。在对目标对象进行定位前，采用ROI目标区域的方式进行透明硬塑包装的区域截取，剔除干扰信息，其典型的生产线构件识别示意如图1所示。在图像ROI图像确定前，建立摄像头成像模型，依据摄像头位置与目标物的位置关系进行三维目标物的二维位置坐标转化［12］，转化过程如图2所示。

图1 典型的生产线构件识别示意图Fig.1 Schematic diagram of typical production line component identification

图2 坐标系转换关系示意图Fig.2 Schematic diagram of coordinate system transformation relationship

由图2（a）可知，其转换关系：

式中 θ ——不同坐标的转换角；

x0——x轴上的位移；

y0——y轴上的位移。

位置转化如下式［13］：

图2（b）空间坐标系依据式（2）可以得到空间坐标转换关系，设定转动角为θ，可得到下式：

式中 R ——变化后的坐标系矩阵；

t ——坐标系变化后的平移向量。

纠偏前后的原始图像如图3所示。

图3 透明硬塑包装纠偏前后原始位置图Fig.3 Original position image before and after rectification of transparent rigid plastic packaging

透明硬塑包装区域范围的ROI选取，是对生产线的干扰因素进行确定，相机的安装示意图如4所示。

图4 摄像头安装位置图Fig.4 Camera installation location

图4中h为摄像头距离生产线的高度，θ为摄像头安装角度，α为摄像头与光轴的夹角，d2为定位点与摄像头的水平距离；（xc，yc）为摄像头的光心聚焦点；yi为定位点的纵坐标分量，dx为图像像素的坐标尺寸，其图像的ROI上下界线的坐标关系［14］：

式中 yu，yl—— ROI选取图像的上下边界的纵坐标。

ROI选取图像如图5所示。

图5 透明硬塑包装纠偏前后ROI选取示意图Fig.5 ROI selection image before and after rectification of transparent rigid plastic packaging

1.2 图像灰度化处理

图像灰度化的目的是将图像中的色彩进行灰度处理，通过RGB图像使得图片中的多元化色彩进行消除，色彩信息对于透明硬塑包装的反光特征属于干扰信息，降低彩色进行乳香灰度化处理，可以有效提升信息处理效率，提高计算机的运算效率。

基于图像信息处理的要求，采用平均值法对ROI选取的图像进行处理，对于RGB图像的3个分量进行计算［15］，如下式所示：

经平均值灰度化处理后的图像如图6所示。

图6 硬塑包装纠偏前后灰度化处理示意图Fig.6 Schematic diagram of gray level processing before and after rectification of hard plastic packaging

2 透明硬塑包装的图像滤波去噪研究

在整个透明硬塑包装的定位中，首先对有反光特征的透明硬塑包装进行精确有效地识别；而后在图像检测上，对特定的位置进行特征的精确抓取、标定；最后，通过机械视觉对透明硬塑的特征进行明确。在透明硬塑包装定位算法验证前对包装的边进行图像滤波，以保证被标定边的特征可以被有效抓取。保边滤波的优点相较于传统的去噪滤波方法可以将原先的边框加以平整化处理，使滤波更为平整有效，在平滑图像后将反光特征色差有效模糊，确保整个纸板特征的识别定位，算法流程如图7所示。

图7 透明硬塑包装定位算法流程图Fig.7 Flow chart of positioning algorithm for transparent hard plastic packaging

在对透明硬塑包装进行定位的过程中，首先是对识别的图像进行计算机算法的输入；而后对图像进行滤波处理，依据包装的特征进行阙值的初次赋予；再依据不同位置进行阙值分割而进行形态学的处理，确认其结果是否满足非零像素，若满足则进行包装的特征统计，进而输出结果，若不满足则进行阙值循环赋予，直到满足为止。

2.1 RGB图像去噪预处理

共生滤波器的优势在于将包装反光特征的强化检测，通过滤波计算将信号实现精准化提取。共生滤波效果基于像素中频率的变化，对包装间的纹理产生影响。共生滤波器的表达如下式：

式中 Iq，Jp—— 输入、输出图像对应的像素值；

p，q —— 像素的牵引；

ω（p，q）—— 2者像素的权重比值。

共生滤波用1个归一化的共生矩阵扩展双边滤波，以此来处理反光特征可实现图像的有效提取。基于算法的求解难度，修正后的表达式如下：

式中 M ——像素矩阵；

C（a，b） ——共生矩阵；

h（a），h（b）—— 图像中所出现的频率。

其中：

2.2 双边滤波处理后图像分析

图像去噪预处理的目的是在图像抓取过程中，对环境中的各类噪声的干扰加以排除。图像处理算法的核心步骤是先对图像进行去噪或像素的增强，在保证图像质量的基础上，降低图像处理算法的复杂性。

以双边滤波去噪的方式对不同类型的反光特征细节进行有效地平滑过渡。明确不同物体反光特征的保持状态，滤波处理图像结果如图8所示。

图8 硬塑包装双边滤波结果示意图Fig.8 Schematic diagram of bilateral filtering results of hard plastic packaging

图8（a）为相机终端采集的样本图像，在图像上2个主要视图中均有较多的反光特征。通过图8（b）可知采取整体颜色加深进行滤波可以实现包装反光特征被整体表现，但整体的图像显示较为模糊，尤其2个面的光影影响不利于特征的提取。通过上述滤波对比可知共生滤波结果是较为理想的包装滤波方式，在效果表现上虽然透明硬塑的特征表现效果较好，但在实际的特征识别上相对较为不利。

3 透明硬塑反光特征LDWS视觉算法研究

3.1 LDWS视觉算法分析

在完成图像去噪的基础上，通过采取LDWS视觉计算不同阙值而将复杂的背景加以有效地滤除，进而保障整个系统特征的有效表现。下一步对透明硬塑反光特征进行精准化定位标定。通过工业相机的拍摄对被标物精确定位，明确被抓取物的边框，并对图像中多余的边框部位及时地背景剔除，明确目标区域的透明硬塑反光特征的精确位置，使得透明硬塑反光特征可以通过机械实现目标物的精确抓取。在透明硬塑反光特征定位过程中，明确被精确定位的透明硬塑反光特征的区域边角的坐标点，能满足后续机械对精准定位参数的要求。结合现有的视觉算法，通过LDWS视觉算法对透明硬塑反光特征进行图像复杂背景滤除，并加以反光特征检测。

对于细小且复杂的点和反光特征，结合工程实际情况，设计一种自适应算法，对其加以有效地操作消除，算法流程具体如图9所示。

图9 包装反光特征LDWS视觉算法流程图Fig.9 Flow chart of LDWS vision algorithm for packaging reflective features

在透明硬塑反光特征的定位算法中，利用LDWS视觉算法，可以有效地将透明硬塑的反光特征加以定位。除此之外，该算法还可以将透明硬塑反光特征、气泡以及其他可引发频谱的图像要素有效地提取。在结合反光特征形态以及滤波处理后，系统中大部分冗余的噪声被有效清除。使用LDWS视觉算法，对弱光照、中等光照与强光照进行算法计算，通过拟合得到不同灰度值下的像素区间分布状态以及灰度值分布的综合评价状态，结果如图10-12所示。

图10 弱光的灰度算法的像素拟合图Fig.10 Pixel fitting diagram of gray algorithm of weak light

图11 中等光照的灰度算法的像素拟合图Fig.11 Pixel fitting diagram of gray algorithm under medium illumination

图12 强光照的灰度算法的像素拟合图Fig.12 Pixel fitting diagram of gray algorithm under strong illumination

通过对弱光照、中等光照与强光照进行对照，可知弱光照的像素数最多，在同等算法下，弱光照也更适合进行特征识别。通过形态学闭运算的操作，其核心是对包装系统的纹理特征频段加以信息强化，使得透明硬塑的外部反光特征信息被有效放大与加强。对于系统中存在的很小额外纹理变化，通过软件操作可将其附属的非关注特征，通过腐蚀操作加以有效消除，保证核心的大部分额外纹理被显示。对图像加以腐蚀操作，虽没有对其主要的反光特征实现完全的滤波信息过滤，但可以有效地对视觉图像中大部分的额外特征加以去除，尤其是对复杂工况图像中的一些细小的干扰区域。

3.2 透明硬塑反光特征定位图像边缘标定

以某透明硬塑包装反光特征为例，对其纸板上的4个主要反光特征进行RGB图像边缘标定分析，经对图7在图9的算法的多阙值作用，得到图13。

图13 多阙值反光特征腐蚀特征示意图Fig.13 Schematic diagram of multi-threshold reflective features and corrosion characteristics

采用收敛性对照程序对原图与处理后的图像对照，得到透明硬塑包装反光特征的数据信息。可知LDWS算法可以有效实现透明硬塑反光特征的收敛，测试精准度由先前约60%提高到约90%，对透明硬塑包装的反光特征实现精确定位，达到预期设定的目标。对图13中特征进行多次阙值滤波，经定位拟合，其示意如图14所示。

图14 纠偏前后误差线性拟合示意图Fig.14 Linear fitting diagram of errors before and after rectification

通过图14可知，对于透明硬塑包装的纠偏前后误差拟合距离基本相等，验证整个标定前后系统稳定有效。通过多次调试验证，算法可以精确地进行透明包装的调整，且稳定有效。

4 结语

通过摄像头有效抓取包装样件图片，通过计算机的机器视觉算法，对包装的特征进行抓取与视觉处理，便于整个系统的及时视觉监控与处理。包装系统检测结合机器视觉，对透明硬塑包装进行分析，论证视觉算法的可靠性及基于机器视觉的透明硬塑包装标定算法的有效纠偏标定。在该算法上对阙值的赋予采取多次验证所得到区间进而进行循环，耗时相对较长，在后续的算法中可以针对该类方法结合卷积神经网络算法进行优化，利用机器学习的方法提高效率。