基于机器视觉的压电喷墨墨滴识别新方法＊

刘清涛 骞 满 吕景祥 宋佳瑶

（长安大学道路施工技术与装备教育部重点实验室，陕西 西安 710064）

压电喷墨是电子增材制造喷墨沉积直写的一种，由于其打印图形精度高、适用材料范围广而被广泛使用。在喷墨过程中，经常会因为零件装配的误差、喷头的安装位置偏差以及温度和控制器的原因造成喷墨的墨滴偏离正常状态，而墨滴的状态对于电路板的质量有着至关重要的作用，墨滴状态异常会造成打印的电路板无法使用。因此，有必要对墨滴进行实时状态监测，及时发现喷墨异常并进行维修。

近年来，对于运动物体的跟踪观测，国内外大多采用全局曝光（global shutter）[1-3]的方式，即通过整幅场景在同一时间曝光，传感器的所有像素点同时收集光线。郭会文等[4]针对全局曝光方式下动态背景运动目标设计了一种基于三维背景运动估计的算法，利用移动相机的拍摄特性，实现动态背景下运动目标抓取。刘彦飞等[5]提出自适应光斑中心算法,对精密系统跟踪观测进行了探索，但是该方案主要用于光通信高频拍摄。全局曝光受限于机械极限存在最小曝光时间，不适合墨滴观测领域的应用。

关于视觉测量领域，机械零件测量研究[6]已积累较多成果。Zhang X L 等[7]设计了小型工件高精度图像测量系统，可以成功地实现高效率和高精度的小工件尺寸测量；王纬国等[8]基于机器视觉搭建了一套针对某型地平表指针指示误差参数的非接触尺寸测试系统，实现了地平表零位误差和地平线稳定性的测试；刘阳等[9]针对某微型产品圆形插孔保持力自动测量需求，提出一种圆孔识别定位视觉技术以适应任意规格产品的柔性测量；党长营等[10]利用亚像素边缘检测算法计算了双金属铸件圆孔的内外圆半径和同心度；彭晶鑫等[11]基于机器视觉设计了一套零件圆心距在线测量系统，精度可达0.01 mm；刘凌霄等[12]基于改进亚像素算法对弹簧内外径尺寸进行计算。目前，对墨滴观测的研究还相对较少，本文将视觉测量方法引入到墨滴观测研究领域，从而为提高电子电路3D 打印质量提供技术支持。

1 喷头的结构及工作原理

喷头结构如图1 所示，当出现电压差时，在内部电极和外部电极之间产生电场，使得压电元件径向膨胀，或者根据电压极性变化，径向收缩。压电元件变形仅在有两个电极的部分发生，在没有电极的区域不产生电场。最简单的驱动信号由一个梯形波组成，每当需要产生一个液滴时，梯形波加载到一个电极上，而另一个电极接地。在电压上升期间，管状PZT 的圆周变大的同时也变得更薄更短。这种快速形变通过环氧树脂粘合剂传递到玻璃管，导致玻璃内表面向外运动，使其产生负压（相对于平衡状态）。负压以声速在液体中沿着玻璃管行进，通过扩展声波的方式到孔口和供液端。

图1 压电喷头结构

气压平衡条件下，在喷口处液滴形成的顺序如图2 所示：液体冲到喷口处（第1 个状态）。在第2 个状态中，液体在平衡位置并有些收缩，这表明膨胀波已经到达了喷口处。第3 个状态是压缩波到达喷口处使液体喷出的状态。后一个膨胀波到达喷口处将液体回拉（状态4 和状态5）使其断开并离开喷口（状态6）。喷射的液体由于表面张力形成球形液滴（状态7）。

图2 液滴形成顺序

正常情况下墨滴的喷墨情况如图2 所示，墨滴的大小均匀、圆度高，且连续喷墨时墨滴之间的的连贯性很高。如果喷头放歪或者喷头出现弯曲的情况，会造成墨滴的运动轨迹出现一定的角度偏移，当喷头的角度发生偏移后，会对成品的形状、直线度以及电阻造成影响；当喷头出现轻微堵塞时，可以检测出墨滴半径或上一个液滴与下一个液滴的间距，以此可以判断出液滴的情况；当喷头出现严重堵塞时，相机拍到的图片上会无液滴或偶尔出现液滴的情况；如果施加给喷头的驱动信号出现错误，此时在相机拍摄的图片上会出现液滴喷出情况紊乱的情况。如果喷头压力和频率出现问题，会出现卫星墨滴的情况。接下来，基于机器视觉提出了一种墨滴直径测量方法，并将比对结果应用于卫星墨滴观测，验证本文研究结果的可行性。

2 基于改进的边缘最小二乘拟合法的液滴观测

本文以墨滴为研究对象，采用CCD 相机进行图像获取，墨滴观测流程如图3 所示。

图3 墨滴测量流程

2.1 图像获取

获取图像是实验的前提，本文设计了一套墨滴观测系统，用于获取清晰的图像。

2.2 图像预处理

首先采用7×7 的矩阵对图像进行低通滤波，获得滤波后的图像灰度值mean，根据原图灰度值orig与mean，由公式（1）计算得到新的灰度图像值。

F为对比度增加的系数，且灰度值的溢出和下溢会被裁剪掉。增强后的效果图如图4 所示。

图4 图像增强效果图

然后进行图像平滑处理。图像平滑的主要目的是减小噪声，通过对均值滤波、中值滤波、高斯滤波和导向滤波进行实验比较，效果图如图5 所示，通过比对，可以发现中值滤波和导向滤波的效果最好，本文采用导向滤波进行平滑。

图5 不同方法的滤波效果对比

2.3 特征提取

这一步的目的是从图片中提取提取液滴轮廓，进行半径、圆度和面积计算。首先使用动态局部阈值分割算法，将墨滴区域从背景中提取出来，该算法采用差分的思想对图像进行处理，若图像OrigImage 与对比图像ThresholdImage 满足公式（2），则将该区域提取出来，经过对图像的灰度值进行对比，Offset值为5 时提取到的图像最为完美，可以将墨滴区域提取出来，所生成的图像为二值图像，提取出的墨滴区域像素点灰度值标记为255[13]。

式中：OrigImage为原始的灰度图像，ThresholdImage为经过滤波后再进行图像增强的对比图像，Offset为原始图像与对比图像的像素值偏移量。

然后对分割后的图像进行连通域分析和形态学处理。首先对图像进行开运算，去除图像中的毛刺、噪点、断开细窄的连通。但是会造成液滴边缘处的部分像素点缺失，因此在进行开运算之后再进行闭运算，添补因开运算造成的液滴边缘点的缺失。为了消除背景干扰，对填充后的连通域，根据包含像素点的个数进行形状特征筛选，通过面积和圆度特征提取出液滴，如图6 所示。同时为了验证方法的可行性和准确性，对多幅实验图像进行上述处理，处理后得到的墨滴区域图7 所示。

图6 提取墨滴区域

图7 墨滴区域提取验证

2.4 改进的边缘最小二乘拟合法

边缘最小二乘拟合法是基于边缘检测进行计算的，首先使用Canny 边缘检测算法[14]提取像素级边缘，然后通过定位精度高的二次曲线拟合得到亚像素级边缘,采用亚像素细分技术来提高测量系统的测量精度[15]。但是Canny 边缘检测算法需要边缘处的灰度变化明显，为增强检测效果，本文设计了一种新算法get_circle_contour 采集边缘，该算法流程图如图8，原理如下：

图8 算法流程图

由于图6 所得的区域仅仅只包含墨滴，像素变化不明显，如果此时使用Canny 边缘检测算法，无法提取墨滴的边缘，为了完整提取墨滴边缘，算法首先对图6 得到的区域使用最小外接圆拟合法得到半径R初，接着使用area_center 取得图6 区域的中心点（x,y）；然后以（x,y）为中心、R初+3 为半径画圆，可以获得带有墨滴边缘的有效区域，缩放原来定义域至圆所在的区域，此时即可以提取边缘，且干扰很少。

墨滴边缘图见图9。接着对连通域进行轮廓拟合，在此过程中，提取到的墨滴区域的边缘对象多且有部分无用边缘，如图9a 所示。为了去除无用边缘，同时为了避免出现因边缘长度差别不大而去掉有效长度的情况，对算法进一步改进：首先，计算边缘的长度数组，再算出长度数组的平均值和方差，之后加入判定条件，若方差大于2，说明边缘长度差异大，将利用长度特征将长度小于0.6 倍平均值的边缘滤掉，若边缘方差小于2，则不用过滤边缘；接着使用segment_contours_xld 将边缘轮廓分割为圆弧，此时，圆的轮廓已经比较明显，最后进行相邻轮廓合并操作，即可提取出一个完整的轮廓边缘，如图9b 所示。

图9 墨滴边缘图

得到墨滴的边缘后，接着选用fit_circle_contour_xld()算子所带的最小二乘算法对圆弧的亚像素特征信息进行拟合。通过最小二乘法拟合圆，就可以得出圆的半径。

3 实验验证

3.1 实验验证

原始的墨滴视觉检测通常是通过人工操作的方法，需要利用标尺和显微镜来观察墨滴的喷射过程。存在很大的误差。而本文采用分辨率为1 440×1 080的CCD 相机，搭配6.3×的变倍镜头，该镜头远心光路设计，光学放大倍率为0.7～4.5×，变倍比6.5:1；LED 光源可以使目标信息与背景信息得到很好的分离，大大降低后续图像处理算法分割、识别的难度，同时还能提高系统的定位、测量精度，使测量系统的可靠性和综合性能得到提升[16]，故本文选取了LED 灯作为光源。

为了将相机、镜头和光源组合起来，同时保证成像能够稳定、清晰，本文设计了一套简易的机械结构，如图10 所示，能够将相机、镜头和光源的中心处于同轴，调节微调平台可以改变镜头与光源的距离，从而保证镜头的工作距离，拍出清晰的图片。为了验证方法的可行性和准确性，在对墨滴进行观测前，先对一根直径1 毫米的钢针进行测量，拍摄的图片如图11 所示，经过对钢针图片的处理和测量，程序得到钢针的直径为1 014.79 μm，实验证明，实验平台拍摄的图片清晰，实验结果准确性极高。

图10 实验平台

图11 直径1 mm 钢针

同时，为了体现本文所用方法的优劣性，本实验还采用了另外2 种方法进行比较，其一是区域外接圆法，即对提取出的墨滴区域进行最小外接圆拟合；其二是边缘最小外接圆法，即对提取到的边缘进行最小外接圆拟合。本文利用这3 种方法，对4个墨滴，进行了20 组实验，如图12 所示，得到的墨滴半径平均值如表1 所示。

图12 墨滴图

表1 基于三种方法的半径面积

传统的墨滴观测方法使用光学显微镜，精度在1 μm，且价格昂贵，无法做到实时检测。而通过本文方法，利用工业相机得到的数据精度可达到0.000 1 μm，精度远远高于光学显微镜。

由于喷口半径为20 μm，喷口直径误差在±1 μm，且墨水具有黏性，会造成能量损失，故正常墨滴半径在19 μm 左右波动。从图13 可以看出，区域最小外接圆拟合法得到的半径波动范围较大，数据梯度较大，这是因为区域最小外接圆拟合法的精度只能达到像素级，且对于提取到的墨滴区域要求严格，会存在墨滴部分区域像素点缺失和误认的情况，会对结果造成误差。该方法误差来源于图片的拍摄清晰度和光源等情况，误差来源多，所以区域最小外接圆拟合法结果不够精确。而边缘最小二乘拟合法和边缘最小外接圆拟合法使用了亚像素级的轮廓，精度高于像素级。为了比较出这两种方法的优劣，本文对这两种方法进行误差分析，原理如式3 所示。

图13 墨滴半径数据图

其中：（x1，y1）为墨滴轮廓线上点，（x2，y2）是以所求半径所画的标准圆上的点，数据如表2 所示。

表2 误差比对分析

通过对比误差，边缘最小二乘拟合法的误差更小，而误差的减小可以更加精确地得到墨滴的半径，可以满足更高要求的场所，对工程应用有着更大的价值。

3.2 卫星墨滴分析

卫星液滴是由自由液流过长的尾部碎裂而成的，其体积一般极小，难以观测。通过对墨滴半径的实时监测能及时发现卫星墨滴的出现，减小次品率。图14 为经过图像处理之后得到的墨滴区域；卫星液滴的存在，会在基板上造成不必要的杂点，降低了打印的精确性和解析度。本文采用3 种方法对卫星液滴进行观测，获取的墨滴半径如表3 所示。

图14 卫星墨滴区域提取

表3 卫星墨滴半径

表3 分析了时刻T1和T2出现卫星墨滴时的墨滴半径，从表中看出基于改进的边缘最小二乘法得到的数据最稳定，再次证明了本文所提方法的可行性。同时，发现最小的卫星墨滴的半径会出现小于0.6 倍的正常墨滴半径，且由于墨滴半径的减小，会造成墨滴的势能减小，影响到墨滴的速度，造成墨滴落点位置出现偏差，因此会在基板上造成缺陷。因此，基于本文方法可有效监控发现卫星墨滴的存在，对于提高打印精度具有重要意义。

4 结语

基于机器视觉对电子打印压电喷墨墨滴进行监测研究，设计了一种改进的边缘最小二乘拟合法计算墨滴半径，通过与区域最小外接圆法和边缘最小外接圆拟合法进行对比分析，验证了本文所提方法的可行性。基于改进的边缘最小二乘拟合法获取的墨滴半径精度最高，误差小,非常适合墨滴观测，特别是能够有效监测卫星墨滴，对于提高电子打印精度具有重要意义。