基于图像处理的选针器检测系统

袁嫣红，曾洪铭，茅木泉

(1.浙江理工大学 浙江省现代纺织装备技术重点实验室，浙江 杭州 310018;2.杭州高腾机电科技有限公司, 浙江 杭州 310018)

圆纬机具有产量高、产品适应性强、生产流程短、经济效益高等特点，近几年得到了很大发展。电子选针器是圆纬机实现花色组织的关键部件，其工作可靠性和稳定性直接影响提花的准确性，进而影响整台圆纬机的生产效率和生产质量[1-3]。随着圆纬机车速的提高，为保证安装完成后的电子选针器能够在高速下正常运行，越来越多的企业要求在安装之前对选购或生产的选针器进行检验。

目前，对选针器检测的方法主要有二大类。第一类研究者主要针对选针器的驱动原理开展检测研究。因为电子选针器包括电磁选针器和压电选针器2种：对于压电陶瓷选针器，基于陶瓷晶片的压电效应[4]，设计具有电压反馈的驱动电路实现检测；对于磁保持式选针器，通过电磁脉冲反馈来实现性能检测[5-6]。这类检测方法主要适用于单针检测。另一类是直接检测刀头动作，比如利用频闪原理检测选针器[7]，依靠肉眼观察选针器刀头运动状况判断选针器工作性能，这种人工检测方法只适合短时间检验。

工业视觉测量技术[8](数字近场摄影测量技术)是一种应用计算机技术提取所摄对象，用数字方式表达几何与物理信息的测量方法，不仅能够快速便捷地采集数据，且测量成本低，精度高，易于自动化[9]。基于上述情况，本文设计了一套基于图像识别的选针器检测系统，选取全局曝光模式的廉价工业相机，视频采集摆针移动轨迹，图像分析判断摆针摆位异常，记录异常次数及异常图片，利用普通摄影用暗箱自带的LED灯作为唯一光源，不受外界环境亮度影响，整套系统可长时间不间断全自动运行，以较低的成本检测选针器高速运行的可靠性。

1 系统测试方案

1.1 检测对象

不管采用何种驱动方式，选针器的刀头摆动规律基本相同。通常一个选针器具有8把及以上的刀头，每把刀头根据选针要求，可在如图1所示的左、右极限位置上切换。在1个选针周期内，切换时间与整个周期相比较短，切换完成后刀头静止在左或右极限位置实现其选针功能。选针器高速运行的稳定性是指圆机正常工作时，选针器刀头能够准确准时切换到位。目前，圆机选针速度越来越高，代表国际顶级水平的圣东尼双面提花大圆机，选针频率为74 Hz[10]，本文系统设计的检验频率定为100 Hz，其范围可满足目前市场上对选针器的检测要求。

图1 选针器刀头摆动示意图

1.2 测试原理

随着CMOS传感器线性度的改善，在光照强度达到饱和以前，相机输出灰度值可按照式(1)、(2)计算。

y=aH+b

(1)

H=Et

(2)

式中：y为输出灰度值；a为线性比例，1/(lx·ms)；H为曝光量，lx·ms；b为相机无光照时的输出[11]；E为影响平面的照度，即单位面积接收到的光通量，lx；t为曝光时间，ms。可见，在灰度达最大值之前，图像中每个像素的灰度值与曝光时间成正比，因此，选择合理的光通量和背景时，可通过图像上某区域的灰度值来判断物体在该位置的停留时间。

选针器测试实际上是对选针器中各刀头被驱动后的响应动作的测试。收到选针信号后，刀头将快速摆动到另一端的极限位置，直至下一次切换信号来临。

图2示出正常工作的选针器的摆动时序图。

图2 实验室某选针器摆动时序图(选针频率100 Hz)

检测时选针器连续动作，设定切换周期为T。相机同步连续拍摄，且曝光时间为2次选针时间，即拍摄曝光周期为2T。根据选针原理，刀头快速摆动后，大部分时间保持在左/右极限位置上。图2中2个极限位置上的保留时间分别为T减去切换摆动时间(t1或t2)。当选针器出现刀头不摆动，或摆动不到极限位置，或摆动时间过长等问题时，都会导致刀头在其中一个极限位置上的停留时间缩短。

通过图像方法可求出2个极限位置上，由刀头曝光引起的灰度值H1、H2，根据式(1)、(2)可推导出刀头在2个极限位置上的停留时间，当停留时间小于允许值时，可判断选针器摆动失误。

1.3 检验平台搭建

检验平台主要由工业相机、选针器控制器、被测选针器和计算机组成，见图3所示。其中工业相机的gige接口通过以太网电缆连接到计算机网口进行数据传输，传输速率最高可达1 000 MB/s；选针器控制器一方面按照设定的选针频率输出选针信号，同时通过一路输出线与相机的硬件触发信号输入端相连，使选针动作与相机曝光同步。采用这种硬触发的方式，可保证每次曝光开始时间与选针摆动时刻保持同步，满足长时间测试的要求。

图3 测试系统示意图

2 系统硬件选型

2.1 工业相机选型

选针器检验系统中，工业相机的选型非常重要，决定了选针器刀头摆动图像的质量。与本文系统相关的主要参数为帧率、分辨率、曝光时间范围、传感器类型、焦距等。综合考虑测量要求及性价比，选择一款黑白工业相机。该相机最高帧率为60 帧/s，最高分辨率1 280像素×1 024像素，传感器类型为CMOS，快门类型为Global，相机靶面尺寸为 1.24 cm，焦距为25 mm。

2.1.1 分辨率

由于选针器刀头为非静物,检测运动物体的相机视野大小一般为被测物体的1.1～1.2倍[12]，根据选针器刀头摆动范围约为42.8 mm×20 mm，相机视野范围至少为52 mm×24 mm。测量精度确定为0.1 mm/像素(刀头宽度的十分之一)，则工业相机x方向分辨率至少为52/0.1=520感应面，y方向分辨率至少为24/0.1=240感应面。而所选相机靶面尺寸1.24 cm对应的传感器尺寸大小为6.4 mm×4.8 mm，宽高之比为4∶3,因此,y方向分辨率至少大于520/4×3=390感应面。为减少误差，提高系统稳定性，通常至少用 2个像素单位对应1个测量精度值，因此，分辨率大小至少为(520×2)×(390×2)=1 024×780=798 720 dpi, 本文所选相机最高分辨率为1 280×1 024=1.31×106dpi，可满足实验需求。

2.1.2 帧率与曝光时间

针对目前选针器的工作要求，系统测试的选针器最高工作频率为100 Hz。根据上面的原理，2个选针周期拍摄1次,因此，选用拍摄频率为50 Hz,所选相机最高帧率为60 帧/s，能满足高速摆动选针器测试的拍摄要求。曝光时间可设置为0～1 s任意值。当确定选针器摆动频率后，可通过改变曝光时间使每帧图片正好包含一次完整的选针器刀头运动轨迹。

2.1.3 快门类型

快门是相机用来控制感光片有效曝光时间的机构，通常分为全局快门(global shutter)与卷帘快门(rolling shutter)。卷帘快门采用逐行曝光方式，会造成不同行像元曝光时间不同，对于拍摄运动物体会存在明显拖影现象；而全局快门是所有像素点同时曝光，适合与时间相关性要求高的拍摄。本系统选用全局快门模式。

2.2 工业镜头选型

2.2.1 焦距计算

系统测试过程中，相机与选针器的距离保持不变，应选用性价比高，畸变小，成像质量好的定焦镜头。根据测试系统结构，测得工作距离为180 mm，视野范围为52 mm×42 mm,型号为1.24 cm，CMOS传感器长度为8.8 mm,根据式(3)计算得到焦距F=180×8/52=24.615 4 mm，因此，所选焦距至少大于24.615 4 mm。

(3)

式中：WD为物距，mm；X为相机传感器的尺寸，mm；FOV为相机视野范围尺寸，mm。

2.2.2 镜头有效像场

物体在镜头固定区域中产生清晰的像，该区域大小由镜头像面尺寸决定。而相机也存在一个靶面区域，大小为相机芯片对角线尺寸，物体只有在这个区域中的信息才能被转换为有效图像信号[13]，因此，只有保证所选镜头靶面尺寸大于相机靶面尺寸，才能保证采集到完整视场图像，防止边缘暗角和黑角等情况。综上，选择焦距为25 mm，靶面尺寸为1.43 cm的工业定焦镜头。

3 系统软件设计

计算机中的软件需要完成相机设置、图像接收与处理、刀头动作判断及结果记录等工作。采用Python语言进行开发，在geany编译器中修改并运行程序。图4为系统软件流程图。

图4 系统软件整体流程图

3.1 工业相机初始化

每次曝光开始与选针器动作切换的同步是本系统能长时间实现检测的基础，初始化时必须设置好曝光时间与曝光方式。

当系统检测到相机成功连接时，开始对相机进行初始化操作。其中包括清空上次数据缓存(防止上次的实验数据置以及错误日志保存路径的设置)。由于实验检测的选针器摆动频率设置为100 Hz，为拍摄刀头连续2次切换工作情况(即从左极限到右极限切换1次，再从右极限到左极限切换1次)，需将每帧曝光时间设置为与2个选针器摆动周期时长一致，这样每帧图像正好包括一个完整左右切换回原点的运动轨迹。同时设置相机触发模式为外触发方式，这个外触发信号由选针器控制器控制，可保证与选针器摆动切换信号同步。相机完成外触发设置等一系列初始化操作后，开始等待外触发信号，当相机检测到控制器发送的上升沿信号时，会抓取该信号，同时开始曝光采集一张图片，然后根据外触发函数是否关闭来决定是等待下次外触发信号还是停止采集图像。

3.2 相机选针器同步配置

为使相机采集到的每一帧图片正好对应选针器的2次切换动作周期，需要对相机曝光起始时刻与选针器刀头摆动起始时刻做一个同步配置。

为连续准确地记录2个选针周期内的选针刀运动情况，理论上需要设置相机为连续曝光模式，即相机曝光时间等于2个选针周期。相机每一帧包含FOT、Reset、Integrating(曝光)3个操作，如图5所示。从相机传感器手册中查到FOT(帧开销时间)取决于图像传感器和ROI区域，时间为12～24 μs，Reset复位操作时间即为光电二极管复位时间，约为50 μs，因此，相机曝光时间必须少于2T，具体可以通过实际实验获得。由于FOT和Reset所占用的时间不到1 ms，只要保证每次开始曝光和选针器刀头动作的相对位置固定不变，正常工作的刀头在图像中灰度分布就保持稳定，因此，选针器动作与相机曝光触发的同步非常重要。

图5 全局模式下相机传感器曝光控制图

相机开始曝光可采用软件触发和硬件触发2种方式。若采用软件触发方式，由于选针器工作和相机动作分别由选针器控制器和计算机2个系统控制，不能做到绝对同步，随着运行时间的增加，会累积不同步的时间差，因此，本文系统中相机采用硬件触发方式，由选针控制器完成选针信号和相机曝光触发信号的发送，消除了不同步误差的累积。

3.3 图像处理

以图2的选针器为例，工作频率在100 Hz时，1个选针周期内刀头88.40%的时间是停留在极限位置，因此，只要分析停留极限位置的时间，即1帧图片中该位置上的灰度值，即能判断出选针器摆动情况，因此，图片处理的关键内容主要包括选针器刀头极限位置的确定、极限位置上刀头灰度值的计算两大部分。选针器刀头安装在选针器罩壳内，每把刀的相对位置是固定的。由于罩壳是一个长方体，其轮廓易于通过图像处理获得，因此，完成轮廓线的分析，需准确找出罩壳顶点1和2，结合选针器实际零部件尺寸及安装位置可以快速求出各刀头的左右极限位置。

包含刀头位置信息有效区域的处理过程如图6 所示。首先，截取图6(a)中的罩壳分析框3，对该区域图像选取合适的阈值进行二值化处理，生成该轮廓的最小外接矩形图，如6(b)中的蓝色方框所示；然后，求出轮廓上顶点1和2的位置，再以图6(b)中顶点1和2的2个点坐标为基准，锁定包含刀头位置信息的刀头分析区域，截取如图6(c)中的红色矩形框4。取图6(c)中的框4，采用Otsu[14]算法进行二值化处理，该方法可以针对图中的双峰(刀头灰度值为一峰，背景值为另一峰)自动计算出用于图像分割的最佳阈值，再对二值化后的图片中的白色部分进行图像形态学处理中的腐蚀运算，采用3×3卷积核，进行 2次迭代运算，去除图片中的毛刺部分和斑点部分，最后得到图7所示的纯黑白图。

图6 刀头分析区域处理过程

图7 二值化刀头图

从图7中可看出，每个选针器刀头在图中呈接近矩形的不规则图形，通过Cv2.FindContours函数中的Retr_External模式，对每把刀头进行检测并得到每把刀头的最外层轮廓，然后通过moments函数得到目标轮廓的矩阵，并通过几何矩求取重心公式来计算出每个图形的重心坐标。

(4)

(5)

式中：M00为零阶矩；M01、M10为一阶矩；Xc为重心横坐标；Yc为重心纵坐标。若重心坐标与极限位置的坐标值一致，则认刀头位于极限位置。为进一步计算刀头停留在极限位置的停留时间是否合理，将以此重心为中心，每个像素为单位，在原图中构造一个5像素×5像素的矩阵，取矩阵内25个像素的灰度平均值作为该刀头的灰度值，与预先设置的阈值进行比较，确定刀头在极限位置上的灰度值(相当于停留时间)是否在正常范围内。如果刀头正常摆动，则删除图片，如果刀头摆动异常，累计错误次数并保存该错误图片，同时记录错误日志保留到指定路径上的.txt文件上。

3.4 人机交互界面设计

人机交互界面主要分为相机控制区和结果显示区2个部分，如图8所示。

图8 人机交互界面

相机控制包括开始、结束、清除3个按钮。点击开始按钮启动相机拍摄，点击结束按钮停止相机拍摄，点击清除按钮则会清空实验数据。结果显示区将每把刀头从左到右编号，显示过程中每把刀头错误次数，通过点击清除按钮可将所有刀头错误次数归零。

4 系统实验与分析

4.1 测试原理实验验证

为验证测试原理，将曝光时间设定为200 ms，检测不同频率下选针器在静止和摆动时刀头的灰度值。按照确定的选针方法，选针器刀头正常时会在左右2个极限位置停留较长时间，因此，实际检测到的每帧图片如图9所示。在左右两极限位置处各有1个清晰的刀头图像。

图9 选针器刀头正常摆动

选针器刀头发生故障时将出现不摆动，或摆动太慢，导致停留在另一侧的时间缩短，对应极限位置的灰度值下降。

图10示出拍摄的8号刀头停摆状态下的图。2个极限位置一处灰度特别大，而另一处灰度几乎为零，说明刀头没有正确摆动到左极限位置。

图10 选针器刀头故障

表1示出200 ms曝光时间下选针器刀头的灰度值。表中刀头序号左1和右1，分别代表选针器第1把刀头在左右2个极限位置的灰度值，其余的依此类推。以第1把刀为例，选针频率10 Hz时，左右2个极限位置的灰度值分别为103和102，减去背景值的一半(因为选针器在左右2个极限位置停留时间均接近一半拍摄周期时间，所以减去一半背景值)，分别为H1l=103-19×0.5=93.5和H1r=102-20×0.5=92，二者基本接近，说明刀头在2个极限位置停止的时间基本相同。同时，这2个代表刀头在左右极限位停留时间的灰度值，接近但小于静止情况下极限位置灰度值的一半H1=191/2=95.5。这是由于刀头在2个极限位之间切换，由刀头引起的灰度有部分分布在2个极限位之间的空间，因此，H1l和H1r均小于H1。随着摆动频率的增加，在 200 ms 拍摄周期内刀头摆动的次数也增加，因此，刀头停在左、右2个极限位置的灰度值逐渐变小。由此可见，测试系统测出的数据与提出的原理相符合，证实可通过选针器刀头灰度值来判断刀头在极限位置的停留时间，最终实现对刀头在选定频率下能否正常工作的判断。

表1 200 ms曝光时间下选针器刀头灰度值

4.2 阈值求解

为减少实验误差，实验箱采用了黑色吸光布作为背景，尽量减小背景灰度值对实验的影响。此时，检测出的背景值基本为0或1，因此，可忽略背景的影响。采用的相机为8位深度，最大灰度值为255，为尽可能利用相机的深度值，在实验时调整相机光圈大小，使刀头静止时的灰度约为200，则测试时，针对不同的选针器，根据其位移曲线可求得左右极限位置停留时间及对应的灰度值。以此为标准，根据停留时间的允许误差求出其灰度阈值，作为判断标准。

本文实验中选针器刀头在正常摆动下2极限处的灰度值允许范围为80～90，因此，将灰度阈值设为80，若其中有一处极限位置的灰度低于80，则说明该选针刀没有在该极限位置停留足够时间，视为摆动错误。系统将会累计错误次数,保存摆动错误的图片，并将错误日志保留到指定路径的.txt文件中。保存的图片和日志可为测试后的分析提供依据。

4.3 实验检测

实验时，通过选针器控制器，预先编程设置8号刀头每摆动10 000次停止摆动1次的方式来模拟刀头发生错误的现象，选针器选针频率设为100 Hz，相机曝光拍摄周期为20 ms，因此8号刀头错误频率为100 s/次，即每过100 s，8号刀头累计出错1次。

记录100、200、500、1 200、3 000、5 400、7 800、16 900 s记录的错误次数，分别为1、2、5、12、30、54、78、169，经检验错误次数与预先设置的情况完全一致,证明系统成功实现对刀头在选定频率下能否正常工作的检测。

5 结束语

针对选针器现有检测手段成本高、自动化程序不够，不能同时检测多个选针器等问题，设计了一套以图像处理为基础的检测系统。该系统采用普通帧率的工业相机，视频采集选针器刀头移动轨迹，图像分析判断刀头摆动情况,记录异常次数及异常图片。实验时整套系统置于暗箱中，暗箱自带的LED灯光源，确保不受外界环境影响，可实现长时间全自动检测。与以往选针器检测技术相比：1)本文基于图像的检验方式，具有通用性高，适用于任一类选针器的特点；2)完成的全自动、多刀同步检验系统，与目前采用频闪仪，人眼观察，或全自动，单刀检测的方法相比，具有省人力，高效率的特点；3)整套系统硬件配置简单、成本低。设计完成的系统经多次检测表明，该系统稳定可靠，可方便应用于大批量选针器的性能检验。