路文纪,邹 鲲,舒 畅,胡小荣
(东华大学纺织装备教育部工程研究中心,上海 201620)
目前,国内外生产人造草坪的主要设备为割绒簇绒机[1]。影响人造草坪质量的主要因素为漏纱,即在人造草坪生产线上,由于草丝从纱架经牵引系统到簇绒织机过程中的断裂、簇绒机织针的崩断及其他因素,导致草坪局部草丝的缺失。
随着机器视觉技术的发展,机器视觉被广泛应用于缺陷的检测[2]。某人造草坪生产线的幅宽约为3.2 m,采用传统人工检测簇绒漏纱,漏纱检测不及时、工人劳动强度大、生产效率低。本文基于机器视觉,设计了一种漏纱实时检测,并在检测到漏纱时使簇绒机自动停机的方法,以减少工人工作量、提高生产效率。
检测系统结构如图1所示。四个相机均布在草坪生产线上,检测到漏纱后,通过通信转换电路控制接入簇绒机控制电路的继电器使其停机。工控机的配置为:Intel奔腾双核B970,主频 2.2 GHz,内存2 GB;相机选用浙江华睿科技提供的A5201CG50型彩色相机,镜头选用华睿科技提供的MH0824M型镜头。
图1 检测系统结构图
在选择图像感兴趣区域(region of interest,ROI)时,使其靠近簇绒织针针脚的位置;且考虑到漏纱检测时可能需要大量计算,在检测到尽可能多的纱线列数的前提下,使感兴趣区域面积尽可能小。由于ROI区域较大,此处将其等分为左右两部分展示。ROI大小为1 900 pixel×100 pixel,图像的实际大小约为8 500 mm×80 mm。从图2可以看出,纱线存在一定程度畸变;实际中纱线为等间距、互相平行分布。
图2 ROI示意图
图像处理中,颜色空间的选择尤为重要,合理、有效的选择能更为准确也更易处理最终结果[3-4]。常用的颜色空间包括RGB、HIS和YUV等[5-6]。
RIO转换到YUV、HIS、2G-R-B颜色空间,各颜色空间分量如图3所示。由图3可知,ROI中实际表面在图像中的畸变沿图像中心呈左右对称分布。H分量2G-R-B分量和Cr分量均可以较好将纱线从基布中分离,但2G-R-B分量中纱线所占比例明显较原图向少,且部分出现不连续现象;而Cr分量中纱线虽能较好连续,其纱线和基布的对比度较差。相比较而言,H分量中信息更加完整清晰,且纱线连续性好和基布的对比明显,故选取H分量作为后续处理图像。
图3 各颜色空间分量图
H分量图中,由于基布是白相间的网格布,所以得到的图像中存在一些孤立的黑色噪声点,属于噪声。对于噪声,比较有效的处理方式为中值滤波[7-8]。中值滤波后H分量如图4所示。中值滤波后的图像基布与纱线区别明显,且其灰度分布存在明显的波峰波谷,有利于后续处理。
图4 中值滤波后H分量图
被检测的纱线数量较多且形态不一致,无法进行统一处理。因此,需对图像进行畸变校正,使纱线的形态统一。
相机与物面夹角原理如图5所示。当相机中轴线与物面(物面为平面)的垂线夹角α=0°时,相机成像的实际物面为矩形,物距L1=L2,物面在像平面中缩小比例相同,基本不存在畸变;当α≠0时,L1≠L2,物面距离像平面较近的部分的像大于距离物面较远的部分,使得所成图像产生畸变,这种现象叫做透视畸变[9-12]。在人造草坪漏纱检测时,由于簇绒机机架、相机视野等因素的影响,相机与物面的角度α≠0,导致获得的图像产生透视畸变。
图5 相机与物面夹角原理图
对于透视畸变,实际中平行的线在透视畸变图像中汇聚于一点,该点称为灭点。灭点的个数可以分为一个、两个和三个的情况[11]。通用透视变换矩阵为:
(1)
式中:T1为图像线性(旋转)变换矩阵;T2为图像透视变换矩阵;T3为图像平移变换矩阵[12]。
本系统中,图像的畸变仅由于成像面与物面不平行导致,符合一个灭点的情况。ROI中灭点示意图如图6所示。矩形R1R2R3R4表示ROI所在区域,以图像底边为X轴、中线为Y轴建立坐标系。图像中任一点P(x,y)所在的实际直线为MN,图像中线未倾斜,所以MN的延长线与Y轴的交点Q(0,L)即为灭点,图像符合一个灭点的变换。
图6 ROI中灭点示意图
由于物面为平面,相对于物面与相机成像面平行的情况,以相机为中心建立空间坐标系。相机仅在一个维度上存在倾斜,并且根据实际情况,只需考虑二维坐标变换即可。
即:
(2)
可得:
(3)
式中:(X,Y)为P点在图像中理想点的坐标。求得L即可得到变换矩阵。
若已知底边R1R2任意一点的所在直线在图像中的畸变角度,即可由几何函数关系求得L。由此,根据面阵相机拍摄图像的原理,使用3D草图工具绘制相机成像原理图,相机成像原理如图7所示。图7中:面ABCD为有效像场,a1B1C1D1为物面,两面的夹角为∠OG1F1的余角对应图7中的α,O为投影中心点。依据有效像场尺寸可确定矩形ABCD,依据镜头的视野范围可基本确定O点距面ABCD的距离。在面a1B1C1D1上作a1E1垂直于C1D1,线段AE为其投影。由于物面与成像面间的不平行,导致实际中垂直于上下两边的线段a1E1在成像面上与对应成像边的夹角小于90°。确定影响该夹角的因素及其与夹角大小的关系,即可根据相关条件确定图像畸变角度。
图7 相机成像原理图
由图7中几何关系可知:
(4)
(5)
(6)
(7)
HE=OHtan∠HOE
(8)
(9)
联立式(4)~式(9),解得:
(10)
由式(10)可知,图像畸变角度与物距无关,只与相机、镜头的参数及相机成像面相对物面的角度有关。选定相机及镜头的型号后,畸变角度仅受相机成像面与物面夹角的影响。实际操作中,使用量角器即可测得该夹角α。
(11)
对ROI进行逐点校正,即可得到理想图像。
检测的目标体为纱线。纱线呈垂直于X方向平行分布。为简化程序减小计算量,只需针对X方向存在的畸变进行校正。由式(3)和式(11)可得:
(12)
镜头视场角H=58.1°、V=44.5°、D=70.2°,可得AB=8.8 mm、AD=6.6 mm、OG≈7.3 mm;由ROI尺寸可得OR1=928 pixel;测量的∠OG1F1≈ 40.5°。畸变校正后的ROI图像如图8所示。由图8可知,目标体纱线经预处理后多为黑色,每个像素点对应灰度值偏小;基布多为白色,每个像素点对应灰度值偏大。在进一步检测时,为减小基布对纱线的干扰,增强图像处理鲁棒性,对图像灰度值进行翻转操作,并且舍去边缘部分不完整纱线。
图8 畸变校正后的ROI图像
校正后的RIO中:纱线呈白色且相互平行;基布呈黑色。根据图像的特点,得到的ROI灰度值纵向加和波形图如图9所示。图9中,波峰所处区域对应纱线在ROI中的位置。
图9 ROI灰度值纵向加和波形图
根据波形图的特点可知,若某列发生漏纱,则该列纱线所在区域,灰度值加和的结果将减小,利用这一特点即可进行漏纱判断。程序流程如图10所示。根据纱线位置,将每列纱线所在区域内灰度值加和的结果记录在数组中,通过与第N次前获得的数据对比的差值大小即可判断是否发生漏纱。
图10 程序流程图
经测试,本算法执行一次时间约为100 ms,针对的簇绒机转速为600 r/min即每针间隔100 ms。所取的ROI中纱线长度约8针。经实际试验,算法中关键参数N的取值偏小时,易发生误报;当N取值偏大时,漏纱量偏多;当取N=4时,即在簇绒机正常运转情况下,若某列纱线发生漏纱且漏纱数量达到4针及以上时,工控机向通信转换板发送特定停机信号,从而改变继电器状态使簇绒机自动停机。
产线完整检测系统中,4台相机均布置在人造草坪生产线上,通过网线分别和控制柜中4台工控机相连。控制柜中,每台工控机通过RS-232接口和通信转换板相连,通信转换板通过控制继电器的通断,控制簇绒机停机。
生产线运行一周时间内,平均生产每200 m人造草坪约发生32次漏纱;漏纱检成功率测率为100%,但偶尔有误报,即系统检测到漏纱使簇绒机停机而实际却并没有漏纱发生。每生产200 m的试验结果如表1所示。发生误报,可能是因为簇绒机运行时造成相机振动,或是外界自然光因某些原因发生骤变。总体而言,簇绒机的启动时间较短,7.2%的误报率对人造草坪生产线生产效率影响不大。
表1 试验结果
大多数生产线因受自然光干扰严重,难以应用机器视觉系统。本文针对人造草坪生产线设计的检测算法中,参数设置少、对光源要求低;避免了使用多数机器视觉系统中依赖性高的阈值分割、腐蚀膨胀等需设置参数过多、对光源要求高的算子,具有较强的鲁棒性;使用一定时间段内,图像纱线区域灰度值加和对比的方法判断漏纱,克服了一天内自然光变化的影响,
具有较强的鲁棒性。该方法可有效应用于受自然光干扰的人造草坪生产线,大幅提高草坪质量、生产效率、减少了工人工作量,具有极高的实用价值。