纬编针织物结构识别中的图像变形修正

吕唐军， 龙海如

(1. 东华大学 纺织学院， 上海 201620； 2. 东华大学 纺织面料技术教育部重点实验室， 上海 201620)

纬编针织物结构识别中的图像变形修正

吕唐军1,2， 龙海如1,2

(1. 东华大学 纺织学院， 上海 201620； 2. 东华大学 纺织面料技术教育部重点实验室， 上海 201620)

为解决纬编针织物自身扭曲以及拍摄过程中镜头带来的透视变形及畸变等对自动识别织物组织的影响，提出对纬编针织物图像中的扭曲采取投影转换、基于多项式的局部加权平均转换等方法来修正。结合手持识别系统开发需要，设计了修正织物组织图像扭曲所需的相应修正模板，制定了先调整透视变形，然后调整畸变及普通线圈变形的完整修正流程，对针织物自身变形进行了分析并提出了因结构变化而产生变形的修正方案。经实验证实上述方法对纬编针织物图像中的透视变形、镜头畸变及线圈自身扭曲变形有很好的修正效果。

自动识别； 纬编针织物； 图像变形； 投影变换； 局部加权平均

Abstract The projection transformation and the local weighted mean conversion method based on polynomial fitting is proposed to correct the deformation of weft knitted loop image, perspective and lens distortion which influences automatic identification accuracy of stitch structure. Combined with the need of the development for hand-held device, the standard templates were designed and feasible correcting process was set. A general scheme correction of the perspective distortion and lens distortion were designed in the paper. The correction scheme for fabric stitch distortion was also discussed. The experiment results showed that the presented approaches have satisfactory effect for distortion correction on weft knitted fabric image.

Keywords automatic identification； weft knitted fabric； image distortion； projection transform； local weighted mean

在应用计算机视觉技术对针织物图像进行组织结构自动识别时，有很多因素会影响到识别，其中因图像扭曲、变形而产生的误判情况比较突出。导致织物图像扭曲、变形的原因有2个方面：一方面是摄影器材及拍摄问题(镜头畸变、透视变形)[1]；另一方面则是针织物自身为达到结构空间力平衡而产生的扭曲变形问题。

长期以来，对于解决摄影器材及拍摄原因导致的图像扭曲变形的研究很多，遍及医疗[2]、航空摄影，工业自动化控制，文本自动识别[3]等各领域。在解决图像变形问题上一般采取通过约束平面透视投影,利用相应的变形校正模型将空间直线的投影曲线映射转换成图像平面上的直线,从而达到对变形图像的校正[4]。平面图像畸变校正研究已经较为成熟，很多研究成果可直接应用于对纬编针织物平面图像因拍摄原因产生的图像扭曲修正，尤其是采用标准网格模板、点阵模板方式进行对比修正的方法非常适合用于修正纬编针织物拍摄过程中形成的图像扭曲，此外利用已知空间点三维坐标来进行校正的方法也适合用于辅助校正[5]。

因自身结构空间力平衡而产生的扭曲变形一直是困扰自动识别针织物组织研究的难题。由于针织物尤其是纬编针织物自身结构的不稳定性，导致即使是在同一块织物中同一种组织在不同位置出现时也会产生不同的视觉造型。目前国内外对修正因织物自身变形而产生的图像扭曲的相关研究较少，本文采取以理想纬编针织物结构模拟图像为标板，结合数字图像处理方法，通过对模拟、真实组织单元双向匹配锁定来解决织物扭曲。本文实验的织物试样均用德国Stoll公司CMS502HP电脑横机生产。织物图像用500万～1 600万像素的普通家用数码相机或手机拍摄。由于本文研究是计算机自动识别纬编针织物组织研究的一部分，主体研究涉及简易手持自动识别系统的开发，因此本文主要的图像采集工具均为普通手持拍摄设备，而专业图像采集设备所拍摄图像作为参考。

1 纬编针织物线圈扭曲的图像表现

1.1 纬编针织物线圈自身扭曲变形表现

纬编针织物由线圈串套构成，无论单面还是双面针织物其单个线圈都不呈现平面形态。从理论角度分析，当纬编针织物处于能量最小状态，织物的几何尺寸由此时的线圈形态决定，该状态下的线圈形态具有相似性，它独立于组成线圈的纱线的长度和物理性能[6]。由于纱线的弹性，织物在松弛状态下线圈形态有一定的随机性，其实际形态与理论模型有一定出入，尤其是密度较小的纬编针织物。图1示出纬平针织物的线圈形态。可看到，即使编织工艺参数相同，所形成的线圈在外观形状上也会出现明显的不同，而这种差别经过图像处理后(二值化、细化)会更加严重。变形的累加也带来了横列、纵行的扭曲。此外，单一组织的纬编针织物还可能存在纬斜问题。

除线圈自身随机变形外，另一种线圈扭曲变形的原因是同一织物中不同组织间连接转换过程中线圈受力的不同，如图2所示的移圈组织。图中显示在移圈线圈附近的普通线圈的形状与远离移圈线圈的普通线圈形状有明显的不同，普通线圈变形程度与离移圈线圈的距离密切相关。

当织物中存在距离较接近的2种不同组织时，中间用于连接的线圈的形态扭曲会更严重且变化规律更不明显。个别情况下织物在经过几个组织转换后，纵行与横列的分布都发生了变化。此外，纬编针织物还存在一些组织因内部结构变化形成的各种与普通线圈形态不同的线圈。在自动识别组织结构过程中，不允许改变此类线圈的形态特征，因此本文研究聚焦在基本组织(平针、罗纹等)的线圈自身扭曲，所有变化组织、花色组织内部的线圈扭曲不在本文讨论范围内。

1.2 由拍摄产生的图像扭曲表现

由拍摄产生的图像扭曲的原因主要有2个方面：拍摄角度、镜头像差。尽管随着数码摄影技术的发展，大多数镜头像差在机身图像处理器或后期软件中都可进行准确修正，但需要对图像进行准确标识定位等识别处理时，镜头像差的控制与修正还需要做进一步探讨。

1.2.1 因拍摄角度产生的图像变形

在获取织物图像时，若拍摄设备与织物平面不平行，拍摄出来的图像因为拍摄夹角会产生透视变形，图3示出仰角拍摄时图像产生的透视变形。

而在手持拍摄过程中，经常发生物平面和像平面不平行。在纬编针织物组织结构自动识别的手持系统研究开发中，拍摄的照片普遍会存在一定的透视变形。

1.2.2 因镜头像差产生的图像变形

因镜头产生的像差有：球差、慧差、像散、相场弯曲、色散以及镜头畸变。通过采用非球面镜片、低色散镜片以及更精确的镜头设计可以去除大部分像差，但不可能完全消除所有像差影响。涉及本文研究范围的像差是镜头畸变，根据成像特征可分别定义为枕形畸变和桶形畸变。图4示出平针织物拍摄过程中形成的桶形、枕形畸变。

当采用非专业镜头手持拍摄时，像此类镜头畸变会较容易出现。本文将因拍摄产生的纬编针织物图像扭曲统一称为摄影扭曲。

2 用于图像几何扭曲修正的算法

2.1 多项式映射函数

图像几何畸变纠正方法主要分2大类：一类是直接针对镜头参数制定修正模型进行修正；另一类则是采取在实拍图像与预设标准图像之间建立转换模型，通过转换模型对实拍图像实施插值转换。第2类方法一般是在需要修正的图像与预设标准图像之间对应选择明显的特征点作为控制点, 利用几何校正模型建立待修正图像与预设标

准图像之间的映射关系并完成图像的重建。相应本文研究，设定预设标准图像的像素位置坐标为(x,y)，待修正纬编针织面料图像上的像素位置坐标为(x′，y′)。其映射关系可以采用式(1)中的多项式来描述。

(1)

式中：n为多项式的阶数，aij和bij是多项式的待定系数，当n=2时，方程可解为

x′=a00+a10x+a01y+a11xy+a20x2+a02y2

(2)

y′=b00+b10x+b01y+b11xy+b20x2+b02y2

(3)

可采用最小二乘方准则来求解，其中设置控制点的个数是按未知数的多少来确定的，如本次采用二次多项式(12个系数)，至少需要12个方程即6个控制点。而在实际工作中控制点的数目往往大于所需要的最少数目。

结合多项式，具体用于投影变换的模型为

(4)

式中：x′、y′为转换后像素坐标；x、y是转换前像素坐标；t11、t22是缩放尺度；t12、t21是旋转量；t13、t23是水平、垂直方向位移；t31、t32是水平、垂直方向的变形量。

2.2 局部加权平均变换

在纬编针织面料图像修正过程中，发现图像中各个局部的变形并不一致，因此采用待修正图像点像素与相应预设标准图像特征点像素的欧氏距离的归一化函数作为映射函数的加权值Wi(x,y)来控制变换修正[7]，如式(5)所示。

(5)

(6)

式中：R为标准欧氏距离，Rn是与像素(x，y)相邻的n个特征点中最远特征点的距离值。这样保证了非相邻的特征点对像素的修正函数没有影响。利用Wi(x,y)对映射函数作加权平均，可得到相应的修正函数，见式(7)。

(7)

3 纬编针织物图像扭曲修正

由于纬编针织面料图像存在摄影扭曲和自身扭曲这2个方面的变形需要修正，而这2种扭曲的成因截然不同，相互间也无法找到关系模型进行联系，因此必须分别对这2种扭曲进行单独修正。鉴于自身扭曲为织物结构固有而摄影扭曲为后期叠加形成，所以需先行完成摄影扭曲修正后再进行自身扭曲修正。结合实际操作，整个纬编针织物图像扭曲修正流程如图5所示。

3.1 预设修正模板

计算机对图像进行修正主要通过计算未变形的标准样品上的特征点与已变形的测试样品上的对应特征点之间的关系，根据测量、推算出来的关系对已变形的图像进行修正，因此修正的精度除依赖于转换模型、算法外，也会受到标准模板影响，选择合适的标准样品作为修正模板可以提高修正的速度和准确度。根据图5所示修正流程，预设快速透视修正模板、镜头畸变修正模板和线圈修正模板这3种修正模板。快速透视修正模板可以为规整的点、线图案或网格图，如图6所示。

相对快速透视修正模板，用于纬编针织面料图像镜头畸变修正的标准模板则需要更贴近实物情况，这样做的目的是在提供准确的畸变修正参考之外，同时通过将织物图像与标准模板图像进行匹配检查，确定更多的织物组织信息，为后续的自动识别织物组织做准备。本文研究采用德国Stoll公司的M1_puls软件绘制的织物效果图来作为镜头畸变修正模板，如图7所示。

线圈标准模板则采用芒登的三维线圈模型生成，具体效果如图8所示。由于此模板仅用于快速修正织物图像中发生自身扭曲的线圈，因此仅保留圈柱和针编弧，忽略沉降弧。

各模板会根据实际织物检测样品的具体情况作出调整，以上列出模板仅为较有代表性的。

3.2 修正摄影扭曲

3.2.1 投影变换修正透视变形

纬编针织物图像中的摄影扭曲主要为透视变形和镜头畸变，具体表现如图3、4所示。在解决透视变形方面，现有研究[8]一般采用仿射变换或投影变换来解决,由于手持拍摄过程有可能出现三维尺度上的变形，因此本文研究选择采用投影变换，投影变换的关系模型见式(4)，转换后效果如图9所示。

从图9可看到，经过处理后，面料中线圈大小基本均匀一致，横列与纵行分布平均，整体效果满足后续计算机自动识别织物组织的要求。

3.2.2 局部加权平均方法修正畸变

已有研究发现采用一阶仿射校正局部变形效果不够理想，而局部加权平均模型在处理图像中的具有局部化特点且分段线性条件不充分的变形时有较突出的效果。从式(6)可知其算法至少需要设置6对特征点来计算出模型的相关参数，而实际使用中多采用12对控制点进行计算。在控制点分布稀疏的区域，选取的临近控制点可能距离当前控制点较远，而远离该区域控制点的影响将加大，因此产生较大的校正误差[9]。本文实验采用15对控制点，根据所需修正畸变的特点，这些控制点分布在图像接近边缘的位置,具体如图10所示。从图中可看到图像原存在的明显桶形畸变已经得到修正，织物横列与纵行恢复平均分布。控制点选择及具体修正点的坐标如表1所示。

3.3 修正织物自身扭曲

在完成了摄影扭曲修正后，大多数织物自身扭曲情况也会得到一定的改善，一般情况下已不需再对其进行修正。仅当自身扭曲较严重，前期扭曲修正操作无法对其生效情况下，将对此线圈进行单独修正。修正流程如图11所示。

控制点坐标修正点坐标xyxy130116148708045614826811766014840088349148202593718497400910742729400105473484540011174888452681098349845202104613484570750103613704448533170108862184533443470833140093226148136

对线圈扭曲修正采用投影变换方式来进行，具体操作与摄影扭曲修正相同。需要注意的是，纬编针织物中许多组织中的线圈变形如移圈后产生的相关线圈变形是不能单纯以线圈自身扭曲来判断的，这些变形必须综合考虑其成因。

4 结 论

图像扭曲变形是影响计算机自动识别精度的关键因素，具体扭曲变形的成因也非单方面，纬编针织物图像更是如此。本文提出了分段依次采用投影变换、基于多项式的局部加权平均变换等方法，结合依照不同变形情况设定的标准模板来修正图像变形，取得了较好的效果。

[1] DEVERNAY F, FAUGERAS O. Straight lines have to be straight: automatic calibration and removal of distortion from scenes of structured environments[J]. Machine Vision and Applications, 2001, 13(1): 14-24.

[2] MELO R, BARRETO J P, FALCAO G. A new solution for camera calibration and real-time image distortion correction in medical endoscopy-initial technical evaluation [J]. Biomedical Engineering, IEEE

Transactions on, 2012.59(3): 634-644.

[3] LU S, TAN C L. The restoration of camera documents through image segmentation[J].Lecture Notes in Computer Science, 2006, 3872: 484-495.

[4] SWAMINATHAN R, NAYAR S K. Nonmetric calibration of wide-angle lenses and polycameras [J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2000.22(10): 1172-1178.

[5] SHAH Shishir, AGGARWAL J K. Intrinsic parameter calibration procedure for a (high distortion) fish-eye lens camera with distort ion model and accuracy estimation[J]. Pattern Recognition, 1996, 29 (11):1775-1788.

[6] MUNDEN D. The geometry and dimensional properties of plain-knit fabrics [J]. J Textile Inst, 1959, 50(6): 448-471.

[7] GOSHTASBY A. Image registration by local approximation methods [J]. Image and Vision Computing, 1988, 6(4): 255-261.

[8] FAUGERAS O, LUONG Q T. The Geometry of Multiple Images: the Laws That Govern the Formation of Multiple Images of a Scene and Some of Their Applications [M]. [S.l]: MIT Press, 2004:668.

[9] GOSHTASBY A. Piecewise linear mapping functions for image registration[J]. The Journal of the Pattern Recognition Society,1986,19(6)：459-466.

Image distortion correction on structure identification of weft knitted fabric

LÜ Tangjun1,2， LONG Hairu1,2

(1.CollegeofTextiles,DonghuaUniversity，Shanghai201620，China； 2.KeyLaboratoryofTextileScience&Technology,MinistryofEducation，DonghuaUniversity，Shanghai201620，China)

10.13475/j.fzxb.20150105906

2015-01-29

2015-11-19

吕唐军(1977—)，男，讲师，博士生。主要研究方向为针织产品开发及计算机自动识别与控制。龙海如，通信作者，E-mail：hrlong@dhu.edu.cn。

TS 181.8

A