一种基于SIFT算法的衣架指夹图像定位方法

董煜文,王晓华，张森宇,李 琪,叶浩劼

(西安工程大学 电子信息学院,陕西 西安 710048)

0 引 言

相较传统的服装生产方式, 服装吊挂系统[1]大幅度节约了捆扎、 搬运、 拆包等非生产时间,但其中的挂片工作仍需人工完成,该站位成本较高,且随着工作时间的延长, 及人工主观因素的影响, 容易出现漏挂和错挂的问题, 挂片效率极大降低. 智能挂片是利用机器人将衣服裁片精确挂在衣架指夹的工作.在这个过程中, 需要对吊挂衣架上的各个指夹进行定位． 该过程分为2个部分[2-3]: (1) 用局部特征匹配的方法从衣架图像中识别出匹配点集; (2) 对衣架图像匹配点集进行处理，得出衣架指夹图像坐标.

David Lowe[4-5]提出的SIFT算法具有对图像平移、旋转和尺度变化不变性的优点,使其成为近十年来最流行的图像特征点检测方法;Luc Van Gool等[6]发明的加速稳健特征(SURF,speeded up robust features)算法具有提取速度更快、维度更低的优点,但在精确度上不及SIFT算法;Rublee等[7]将FAST[8](features from accelerated segment test)算子与BREIF[9](binary robust independent elementary features)描述子进行结合和改进,提出了ORB(oriented FAST and rotated BRIEF)算法,该算法在应用时具有很高的效率,但是不具备尺度不变性[10].

由于衣架指夹坐标必须足够准确才能控制机器人进行挂片操作, 而 SIFT 算法精度较高， 且匹配效果稳定,所以本文采用基于 SIFT 算法对衣架指夹进行图像定位． 得到衣架指夹匹配点集后, 利用 Graham[11-12]算法维护匹配点集, 形成点集凸包[13-14], 再通过凸包求取点集的最小外接矩形[15]． 因为各个夹具分割衣架最小外接矩形长边的距离之比是确定的, 所以得到衣架最小外接矩形之后即可求得指夹图像坐标.

1 基本原理

1.1 SIFT算法

SIFT算法十分稳定,在改变图像尺度、亮度、拍摄视角或旋转角度的情况下,都能得到良好的匹配效果,整个算法分为4个部分:

(1) 构建尺度空间利用不同尺度的高斯差分核[16]与图像卷积生成高斯差分尺度空间,可表示为

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)

(1)

(2) 检测DOG尺度空间极值点.以每一个采样点为中心的九宫格中的点,与其上下两层相对应的点相加,共有27个点,若采样点是27个点中的最大值或最小值,就认为该采样点是该尺度下的一个特征点．由于DOG存在局部曲率很不对称的像素,所以还需要去除对比度低的特征点和不稳定的边缘响应点.

(3) 特征点描述子对于每一个关键点,用梯度直方图统计其领域像素的梯度方向(梯度直方图的横轴范围是0°～360°,其中每10°一个柱),梯度直方图的峰值即为该特征点的主方向.将坐标轴旋转到与特征点主方向重合,以特征点为中心取16×16的像素领域,将此领域分成16个4×4的子区域.计算每个子区域内的像素的梯度(梯度方向为将360°均分为8个部分的方向)和模值,将各个方向的模值累加,得到梯度直方图,这样对于每个特征点将生成16×8=128维的特征描述符.

1.2 匹配点集最小外接矩形

SIFT算法只是将模版图像上的特征点与待匹配图像上的特征点进行匹配,匹配点分布在衣架图像上的各个位置,计算匹配点的最小外接矩形是为了得到衣架图像坐标,为求解衣架指夹坐标做准备.

1.2.1 匹配点集凸包计算 本文采用Graham算法求得点集凸包,利用凸包的特性计算点集最小外接矩形．取点集最左边(横坐标最小)的点作为参考点,如果有多个这样的点就取最下面的(纵坐标最小)点作为参考点,将此点标为p0,其余点按从下至上,从左到右的顺序,依次标记为p0,p1,p2,…,pn.排序后开始删除p0,p1,p2,…,pn上不在凸包上的点,建立一个栈,先把p0,p1,p2入栈中,对于p3,p4,p5,…,pn的每个点,若栈顶的两个点和当前的点按顺序连接时,连线的方向是顺时针方向,则删除栈顶的点,继续将栈顶的两个点和当前的点按顺序连接,若连线的方向是逆时针方向或者栈内只有2个元素(p1,p2),就把当前点入栈,所有点处理完之后栈中保存的点就是凸包的所有顶点.

1.2.2 匹配点集最小外接矩形计算 得到点集凸包后,按照以下步骤进行点集最小外接矩形的求取:

(1) 取凸包上任意一条边作为矩形的一条边;

(2) 遍历凸包上的顶点,取距离(1)所得直线最远的点,过该点做平行线,定为矩形第二条边所在的直线;

(3) 将凸包上所有顶点向(2)所得的直线投影,过相互距离最远的两个投影点做(1)所得直线的垂线,作为矩形另外两条边所在直线(至此,可得到一个矩形);

图 1 衣架Fig.1 Coat hanger

(4) 遍历凸包的所有边,重新运行(1)～(3),将面积最小的矩形作为点集的最小外接矩形．

如图1所示,为服装吊挂系统上的衣架.每个衣架上包含5个指夹,各个指夹在吊挂衣架上的分布是固定的, 不论如何采集图像,各个指夹分割衣架最小外接矩形长边的距离之比是确定的,所以得到衣架最小外接矩形就可求得指夹图像坐标.

2 实验结果

实验采用的运行环境为Intel(R) Core(TM) i5-2450M CPU @ 2.50GHz,4GB内存的PC机．在VS2012上选用OpenCV开源图像处理数据库作为开发平台．实验采用5组图像数据,分别为不同尺度、不同视角、不同亮度、苹果和茶杯(作为干扰物)及不同颜色下的SIFT算法匹配.

2.1 匹配方法验证

同为局部特征匹配方法,SURF算法采用Hessian[17]行列式的斑点特征检测方法,在不同的尺度上利用积分图像有效计算出近似Harr[18]小波值,简化了二阶微分模版的构建,提高了尺度空间的特征检测效率;而ORB算法在FAST特征基础上提出通过强度中心法得到点的方向,并在BREIF中加入旋转因子[19]进行改进使描述符具备旋转不变性．

对于包含衣架的图像分别使用SURF、ORB和SIFT算法进行特征提取,得到的结果如图2所示.可以看出,SIFT算法的特征点均匀地分布在衣架图像上,匹配效果稳定,准确度高;SURF算法的特征点较多,但匹配效果很差;ORB算法的特征点匹配的效果良好,但是特征点分布不均匀,衣架上有些部分没有提取出特征点,这不利于对衣架指夹位置的确定.定位衣架指夹在识别过程中需要获取吊挂衣架的整体结构信息,即特征点应该均匀分布在吊挂衣架上的各个位置,故SIFT算法最适合对吊挂衣架进行识别.

(a) SURF算法 (b) ORB算法 (c) SIFT算法图 2 特征匹配方法Fig.2 Feature matching method

2.2 吊挂衣架识别

对不同类别的吊挂衣架图像用SIFT算子进行识别,效果如表1所示.由表1中“尺度”、“视角”、“亮度”可以看出,算法能够对不同尺度、旋转角度、亮度的目标进行识别,表1中“苹果和茶杯”验证了算法能够排除苹果和茶杯的干扰进行识别,表1中“颜色”说明该算法在颜色相近的背景下对吊挂衣架的识别率很差,实际使用时应改善吊挂衣架的颜色避免错误识别.

2.3 吊挂衣架指夹图像坐标确定

用SIFT算法匹配后,可以得到吊挂衣架图像的匹配特征点集,利用Graham算法对图像中的匹配点集进行维护,得到点集的凸包,再将凸包上的顶点按1.2的方法进行迭代求取点集的最小外接矩形,如图3所示. 得到点集最小外接矩形后,按照吊挂衣架实物可知,各个指夹分割吊挂衣架最小外接矩形长边的比为1∶1.25∶1.35∶1.35∶1.25∶1,如图4所示．根据比例即可求得指夹图像坐标.

表1 SIFT特征匹配效果

Table 1 Effect of SIFT feature matching

3 结束语

为了对吊挂衣架指夹进行定位,分别采用SIFT、SURF、ORB算法对衣架图像进行匹配.实验表明,SIFT算法更适合对衣架图像进行识别．根据Graham算法和凸包最小外接矩形算法成功计算出衣架图像匹配点集的最小外接矩形,最后利用指夹在吊挂衣架上位置的比例关系,实现了吊挂衣架指夹的定位,为智能服装吊挂系统的智能挂片环节提供借鉴.实验过程中发现,采用SIFT算法进行匹配会出现少量的误匹配点,且如果背景颜色和吊挂衣架颜色相近则识别效果很差,因此,在剔除误匹配点的方法上还有待改进,并且应使背景颜色与吊挂衣架颜色有较大差异,易于区分.

图 3 匹配点集的最小外接矩形 图 4 指夹分割吊挂衣架示意图 Fig.3 The smallest circumscribed rectangle of a matched set of points Fig.4 Sketch map for separating hangers by finger clip

参考文献(References)：

[1] 王瑞卿,洪良,王晓华.基于RFID和ZigBee技术的服装吊挂系统生产线设计[J].纺织高校基础科学学报，2017,30(4):490-495.

WANG R Q,HONG L,WANG X H.Design of garment hanging system production line based on RFID and ZigBee[J].Basic Sciences Journal of Textile Universities,2017,30(4):490-495.

[2] 马浩,景军锋,李鹏飞.基于机器视觉的管纱毛羽检测[J].西安工程大学学报,2017,31(3):377-382.

MA H,JING J F,LI P F.Detection of tube hairiness based on machine vision[J].Journal of Xi′an Polytechnic University,2017,31(3):377-382.

[3] 王晓华,傅卫平.零件的双目视觉识别定位与抓取系统研究[J].制造业自动化,2010,32(12):129-132.

WANG X H,FU W P.Research on recognition and location system of work-piece based on binocular vision[J].Manufacturing Automation,2010,32(12):129-132.

[4] LOWE D G.Distinctive image features from scale-invariant keypoints [J].International Journal of Computer Vision,2004,60(2):91-110.

[5] 姚楚楚,陈宁.侧脸识别在在线考试系统中的应用[J].西安工程大学学报,2017,31(2):238-243.

YAO C C,CHEN N.The application of side face recognition in online examination system[J].Journal of Xi′an Polytechnic University,2017,31(2): 238-243.

[6] BAY H,TUYTELAARS T,GOOL L V.SURF: Speeded up robust features[J].Computer Vision & Image Understanding,2006,110 (3):404-417.

[7] RUBLEE E,RABAUD V,KONOLIGE K,et al.ORB: An efficient alternative to SIFT or SURF[J].IEEE International Conference on Computer Vision,2011,58(11):2564-2571.

[8] KARIM S,ZHANG Y,ASIF M R,et al.Comparative analysis of feature extraction methods in satellite imagery[J].Journal of Applied Remote Sensing,2017,11(4):1.

[9] SHARIF H,HOLZEL M.A comparison of prefilters in ORB-based object detection[J].Pattern Recognition Letters,2017,93(S1):154-161.

[10] SAHU N,SUR A.SIFT based video watermarking resistant to temporal scaling[J].Journal of Visual Communication and Image Representation,2017,45:77-86.

[11] GOMES A J P.A total order heuristic-based convex hull algorithm for points in the plane[J].Computer-aided Design,2016,70(C):153-160.

[12] FAN J,YANG J,AI D,et al.Convex hull indexed Gaussian mixture model (CH-GMM) for 3D point set registration[J].Pattern Recognition,2016,59(S1):126-141.

[13] 李必栋,闫浩文,王中辉,等.坐标排序的离散点凸包生成算法[J].测绘科学,2017,42(2):14-17.

LI B D,YAN H W,WANG Z H,et al.Algorithm of convex hull generation for point sets based on sorted coordinates[J].Science of Surveying and Mapping,2017,42(2):14-17.

[14] LIU R Z,TANG Y Y,FANG B,et al.An enhanced version and an incremental learning version of visual-attention-imitation convex hull algorithm[J].Neurocomputing,2014,133(8):231-236.

[15] 侯占伟,贾玉兰,王志衡.基于最小外接矩形的珠宝定位技术研究[J].计算机工程,2016,42(2):254-260.

HOU Z W,JIA Y L,WANG Z H.Research on jewelry positioning technology based on minimum bounding rectangle[J].Computer Engineering,2016,42(2):254-260.

[16] 管声启,何建新,王杰,等.应用小波域高斯差分滤波的起球疵点客观评价[J].纺织学报,2017,38(9):155-161.

GUAN S Q,HE J X,WANG J,et al.Pilling objective evaluation based Gaussian filtering in wavelet domain[J].Journal of Textile Research,2017,38(9):155-161.

[17] BRAU N M.Sparse HessianFD:An R package for estimating sparse hessian matrices[J].Journal of Statistical Software,2017,82(10):1-22.

[18] DAI H,ZHENG Z,WANG W.A new fractional wavelet transform[J].Communications in Nonlinear Science and Numerical Simulation,2017,44:19-36.

[19] 侯毅,周石琳,雷琳,等.基于ORB的快速完全仿射不变图像匹配[J].计算机工程与科学,2014,36(2):303-310.

HOU Y,ZHOU S L,LEI L,et al.Fast fully affine invariant image matching based on ORB [J].Computer Engineering and Science,2014,36(2):303-310.