基于SURF 特征点的金属罐图案检测算法

胡晓彤，田仁赞，王旭迎

(天津科技大学计算机科学与信息工程学院，天津 300222)

金属罐被广泛地应用在食品、饮料、化工等产品的包装，作为承载产品信息的表面图案成为金属罐质量检测的重点.在金属罐罐身焊接过程中，因罐体成型前的马口铁进入焊机时的方向出现错误，经常会出现罐体图案倒置的成型金属罐.采用人工方式分拣这些不合格的金属罐，存在效率低、劳动强度大、检测精度易受人为因素影响等问题，无法保证检测结果的可靠性；同时，随着工业自动化技术的发展，生产线的速度不断提升，人工检测已无法满足实际生产的要求.另一方面，由于金属罐在生产线上高速前进时位置不固定，使得自动化检测的难度较大.迄今为止，罐体图案倒置检测问题还没有得到很好的解决.

近年，随着机器视觉相关研究的发展[1-2]，该技术已成功应用于PCB 缺陷检测、瓶装药品可见异物检测、织物疵点检测[3-5]等多种产品的高速在线检测中.目前尚未见有基于机器视觉的罐体图案倒置在线检测研究的相关报道.因此，本文针对这一问题进行研究，提出一种基于SURF 特征点的金属罐图案检测算法，并将其应用到基于机器视觉的在线检测系统中.在利用SURF 算法分别提取待检测罐体图像与焊接前的马口铁图像的特征点后进行特征点匹配，最终根据匹配成功的特征点对间的位置关系实现金属罐图案倒置的检测.

1 SURF特征点检测算法

SURF 特征点检测算法[6-8]是在SIFT 算法的基础上提出的一种速度快、鲁棒性强的图像局部特征提取算法.该算法不仅对图像旋转、平移、缩放和噪声具有较好的鲁棒性，而且对光照和视角的变化均有较好的适应能力.同时，通过引入积分图像和盒子滤波器，在运算速度方面提高了近3 倍，综合性能更加优越.

1.1 SURF特征点检测

SURF 特征点检测算法是通过计算Hessian 矩阵行列式的局部极值来确定特征点的位置.其中，尺度为σ 的图像I 中点 X (x,y) 的Hessian 矩阵定义为

式中：Lxx是高斯二阶导与图像I 中点X 卷积的结果，其中.Lxy、Lyy具有相同的含义.

SURF 算法采用盒子滤波近似二阶高斯滤波，构造出一种快速Hessian 矩阵，并使用积分图像来加速卷积以提高计算速度.为使SURF 特征具有尺度不变性，需要构造不同尺度空间，并在各个尺度空间下通过快速Hessian 矩阵行列式得到局部极值点.在此，SURF 算法采用不同大小的盒子滤波器与源图像进行卷积以获得不同尺度空间的特征描述.通过盒子滤波处理后，Lxx、Lxy、Lyy分别用Dxx、Dxy、Dyy重新标记，予以区分.由于盒子滤波是二阶高斯滤波的近似估计，因此引入比例因子ω(ω 近似取值0.9)，进一步求解得到快速Hessian 矩阵的行列表达式为

其中，det H 为图像I 中点X 周围区域的盒子滤波器响应值，用det H 进行极值点的检测.

求出尺度图像在各个尺度空间下的局部极值点后，将每个局部极值点及同一尺度的8 个相邻点以及它上下两个尺度的各9 个点构成一个3 × 3 ×3 的立体邻域.将尺度空间的每个极值点与立体邻域相邻的26 个点进行比较，只有当局部极值点的值均大于(或小于)所有26 个相邻点时，才将此局部极值点作为候选特征点.为了能够对候选特征点进行亚像素定位，可以在尺度空间和图像空间中进行插值，得到稳定的特征点位置及所在的尺度值.

1.2 SURF特征点描述

为保证特征点的旋转不变性，在特征点位置确定后，为每一个特征点确定特征的主方向.在此，以特征点为中心，半径为6σ (σ 为特征点所在尺度空间的尺度值)的圆形区域内，计算图像在x 和y 方向的Harr 小波响应(Harr 小波边长取4σ)，并使用尺度为2σ 的高斯加权函数对Harr 小波响应值进行高斯加权，使得越靠近特征点的响应贡献越大；然后用π/3大小的扇形区域遍历整个圆形区域，并将响应的最大值的方向定义为特征点的主方向.

然后，以特征点为中心，构造一边垂直于主方向且边长为20σ 的正方形窗口区域，并将该窗口区域划分成 4×4 的子区域.在每一个子区域内，计算5σ 5 ×σ 个采样点的水平方向和垂直方向的Harr 小波响应，分别记作 dx和 dy，同样使用尺度为2σ 的高斯加权函数对Harr 小波响应值进行高斯加权，以增加对几何变换的鲁棒性.然后将每个子区域的响应值和响应值的绝对值相加形成由此，每个子区域就形成了一个四维分量的矢量

对于每一个特征点，则形成 4 × (4 × 4)=64维的特征向量，如图1 所示.为保证对光照的不变性，对特征向量进行归一化处理，得到最终的SURF 特征点描述符.

图1 特征描述符的构成Fig.1 Constitution of feature descriptors

2 图像特征点匹配

特征点匹配就是根据特征点的描述符搜索待检测图像与模板图像中唯一的匹配特征点对.本文通过SURF 算法从待检测图像与模板图像中分别提取特征点后，采用双向K 最近邻法(K-nearest neighbor algorithm)进行粗匹配[7]，采用随机采样一致算法(RANSAC)进行精匹配[8-9]，最终确定待检测图像和模板图像特征点间的匹配关系.

2.1 双向K最近邻法粗匹配

因SURF 特征描述算法是基于特征点的邻域信息构建特征点的描述.因此，可通过K 最近邻法搜索每个特征点潜在的2 个最佳匹配点，并通过匹配点对间的距离最佳值与次佳值的比值优选出最佳匹配点对.

设M1、M2分别为图像 I1、I2的特征点集合，对M1中的任一特征点 m1i，M2中与 m1i的欧式距离最小的2 个特征点分别为m2j，m2′j，对应距离分别为 dij，，如果 dij≤α di′j，则认为m1i与m2j为优选的匹配点对.

结合K 最近邻法匹配的特点，本算法采用双向匹配的处理策略，分别使用K 最近邻匹配法优选出从待检测图像到模板图像潜在的匹配点对和从模板图像到待检测图像潜在的匹配点对，形成2 个优选的匹配集，再使用对称性匹配原则进一步优化得到的匹配集，从而获得最优匹配点对作为待检测图像与模板图像粗匹配的结果.图2 所示为粗匹配运算后的结果，如图2 中粗线所示，经过特征点粗匹配后存在一些误匹配.

图2 特征点粗匹配结果示意图Fig.2 Map of the rough match of the feature points

2.2 RANSAC算法精匹配

如果直接使用粗匹配点对进行检测结果的判定，必定会降低检测的准确性.因此，采用RANSAC 算法对粗匹配结果进行处理，实现待检测图像与模板图像特征点的精确匹配.RANSAC 算法是经典的图像特征点匹配算法，其步骤如下：

(1)从粗匹配点对中随机选取4 对匹配点计算转换矩阵F ；

(2)计算其他匹配点离转换矩阵F 的距离d ；

(3)计算F 对应的内点并统计内点的数量；

(4)重复步骤(1)到(3)若干次，找到内点最多的F 的估计和对应的内点；

(5)利用最小二乘法计算最后的转换矩阵，并得到最终的匹配结果.

经过精确匹配后，上述误匹配未出现在图3 所示的最终匹配特征点对中.

图3 特征点精确匹配示意图Fig.3 Map of the accurate match of the feature points

3 图像分区域处理

从SURF 特征点提取与匹配的方法可以看出，特征点检测与描述的计算量与图像大小及特征点的数量成正比；特征点匹配的计算量与待检测图像和模板图像中特征点数量之积成正比.因此，针对实际生产速度与检测时间的要求，采用分区域匹配的思想[10]，将待检测图像与模板图像分成若干子区域，并在相对应的子区域间进行特征点匹配，从而在保证检测精度的前提下，提高算法的处理速度.

3.1 待检测图像的分区域处理

对于圆柱形金属罐，其表面纹理会发生失真、变形，使得柱面图像(图4)两侧区域因变形较大无法与模板图像匹配.因此，根据柱面反投影原理[11]，将金属罐柱面图像中间失真、变形小的2/3 区域作为实际待检测图像(图4 中红色矩形框区域).

同时，如图5 所示，对待检测图像进行八等分处理，并将下半部分的4 个子图像作为主检测区域与模板的相应子区域匹配；在主检测无法达到要求时，将上半部分的4 个子图像作为辅助检测区域，作同样的子区域匹配.因匹配处理的运算量与待匹配图像双方的特征点数量之积成正比，所以利用上述待检测图像分区域处理的方法，能够在保证检测精度的前提下，提高检测速度[9].

图4 金属罐柱面图像的实际检测区域Fig.4 The detected region of cylindrical metal can image

图5 待检测图像八等分子图像Fig.5 Eight equal sub-images of the image to be detected

3.2 模板图像分区域处理

模板图像的成像质量直接关系着检测结果的准确性.同时，由于模板图像的一边为金属罐的周长，所以其宽度为金属罐柱面图像宽度(直径)的3 倍以上.如果以模板的宽度设计成像系统，就会造成成像后的金属罐图像分辨率较低，不利于检测.因此，以金属罐的直径为标准设计成像系统，从而保证成像后的图像具有足够高的分辨率.然而，这样就会造成模板图像无法完整地呈现在相机视野内.所以采用多次成像后拼接的方式生成完整的模板图像[12-13]，图6所示为多次成像得到的序列图像，图7 为拼接处理后得到的模板图像.

为与金属罐图像分区域处理相配合，对模板图像也进行分区域处理.如图8、图9 所示，将模板图像四等分后组合成2 个模板子图像，并将其分别作为相应待检测子图像的标准模板图像.通过上述模板图像的分区域处理，既能够保障正常罐体和图案倒置罐体的特征点均能在模板图像中找到相应的匹配点；同时通过缩小模板图像，能够达到提高检测速度的目的.

图6 序列图像Fig.6 Sequence images

图7 模板图像Fig.7 The template image

图8 模板图像四等分子图像Fig.8 Four equal sub-images of the template image

图9 新生成的2个模板子图像Fig.9 The sub-images of two newly generated templates

3.3 子图像特征点匹配策略

在待检测图像与模板图像经分区域处理后，如何从模板子图像快速定位出与待检测子图像相似的区域才是提高算法处理速度的关键.根据分区域处理方法以及待检测子图像与模板子图像的相似性关系，设计了图10 所示的匹配策略.

图中1、2、3、4 分别表示图案未倒置时待检测图像与模板图像中的1/4 区域，A、B、C、D 表示待检测图像下半部的四等分区域，箭头表示待检测子图像与相应模板子图像间的匹配.待检测图像的2 或3 区域与对应的模板子图像23 进行匹配；待检测图像的1 或4 区域与对应的模板子图像14 进行匹配.

最终，根据配准成功的特征点所在区域的不同，确定金属罐图案是否倒置.

4 实验结果与分析

为验证算法的性能，采用C++语言编写程序，对旺仔牛奶、雀巢咖啡、露露果仁核桃3 种品牌的金属罐进行检测试验.计算机配置为 Intel(R)Core(TM)i7-3770 3.4,GHz 处理器、4,G 内存，操作系统为32 位Win7 系统.

4.1 特征点分区域匹配

将采集图像的下半部作为待检测全局图像，利用全局匹配算法与模板图像进行图像特征点匹配.对图像中的下半部进行四等分处理，得到待检测子图像A、B、C、D，分别利用分区域匹配算法与对应的模板子图像进行图像特征点匹配.图11、图12 所示为全局匹配与分区域匹配的实验结果.表1 为待检测图像与模板图像中的特征点与匹配点对的数量、匹配时间等.

图11 全局匹配Fig.11 Global match

图12 子图像A与模板子图像23特征点匹配Fig.12 The feature point match of sub image A and sub template image 23

表1 图像特征点数目与处理时间Tab.1 Image feature point number and processing time

从表1 可以看出：采用全局图像与分区域处理两种方法，在总特征点与匹配点对的数量方面相差不大.但在处理时间方面，特别是特征点匹配时间，分区域处理后明显降低.这是因为通过减少匹配运算时的待检测图像与模板图像中特征点的数量，大幅度降低了匹配处理的运算量，从而在保证检测精度的前提下，能够满足高速生产的检测要求.

4.2 算法综合性能分析

为检测算法的综合性能，并从每个品牌金属罐中提取了3 个不同纹理密度的区域作为待检测图像，得到检测结果见表2.

从表2 可以看出：对于不同的金属罐，由于分别选取了纹理密集到稀疏的3 个区域，所以待检测图像1 中的特征点数量最多，待检测图像3 中的特征点数量最少.通过增加辅助检测(处理待检测图像的上半部)，纹理稀疏区域也能搜索到足够数量的匹配特征点对用于检测，说明本算法能够适应各种金属罐的检测.在算法检测时间上，不同金属罐不同区域提取的特征点数量不同，检测时间存在着一定的差异.由于采用分区域主辅检测策略，所以最长检测时间均不超过75,ms，能够满足每分钟800 罐的处理速度要求.经过20 万次不同品牌金属罐(罐体倒置率约为1%,)的测试表明，本算法检测精度达到99.9%,.

表2 不同金属罐的检测结果Tab.2 Detection results of different brands of metal

5 结语

本文对金属罐图案检测方法进行了研究，并提出了一种基于SURF 特征点的检测算法.该算法首先搜索待检测金属罐图像的中心区域与模板图像间匹配的特征点对，随后通过比较特征点对的位置关系判别金属罐图案是否倒置.目前，已通过与基于传感器的相机触发装置、基于电磁阀的气动剔除装置相结合，构建了金属罐图案倒置实时在线检测工业机器人系统，并用于实际生产测试，能够满足高速生产条件下的实时检测要求.

［1］刘振宇，李中生，冯柏润，等.机器视觉在工业生产线上的应用实现[J].微型机与应用，2013，32(17)：27-30.

［2］朱作付，徐超，葛红美.机器视觉技术在包装领域的应用[J].包装工程，2010，31(3)：124-127.

［3］姚忠伟.基于机器视觉的PCB 缺陷检测算法研究[D].哈尔滨：哈尔滨工业大学，2013.

［4］许明国.基于机器视觉的药液中可见异物检测技术的研究[D].长沙：长沙理工大学，2013.

［5］李文羽.基于机器视觉和图像处理的色织物疵点自动检测研究[D].上海：东华大学，2014.

［6］Bay H，Ess A，Tuytelaars T，et al.Speeded-Up Robust Feature(SURF)[J].Computer Vision and Image Understanding，2008，110(3)：346-359.

［7］赵璐璐，耿国华，李康，等.基于SURF 和快速近似最近邻搜索的图像匹配算法[J].计算机应用研究，2013，30(3)：921-923.

［8］陈艺虾，孙权森，徐焕宇，等.SURF 算法和RANSAC算法相结合的遥感图像匹配方法[J].计算机科学与探索，2012，6(9)：822-828.

［9］Fischler M A，Bolles R C.Random sample consensus：a paradigm for model fitting with applications to image analysis and automated cartography[J].Communications of the ACM，1981，24(6)：381-395.

［10］乔勇军，谢小方，李德栋，等.SURF 特征匹配中的分块加速方法研究[J].激光与红外，2011，41(6)：691-695.

［11］钱炜燕，胡晓彤.基于柱面反投影算法的三维物体表面纹理重建[J].天津科技大学学报，2009，24(3)：58-62.

［12］杨云涛，冯莹，曹毓，等.基于SURF 的序列图像快速拼接方法[J].计算机技术与发展，2011，21(3)：6-9.

［13］朱栋，孙枫，夏芳莉，等.图像融合研究综述[J].传感器与微系统，2014，33(2)：14-18.