基于金字塔图像结构与Hu高阶矩的螺丝目标匹配算法*

齐美星，孙 伟

(中国矿业大学 信息与电气工程学院，江苏 徐州 221008)

基于金字塔图像结构与Hu高阶矩的螺丝目标匹配算法*

齐美星，孙 伟

(中国矿业大学 信息与电气工程学院，江苏 徐州 221008)

为了解决当前目标匹配算法存在计算耗时高，以及对旋转缩放目标定位不准的问题，文章提出了基于金字塔图像结构与Hu矩的螺丝目标匹配算法。首先，建立图像金字塔模型，成比例降低测试图像和模板图像的分辨率，减小模板遍历的计算量。然后，在测试图像中逐像素移动模板图像，计算平方差归一化匹配度函数，得到匹配坐标。最后，基于Canny边缘检测得到模板目标轮廓与测试图像中疑似螺丝目标边缘轮廓，并计算两个轮廓的Hu矩，利用Hu矩抗缩放旋转干扰的特性，完成形状度匹配。 实验测试结果显示：与当前匹配算法相比，文中算法对螺丝匹配定位拥有更高的实时性和精准度。

螺丝目标匹配；金字塔模型；Hu矩

0 引言

随着“工业4.0”在实际工程中的应用推进，各大制造工厂在人力成本、品质提高和快速定制制造方面有了明显改善，认识到把先进智能处理技术应用到制造是时代发展趋势[1]。制造车间改善基石是智能设备代替人，细化为代替人眼、人手、甚至人脑，因此对制造零件，如螺丝，进行目标匹配定位，为品质分类识别、机器人移载作业的完成做好基础数据采集准备[2]。但是随着应用的深入，也出现了问题，比如大多设备进行目标匹配时，存在计算耗时长和对旋转缩放干扰敏感的问题，导致目标匹配定位能力不足。

在对工件目标匹配方面，国内研究人员已经将计算机视觉技术引入到该领域中，对其展开研究，如胡明星[3]提出了基于Canny检测与SIFT特征的旋转工件目标识别算法。首先,对采集工件图像的RGB三通道完成权重分配,获取灰度化图像;并利用Canny边缘检测和霍夫直线检测处理灰度图像,计算出工件旋转角度;并基于几何变换,定义图像校正模型,消除工件旋转角度,对其完成复位处理,并采用模板匹配在图像中定位工件,达到定位匹配目的。但是，此技术依靠复杂灰度距离计算，在图像较大或数据较多时，往往影响了设备运行效率。杜刚[4]提出了基于计算机在机器人单目视觉系统中的广泛应用,主要集中在对摄像机定位,拍摄图像的分割计算,模式的坐标识别,探测目标距离,达到了视觉定位匹配目的。然而，这种技术对随机旋转情况考虑不足，在目标存在随机旋转时，往往不能准确匹配定位。

为了提高螺丝匹配算法的效率和抗旋转干扰性，本文提出了基于金字塔图像结构与Hu矩的目标匹配算法。该算法根据模板及其特征，在图像中寻找最匹配的目标，剔除周围的干扰目标。在灰度模板匹配前，引入金字塔结构中分辨率低的螺丝图像，提高算法效率和精度。利用Hu矩抗缩放旋转特性，提出5级Hu矩定位旋转缩放螺丝目标，实现形状匹配，解决缩放旋转干扰问题。

1 本文目标匹配算法

由于灰度匹配优点是由于以像素为遍历匹配单位，在复杂背景下，仍然匹配精准，且对于复杂背景具有抗干扰性。但其匹配速度较慢。为了缩短算法匹配时间，本文首先对图像进行金字分辨率分层处理，在此基础上进行灰度匹配，以目标图像为模板，从另一张测试图像左上角开始逐个像素遍历，计算所在区域与模板的匹配度，得到精准螺丝匹配区域。再对提取轮廓的Hu矩特征进行描述，使得算法具有较强的旋转缩放不变性，完成对旋转目标的形状匹配定位。本文算法流程如图1所示，待匹配的螺丝图像如图2a所示，有各种不同型号大小的螺丝，而匹配目标如图2b所示。

图1 本文机制架构

(a) 待定位图像 (b) 目标模板图像图2 测试图像与模板图像

1.1 基于金字塔结构的快速灰度匹配

为了解决匹配算法运行效率问题，首先采用金字塔结构对图像进行降采样处理，以分辨率为基准，成比例的线性降低原图分辨率[5-6]。金字塔的底层为原图，倒数第二层为原分辨率1/4的图像，倒数三层为原分辨率1/16的图像，以此类推。在不影响成像标识度的前提下，尽量降低分辨率，选择较高层的金字塔子图，作为匹配处理对象，达到加快处理速度的目的，其过程见图3。

图3 基于金字塔结构的快速灰度匹配过程

本文金字塔结构分层处理图像2a，选择分辨率为原图分辨率1/16的子图，见图4a，同时对模板图像也降采样为原分辨率1/16的子图，见图4b，可见，虽然图像模糊程度增加，但仍能分辨目标轮廓。

在此基础上，对经过金字塔降采样处理的图像进行滑动分块，与模板螺丝目标图像做对比计算，即逐像素计算平方差，判断是否匹配：

(1)

式中，T(x′,y′)代表模板某像素点，I(x,y)代表测试图像某灰度值，R(x,y)代表测试图像与模板的匹配度。

为了进一步提高匹配准确度，本文对式(1)中的匹配度进行归一化处理：

(2)

其中，R′(x,y)是归一化后的匹配度，根据工程评价给定匹配度，判断是否匹配到目标。

如图4c所示，准确定位匹配到目标螺丝位置，并用绿色标准螺丝区域和中点坐标。

(a) 测试图像金字塔结构处理 (b)目标模板图像金字塔结构处理

(c) 匹配结果图4 基于金字塔的灰度匹配结果

1.2 基于Hu矩的形状匹配

为了去除旋转缩放对目标匹配的干扰，本文提出基于Hu矩的形状匹配，分别计算目标边缘轮廓与测试图像中疑似目标物边缘轮廓的Hu矩,再计算两个矩的匹配度，完成对测试图像目标的形状匹配，其过程见图5。由于Hu矩[7]具有旋转缩放不变性，对缩放旋转具有抗干扰性。但是，匹配准确的前提是边缘提取完整，由于光源环境或工件表面亮度变化，边缘往往存在不完整性。为达到边缘准确提取的目的，提出基于预处理的形状匹配方法，对图6中待匹配螺丝目标图像进行阈值分割，将其转换为二值图像，然后进行canny边缘检测[8]，提取边缘分明轮廓，完成匹配前预处理，结果见图7，可见得到包含目标轮廓在内的边缘轮廓图像。在此基础上分析其中心矩特性，首先计算不变矩：

(3)

式中，m为p+q级不变矩，I(x,y)为图像轮廓上的某一点。为达到抗缩放目的，进一步计算其中心矩：

(2)

式中，M为p+q级中心距，m为p+q级不变矩。

再对中心矩做归一化处理[9-10]：

(3)

将ηpq为归一化p+q级中心距，从而计算5个Hu矩：

h1=η20+η02

(4)

h2=(η20+η02)2+4(η11)2

(5)

h3=(η30-3η12)2+(3η21-η03)2

(6)

h4=(η30-3η12)2+(3η21-η03)2

(7)

h5=(η30-3η12)(η30+η12)[(η30+η12)2-
3(η21-3η03)2]+(3η21-η03)2

(8)

其中，h1、h2、h3、h4、h5为五级Hu矩，用于计算待匹配图像与模板图像在Hu矩方面的匹配度：

(9)

式中,R″代表匹配度。

根据工程评价给定匹配度，判断是否匹配到目标。如图8所示，准确定位匹配到目标螺丝位置，并用红色标准螺丝轮廓。

图5 基于Hu矩的形状匹配过程

图6 待匹配图像

图7 图像形状轮廓

图8 匹配结果

2 实验与讨论

为了体现本文算法的优势，将当前匹配性能较好的技术-文献[3]、文献[4]设为对照组，基于VS2015平台开发实现，算法实验参数如：金字塔降采样为1/16, 灰度匹配度为0.9，形状匹配度为0.85。

以图9为目标，图中的螺丝目标发生明显缩放和旋转。利用金字塔降采样处理原图，分辨率降为原分辨率1/16，在此基础上，用归一化灰度平法差定位目标，在效率上提高匹配速度。然后推导分析Hu矩特征计算公式并实现，通过对比待测目标与标准目标的Hu矩匹配度，准确实现对旋转缩放目标的形状匹配定位，同时用红色标注出目标轮廓，如图11所示，且其耗时最短，约为87ms，见图14a，可见本文匹配能够有效抵抗缩放、旋转、背景干扰，快速准确定位匹配了螺丝目标。

而利用对照组文献[3]技术处理图9时，由于此技术依靠复杂灰度距离计算且未考虑旋转缩放干扰，往往不能准确匹配旋转缩放目标，如图12所示, 以红色标注，且其耗时较高，约为102ms，见图14b, 可见，该技术存在明显的定位偏差与较低的匹配效率。

利用对照组文献[4]技术处理图9时，由于依赖大量固定样本和先验知识，在目标旋转缩放程度未知且多变时，往往不能精确完成匹配，同时缺乏匹配精度，如图13所示, 红色标注，且其耗时为136ms，见图14c，可见，这种算法存在明显的定位偏差，降低了匹配功能精度。

图9 待匹配原图 图10 轮廓形状

图11 本文匹配结果

图12 文献[3]匹配结果

图13 文献[4]匹配结果

(a)本文算法 (b)文献[3] (c)文献[4]图14 三种算法的匹配耗时测试结果

3 结论

为了解决前目标匹配计算量过大和螺丝缩放旋转干扰严重的情况下，导致目标难以准确匹配的问题，本文提出了基于金字塔图像结构与Hu矩的目标匹配算法。实现对图像金字塔结构建立、归一化灰度平方差匹配、Hu矩计算、Hu矩匹配。最终编程实现，并采用实际现场螺丝图像测试。实验结果表明：相较普通技术，本文的匹配方法对位置旋转多变的螺丝目标，具有更高定位精度和抗干扰性。

[1] Hee-Chan Song, Jae-Bok Song. Precision robotic deburring based on force control for arbitrarily shaped workpiece using CAD model matching[J]. International Journal of Precision Engineering and Manufacturing, 2013, 14 (1): 85-91.

[2] 王德会, 王喜顺, 方海涛. 自动螺丝锁付机器人控制系统研究及路径优化 [J]. 组合机床与自动化加工技术，2016(3): 107-110.

[3] 胡明星,王小兰. 模板匹配优化耦合图像校正的旋转工件目标定位算法[J]. 组合机床与自动化加工技术，2016(6):35-38.

[4] 田明锐. 结合聚类参数的圆投影模板匹配改进算法[J]. 计算机工程与应用，2015,16(4):181-185.

[5] Yannis Avrithis, Giorgos Tolias. Hough Pyramid Matching: Speeded-Up Geometry Re-ranking for Large Scale Image Retrieval[J]. International Journal of Computer Vision, 2014, 107 (1): 1-19.

[6] Hadi Shahriar Shahhoseini. Nonflat surface level pyramid: a high connectivity multidimensional interconnection network[J]. The Journal of Supercomputing, 2014, 67 (1): 31-46.

[7] 杨舒, 王玉德. 基于Contourlet变换和Hu不变矩的图像检索算法[J]. 红外与激光工程, 2014, 43(1):306-310.

[8] Tingnian He, Xiaohong Li, Yun Jiang. Improved HT Object Detection Algorithm Based on Canny Edge Operator[J]. Journal of Multimedia, 2014, 9 (9): 1089-1096.

[9] 蔡军, 李晓娟, 张毅. 结合归一化中心矩与DAGSVM的机器人交互手势识别[J]. 计算机应用与软件, 2013,30(7): 132-135.

[10] 束鑫. 形状分析新方法及其在图像检索中的应用研究 [D]. 无锡:江南大学, 2012.

(编辑李秀敏)

ScrewTargetMatchingAlgorithmBasedonImagePyramidStructureandHuMoment

QI Mei-xing， SUN Wei

(College of Information and Electrical Engineering, China University of Mining and Technology, Xuzhou Jiangsu 221008, China)

In order to solve the current target matching algorithm, computing time and the rotating zoom interfere with sensitive problem, is proposed in this paper, and based on pyramid structure and Hu moment of target image matching algorithm. First, image pyramid model, is proportional to the test image and the template image resolution, decrease the template traversal calculation. Then, in a test image pixels mobile template image, calculate the normalized matching degree function, matched coordinates. Finally, based on Canny edge detection template target outline of suspected targets in images with the test outline, and calculate the two contour Hu moment, using Hu moment zooming rotation interference characteristics, to complete the degree of shape matching. Test results show that compared with the traditional matching algorithms in terms of operational efficiency and the rotating zoom interference, this algorithm has a higher real-time and accuracy.

screw target matching; pyramid model; Hu moment

TH161;TG506

：A

1001-2265(2017)09-0019-04

10.13462/j.cnki.mmtamt.2017.09.006

2016-11-07；

：2016-12-05

国家自然科学基金项目(60974050)；江苏高校品牌专业建设工程资助项目(PPZY2015A089)

齐美星(1976—)，男，安徽安庆人，中国矿业大学讲师，硕士，研究方向为图像处理、工业自动化与运动控制，(E-mail)QiMeixing1976min@126.com; 孙伟(1963—),男，江苏徐州人，中国矿业大学教授，博士生导师，博士，研究方向为计算机应用、工业自动化、复杂运动控制过程。