基于四维向量的频域匹配法实现工件位姿识别*

潘海鸿，莫玉良，陈家春，梁旭斌，林 志，陆生齐

(1.广西大学机械工程学院，南宁 530004；2.广西安博特智能科技有限公司，南宁 530007)

0 引言

图像配准算法作为一种在目标中搜索与模板相对部分的识别算法[1]，在机器视觉、图像拼接和目标检测等领域中均使用广泛[2-3]。在模板与目标图像仅存在平行关系时，仅用模板在待匹配图像上做卷积响应，获得响应最大值时的像素点即为匹配位置[4]。而针对带有旋转的图像匹配时，角度变化会对匹配效果造成较大干扰。目前，针对无固定方向图像配准技术主要有3大类：①基于迭代的旋转配准，ZHANG等[5]提取物体边缘尺寸构造离散阵列，将离散阵列与模板图像进行分步匹配，得到一个粗略的旋转角度，最后采用线性插值的方式迭代得到精确解。该方法依赖迭代匹配获得精确解，存在匹配时间较长的问题。②基于灰度特性的配准，吕占伟等[6]使用傅里叶变换将图像转换至频域对数极坐标系下，使用相位相关法对模板图像相位和目标图像相位进行匹配。该方法适用对象高度相似的图像配准，有干扰情况下易出现匹配失败。③基于特征匹配的配准，实现过程包括模板及目标图像特征提取[7]、模板与目标图像特征匹配、求解匹配参数等；该配准方法所提取的特征可以为尺度不变点[8]、颜色特征[9]或部分图像[10]等。在工业配准应用中，张明路等[11]对SURF法进行改进，结合K-Means聚类以及机器学习对工件进行特征匹配，在提取效率和精度上相较于SURF法有所提升；但在匹配准确性上不到90%。江波等[12]基于轮廓特征进行工件匹配，以轮廓Hu不变矩构建图像相似性评价标准，将识别准确性升至96.7%；但其角度识别为遍历搜索最大值的方式，在效率上存在不足。

工业工况下使用机器视觉实现无序摆放工件的位姿识别存在图像背景复杂，前景背景分离困难[13]；待配准图像与模板图像相差较大，且清晰度质量不一；工件摆放方向不确定，配准算法需满足旋转不变性[14]等难题。为此，提出一种新的频域四维向量匹配的配准方法(frequency domain 4d-vector matching method，FDVM)，能够在工业复杂背景下实现对工件位置、姿态的有效配准。该方法在频域空间提取图像特征信息，并利用主要频域特征区域构建四维向量；通过设置向量匹配迭代约束条件及收敛条件，测量图像旋转角度的和检测位置信息。在自主搭建的铸件缸盖识别平台上验证该方法，并与传统的尺度不变特征变换(scale-invariant feature transform，SIFT)、加速稳定特征法(speeded up robust features，SURF)和傅里叶-梅林法进行效率以及准确性的对比。

1 频域特征识别(FDVM)配准算法

1.1 频域直线信息提取

对模板图像和待配准图像进行轮廓提取[15]及二值化处理，将处理后的图像进行傅里叶变换，获得图像频谱图。对频谱图进行霍夫变换[16]，拟合模板频域特征直线。参照拟合出的主要特征直线，可获得特征直线拟合长度下限阈值L(像素)和特征直线拟合数量N。类似的，对待配准图像进行上述操作，获得待配准频域特征直线。

1.2 最邻投影点插值法提取特征点

由于频域特征直线所经过的点为亚像素点，为获得特征直线的灰度信息，需对亚像素特征点进行灰度插值。设A1，A2，A3和A4分别为图像中4个相邻像素点(如图1所示)，直线(y=kx+b)穿过像素点A1，A2，A3和A4所围成的区域。分别作4个像素点在直线上投影点PA1，PA2，PA3和PA4，选择投影线段最短且在区域内的投影点作为最邻投影点(PA4)，该投影点所对应的像素点即为直线最邻像素点(A4)。

设该区域内最邻投影点为P(x,y,g)(如图2所示)，其中g为点P处灰度值。分别作点P在y轴上的投影P1(x,y1,gx1)和P2(x,y2,gx2)。

图1 投影点计算 图2 亚像素值计算

使用线性插值求解投影点的灰度信息g，投影点P的灰度计算方程为：

(1)

(2)

1.3 构建特征向量

设6个图像相邻像素点分别为A1，A2,…,A6，特征直线l1穿过6个像素点所在区域(如图3所示)。依次求解特征直线的最邻像素点(A1，A4，A5)在直线上的最邻投影点(P1，P2，P3)，连接P1，P2获得灰度变化向量Vg1，类似的，连接P2，P3获得灰度变化向量Vg2。

图3 频域向量构建

特征投影点gn处灰度变化向量Vgn表示为：

(3)

以投影点坐标值及灰度向量对第i条直线中每个点构建四维向量Vij：

(4)

式中，Ki为第i条直线投影点数量；gj为第j个点的灰度值；xj，yj为分别第j个点的x值和y值。向量前两项分别表示点在x方向及y方向上的灰度梯度变化，即图像变化程度；向量后两项表示点在频谱图中的位置，即图像变化方向。

1.4 四维向量匹配

设模板特征直线集表示为L={L1,L2,…,LN}，在第n条特征直线(0

在模板频域向量集合V中，分别取N条直线中点向量，作为匹配点初始质心向量集合μ={μ1,μ2,…,μN}，定义向量分类集S={{μ1},{μ2},…,{μN}}，各个向量集初始值仅含质心向量。以所有模板向量V与待配准图像向量W构建总向量集合Vall={V,W}，记四维向量总数为nall。

步骤1：计算Vall中各向量与各个质心向量的欧式距离D和质心向量间的欧式距离d：

(5)

(6)

式中，vm表示集合Vall中第m个向量；μn为第n个质心向量。设定向量近似度ρ来权衡向量与质心的离散程度，当向量vm满足Dmn<ρ时，则将vm归于第n类。

步骤2：以类内向量欧式距离尽可能小，类间欧式距离尽可能大，构建损失函数：

(7)

步骤3：依据损失函数更新向量近似度及N类的质心向量信息和更新质心位置：

ρnew=ρ·loss

(8)

(9)

式中，Ni为第i类中四维向量数量；vk为第i类中第k个四维向量。

重复步骤1～步骤3，当损失函数小于设定最小损失值lossmin时结束循环，此时得到四维向量匹配集S={{μ1,{v|v∈S1}}，{μ2,{v|v∈S2}},…,{μN,{v|v∈SN}}，在N类四维向量匹配集中分别提取主要特征直线进行分类：

lm,Ln∈Ti
s.t.Vn,Wm∈Si
m,n,i∈N

(10)

式中，Ln表示第n条模板特征直线；lm表示第m条待配准特征直线；Ti表示特征直线集第i类；Vn表示Ln的四维向量集；Wm表示lm的四维向量集。该式表示若模板四维向量集与待配准四维向量被分类于某一匹配集，则其所在特征直线也被归于同一直线分类集。构建特征直线分类集T={{L,l|L,l∈T1},{L,l|L,l∈T2},…,{L,l|L,l∈TN}}。

匹配流程如图4所示。

图4 四维向量迭代匹配法

1.5 工件角度及位置识别

将特征直线分类集T中的N类模板特征直线与待配准特征直线进行配准(如图5所示)，计算N条模板图像特征直线与待匹配图像特征直线夹角：

(11)

式中，θk为模板图像第k类特征直线角度值；βk为待配准图像第k类特征直线角度值；αk为第k类特征直线夹角；αm为特征角平均值。

图5 特征直线匹配

对模板图像旋转αm角度，基于旋转后模板图像对待配准图像使用基于归一化方差的模板配准算法进行配准，获得配准后的位置信息，结合所求旋转均值αm，即获得工件在图像中的旋转及位置信息。

2 实验验证

FDVM方法输入为m1行n1列的模板图像以及m2行n2列的待配准图像，系统输出为待配准图像中目标图像的位置及姿态信息(如图6所示)。FDVM方法由轮廓提取及频域化模块和频域向量匹配模块组成：轮廓提取及频域化模块实现图像去噪、主要轮廓特征提取以及特征频域化；频域向量匹配模块实现频域内特征向量的构建、特征向量迭代匹配。

图6 FDVM方法框架

图7 缸盖智能分拣流水线

使用缸盖智能识别平台(如图7所示)作为实验验证平台。该平台技术指标为：①能适应工件不规则喷油；②满足工件方向不定工况；③处理时间小于200 ms；④工件识别角度误差小于2%。使用FDVM法对流水线上无序摆放缸盖工件配准验证。实验硬件环境为CPU i7 8700，内存16 G，海康威视MV-CE050-31GM相机；实验软件环境为Win10，Visual Studio 2015，OpenCV3.4.1。

对工件模板图像(如图8a所示)进行图像频域化-直线特征提取(如图8b所示)，使用霍夫变换拟合特征直线(如图8c所示)，依据最邻投影点插值法获得最邻投影点，构建特征向量VT。

(a) 模板图 (b) 频谱图 (c) 直线特征图

拍摄平台上缸盖位置图(如图9a所示)，该图尺寸为2592×1944。首先截取工作区域，将保留流水线及工件特征后的图进行对比度强化处理(如图9b所示)，对裁剪后图像使用自定义一阶差分卷积核进行卷积，获得流水线上工件轮廓特征(如图9c所示)。对图像进行形态学处理提取图像中轮廓信息(如图9d所示)。去除小轮廓信息获得流水线上主要工件特征部分(如图9e所示)。

(a) 原始图 (b) 工作区域图 (c) 轮廓特征图 (d) ROI提取图 (e) 工件特征图

图9e中的轮廓特征图经傅里叶变换转换至频域下，获得其频谱图(如图10a所示)。对频谱图二值化处理(如图10b所示)，对处理完毕后的图像进行霍夫直线拟合(如图10c所示)。构建待配准直线特征向量VI，将其与模板特征向量VT进行匹配。计算当前待配准图像直线特征角θ1为-29.14°，θ2为119.10°。求得当前图像旋转角度为29.12°。

(a) 频谱图 (b) 二值化图 (c) 直线特征图

为验证旋转角度求解精度，使用单次旋转模板0.5°步长进行基于归一化方差最小化的模板配准。当配准方差最小时，图9b目标图像中心点位置为(1375，943)，旋转角度为29.5°，将该角度作为精确计算角度。

对所拟合特征直线进行匹配，设定向量近似度ρ初始值为100，最小损失值lossmin为0.5，对特征直线进行分类。求解模板特征直线与分类后的待匹配特征直线夹角αk，并求解夹角平均值αm。分别使用SIFT法、SURF法以及傅里叶-梅林法(FMT法)对图7a进行配准，其配准结果如表1所示。

表1 配准算法对比

为保证算法鲁棒性和避免偶然性，对5种工件各拍摄20种不同姿态和位置的图像验证上述4种方法，得到误差数据及计算平均用时如表2所示。

表2 100次实验统计结果

由表2可知，相较于SIFT法、SURF法以及FMT法，频域特征匹配法在保证匹配效率的同时可有效保证角度识别以及匹配精度。由于光源的非均匀性，工件表面成像质量会随工件姿态变化发生改变，如图11所示。

图11 匹配角度-角度误差图

可以看出，随着匹配角度的增大，SIFT、SURF及FMT法均出现误差随之增大的情况。SIFT方法由于匹配点众多，同时其位置及角度结果依赖模板图像特征点与目标图像特征点间投影变换计算，特征点受外界因素影响较大，其配准效果不稳定；SURF方法基于SIFT方法有效提升效率，但仍存在计算时间较长、受外界干扰影响较大等不足；FMT匹配效果较差，对于工件这种带较强干扰类型图像易出现匹配失败情况，同时其角度计算误差也较大。相较于传统的SIFT法、SURF法和FMT法，FDVM方法可在强干扰下实现无序工件位姿识别，其在保证测量精度及鲁棒性的同时，在计算效率上也有所提升。实验结果表明FDVM方法能将角度最大误差控制在3%以下，角度平均误差控制在1.5%以下，计算平均时长小于50 ms。FDVM法可满足不同工况下的工件位姿识别。

3 结论

为解决工业现场高干扰工况下，工件位姿识别存在的识别效果差和识别时间长的问题，围绕配准特征和配准方法，对无序摆放工件配准方法进行研究。具体包括：

(1)基于图像傅里叶变换的旋转映射不变性，将图像频谱图中的直线信息作为特征，使用霍夫变换对频谱图直线信息进行提取。该直线角度即反映图像旋转角度；

(2)以所提取特征点集的灰度强度及灰度变化梯度构建四维向量，通过最小化四维向量分类误差形式进行分类，可有效避免无关背景噪声对角度识别的干扰；

(3)使用工件的模板图像与无序摆放工件的进行特征配准，最终获得待配准工件的旋转角度和位置信息。相较于传统SIFT法、SURF法和FMT法，FDVM法在工件位姿识别的效率和鲁棒性上均得以有效保证。