基于图像中物体骨架形状特征的目标匹配

刘砚菊，宋 鑫，宋建辉，于 洋

(沈阳理工大学 自动化与电气工程学院，沈阳 110159)

在计算机视觉学科中，目标识别与匹配一直是非常重要的一个研究方向[1-2]。因为物体的形状具有十分稳定和重要的视觉特征，所以形状一直是目标匹配中一项有效且利用率较高的特征[3]。而骨架形状是带有原目标拓扑信息的一种特殊的形状表达方式[4]。骨架特征对柔性目标有着不可替代的优势，在保留了形状信息的同时可以表达出目标的拓扑信息，在某些情况下处理肢体变化和遮挡类型的目标比基于轮廓的方法更加有效。利用轮廓进行形状匹配时，对于外部轮廓相似性很高的两个类别，往往会出现匹配结果相似的问题，所以本文以骨架形状为主，结合形状上下文描述子对不同目标的骨架形状进行描述，并对其进行相似性度量，最后对该方法的结果与利用外部轮廓进行形状匹配的结果进行对比。

1 目标图像的骨架

骨架作为简化的目标形状表达方式由Blum[5]在1967年首次提出，后续被科学工作者广泛应用到形状(目标)识别中。图像骨架简单的讲就是将图像经过一系列的处理变为二值图像，再经过类似于形态学细化过程的运算，得到单像素宽度几何线条集；并且这些几何线条保留着原轮廓的拓扑结构和完整的形状信息。图像的骨架一般位于图像轮廓的对称中心，类似于人类的骨架，支撑着整个轮廓。

图像骨架和外部轮廓一样，可以从形状层面上表达出该目标的特征信息，区别是轮廓形状特征比较贴合人类的视觉系统，符合人类认知世界的规律，而图像骨架在某种情况下不符合人类认知物体的规律。但对计算机来说，只要能提供足够的形状特征，计算机就能完成对目标的识别。图像骨架的形状特征在同类目标中比外部轮廓更有区分性，因为在形状点描述中，图像骨架的点分布关系的多样性要多于图像的外轮廓。

图像骨架包括“烧草”模型和“最大内切圆”模型两种描述方式，两种模型的示意图如图1和图2所示[6-8]。图1为烧草模型示意图。

烧草模型非常形象的描述了形态学下骨架形成的过程：假设在目标轮廓所围成的闭合区域内铺上稻草，然后在这个轮廓区域的外围同时点燃稻草，假设稻草同时向内燃烧，最后燃烧完毕后会留有一条黑线，这个黑线就是该轮廓的骨架。图2为最大内切圆模型，该方法是Blum提出的另一种描述骨架的方法，最大内切圆就是在目标闭合轮廓区域内的一个个内接圆，而且这些内接圆不被该轮廓区域内的任何一个内切圆所包含，那么这些内接圆圆心的集合既表示为该轮廓闭合区域的骨架。

图1 烧草模型

图2 最大内接圆模型

由这两个模型衍生出了众多提取图像骨架的方法，包括逐层进行像素点剥离的基于拓扑化轮廓细化的骨架提取方法、基于泰森多边形的轮廓提取方法、利用图像像素点欧式距离的基于距离变换的骨架提取方法、利用数学形态学方法进行计算的基于图像形态学骨架提取方法。因为基于数学形态学的方法算法复杂度较低，运算较快，且提取的骨架比较稳定，所以本文采用该种方法。

基于数学形态学的骨架提取主要采用对目标二值图像的一个迭代腐蚀效果，思想源自于Blum提出的“烧草”模型。首先将图像经过一系列的预处理，处理成二值图像，同时目标区域设定为高亮区域。从图像目标的最外围轮廓开始，检测轮廓点的像素邻域是否存在联通像素，若存在联通像素，则腐蚀掉该像素点，然后迭代此过程，直至把目标图像腐蚀成一条单像素的“骨架”为止。像素点的像素邻域包括该像素点的3或4或5或6或7连通像素，迭代停止的判定条件是在某一次的像素迭代腐蚀中没有像素点被腐蚀掉。若没有像素点被腐蚀掉，则最后检测一遍剩余轮廓点的2连通像素，腐蚀掉这些点后，就会得到一条单像素宽度的图像骨架。这幅骨架大致位于图像的中轴线上，且会保留图像外轮廓的一些细节，但有些细小的骨架分支在求取骨架后要剔除，否则会影响后续的计算。该方法的算法流程图如图3所示。

图3 骨架提取算法流程图

二值图像在经过上述算法迭代后，高亮区域被腐蚀为单像素宽的高亮几何线条，该线条便是目标图像的骨架。图4为挖掘机的骨架提取结果。

2 骨架形状描述

本文利用的是图像骨架的形状特征，所以在提取到图像骨架后，需要对其进行形状信息的描述及对该描述进行相似性的度量。考虑到骨架形状的特殊性，本文采用基于像素点位置距离关系的形状上下文描述子[9-10]。

(a)原图

(b)骨架图

形状上下文是一种非常典型的利用像素点在空间上的分布直方图来描述形状的方法[11-12]。而形状特征可以很好的表述一个目标[13-14]。该描述算法将形状看作是一个由有限个坐标点组成的集合，任意从该集合中选取出一点作为坐标原点，建立对数极坐标系，根据该形状在坐标系中点的分布情况确定极坐标系的大小，并将该坐标系分为N个区域，统计每个区域包含坐标点的数量，该点可以用1×N的向量来描述。整个形状可以用一个矩阵来描述。某一坐标点的形状可表述为

hi(k)=#{cj≠ci&cj∈bin(k)},i≠j

(1)

式中：#为统计落在第k个区域的点数的统计运算符；bin(k)表示第k个区域。则一个包含M个坐标点的形状既可用一个M×N的矩阵来表示。

对于两个形状上的样本点，其形状上下文距离可表述成

(2)

式中：hi(k)和hj(k)分别为pi和qj对应的形状直方图值；K代表区域数量。

则两个形状的形状上下文距离可用式(3)计算

(3)

通过公式(3)可以得到形状上下文距离的值，该值可作为评价两个形状相似度的标准，得到的数值越小，说明两个形状的相似度越高。

3 实验结果分析

实验采用MPEG7_CE-Shape-1_Part_B图片库(70类)、kimia99图片库(9类)和自建车类型图片库(5类)综合起来进行仿真，共计84个类别。本文在上述图片库中取出若干类建立新的实验骨架库和图片库。自建库均处理为和标准库同样的黑色背景白色剪影的图像，所有图像统一处理为二值图像。硬件环境为IntelCore i7-8700@3.20Ghz，16GBRAM，软件环境为VC++和OpenCV3.4.0 withcontrib，系统环境为Windows1064位，Matlab作为辅助计算环境。图5为自建骨架库的部分图像。

图5 实验用数据库部分图片

从图片库中选取若干张图片作为样本图像，选取过的样本图像不在匹配范围之内，只作为目标图像使用，从实验结果选取几组进行结果分析。实验结果如图6所示。图6a为样本图像，图6b为对应的识别结果。

(a)样本图像

(b)匹配结果

从图6六组匹配结果可以看出，基于图像骨架的最小值形状上下文能够正确匹配出目标，且经过多次实验，识别率可达95%以上。

在识别正确的基础上，选取出形状较为相似的目标进行比对。表1～表4是从实验结果中取出的horse和deer这两类外形相似的目标做对比分析结果，从表中的数据可以看出，在保持识别率的情况下，骨架形状特征在类间的区分上优于轮廓形状。在表1和表3中，传统轮廓形状上下文在horse和deer类中都出现了小于0.2的值，表1中horse样本与deer类的形状上下文相似度值最小为0.19618；表3中deer样本与horse类的形状上下文相似度值最小为0.15783。表1和表3中两类最小形状上下文距离的差值为0.06385和0.03627。替换为骨架特征后，虽然整体的形状上下文距离都增大一个阶梯，但同时也拉大了两类之间的区别，表2和表4中两类的最小形状上下文距离差值分别为0.0807和0.07004。从数据区分的角度分析，与传统轮廓目标匹配相比，基于骨架形状的目标匹配提高了类间区分度，且其他类中没有出现过小的形状上下文距离值，在一定程度上降低了误匹配的几率。

表1 基于传统轮廓的horse样本形状上下文数据对比

表2 基于骨架形状的horse样本形状上下文数据对比

表3 基于传统轮廓的deer样本形状上下文数据对比

表4 基于骨架形状的deer样本形状上下文数据对比

4 结论

针对目标外形相似的情况下形状上下文距离值差值较小的问题，提出了基于图像骨架形状特征的形状上下文目标识别方法。实验结果表明，与传统轮廓目标匹配相比，基于骨架形状的目标匹配提高了类间区分度，同时可以保证形状匹配的准确性，经多次实验识别率均保持在95%以上。