基于跨本体语义相关的三维模型检索方法

陈 莉，刘 弘



基于跨本体语义相关的三维模型检索方法

陈 莉，刘 弘

(山东师范大学信息科学与工程学院 济南 250014；山东省分布式计算机软件新技术重点实验室 济南 250014)

针对某些特定领域的建模中单一的语义检索条件无法得到理想的检索结果，提出了基于跨本体的语义相关度进行检索的算法。首先构建相关领域的本体，然后对已有实例进行分析，通过聚类算法找出模型本体间具有相关性的属性。再通过调查获取用户对实例的评价数据，对深度信念网络进行训练，求出本体间相关语义属性的相关度权值。最终对模型库中的模型计算与检索模型间的相关度作为检索条件，将大于一定阈值的模型作为检索结果。应用该算法，用户一般在检索首页可以找到较满意的模型，大大缩短了检索的时间。

三维模型检索; 聚类分析; 深度信念网络; 本体; 语义特征

目前三维模型的数量以指数方式快速增长，三维模型检索技术可以帮助用户快速准确地获取符合设计意图的三维模型[1]。最基本的三维检索是提取产品三维形状特征进行相似性匹配，这需要用户给出详细的形式化的形状特征信息才能得到较高的检索正确率，但对于三维物体的形状特征很难用形式化的信息进行描述。当前比较常用的三维检索方式是基于语义特征的检索，但大都是粗粒度的检索，检索出的符合某特征条件的模型数量较多，使用户还需要考虑进一步筛选，使得检索效率不高。

本文考虑到产品之间的特征相关性，结合领域知识，将多本体间属性的语义相关性结合于三维模型检索中，以期在某些特定领域的建模中可以提高三维模型检索的有效性，缩短用户的检索时间。

1 相关工作

1.1 三维模型检索

基于语义特征的检索是当前三维模型检索的研究热点。基于语义的检索包含了基于结构特征的检索，基于功能特征的检索和基于领域知识的检索。

基于结构特征的检索[2]是将一个物体分解为不同的子部分，给出产品装配时的设计规则，用户在设计时，从模型数据库中搜索出用于提示和启发用户的相关子部件，合成新模型。文献[5]提出了基于概率的启发式装配模型生成，当出现人的身体部分时，会相应的推荐头、四肢等部位，但只是将相关子部件罗列出来，并没有考虑部件之间的搭配问题。

基于功能知识的检索是通过产品功能特征进行检索。功能知识主要是指对三维模型的用途、类型等的文本描述，只能针对单个产品的检索[4]，无法根据已知产品的信息检索另一种产品。

基于领域的检索根据特定领域的特定规则更精确描述模型的特征包括几何信息和其他相关信息。文献[5]通过对场景的学习识别各产品间的关系，利用先验数据库对场景中的显著对象检索出最大概率的候选对象，但只是根据概率由一类产品选择另一类产品。文献[6]提出了基于上下文的三维模型检索方法，运用场景的领域知识，根据桌子推测出要检索椅子，但并未考虑更准确的选择哪把椅子更符合用户要求。

但在现代CAD领域中，人们不再只满足于产品功能的实现，外形、风格、颜色都是设计师需要考虑的问题。有很多产品之间具有很强的相关性，这使得设计师在设计过程中不仅要考虑单个产品的设计，还要考虑产品之间的搭配问题，比如在时装设计中的上衣与下衣的搭配。在家具的设计中也有这样的问题，比如桌子与椅子，沙发与茶几，床与床头柜等的相互搭配，这些都体现了产品与产品之间紧密的相关性。如果在三维模型检索的时候能将产品之间的相关性考虑进去，将大大提高检索的有效性。

1.2 本体

本体是以面向对象的方式描述特定领域的主要概念和概念之间的关系，是对三维模型领域知识通过功能语义进行形式化表示[1]。借助本体，搜索引擎可以理解为被描述信息的语义，实现信息资源的概念检索或语义查询。文献[7]提出的基于功能语义的三维模型检索方法中引入了本体概念，构建三维模型的功能语义本体，用于计算模型间的功能语义相似度并进行排序。

同一领域的不同本体之间存在很大的异质性，影响了本体知识的资源共享和传播。其实同一领域的本体之间也存在着相互的关系，文献[8]设计了基于本体的元数据模型，提出了一种跨本体的语义相似度计算方法，使得各本体间可实现信息资源的共享。文献[9]针对本体之间存在的异质性，提出基于概念格的多本体协同知识地图构建方法计算不同本体间概念的相似度，通过相似概念建立跨本体的映射关系，从而在相关的本体操作中实现了多本体协同。本文利用跨本体语义讨论两个不同本体间的相关度问题，通过对实例模型的分析，找出不同本体间的某种特征的关联程度，从而求出整体关联度，作为检索依据，以提高检索质量。

1.3 产品相关性

模型与模型之间有很多方面都具有相关性，风格的相关性[10]，形状特征的相关性[11]，表面颜色[12]、材质的相关性等等。风格相关性，是根据产品的风格要求选择同类风格的产品，但同一类风格中的产品也是千差万别的。形状特征相关性对于某些有接口的产品非常重要，要求产品之间接口的形状，位置等特征符合一定的规则，多用于工业的设计。表面颜色、材质相关性要求两个产品之间具有同样的表面颜色或者同样的材质，这对于含有多个颜色，多种材质等的多特征产品来说搭配合理的判定比较难，因此找出产品之间的最有影响的相关性特征是解决问题的关键。本文构建相关产品的本体，并根据领域知识，对不同产品之间相关性特征的分析，将特征关系量化并通过聚类实现降维，再利用评价实例对深度信念网络进行训练，形成模型之间相关度，作为检索算法的检索条件，应用于三维模型的检索中，希望在检索过程中，提高检索的有效性。本文以家庭餐厅场景建模中餐桌餐椅的检索为例，在设计师选择餐桌时，通过本检索算法在模型数据库中检索出的餐椅模型与其他算法的检索结果相比较，以验证本算法在三维模型检索中的有效性。

2 基于跨本体语义相关度的检索算法

基于跨本体语义相关度的检索算法包括数据获取、数据分析、生成检索条件及形成检索结果4部分构成。

1) 数据获取：获取产品模型实例的特征数据及用户评价数据。

2) 数据分析：通过聚类算法对两个产品本体之间的属性特征的相关性进行分析，相关性较大的特征会聚在一起，因此可以去掉不相关或相关性较小的特征关系，从而实现对特征关系集合的降维。

3) 生成检索条件：本算法中对于特征关系的量化值只有0、1两种取值，表示特征间有相关性或无相关性，考虑到深度信念网络中底层的所使用的受限波兹曼机要求每个神经元只有开和关0、1两种状态，且收敛速度快，因此选择了深度信念网络对实例样本数据的学习，求得各属性关联度权值，形成检索准则即检索条件。

4) 形成检索结果：对于用户提出的产品，在模型库中对相关产品利用检索条件实现对产品之间相关度的确认，最终形成检索结果。

2.1 聚类算法

聚类分析是数据挖掘中常用技术之一，也是数据统计的常用方法。通过聚类分析，将数据对象进行分组，可以发现各组中的对象相关性较大，不同组之间相关性较小。

聚类算法在三维模型建模中的模型库检索也有很多应用[13]，如文献[14]在三维检索过程中对模型库进行处理，将相似性高的模型聚为一组，对三维模型进行了高效分类，以提高三维模型检索速度和准确度。本文主要通过聚类算法对两个模型之间的特征是否具有相关性进行分析，去掉无相关性的特征，从而实现对特征关系集合的降维。

2.2 深度信念网络

深度信念网络(deep belief network, DBN)是由文献[15]提出的。它首先通过无监督学习对网络进行预训练，接着通过标签数据对权值进行微调，从而达到模型最优解。文献[16]通过训练一个5层的深度网络提取音乐的特征，用于音乐风格的分类。

经典的DBN是由若干层RBM和一层BP组成的。DBN网络训练模型中的RBM可以看作对一个深层 BP网络权值参数的初始化，使DBN克服了BP网络因随机初始化权值参数而容易陷入局部最优和训练时间长的缺点。

每层的RBM只有两层神经元组成，一层称为显层，由显元组成，用于输入训练数据，只接受0、1数据，即神经元只有“开、关”两种状态，另一层称为隐层，由隐元组成，用于提取特征。显层和隐层内部的神经元没有互连，只有层间神经元有对称的连接线，也就是给定显元的值，每个隐元的取值互不相关，同理，给定隐元的值，每个显元的取值也互不相关，这使得RBM的训练变得容易。

2.3 基于跨本体语义相关的检索算法

4) 对样本集通过DBN训练，生成推荐准则。

②固定第一个RBM的权重和偏移量，其隐元作为第二个RBM的显元，充分训练第二个RBM。

③顶层BP网络输入为上一层RBM隐元，输出为标签数据，标签数据对应该样本的用户打分等级。共分五级，分值相对某一等级则取值为1，其他为0。反向传播，以调整权值。

5)对于输入的某产品，获取其特征语义信息，并在数据库中根据检索条件找到相关度值高于一定阈值的相关产品作为检索结果。

图1 基于跨本体语义相关度的检索算法流程

3 算法实现与应用

3.1 特征数据的获取

3.1.1 产品特征

针对产品的内在要素和外在要素进行分析，列出其主要特征，在此以餐厅中的餐桌与餐椅为例进行分析。

1) 桌子的特征

桌子的结构最主要由两个部分组成，桌面和桌腿，桌面包含了桌面形状、材质、颜色，桌腿包含了桌腿形状，桌腿材质、颜色、个数，除了这些特征还有整体特征，是否有雕刻，是否有弧度存在。桌子的场景特征包含所使用地点和风格。桌子的本体图如图2所示。

图2 桌子的本体图样例

2) 椅子的特征

椅子的结构主要由椅背、扶手、椅面及椅腿4个部分组成。椅面包含了椅面形状、椅面材质、椅面颜色；椅腿包含了椅腿形状、椅腿材质、椅腿颜色、椅腿个数；椅背包含了椅背形状、椅背高矮；扶手是有无扶手。除了这些特征还有整体特征，是否有雕刻，是否有弧度存在。椅子的场景特征包含所使用地点和风格。

3.1.2 特征数据的获取

本文从互联网上搜集各设计实例，主要针对家用餐厅中的桌椅搭配，其中简约式100例，欧美式50例，中式50例作为调查统计样本。每一套组合对其特征语义进行数据搜集。将所有特征参数值进行归纳和量化。

3.2 产品特征数据分析

将桌子的每个特征与椅子的每个特征结合，生成特征关系集合。桌子11个特征，椅子16个特征，共生成176个特征关系。但大部分特征之间都无关系。比如桌子的弧度只与椅子的弧度有关系，与椅子的其他特征无直接关系，因此176个特征关系集合中大部分值都是0，可以对其进行降维处理，保留有效的特征关系，生成新的特征关系集合。

3.2.1 聚类算法

对于实例中的餐桌餐椅搭配数据，用聚类算法进行聚类。根据聚类结果，可得出餐桌的某特征与餐椅的某特征具有一定的相关性。如桌腿材质与椅腿材质、桌腿颜色与椅腿颜色、桌面颜色与椅腿颜色，桌面材质与椅腿材质等。其本体特征相关性如图3所示。

将通过聚类分析得出餐桌与餐椅的相关特征两两组合构成一个集合。将每个相关特征对作为一个数据单元。

图3 跨本体特征语义相关片段图

3.2.2 DBN算法

随机选取了50例搭配实例，做成调查表，调查了140人，有效问卷139份，对于每组搭配实例进行评价，评价分为5个等级(1, 2, 3, 4, 5)，将所有用户对某一实例搭配的评价值取平均数四舍五入归为5个等级之一，作为该实例的搭配的最终评价结果。根据实例的相关特征的值是否相同赋值为1或0，生成样本集，标签数据为5个等级分类，属于某等级则相应等级的值为1，其他为0。DBN网络结构由两层RBM加一层反向传播网络组成，两层RBM节点数分别为15、10。

3.3 算法应用

在模型库管理系统的数据库中，构建各模型的本体库，记录各模型的语义特征信息。如用户选择家庭餐厅，简约风格的桌子时如图4a所示，系统要根据相关语义检索合适的椅子。

图4b是只利用文献[6]提到的基于上下文的三维模型方法检索到的椅子，即利用场景领域的信息由桌子找到椅子，但未考虑桌子与椅子的搭配问题。由图中可以看出，检索结果中有欧式，中式，简约式等风格椅子混合在一起，还要由设计师再进一步查找。

图4c是根据文献[10]提出的产品风格性约束思想进行的检索结果。由图中可看出，椅子在风格上与桌子表现一致，但没有考虑更深层次的如颜色、材质的搭配问题。

图4d是根据文献[12]提出的家具色彩搭配规则检索到的椅子模型，因为桌子含有两种颜色，因此找到的椅子是含有这两种颜色中的一种。

图4e是系统利用本文中所描述检索方法根据已知桌子的特征数据，对模型库中的椅子相关语义特征求椅子与所选桌子的相关度，相关度大于一定阈值的椅子作为检索结果。

a. 用户所选桌子模型b. 基于文献[6]的检索首页结果 c. 基于文献[10]的检索首页结果 d. 基于文献[12]的检索首页结果 e. 基于本文算法的检索首页结果

3.4 算法分析

本算法在检索规则生成的过程中使用了聚类算法及深度信念网络，而另外3种算法只是根据某个简单的条件进行查询。因此对于那3种算法只要得到本体语义信息，不需要任何额外计算，所以本算法生成复杂度高于其他算法。

在通过各算法获得首次检索结果中，文献[6]的算法不需要额外的比较，只是从数据库中按顺序取出各模型，其复杂度可计为(1)。文献[10]需要将桌子的风格与模型库中椅子的风格进行比较，因此其复杂度为()，为模型库中椅子个数。文献[12]中每个模型都需要比较与颜色有关的几个特征，其复杂度为()。本文算法中则需要最终聚类得到的个相关特征带入相关度公式进行计算，其复杂度也为()。

对于4个算法的检索结果，随机找出10名设计者，要求从4种检索结果首页中选出较满意的搭配，其选择数量结果如图5a所示。由图5a可以看出本文提出的算法检索出的首页椅子中满足用户需求的数量最多。

a. 用户选中个数比较

b. 首页查准率比较

图5 4种检索算法比较

一般用回调率(Recall)或查准率(Precision)来衡量检索算法的优劣，回调率与查准率的表示分别为：

(4)

4 结束语

在三维模型检索中，合适的算法可以缩短用户检索的时间。模型之间都存在一定的相关性，比如场景建模中各模型之间和单个模型中各部件之间。找出这些相关性特征将其应用于检索算法中，会帮助设计师抓住设计的特点，快速进行建模。本文提出了基于跨本体语义相关度的检索算法，首先领域知识构建各模型的本体库，记录模型的各语义特征信息。再通过研究不同模型本体的各个特征之间的相关性，用实例样本对深度信念网络的进行训练找到模型特征之间的各语义相关权值。根据各权值计算已有模型与模型库中各模型之间的相关度形成检索准则用于三维模型检索，提高了检索的有效性。本文仅在室内场景的设计中进行了初步的应用，可看到较明显的检索效率的提高，但该算法须在有相关性的产品之间进行检索，有一定的局限性。

[1] 潘翔, 张三元, 叶修梓. 三维模型语义检索研究进展[J].计算机学报, 2009, 32(6): 1069-1079.

PAN Xiang, ZHANG San-yuan, YE Xiu-zi. A survey of content-based 3D model retrieval with semantic features[J]. Chinese Journal of Computers, 2009, 32(6): 1069-1079.

[2] TAO Song-qiao, HUANG Zheng-dong. Assembly model retrieval based on optimal matching[C]//Software Engineering and Knowledge Engineering: Theory and Practice. Berlin Heidelberg: Springer-Verlag, 2012: 327-336.

[3] SIDDBARTHA C, EVANGELOS K, LENIDAS G, et al. Probabilistic reasoning for assembly-based 3D modeling[J]. ACM Transactions on Graphics, 2011, 30(4): 35.

[4] MIN P, KAZHDAN M, FUNKHOUSER T A. A comparison of text and shape matching for retrieval of online 3D models[C]//Proceedings of the European Conference on Digital Libraries. Berlin Heidelberg: Springer-Verlag, 2004: 209-220.

[5] NAN Liang-liang, XIE Ke, SHARF A. A search-classify approach for cluttered indoor scene understanding[J]. ACM Transaction on Graphics, 2012, 31(6): 137.

[6] MATTHEW F, PAT H. Context-based search for 3D models[J]. ACM Transactions on Graphics, 2010, 29(6): 182.

[7] 王占松, 田凌. 基于功能的三维模型检索系统[J]. 计算机辅助设计与图形学学报, 2013, 25(12): 1877-1885.

WANG Zhan-song, TIAN Ling. Function-based 3D model retrieval system[J]. Journal of Computer-Aided Design & Computer Graphics, 2013, 25(12): 1877-1885.

[8] 黄宏斌, 董发花, 邓苏, 等. 一种跨本体的语义相似度计算方法[J]. 计算机科学, 2008, 35(7): 153-156.

HUANG Hong-bin, DONG Fa-hua, DENG Su, et al. Approach of determining semantic similarity among concepts between different ontologies[J]. Computer Sciences, 2008, 35(7): 153-156.

[9] 毕强, 滕广青. 基于概念格的多本体协同知识地图构建研究[J]. 情报学报, 2012, 31(10): 1018-1025.

BI Qiang, TENG Guang-qing. A study on knowledge-map construction through multi-ontologies collaboration based on concept lattice[J]. Journal of the China Society for Scientific and Technical Information, 2012, 31(10): 1018-1025.

[10] 黄琦. 基于产品风格认知模型的计算机辅助概念设计技术的研究[D]. 杭州: 浙江大学, 2005.

HUANG Qi. Research on the technology of computer-aided conceptual design based on product style recognition model [D]. Hangzhou: Zhejiang University, 2005.

[11] 孙长乐, 宁大勇, 熊伟, 等. 基于特征的工程领域CAD模型检索技术[J]. 计算机集成制造系统, 2014, 20(4): 747-754.

SUN Chang-le, NING Da-yong, XIONG Wei, et al. Feature-based CAD model retrieval technique in engineering field[D]. Computer Integrated Manufacturing Systems, 2014, 20(4): 747-754.

[12] 石昇艳. 装饰色彩在现代家具设计上的应用[D]. 武汉: 湖北工业大学, 2013.

SHI Sheng-yan. The application and study of decoration colour in furniture design[D]. Wuhan: Hubei University of Technology, 2013.

[13] 皇甫中民, 张树生, 闫雒恒. 鱼群启发的三维CAD模型聚类与检索[J]. 计算机辅助设计与图形学报, 2016, 28(8): 1373-1382.

HUANG FU Zhong-min, ZHANG Shu-sheng, YAN Luo-heng. 3D CAD model clustering and retrieval inspired by fish swarm[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(8): 1373-1382.

[14] 毛瑞, 唐雁. 基于聚类分析的三维模型检索综述[J]. 微型机与应用, 2012, 31(10): 1-3.

MAO Rui, TANG Yan. 3D model retrieval algorithm based on clustering[J]. Microcomputer & its Applications, 2012, 31(10): 1-3.

[15] 尹宝才, 王文通, 王立春. 深度学习研究综述[J]. 北京工业大学学报, 2015, 41(1): 48-59.

YIN Bao-cai, WANG Wei-tong, WANG Li-chun. Review of deep learning[J]. Journal of Beijing University of Technology, 2015, 41(1): 48-59.

[16] HUANG Qiao-li, HUANG Zhi-xing, YUAN Yan-hong, et al. A new method based on deep belief network for learning features from symbolic music[C]//11th International Conference on Semantics, Knowledge and Grids. Beijing: IEEE Press, 2015: 231-234.

编 辑 蒋 晓

3D Model Retrieval Method Based on Semantic Correlation between Different Ontology

CHEN Li and LIU Hong

(School of Information Science & Engineering, Shandong Normal University Jinan 250014; Shandong Provincial Key Laboratory for Distributed Computer Software Novel Technology Jinan 250014)

In some specific areas, a single condition of semantic retrieval cannot have the ideal results. A retrieval algorithm based on semantic correlation between different ontologies is presented. The algorithm firstly builds the domain ontology, and then analyzes the existing instances to find out the semantic correlation among ontologies by clustering algorithm. Besides, the evaluation data of the user of the instance which is obtained by the survey is used as the sample, with which the deep belief network (DBN) is trained to obtain the weights of correlation between semantics of different ontologies. Finally, the relevancy between the retrieved models and the model in database is computed and the models with higher relevancy are used as the retrieval results. With the retrieval algorithm, the designer can get more satisfactory model in retrieval homepage, which greatly shortens the retrieval time.

3D model retrieval; cluster analysis; deep belief network; ontology; semantic features

TP391

A

10.3969/j.issn.1001-0548.2017.04.018

2016-02-17；

2016-12-05

国家自然科学基金(61272094, 61472232)；山东省高等学校科技计划(J13LN13, J14LN55)

陈莉(1974-)，女，博士生，主要从事计算机图形学、计算机辅助设计、智能算法及三维模型检索方面的研究.