基于视觉特征的农业机械三维模型相似性评价

赵秀艳,张亚雷,张开兴,2,刘贤喜*

1.山东农业大学机械与电子工程学院,山东泰安271018

2.山东省园艺机械与装备重点实验室,山东泰安271018

基于视觉特征的农业机械三维模型相似性评价

赵秀艳1,张亚雷1,张开兴1,2,刘贤喜1*

1.山东农业大学机械与电子工程学院,山东泰安271018

2.山东省园艺机械与装备重点实验室,山东泰安271018

目前已有多种理论、方法应用到三维模型的相似性评价中，但是通过对三维模型进行投影，将其转化为二维图像，然后通过图像匹配方式间接实现对模型的评价在农机产品CAD模型领域却少有应用。因此，本文以农业机械零件三维模型的投影视图为研究对象，提出了一种两阶段检索方法，首先以傅里叶描述子作为过滤方法对图像边缘特征提取比较，进行初期匹配，之后以极半径不变矩对图像的整体区域进行二次精确评价，分别计算图像描述子的距离，最终实现农业机械模型的相似性评价。结果表明，算法检索性能取得了良好的检索效果，能够满足实际要求。

农业机械;三维模型;视觉特征提取

我国现阶段农业装备产品在设计过程中普遍采用传统设计方法，产品开发周期长、重复性设计多、设计资源难以重用，在产品型号、标准化程度和产品质量上同国外农机发展强国存在较大差距；同时中国农机行业的基本国情使得中国农机的设计任务与欧美发达国家相比要严峻得多，更加先进的设计方法[1,2]在农业机械的设计中进行普及是一个迫切的要求。统计分析表明，尽管农业机械产品一直在不断地更新换代，但是只有约20%的零部件属于全新的功能、结构。因此，在新产品的研发过程中，快速查找出与目标模型相似相关的可重用模型是缩短研发周期、响应快速制造的一个重要的途径。图像匹配中的形状描述子通常需要具备独特性、完备性、特征不变性、灵敏性、抽象性等特点才能对图形特征进行准确描述。形状特征描述法主要有两类，基于边缘和基于区域。基于边缘形状特征提取是用面积、周长、偏心率、角点、链码、兴趣点、傅里叶描述子、矩描述子等特征来描述物体的形状，适用于图像边缘较为清晰、容易获取的图像。基于区域的形状特征提取的主要思路是通过图像分割技术提取出图像中感兴趣的物体，依靠区域内像素的颜色分布信息提取图像特征，适合于区域能够较为准确地分割出来、区域内颜色分布较为均匀的图像。白翔等[3]将基于骨架图的形状匹配方法应用于自然物体的图像匹配，虽取得较好效果，但是此方法大多适用于生物图像类检索；赵于前等[4]较为详细地总结了数学形态学方法在医学图像处理方面的具体应用，但是以图像的边缘处理以及局部检测匹配为主。杨少博等[5]提出了计算投影图像轮廓边缘上的每个点的轮廓夹角，统计夹角信息后进行傅里叶变换从而实现对边缘轮廓特征的提取。

基于视图方式对三维模型进行评价的方法主要有两种，基于透视图方法以及基于投影视图方法。基于透视图[6]的方式是用一种正多面体将模型包围，然后通过正多面体的顶点等对模型进行“拍照”，获取模型多视角透视图之后对它们进行匹配实现模型相似性评价，但使用的图像较多，对效率的影响较大。基于投影视图是利用三视图的原理，输入模型的主视图、左视图、俯视图，然后从中提取特征实现模型的比较。尽管输入的视图较少会影响精度，但是本文依据零件的三维草图已经能够对模型进行充分描述，最终决定以投影视图为研究对象。经实际观察发现，农业机械零件三视图具有如下特点：(1)相比较于一般二维图像，由于零件视图的获取方法相当标准化，因此零件与周边区域进行区分较为容易，边缘特征以及区域特征方便进行提取；同时零件几乎没有颜色特征、纹理特征，基于颜色、纹理的方法对农业机械零件不适用；(2)投影特征的规则化。由于机械零件大多是由大量的基本几何特征以及少数的不规则特征、特殊特征组成，这也就决定了零件的视图中二维常见几何形状较多，不规则曲线、曲面较少；(3)正交视图的特性决定了主视图、俯视图、左视图的内容“重叠性”较高，观察三视图的线框表示可以得出，正交视图使得模型的区域特征相互交错现象较为严重，难以进行区分。基于以上特点，常规视图特征提取、视图比较方法对机械零件不能完全适用。基于此，本文提出了一种新的基于视图的模型相似性评价方法。

1 算法实现原理

图1 算法实现技术路线图Fig.1 The technical processes of algorithm

本文算法的实现步骤如下：

第一步：利用通用CAD系统获取模型的三视图，并对视图进行二值化处理，对视图数据像素点位置进行存储。

第二步：对存储像素数组的容器进行处理，提取图像的轮廓边缘数据并对像素数据点进行稀化处理，采用傅里叶描述子对轮廓特征进行计算，计算图像描述子的距离。

第三步：利用极半径不变矩对三幅二值化图像进行整体区域特征提取，依据三视图的权重计算图像加权值。

第四步：经过两次筛选之后，返回数据库中与输入图像相似的三维模型数据。

2 算法描述子介绍

2.1 傅里叶描述子

傅立叶描述子[7]的基本思想：假定物体的形状是一条封闭的曲线，沿边界曲线上的一个动点的坐标变化是一个以形状边界周长为周期的函数，这个周期函数可以展开成傅立叶级数形式表示。傅立叶级数中的一系列系数是直接与边界曲线的形状有关的，称为傅立叶描述子。当系数项取到足够阶次时，他可以将物体的形状信息完全提取并恢复出来。根据傅里叶变换的性质，必须对傅里叶描述子进行归一化，使其具备平移、旋转和尺度不变性之后才能对物体形状进行识别。

下图所示的是农业机械的一个典型零件变速箱，为了减少像素的处理数量，提高算法的时间效率，我们对图像轮廓边缘像素点进行稀释处理。在任意一点(x1,y1)处开始，沿边界逆时针方向存储记录一系列出现的坐标对，便于后续计算使用。

傅里叶描述子中的高频分量决定细节部分，低频分量决定总体形状。本文采取傅里叶方法作为检索的预检索部分，只是对图像进行第一次过滤区分，虽然高频分量越多，检索结果越精确，这里暂时取10个分量。

图2 变速箱轮廓图Fig.2 The profiles of transmission

图3 视图轮廓与重心的距离Fig.3 The distance between outline view and the focus

设(xc，yc)为图像重心，N为边界像素的个数，则图像重心的计算公式为：

定义r(t)=([x(t)-xc]2+[y(t)-yc]2)1/2为边界点与重心的距离，图3展示的是三幅视图轮廓与重心的距离情况。此时傅里叶系数:

令f作为归一化描述子:

假定计算得到的两幅图像的描述子分别是f1，f2，则两个描述子距离公式为：

2.2 极半径不变矩

图4 俯视图Fig.4 The vertical view

曹茂永等[8]提出的极半径矩，能同时识别连续、分离的区域特征以及封闭、开放的边缘特征，同时具有平移、旋转、尺度不变性等优良实用特性，对图像处理时可以省略归一化、标准化等处理，相比较于HU矩优势较为突出。

对于一个二值化图像，定义该图像的第p阶极半径矩定义为:

其中，ds=rdrdθ为极坐标下(r,θ)处的单元面积，r=[(x-xc)2+(y-yc)2]1/2为极半径；区域的形心为(xc,yc)；其中，

本文取p为1，2，3，4得到4个极半径矩描述量，每一幅图像采用4个描述子，共3幅图像，如果主视图，左视图，俯视图的权重分别是0.4,0.3,0.3。

则此时极半径不变矩描述子的计算公式为是:

表1 视图的极半径矩值Table 1 Values of polar radius

3 结果演示

如图5所示是软件的主要实现界面。系统以Microsoft Visual Studio 2008为集成开发环境，以Open Cascade[9]为几何内核开发平台。原型系统主要功能有新建模型库、模型入库以及模型检索。针对不同领域模型分别建立专门领域模型库，入库操作主要是对模型进行特征提取，然后以文本文件的方式进行特征保存，模型检索又分为视图检索以及整体检索，本文对视图检索进行演示，整体检索采用的是经典形状分布算法，为了对本文算法的性能、效率进行展示，我们将与整体检索的结果进行对比展示。图6是视图检索的主要界面，采用的模型是收获机械中的拨禾轮，图7是进行视图检索之后的结果展示。

本文在实现经典形状分布算法[10]之后，与光场方法的检索性能之一进行了对比展示，结果如表2所示。表中的数字1代表光场算法，2代表形状分布算法。我们选取前6个检索结果。采取的检索模型分别是农业机械中的拨禾轮、轴瓦、链轮、齿轮、变速箱以及存粮装置。对于检索的模型，算法1、2分别检索到的较为准确的模型数目分别是4、3个，3、3个，6、4个，5、4，4、3，5、4个。对检索结果进行对比分析可以发现，同形状分布算法相比较，光场算法得到的结果在较为稳定的同时，准确率较高。

图5 软件主界面Fig.5Maininterfaceofthesoftware

图6 视图检索主要界面Fig.6Maininterfaceoftheretrievalview

图7 检索结果进行展示Fig.7Demonstrationoftheretrievalresults

表2 算法检索结果对比Table 2 Comparison of two algorithms

图8 装配体设计1Fig.8 Design for assembly 1

图9 装配体设计2Fig.9 Design for assembly 2

通过本文的算法检索到零件后，我们便可以将模型导入到专业的CAD软件中，因而便可以进行快速设计，图8、图9分别展示的是传动系装配体以及拨禾轮装配体的设计。

为对检索效果进行量化评价，我们引入经典的查全-查准曲线。假设用户提交的需要查询的三维模型是q，而M是数据库中经过专家组认定的与q相关的三维模型的集合，R是检索算法返回的结果集，则两者的计算公式分别是：

查全率表示返回的正确检索模型占与q相近、相关模型的比例，反映了系统返回正确检索结果的数量方面能力，而查准率表示返回的检索结果中，相似模型占所有返回结果的比例，反映了系统返回结果的精确性能力。

假定对于检索模型q，专家组判定的在模型库中相似、相关模型集合Rq={d3、d5、d9、d25、d39、d44、d56、d71、d89、d123}，数量为10个，检索算法对查询q，返回的检索结果数量为15个，返回模型分别是{d123*、d84、d56*、d6、d8、d9*、d511、d129、d187、d25*、d38、d48、d250、d113、d3*}，根据公式(5)、(6)计算得到查全率Recall=5/10，查准率Precision=5/15，得到的数据对(查全率，查准率)=(0.500， 0.333)。选取模型库中典型零件进行测试，分别计算每一个零件的查全率与查准率，选取20个数据对，以查全率为横坐标，查准率作为纵坐标，在坐标系中确定它们位置，形成曲线。

理想情况下查准率应该恒定为1，实际试验情况下，曲线越靠上，表征该算法的执行效果越好。从图10可以看出，本文的光场算法检索效果要优于经典形状算法。

图10 查全查准曲线对比Fig.10 Comparison of Recall-Precision

4 结束语

针对产品三维CAD模型三视图的特点，提出了一种两阶段过滤检索的视图检索方法。考虑到机械零件视图外形总体较为规整，同时也包含一定量不规则形状的特点，首先使用傅里叶描述子对图像的边缘特征进行了初次描述，之后考虑到了模型视图中区域特征相互交错、难以区分的特点，使用极半径不变矩对视图进行整体性描述。试验结果表明，结果良好，能满足实际检索的需要。

[1]王树才,邓在京,文友先.我国农业机械CAD的发展思路[J].农业机械学报,2004,35(1):160-169

[2]阎楚良,杨方飞.农业机械产品数字化设计技术及展望[J].中国工程科学,2006,8(9):14-18

[3]白翔.基于骨架的形状匹配中若干问题的研究[D].武汉:华中科技大学,2005

[4]赵于前.基于数学形态学的医学图像处理理论与方法研究[D].长沙:中南大学,2006

[5]杨少博.基于视觉图像的三维模型检索与语义标注技术研究[D].西安:西北大学,2007

[6]Chen Ding-yun,Tian Xiao-pei,Shen Yu-te,et al.On Visual Similarity Based 3D Model Retrieval[M].Taipei:National Taiwan University,2003

[7]张金华.基于矩特征傅里叶描述的目标形状识别[D].上海:上海交通大学,2009

[8]曹茂永,孙农亮,郁道银.用于模式识别的极半径不变矩[J].计算机学报,2004,27(6):860-864

[9]张渊.基于Open CASCADE的虚拟三维建模平台的开发[D].济南:山东大学,2007

[10]Osada R,Funkhouser T,Chazelle B.Shape distributions[J].ACM Transactions on Graphics,2002,21(4):807-832

The Similar Evaluation on the 3D Model of Agricultural Machinery Based onVisualFeature

ZHAO Xiu-yan1,ZHANG Ya-lei1,ZHANG Kai-xing1,2,LIU Xian-xi1*
1.College of Mechanical and Electronic Engineering/Shandong Agricultural University,Tai’an 271018,China
2.Shandong Provincial Key Laboratory of Horticultural Machineries and Equipments,Tai’an 271018,China

There are various theories and methods applied to evaluate the similarity of 3D models until now.However, converting them into 2D images and achieving matching of image to realize the assessment are hardly adopted in specific CAD fields.This paper proposed a two-phases retrieval method based on agricultural mechanical parts’projection views aimed at the situation.Firstly,we adopted Fourier descriptor to extract edge information as initial matching and then calculate features of whole area by the use of polar radius of invariant moment for accurate evaluation after computing the difference between image descriptors,finally,we realized the similarity evaluation of agricultural mechanical parts.Test results showed that our algorithm had good retrieval performance and achieved great efficiency,so it could satisfy the actual requirements.

Agricultural machinery;3D model;visual feature extraction

TP391.72

A

1000-2324(2016)06-0879-06

2015-11-13俢回日期:2016-04-15

山东省自然科学基金资助项目(ZR2015EL022);十二五国家科技支撑计划资助项目(2011BAD20B01)

赵秀艳(1977-),女,讲师,博士,从事计算机辅助设计/农业信息化的研究.E-mail:sdauzhaoxiuyan@163.com

*通讯作者:Author for correspondence.E-mail:wjbliu@sdau.edu.cn