基于计算机视觉的大型机械装备逆向工程的研究

曲霄红,胡立华

(1.山西大同大学教育科学与技术学院，山西大同037009；2.太原科技大学计算机科学与技术学院，山西太原 030024)

基于计算机视觉的大型机械装备逆向工程的研究

曲霄红1,胡立华2

(1.山西大同大学教育科学与技术学院，山西大同037009；2.太原科技大学计算机科学与技术学院，山西太原 030024)

逆向工程作为一种新的先进制造技术已经广泛应用在机械装备等行业，计算机视觉作为一种非接触式测量方法，应用于逆向工程具有精度高、速度快、不受被测物体环境影响等优点。目前大多数研究人员采用计算机视觉方法，对小型机械产品的逆向工程进行了研究，而对大型机械装备逆向工程的研究比较少。本文从计算机视觉的角度，对大型机械装备逆向工程进行了综述，归纳出了基于计算机视觉的大型机械装备逆向过程中的关键技术，即：大型机械装备图像采集方法选择、图像的特征提取与匹配、及图像拼接等，并对各个关键技术进行了深入分析和讨论，分别给出其解决的有效途径。

大型机械装备；逆向工程；计算机视觉；特征检测

近年来，随着科学技术的飞速发展及社会需求的多样化，加剧了市场的竞争性和产品的更新换代速度，因而对机械制造业提出了更高的要求。不仅要求企业尽可能地缩短设计和生产周期，降低产品成本，提高产品质量，而且针对产品的外形提出了更高的要求。研究表明[1-2]，一个机械产品生产周期的60%～80%都是由设计阶段决定的。因此，加快产品生产周期的关键步骤是如何缩短其设计周期，但传统的设计方式已经无法满足企业的需求。为了提高生产效率，缩短生产周期，设计一种新的产品开发方法显得非常迫切。

逆向工程[3]（Reverse Engineering-RE）也称为反求工程或反求设计。是20世纪80年代后期出现在先进制造领域里的一种新技术。随着计算机辅助设计、计算机优化设计及有限元分析技术的发展，与逆向工程结合形成了一种新的现代设计理论和方法，为企业快速开发新产品提供了一种新手段。在机械工程领域[4]，逆向工程是指在没有模型或者图纸不完整的情况下，按照现有的模型，利用各种技术重新构建模型的过程。据报道[5]，国内机械装备开发的产品，70%以上都是在借鉴国外产品的基础上进行设计的。如果采用传统机械装备设计方法，因产品设计周期较长而不能满足市场的需求。采用逆向工程进行机械产品开发则可以缩短产品开发周期，提高企业生产效率。

大型机械装备是指直径或者跨度超过500cm的机械产品。若采用传统的方法，大型机械设备的逆向工程存在以下问题：大型机械装备多在室外，室外环境复杂，数据采集不易；大型机械装备体积较大，整体三维模型不易获得。因此，需要结合一种新技术针对大型机械装备进行逆向开发。计算机视觉是一种非接触式测量方法，采用计算机视觉进行逆向开发具有精度高、速度快、不受被测物体环境影响等优点。本文以计算机视觉为基础，针对大型机械装备的逆向工程技术进行了分析。首先针对机械装备的逆向工程技术进行了综述，其次针对基于计算机视觉的大型机械装备逆向工程技术的模型及关键步骤进行了分析，最后针对各个步骤中存在的问题进行讨论，并给出了解决问题的有效途径。

1 机械产品逆向工程

传统的机械产品开发方法[2]如图1所示，一般从产品（实体）概念设计开始，然后进行模型图纸的设计，最终形成产品。这个过程中，概念设计将占用60%左右的周期。而机械产品逆向工程与传统开发方法不同，它的主要流程（如图2）是：机械产品逆向工程从现有的产品的原型出发，运用各种技术，结合专业人员的工程设计经验，对已有的产品进行剖析、研究和再创造，最后利用各种数字化技术获得原产品的模型，并加以改造，从而完成新产品设计的过程。因此，相对于传统的开发方法，机械产品逆向工程缩短了开发周期，有效地提高了新产品的市场响应速度。

图1 传统机械设计流程

图2 逆向工程设计流程

从图2中可以看出，数据采集、数据处理与三维重建这三个模块代替了传统方法的实体概念设计，成为机械产品逆向工程方法的核心，因此这三个过程的效率直接决定了图纸或产品的生产效率。

1.1数据采集

数据采集[6-8]是机械产品逆向工程的第一步，也称为逆向测量。测量数据的精度直接影响数据建模的精度，是整个机械产品逆向工程的基础。机械产品逆向测量是指通过特定的测量设备和测量方法获取产品表面离散点的三维几何坐标数据。因此如何高效、准确的采集到机械产品表面的三维几何坐标数据成为逆向测量研究的重点。根据测量的方式不同，逆向测量方法主要有两种方法：接触式测量和非接触式测量。

1.2数据处理

在机械产品实物的数据获取过程中，由于人为的误差及测量设备的误差等因素的影响，不可避免地产生一些噪音点，而且测量往往容易出现漏测现象。如果这些点不及时处理，将直接影响后期的三维重建的效率。一方面会使得建立的模型效率低，另一方面会影响所建立的模型质量，从而导致后期无法满足实际工程的需求。因此在模型重建之前，首先要对采集的数据进行噪音平滑、降维[9]等处理。

1.3三维建模

三维模型重建也是机械产品逆向工程中的关键步骤，如何构建产品的三维模型是机械产品逆向工程中研究的一个重要课题。国内外学者针对机械产品逆向工程模型重建进行了大量的研究[10-13]，他们从不同的侧面提出了各种模型重建技术，这些研究方法主要集中在曲面的拟合方法上[14]。传统的三维重建方法不管是基于边的拟合或者是基于面的拟合，都存在这样一个缺陷：将模型重建分割为孤立的曲面片造型，而忽略了产品模型的整体属性。

目前，许多国内外学者针对逆向工程方法进行了研究，设计了各种数据采集方法、数据处理方法及三维模型重建方法[8-14]。其中针对机械产品，采用机器视觉技术的逆向开发研究的比较多，例如国外开发出来的用于机械产品逆向工程的软件或者模块[5]有：Imageware公司开发的Surefacer,DelCAM公司开发的CopyCAD等。这些软件的逆向开发过程为：首先测量产品或者零件的尺寸，然后根据测量数据进行产品的重构，但是这些软件只能重构一些简单的平面线框模型，而且重构速度慢。国内一些大学于20世纪90年代也开始进行基于机器视觉的逆向软件的开发[5]，例如清华大学、浙江大学、西安交通大学等高校先后开展了这方面的工作。国内的基于机器视觉的逆向研究过程为：首先采用激光、CT等设备进行数据采集，然后进行模型的重建。但是很多研究针对的都是特定的小型零件，而且缺乏具体的平台支持；即使目前已有的一些机械零件逆向技术也存在不少问题，例如通过测量实物数据构建数字模型相对滞后。这些因素使得逆向工程在国内机械行业的研究及应用受到了很大的限制。

2 基于计算机视觉的大型机械逆向工程模型

结合图2，采用计算机视觉技术进行大型机械装备逆向设计的模型如图3：

基于计算机视觉的大型机械装备逆向工程技术将计算机视觉技术与逆向工程技术相结合。该技术以大型机械装备为研究对象，以图像采集模块为开始流程，通过图像数据处理模块，最终构造出大型机械产品的三维模型。该技术可以分为三个关键步骤：数据采集、数据处理和三维重建。

2.1图像采集

基于计算机视觉[15-16]的大型机械装备逆向工程研究是从获取客观世界的图像开始的，图像采集是获取信息的过程。图像采集需要使用一定的采集装置或设备（如照相机、摄像机），采集装置和设备的性能会影响数据采集的质量；客观物体要受到光源的照射才能被采集装置或设备采集到。因此，数据采集设备和光源的选择会直接影响图像数据采集的质量。

图3 基于计算机视觉的大型机械装备逆向模型

在计算机视觉中，采集图像最终的目的是：采用计算机技术从图像中获取客观物体的二维信息。数据采集根据摄像机数目的不同，可以分为单目视觉、双目视觉、三目视觉及多目视觉[15]。

2.1.1单目视觉

单目视觉是指使用一台摄像机进行三维重建的方法。所使用的图像可以是单幅或者多幅图像。单目视觉方法主要通过图像的特征计算图像的深度信息。由于该方法研究对象较少，因此，理论发展相对较成熟。

2.1.2双目视觉

双目视觉是目前研究比较活跃的一个方向。此方法模拟人眼立体成像的过程，采用两个数相机同时获取对象的图像，然后通过图像处理技术获取物体表面的三维坐标。

2.1.3多目视觉和多目视觉

双目视觉方法在重建过程中存在假目标、重建的空间点少等缺点。针对上述问题，提出了三目视觉和多目视觉方法。多目视觉方法的一个基本思想是在双目视觉的基础上增加多台摄像机来避免双目视觉方法的不足。由于多目视觉以增加额外的硬件设备为前提，从而使得设备结构复杂，控制上难于实现，因此具体的应用场合受到了限制。多目视觉也可以通过一个数据采集设备先后在同一个场景对客观实体进行数据采集。

2.2图像处理

图像处理在计算机视觉领域分为以下过程：图像的预处理、图像特征的检测及对应关系确定。

2.2.1图像的预处理

由于采集的图像受到光照、阴影等因素的影响，所以在特征检测之前需要针对图像进行预处理。目前，预处理的方法有：曝光矫正、彩色平衡、图像降噪、图像增强、改变色调[23-24]等等。有些学者将这些概念归到信号处理范畴，但是很多计算机视觉应用为了获得好的效果，常常需要用到图像的预处理技术。

2.2.2图像特征的检测及对应

目前基于计算机视觉的逆向过程中的图像处理算法总体来说可以通过以下步骤进行构造：首先检测图像中的特征信息；然后针对检测出来的特征信息进行描述；最后查找图像之间的特征匹配关系。

基于视觉的特征检测主要包括边缘、角点、直线段及圆（孔）等的检测，有时也采用结合的方式进行检测，比如：直线段和点的结合、边缘和角点的结合等。特征点的检测及对应在过去二十多年来发展迅速，已经提出了很多有效的算法，其中大多数算法都是基于特征描述子进行特征的匹配，一些典型的描述子比如：canny描述子、sift描述子等得到了广泛的应用。针对直线检测也提出了相应的算法，比如hough变换、DSL算法等。采用的特征匹配算法同样也是基于点或者基于直线的方法。点匹配算法：一般通过极几何将对应点限制在极线上，然后通过灰度相似性进行对应点的确定。而直线之间的匹配主要采用以下两种方法：（1）以直线上的关键点信息为基础，将关键点的信息进行统计，以找到最匹配的直线；（2）采用直线的邻域信息，计算直线邻域范围内的关键点信息，并以具有仿射不变性的均值标准差描述子为基础进行直线的匹配。

2.3三维重建

在机械产品逆向工程的设计中，产品的仿形设计应用最为广泛。针对大型机械装备，产品外观的三维坐标信息是逆向工程研究的一个重点。设备运输难、场地不易选择等问题成为大型机械产品外观测量的一个难题，而且测量出来的产品精度问题不易掌握。如果产品测量误差大，将会导致产品的报废，直接影响到产品的设计周期，因此产品的外观测量精度问题显得至关重要。基于计算机视觉的大型机械产品逆向工程三维重建过程可以很好地解决外观三维坐标测量的问题。

基于计算机视觉的逆向三维重建过程需要确定对象在世界坐标下的位置。要获得大型机械装备的数据，首先必须将不同角度拍摄的图片信息转化到同一坐标系下进行计算，即检测到同一坐标下对象的三维参数。由于图像在射影变换下形状、位置会发生变化，因此，首先需要多幅图像进行还原。这个过程需要通过坐标之间的转化完成，图像点与世界之间的转化关系为：

从公式可知，要获取世界坐标(XW,YW,ZW)，必须知道图像坐标(u,v,1)及摄像的内参数u0,v0,dx,dy,f及摄像机的外部参数R,t,并且对一般场景，需要至少两幅图像。

3 大型机械装备逆向工程中的关键技术

从图3中大型机械产品模型的三个模块出发，基于计算机视觉的大型机械装备逆向工程中的关键技术包括：大型机械装备图像采集方法选择，图像的特征提取与匹配，图像拼接。

3.1图像采集方法

基于计算机视觉的大型机械产品逆向建模主要针对采集的图像进行分析，然后根据图像数据进行建模。根据分析图像数量的不同可以分为两种方法：对平面物体的分析与对一般三维物体的分析。

针对平面物体的分析一般通过单张图像就可以进行，这种方法原理简单，但是单幅图像重建后仅仅是对象的一部分模型，无法真实反映物体的三维尺寸。因此，在大型机械装备逆向工程中并不适用。

对物体的三维分析需要多幅图像，本质上就是从多幅图像中恢复产品的三维结构。因此，基于计算机视觉的大型机械产品逆向工程需要采用基于多幅图像进行分析的方法。采用单目视觉、双目视觉还是三目视觉依据具体情况而定。针对环境比较复杂的场景，由于摄像机的内参数及外参数不易标定，因此单目视觉比较实用；针对数据精度要求高的情况，尽量采用双目视觉或者三目视觉比较合适。

3.2数据处理方法

目前，基于计算机视觉的三维模型重建研究中针对的大都是纹理清晰、结构复杂的对象，采用的方法主要有：（1）基于特征点的三维重建；（2）基于特征直线的三维重建。

针对纹理清楚、结构复杂的对象比如：清华大学的清华门、大型古建筑物等可以采用基于点的重建方法；针对结构规整的对象比如：房屋、教堂等对象可以采用直线重建方法。

而大型机械装备的结构有其自身的特点：基本元素规则、简单，基本上都是由直线、圆等基本元素构成，成品颜色相近，多数产品图像纹理不太丰富等。如果采用基于点的三维重建或基于直线的三维重建方法，存在以下缺点：（1）由于大型机械装备的纹理不太丰富，所以从图像中能提取的关键点比较少；针对大型机械装备的数据采集，由于采集地点距离对象比较远，因此关键点定位信息存在一定的误差，这个误差将会对世界坐标信息的恢复带来很大的影响；（2）直线断线情况比较严重，而且提取的线段端点信息不准确，这些缺点会直接影响检测的精度；（3）基于点的三维重建对诸如圆等特征的拟合效果不佳。这三个原因直接导致了重建后的大型机械装备效果不理想，因此传统的方法不能直接应用于大型机械装备逆向工程，针对大型机械产品的三维重建需要依据对象设计相应的的特征提取与匹配方法。

基于大型机械装备自身的几何特点，因此，大型机械装备的逆向过程可以将大型机械装备的高级语义（比如机械产品的中常用的长方形、圆等元素）与计算机视觉中的特征提取相结合，设计一种基于计算机视觉的大型机械装备快速特征提取及匹配算法。

3.3三维重建方法

由于基于计算机视觉的大型机械装备逆向过程需要恢复三维结构，这个过程需要考虑以下因素：（1）摄像机模型的选择及摄像机参数的估计。由于各个坐标之间的转换不可避免的会产生一定地误差，因此，为了提高三维重建结果的精度，针对摄像机参数的标定需要研究一种高精度的标定方法。当拍摄对象的所有摄像机的内参数及摄像机的外部参数均已知时，对象在空间中各点的位置均可通过计算得知。因此基于单幅图像的产品三维模型很容易绘制出来；（2）图像的拼接技术。基于计算机视觉的大型机械装备逆向工程针对的是大型机械装备，如果重建的三维模型需要的精度比较高时，对象采集的距离不能太远，因此图像中的对象会产生断裂情况。为了获得大型机械产品的整体三维结构，基于计算机视觉的大型机械装备逆向工程需要采用计算机视觉中的点云融合技术。因此，设计一种高效、快速的点云融合技术也是基于计算机视觉的大型机械产品逆向工程研究的一个重点。

4 总结

逆向工程作为机械行业的一种先进制造技术，能有效地缩短产品开发周期，提高产品开发效率。目前，机械产品逆向工程的研究对象主要针对一些小零件，大型机械装备的逆向开发由于场地、环境等因素的制约，研究过程及实际应用均受到了极大限制。由于计算机视觉技术具有非接触、不受被测环境影响、重建速度快等优点，因此，可以将计算机视觉与大型机械装备逆向相结合。本文比较详细地分析和讨论了基于计算机视觉的大型机械装备逆向工程模型和关键技术，并指出了每一种关键技术中存在的问题。

为了提高基于计算机视觉的大型机械装备逆向工程重建的三维模型精度与速度，可采用如下途径解决目前存在的问题：

（1）数据采集方法选择：数据采集方法可以采用单目视觉采集方法，该方法可有效地解决大型机械装备逆向开发中场地、环境复杂等问题；

（2）数据处理方法：充分利用大型机械装备的高级几何语义设计一种新的特征描述与匹配算法，可以提高大型机械装备特征匹配的速度和精度；

（3）三维重建方法：引入高精度的摄像机参数估计方法及点云融合技术，可以提高大型机械装备的三维模型精度。

理论模型都是在一定假设的条件下建立起来的。由于机械装备实际场景比较复杂，图像采集情况变化多样，和实际情况有一些偏差。因此，基于计算机视觉的大型机械装备逆向工程仍处于研究阶段，若要达到实际应用过程，仍需要进一步深入研究。随着问题的深入研究，将会引起国内外专家学者的重视，相信这个问题在不久的将来会有所突破。

[1]BECCARI C V,FARELLA E,LIVERANI A,et al.A fast interactive reverse-engineering system[J].Computer-Aided Design,2010,42(10)：860-873.

[2]SOKOVIC M,KOPAC J.RE(reverse engineering)as necessary phase by rapid product development[J].Journal of Materials Processing Technology,2006,175(1)：398-403.

[3]李志新,黄曼慧,成思源.逆向工程技术及其应用[J].现代制造工程,2007（2）：58-60.

[4]LI D P.Application of Coordinate Measuring Machine in Reverse Engineering[J].Advanced Materials Research,2011(301)：269-274.

[5]罗小宾.机械产品图像识别技术及其在反求设计中的应用研究[D].成都：四川大学,2004.

[6]余国鑫,成思源,张湘伟,等.典型逆向工程CAD建模系统的比较[J].机械设计,2006,23(12)：1-3.

[7]柯映林,肖尧先,李江雄.反求工程CAD建模技术研究[J].计算机辅助设计与图形学学报,2001,13(6)：570-575.

[8]赵萍,李永奎,白雪卫,等.逆向工程中数字化测量方法及其应用[J].机械设计与制造,2009(2)：98-100.

[9]LEE K H,WOO H,SUK T.Data reduction methods for reverse engineering[J].The International Journal of Advanced Manufacturing Technology,2001,17(10)：735-743.

[10]吕国刚,谌永祥,李永桥.反求工程测量技术简述[J].机械研究与应用,2006,19(4)：7-8.

[11]罗大兵,高明,王培俊.逆向工程中数字化测量与点云数据处理[J].机械设计与制造,2005,9(9)：56-58.

[12]齐从谦,陈亚洲,甘屹,等.反求工程中复杂曲面数字化重构关键技术的研究[J].机械工程学报,2003,39(4)：131-135.

[13]刘兴伟,殷国富,罗阳.基于局部曲面重建的逆向工程系统模型的研究[J].计算机集成制造系统,2001,7(4)：12-16.

[14]孙福辉,席平,唐荣锡.复杂产品集成逆向工程系统及其关键技术[J].北京航空航天大学学报,2001,27(3)：351-355.

[15]章毓晋.计算机视觉教程[M].北京：人民邮电出版社，2011.

[16]艾海州，兴军亮.计算机视觉——算法与应用[M].北京：清华大学出版社，2012.

Research on the Large Mechanical Reverse Engineering Measurement Based on Computer Vision

QU Xiao-hong1,HU Li-hua2
(1.School of Education al Science and Technology，Shanxi Datong University，Datong Shanxi,037009;2.School of Computer Sclence and Technlolgy,Taiyuan University of Science and Technology,Taiyuan Shanxi,030024)

Reverse engineering,which is a new advanced manufacturing technology,has been widely used in various industries.The computer vision,which is a non-contact measurement method used in reverse engineering,has the advantage of high accuracy,high speed,and insensitive to the environment variations of the object to be measured.Computer vision based reverse engineering has been extensively studied in both academia and industry,but few people made a research on the large mechanical equipments using the computer vision.In this work,computer vision based large mechanical equipments reverse engineering is reviewed.Three key steps：data acquisition,data processing and modeling of large mechanical equipment are summarized and the existing problems in each step are discussed deeply，followed by some possible promising techniques.

large mechanical equipment；reverse engineering；computer vision；feature detection；

TP 391.72

A

〔责任编辑 高海〕

1674-0874(2017)01-0010-06

2016-08-08

太原科技大学博士启动基金[20160009]

曲霄红（1980-），女，山西应县人，硕士，讲师，研究方向：计算机应用技术。