物体三维数字化中的机器视觉视点规划方法

陈天凡，高诚辉，何炳蔚

（1.福州大学 机械工程及自动化学院，福建 福州 350108；2.福州职业技术学院 机械工程系，福建 福州 350108）

物体三维数字化中通过特定的测量设备和测量方法获取物体表面的三维数据信息，机器视觉是非接触式获取三维数据应用最广泛的方法之一，具有非接触、全视场测量、高精度和自动化程度高的特点.机器视觉通过光学器件对目标物体进行非接触感知，并自动获取和感知目标图像，达到获取信息和控制机器的目的.机器视觉用机器代替人眼来做测量和判断，通过计算机对得到的目标图像进行理解，获取所需的结果［1］.近年来，机器视觉技术发展迅速，广泛应用到工业、农业、交通、军事、医学工程等各个领域中.如应用于工业产品开发阶段的逆向设计、产品生产制造阶段的自动化生产、检测和质量控制、机器人等，机器视觉技术是信息技术中的一门不可缺少的技术［2］.

1 机器视觉系统

机器视觉系统主要有单目视觉系统、双目视觉系统和多目视觉系统，一般由视觉传感器、图像采集装置、图像处理系统以及视觉反馈系统组成，如图1所示.系统典型的工作流程为：由视觉传感器获取图像，通过图像采集装置收集，由图像处理系统对图像进行一系列分析、计算，得到图像的特征，进行模式识别，然后根据识别结果进行下一步骤.机器视觉系统常用电荷耦合器件（CCD）及互补金属氧化物半导体（CMOS）摄像机等机器视觉产品，将目标对象转换成便于计算机处理的图像信号，图像处理系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作.视点规划也称为传感器规划（Sensor Planning，SP），是指利用给定的环境信息以及将要完成的任务信息来自动决定传感器参数最佳值的策略.视点规划是目前机器视觉研究中的一个新领域，优化视点规划方案不仅能提高规划效率，而且可以提高采集的图像信号数据质量、减少图像后处理和分析的难度，对于物体三维数字化的效果和提高方法的自动程度具有十分重要的意义.

图1 机器视觉系统Fig.1 Machine vision system

2 视点规划方法

视点规划方法根据机器视觉目标模型是否已知可分为基于模型的视点规划方法和基于未知模型的视点规划方法，根据传感器参数的优化策略主要有产生－测试法、合成法和专家系统等方法［3－5］.文献［6］提出主动视觉规划，并提出了下一最优视点（Next Best View，NBV）的概念，即确定出传感器下一个最优的空间位置和方向参数（即下一最优视点位置），以保证视觉系统能够在此视点下快速、有效地获得目标物体的数据信息.文献［3］提出表示传感器空间观察位置的网格球面模型，如图2所示.图中r1，θ1，φ1，r2，θ2，φ2为视觉传感器1，2的球坐标位置.许多学者开展了视觉规划的研究，研究方法逐渐从基于模型的视点规划方法向基于未知模型的视点规划方法发展.

2.1 基于模型的视点规划

基于模型的视点规划方法主要是建立在已知CAD模型的基础上展开的，从集合论、图形论和几何学理论等方面开展研究.基于模型的视点规划任务主要为在已知模型的条件下确定最佳的视点位置和保证在各个视点间的移动路径最优，主要规划步骤为［7］：

（1）提供已知的物体几何模型信息.

（2）给定视觉规划的任务以及视觉传感器的分布情况.

（3）产生最少视点数的传感器位置分布情况集合.

（4）选取移动路径最优的视点规划方案.

（5）输出视点规划结果.

基于模型的视点规划方法主要以可测性矩阵作为规划的算法，文献［8］提出基于掠射角阈值的方法、基于掠射角信息的方法和针对剩余孔洞等调整后的规划方法，文献［9］提出以改进后的可测性矩阵作为规划算法，使规划效率更高，规划出的视点位置更合理.

图2 网格球面模型Fig.2 Grid spherical model

2.2 基于未知模型的视点规划

基于未知模型的视点规划方法主要有基于面的方法、体积探测法和综合法.

2.2.1 基于面的方法

基于面的方法主要是依据物体表面的图像信息来确定视觉系统的视点参数，包括边界遮挡探测法和轮廓跟踪法.文献［10］提出的边界遮挡探测法主要适用于基于线激光传感器的数据采集，但由于视觉系统只有一个旋转自由度的限制，未能获取模型所有表面的信息.文献［11］提出的轮廓跟踪法主要适用于尺寸适中、外形轮廓比较平顺的物体，在获取目标物体的一部分信息后，传感器“跟踪”目标的边界，从而获取剩余的物体表面信息，文献［12］结合了视觉系统本身的可视区域，以可视区域能够覆盖整个跟踪轮廓为前提，提高了规划效果.以上两种方法只能提供视觉传感器在空间的方向参数，无法提供其在空间的位置参数［13］.

2.2.2 体积探测法

体积探测法是利用机器视觉系统获取工作空间的信息，根据在不同的视点下所获得的空间信息，计算前后视点的空间信息差，选取差值最大者作为下一最优视点的位置.体积探测法主要有网格法、八叉树法、空间切割法和立体几何法等.文献［14］利用网格法把像素空间分为占有和空缺两种情况，将能够获得物体最多未知信息的位置作为下一最优视点位置，网格法比较适合表面粗糙的物体，计算所需内存大.文献［6］提出的八叉树法规划效率比网格法有较大的提高，但未考虑机器视觉系统的测量深度以及可视区域的影响.文献［15］利用空间切割法以避免遮挡和路径规划为目标，通过不断更新获得的像素以获得物体的信息，适用于视场较小的视觉系统.立体几何法要求目标对象在视场范围内，对于复杂的拓扑结构具有鲁棒性.

2.2.3 综合法

文献［16］建立了机器视觉系统的扫描窗模型，利用目标物体的边界框和质心信息，沿着物体表面三维曲线路径进行自动视觉规划，该方法对于尺寸较小物体规划效果不理想.文献［17］提出了矢量链法，用外法矢表示所得到的目标物体表面所组成曲面的信息，将外法矢首尾相接，得到反映不可视部分信息的一个矢量，将该矢量作为下一最优视点的方向参数，该方法要求所有的法矢首尾相接能够封闭，适用于外形轮廓简单的物体.文献［18］提出了位置空间法，在传感器和目标物体间构建出包含物体的可见性和传感器扫描可能性区域的位置空间表面，然后根据这个平面上的信息规划下一最优视点.文献［19］提出了信息熵与B样条曲面重构方法相结合的视点规划方法，建立B样条曲面与数据点真值的误差解析式，根据B样条基函数的海塞矩阵来选择下一最优视点，该方法不适合于具有复杂表面和存在孔洞表面的模型.

文献［20］利用信息链表示已获得的环境信息和有可能获得的环境信息，提出了一种以信息链为基础的视觉规划方法，在各个时间点更新信息链，选择下一最优视点的位置.文献［21］提出基于信息熵法的视觉规划方法，以获得模型最大信息熵的空间位置，确定下一最优视点，自动重构未知物体模型.文献［22］提出利用提示体素两步视觉规划法，第一步获取粗糙的初始模型信息，通过在足够的精度条件下所获取的可视提示体素的数量和质量进行规划获得；第二步获取下一最优视点，在模型改进阶段通过获取可视遮挡平面体素和低质量的可视体素的数量来规划，完成整个重建过程，该方法能获得视点的准确位置，但规划效率低.文献［23］提出协方差矩阵法，利用协方差矩阵代表物体的未知信息，以获取最大的未知信息和获取模型精度为目标确定下一最优视点.文献［24］利用估计最大后验概率来确定下一最优视点，通过贝叶斯原理提取，未获取信息.

文献［25］针对室内场景的重建，提出二维图像和三维数据相结合的视点规划方法，把室内墙壁、地板等作为一些标记来确定机器人下一视点位置的依据.文献［26］通过初始视点获取到物体部分表面信息，利用体素表格表示物体的三维信息，将各个候选视点定在视觉球面上，根据可获取的表面积大小、视觉系统移动的距离、获取信息的精度和遮挡影响等因素确定下一最优视点.也有研究者提出一种基于视觉系统极限可视区域的视点规划新方法［27－28］，结合主被动视觉技术，确定机器视觉系统的最佳可视测量区域，根据初始视点下所获模型的边界区域信息构造未知空间的极限可视表面模型，将左右规划进程中能获取最大可视曲线长度的位置定义为下一最优视点的参考位置，通过比较左右参考位置下所获可视面积的大小，取大者所在位置作为下一最优视点的最终位置.

2.3 视点规划中的遮挡问题

解决遮挡问题是视点规划研究中的一个重要内容，也是研究的难点.由于机器视觉系统本身的结构或由于目标物体的形状特征导致视觉传感器未能获取到目标物体上的三维信息，产生了遮挡区域.

对于遮挡部分要选择合适的视点位置予以消除，否则在目标物体的三维表面数据中出现孔洞.文献［14］利用遮挡面的中心法线作为摄像机的方向参数解决物体自遮挡问题，该方法能有效地解决对于遮挡部分表面比较顺滑的情况，但对于存在多处且表面复杂的遮挡表面，规划效率低.文献［8］采用一种八叉树结构模型表示未获取的区域，从而获得物体的未知部分，解决由于机器视觉系统本身的结构引起的遮挡，提出通过多传感器相结合的方法获取由于目标物体的形状特征引起的遮挡部分，但未给出具体的规划策略.文献［29］利用三角测量原理，利用两个相机互相补充拍摄以获取遮挡部分的信息.文献［30］针对模型中的难以获取的凹陷遮挡部分，用两个相交的平面表示凹陷部分，确定所需的视点数.文献［12］采用网格修补方法解决孔洞遮挡等问题.文献［31］将物体重建过程分为侧面重建和上表面重建两个步骤，侧面重建中预测出遮挡部分的轮廓模型，结合可视空间确定出消除遮挡的视点位置，针对上表面重建过程中的遮挡问题，提出以遮挡边界连线的法矢为依据，确定规划方案.

3 结语

在物体三维数字化过程中，对机器视觉视点规划方法的研究已逐渐从基于模型向基于未知模型的视点规划方法发展，研究展望如下：

（1）机器视觉系统由于遮挡等问题出现数据点云孔洞，通过视点规划有效地解决遮挡问题和处理点云孔洞问题是视点规划研究的一个重要方面.

（2）自动规划是视点规划研究的重要内容，如何有效地进行自动规划还处于研究阶段，结合目标物体所在的全局环境进行视点路径规划和视点自动规划应用于视觉机器人等领域具有巨大的应用价值.

（3）不同视点下获得的三维数据点云都是目标物体的局部信息，需要进行点云拼合才能得到目标物体表面完整的点云数据.点云拼合中的一个主要问题是拼合精度问题，视点规划结果决定需要拼合的点云片数，视点位姿也影响到所获取三维数据的准确性.点云拼合方法和拼合精度对目标物体表面的重构准确性起到重要作用，直接影响视点规划的效果和物体三维数字化精度.提高机器视觉系统获取目标物体三维数据的准确性和点云拼合的精度也是以后研究的一个方向.

（4）机器视觉系统的视觉传感器与触觉传感器、声学传感器等其他种类传感器结合，开展视点规划和数据融合研究对物体三维数字化是一种新的探索.

［1］GOLNABI H，ASADPOUR A.Design and application of in industrial machine vision systems［J］.Rototics and Computer-Integrated Manufacturing，2007，23（6）：630－637.

［2］WESLEY E，SNYDER H Q.机器视觉教程［M］.林学訚，崔锦实，赵清杰，等，译.北京：机械工业出版社，2005.WEALEY E，SNYDER H Q.Machine vision［M］.LIN Xuexin，CUI Jinshi，ZHAO Qingjie，et al，Translation.Beijing：China Machine Press，2005.

［3］SAKANE S，NIEPOLD R，SATO T，et al.Illumination setup planning for a hand-eye system based on an environment model［J］.Advanced Robotics，1992，6（4）：461－482.

［4］COWAN C K，MODAYUR B.Edge-based placement of camera and light source for object recognition and location ［C］∥Int Conf Robotics and Automation.Atlanta GA：IEEE Piscataway，1993：586－591.

［5］MASON S.Heuristic reasoning strategy for automated sensor placement［J］.Photogrammetric Engineering and Remote Sensing，1997，63（9）：1093－1102.

［6］CONNOLLY C.The determination of next best views［J］.The IEEE International Conference on Robotics ＆ Automation，1985（2）：432－435.

［7］CHEN S Y，LI Y F，ZHANG J W，et al.Active sensor planning for multiview vision tasks［M］.Berlin：Springer-Verlag Berlin Heidelberg，2008.

［8］TARBOX G，GOTTSCHLICH S.Planning for complete sensor coverage in inspection［J］.Computer Vision and Image Understanding，1995，61（1）：84－111.

［9］SCOTT W R.Model-based view planning［J］.Machine Vision and Applications，2009，20（1）：47－69.

［10］MAVER J，BAJCSY R.Occlusions as a guide for planning the next view［J］.IEEE Trans PAMI，1993，17（5）：417－433.

［11］GARCUA M，VELAZQUEZ S，SAPPA A，et al.Autonomous sensor planning for 3Dreconstruction of complex objects from range images［J］.The IEEE International Conference on Robotics and Automation，1998（4）：3085－3090.

［12］SOUCY G，CALLARI F，FERRIE F.Uniform and complete surface coverage with a robot-mounted laser rangefinder［J］.The IEEE/RSJ International Conference on Intelligent Robots and Systems，1998（3）：1682－1688.

［13］何炳蔚.未知对象三维重建的视觉传感器规划方法研究［J］.工程图学学报，2008（6）：68－74.

HE Bingwei.A view planning method for 3Dreconstruction unknown object［J］.Journal of Engineering Graphics，2008（6）：68－74.

［14］BANTA J E，WONG L R，DUMONT C，et al.A next-best-view system for autonomous 3Dobject reconstruction［J］.IEEE Transactions on Systems Man and Cybernetics—Part A：Systems and Humans，2000，30（5）：589－598.

［15］PAPADOPOULOS-ORFANOS D，SCHMITT F.Automatic 3Ddigitization using a laser rangefinder with a small feld of view［C］∥The International Conference on Recent Advances in 3DDigital Imaging and Modeling.Piscataway，New Jersey：IEEE Conference Publication，1997：60－67.

［16］LARSSON S，KJELLANDER J A P.Path planning for laser scanning with an industrial robot［J］.Robotics and Autonomous Systems，2008，56（7）：615－624.

［17］YUAN X.A mechanism of automatic 3Dobjects modeling［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1995，17（3）：307－311.

［18］PITO R.A solution to the next best view problem for automated surface acquisition［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1999，21（10）：1016－1030.

［19］LI Y F，LIU Z G.Information entropy-based viewpoint planning for 3Dobject reconstruction ［J］.IEEE Transactions on Robotics，2005，21（3）：324－337.

［20］MA J，BURDICK J.Sensor planning for object pose estimation and identification［C］∥The 2009IEEE International Conference on Robotic and Sensors Environments.Piscataway，New Jersey：IEEE Conference Publication，2009：69－74.

［21］ABIDI B A.Automatic sensor placement［C］∥Proc SPIE.New York：Springer-Verlag，1995：387－398.

［22］MUNKELT C，KÜHMSTEDT P，DENZLER J.Incorporation of a-priori information in planning the next best view ［C］//Proceedings of International Workshop Vision，Modeling，and Visualization.Piscataway，New Jersey：IEEE Conference Publication，2006：261－268.

［23］DUNN E，BERG J D，FRAHM J.Developing visual sensing strategies through next best view planning［C］∥The 2009IEEE/RSJ International Conference on Intelligent Robots and Systems.Piscataway，New Jersey：IEEE Conference Publication，2009：4001－4008.

［24］LOPEZ-DAMIAN E，ETCHEVERRY G，SUCAR L E，et al.Probabilistic view planner for 3Dmodeling indoor environments［C］∥The 2009IEEE/RSJ International Conference on Intelligent Robots and Systems.Piscataway，New Jersey：IEEE Conference Publication，2009：4021－4026.

［25］STRAND M，DILLMANN R.Using an attributed 2D－grid for next-best-view planning on 3Denvironment data for an autonomous robot［C］∥The 2008IEEE International Conference on Information and Automation.Piscataway，New Jersey：IEEE Conference Publication，2008：314－319.

［26］VASQUEZ-GOMEZ，LOPEZ-DAMIAN E，SUCAR L E.View planning for 3Dobject reconstruction［C］∥The 2009IEEE/RSJ International Conference on Intelligent Robots and Systems.Piscataway，New Jersey：IEEE Conference Publication，2009：4015－4020.

［27］何炳蔚，周小龙.面向未知物体自动测量和重建的视点规划方法［J］.计算机辅助设计与图形学学报，2010，22（8）：1374－1381.

HE Bingwei，ZHOU Xiaolong.View planning method for automatic measurement and reconstruction of unknown objects［J］.Journal of Computer-Aided Design ＆ Computer Graphics，2010，22（8）：1374－1381.

［28］何炳蔚，周小龙.基于单目视觉可视空间的视点规划方法［J］.仪器仪表学报，2010，31（2）：390－396.

HE Bingwei，ZHOU Xiaolong.View planning method based on visual region of monocular vision system［J］.Chinese Journal of Scientific Instrument，2010，31（2）：390－396.

［29］CHEN B T，LOU W S，CHEN C C，et al.A 3Dscanning system based on low-occlusion approach［C］∥The Second International Conference on 3－D Imaging and Modeling（3DIM’99）.Piscataway，New Jersey：IEEE Conference Publication，1999：506－515.

［30］DAN Z，ALI A.Shape recovery and viewpoint planning for reverse engineering［J］.The International Journal of Advanced Manufacturing Technology，2005，26：1370－1378.

［31］何炳蔚，林东艺，陈志鹏，等.三维物体视觉测量重构中解决遮挡问题的方法研究［J］.中国激光，2011，38（7）：0708001（1）－0708001（10）.

HE Bingwei，LIN Dongyi，CHEN Zhipeng，et al.Research of eliminating occlusion in visual construction of three-dimensional objects［J］.China Journal of Lasers，2011，38（7）：0708001（1）－0708001（10）.