翟紫伶
摘要:基于图像的三维建模占建模领域很大的比重,如果可以全面地掌握基于图像建模的特点及其关键技术,则可帮助该领域的技术人员更高效准确地寻找到技术改进点。对该领域专利分析课题的研究,可為基于图像的三维建模提供关键技术和理论支撑,推动基于图像建模相关技术的商业应用和推广,具有重要的学术意义和应用价值。
关键词:图像;三维建模;特征点;标定;专利申请
1.引言
对于计算机而言,其所能够直接获取到的数据源仅为二维平面图像,相对于真实的三维景物无疑会存在着一定程度的信息丢失,因此利用二维图像来重建三维物体便不可避免的成为一个重点问题。在实际工作中采用对同一物体从不同的角度分别成像,进而对这些数据进行分析、综合来恢复出被摄物体的三维信息。
基于图像的建模分为主动法和被动法两种。其中,利用主动式重建算法中可以通过硬件实时获取场景深度的优势。被动式单目重建算法虽然流程复杂、运行时间长,但其扩展性高、成本低、不易受环境光的干扰、应用场景多,因此深受研究人员的青睐。
2.图像三维建模技术
2.1 基于轮廓法的三维建模技术
基于轮廓的三维建模主要是通过分析物体多视角下的轮廓图像或者物体的侧影轮廓线,从而得到物体的三维模型。轮廓线法是Keppel提出的采用三角面片覆盖物体表面,且这些三角面片所围成的体积为最大的方法。之后又出现了诸如基于最小周长、最小对角线等各种改进的轮廓线法。总体的思路就是将每层图像的轮廓提取出来,然后采用以轮廓线点为顶点的三角面片进行连接。
通过检索现有专利分析可知,基于轮廓的三维建模技术主要发展在于轮廓的获取。轮廓作为三维模型的一个重要特征,一直是公司、学校等相关人员的研究重点,其主要发展方向为:直接基于点云数据进行轮廓提取、基于图像的特征点进行轮廓提取以及手动输入轮廓信息。
由于轮廓信息相对图像中其他线索信息而言,是一种明确、不含二义性的信息形式,这使得轮廓法具有建模速度快、鲁棒性高的优势。并且,由于其数据的取值范围只有2种(属于前景区域或背景区域),因此,计算复杂性较低。轮廓法是所有建模方法中效率最高的,也是唯一能够满足实时需求的建模方法。由于几乎所有物体在图像中都包含明确、清楚的轮廓信息,使得轮廓法可以应用于透明、特征点较少、纹理欠缺等其他方法难以处理的物体的建模,具有较高的通用性。轮廓法的缺点是其需要的输入数据源较苛刻、建模精度较低。
2.2 基于亮度法的三维建模技术
基于亮度的建模是通过分析物体多个视角下图像中亮度特征的一致性关系,恢复出其表面的深度信息,并得到其三维几何模型。基于亮度的三维建模可分为正向法和逆向法,正向法对物体所在的三维空间进行均匀采样,将各采样点投影到所有二维图像中,如果其满足亮度一致性,则说明该三维点属于物体表面,将其保留,否则,将其剔除,而逆向法则是搜索满足亮度一致性的匹配点,使用立体视觉的三角测量原理,由这些特征点反算其对应的三维点位置。
亮度法的优势是可以几乎全自动地得到较高的建模精度。由于亮度信息是图像中最丰富、包含数据量最大的信息形式,这使得可以通过计算亮度在不同图像之间的匹配性,精确地计算物体表面每个点的深度值,这使得其可以更好地表现出物体表面的几何细节。对于一些满足亮度法假设的物体,现有的方法已可达到与三维扫描仪相近的建模精度。并且,亮度法没有严格的光照条件要求,也没有图像分割、改变焦距等手工交互,这使得该方法能满足全自动的要求。
亮度法要求物体基本满足朗伯表面的假设,这使得其无法应用于重建透明、金属、瓷器等包含大量高光、反射信息的物体。缺少表面纹理变化、重复的表面纹理会增加亮度匹配的误匹配率,使得该方法的鲁棒性与灵活性较低。由于在亮度匹配的计算过程中,需要使用数值优化算法,使得该方法计算复杂性较高,无法满足实时需求.而且精确的相机定标要求使其应用受限。但由于亮度法能够得到很高的建模精度,使得这种方法广泛应用于文物数字化、人脸自动建模等对精度要求较高的场合。
2.3 基于运动法的三维建模技术
基于运动的建模通过在2幅或多幅未定标图像中检测匹配的特征点集,使用数值方法,同时恢复出相机运动参数与场景几何,并得到物体三维模型。运动法首先在图像中寻找匹配特征点,以恢复出相邻图像间相机的位姿关系。首先获取匹配特征点检测算子,这些算子能从图像中得到大量的候选匹配点,由于其中存在大量的误匹配,可以对这些匹配点进行精化,得到少量精确的匹配点,并从中恢复出相机的运动参数与特征点的三维坐标。
运动法的优势是不需预先标定相机的参数,从而降低了对图像采集过程的限制,这使得该方法的输入源并不局限在为建模而专门采集的图像序列,还可使用已有的随意拍摄的图像序列,甚至视频序列进行三维建模。同时,由于运动法的基础是特征点匹配技术,而该技术是计算机视觉领域的重要热点技术,随着鲁棒的特征点匹配算子的出现。使得运动法对于光照条件、图像噪声等也具有了极强的鲁棒性。并且,运动法独有的分层次重建特性可以分开独立进行,可控性较高。
然而,由于运动法计算的仅是所有匹配特征点的三维坐标,而特征点信息在图像中含量通常较少,只是对物体表面三维几何的稀疏逼近,因此运动法的建模精度较低,通常应用于对物体结构的感知,因此被较多应用于室外场景、自然景观、建筑物等的三维建模。
通过上述专利分析可知,基于运动的三维建模技术主要发展在于轮廓的特征点的匹配。特征点的匹配三维建模的一个重要过程,一直是学校等相关人员的研究重点。
3. 小结
基于如上的分析过程可以看出,无论从图像三维建模的任一技术分支来看,在经历了从20世纪90年代末到21世纪初之间的从无到有、从萌芽到飞速发展的阶段之后,这些技术都逐渐走向成熟,而协同机器学习技术将是未来图像三维建模的重点发展方向。与此对应,国内的相关专利申请随着近几年相关技术的快速发展而呈现势头较猛的追赶趋势,越来越多的企业及高校和研究所在基于图像的三维建模的研究上投入了大量的精力,也获得了丰硕的研究成果,国内的专利申请数量有了较大幅度的提升,但是国内专利申请的质量方面仍有很大提升空间。
参考文献
[1]邓春新,基于图形图像的三维建模技术研究,工业设计[J],2017.11.20
[2]董鹏辉 等,基于图像的三维重建技术综述,无线电通信技术[J],2019.02.28