张春森,张卫龙,郭丙轩,刘健辰,李 明
1.西安科技大学测绘科学与技术学院,陕西 西安 710054;2.武汉大学测绘遥感信息工程国家重点实验室,湖北 武汉 430079;3.武汉大学遥感信息工程学院,湖北 武汉 430079
随着城市规划、建筑景观设计、三维导航以及城市旅游等应用对城市真三维景观的需要,建立镶嵌有影像纹理的真三维城市模型(3DCM)已凸现出较高的经济价值和应用前景。虽然在三维几何数据的获取方面,出现了利用激光测距原理快速建立物体三维影像模型[1]的三维激光扫描仪,为几何数据的快速获取提供了有效途径,但纹理数据的获取问题,尤其是大面积建筑物墙面纹理数据的快速重建并没有得到较好的解决。目前,在城市三维建模中,对于城市内数以千计的建筑物,纹理重建方面仍然主要依靠人工操作来完成[2]。自动或半自动的建筑物模型三维重建已成为国内外研究的重点,引起了包括计算机视觉界、摄影测量界在内的广大学者的关注与深入研究。
数字摄影测量技术因在处理大范围场景能力以及三维重建精度方面具有无可比拟的优势,使得其在数字城市建设中人工建筑物真三维模型的获取方面扮演着重要的角色,被认为是目前获取三维城市模型数据最有吸引力的方法之一。然而,传统摄影测量获取航空影像时,基本是近似竖直摄影,航空影像上的屋顶信息丰富而墙面往往不可见。同时,由于存在建筑物稠密区域的遮挡现象,也使得航空影像不能有效提供建筑物侧面的纹理信息。
航空倾斜摄影测量具有机动性、低成本等优势,特别是近年来出现的多角度组合相机,使得航空倾斜摄影所携带的数码成像设备不仅可以多角度摄影,还具备精度高的特性,不但能竖直拍摄获取良好的正直影像,还能多角度倾斜摄影获取建筑物多面高分辨率影像,极大地弥补了传统航空摄影获取城市建筑物时遇到的高层建筑遮挡问题。这为采用摄影测量方法进行影像纹理映射提供了可能,同时也为快速、大面积城市建筑物真三维模型获取的自动化提供了新的途径。然而,倾斜影像存在诸如:①幅面较小,同视影像基线较短;②不同视角影像变形大,造成影像匹配困难;③数据量大,增加了数据处理的工作量,使得在对大量影像处理的时候对计算机内存有一定的要求。这一切又对应用倾斜影像进行三维城市建模与纹理快速重建提出了挑战。
由于纹理是依附于目标重建模型的表面,因此,国内外学者对地物纹理获取的研究通常是与地物三维重建紧密地联系在一起[2-4]。目前,基于倾斜影像进行纹理重建的方法主要有:文献[5]提出的利用倾斜航空影像自动重建三维建筑物纹理的方案,即已知影像粗略的内、外方位元素,通过匹配二维影像上的线段与三维建筑物模型三维线段的投影结果完成配准,综合影像遮挡影响、影像分辨率、模型法向量等选择高质量的纹理,最终形成纹理库以备模型的渲染;文献[6]将倾斜航空影像与由机载点云数据生成的三维模型进行自动纹理映射;文献[7]利用高分辨率面阵数码相机作为遥感设备,以低空无人机为平台,在恢复两幅影像在空中成像时的相对方位后,通过适当的数学模型将多个镜头获取的相互倾斜的影像转换成同一投影中心、同一像平面、同主距的一幅虚拟影像,通过视角法优选成像角度好的影像,并结合深度缓存算法判断遮挡程度,两者综合考虑得到最优影像。
本文利用倾斜摄影获取的城市正直及倾斜影像,基于摄影测量计算机视觉原理,提出一种三维城市模型纹理快速重建的方法:在获得城市建筑物数字表面模型的基础上,实现建筑物侧墙纹理的自动提取、匀色及稠密建筑物纹理的遮挡处理;并且在纹理重建过程中,通过稀疏网格算法进行加速;最终在OSG技术支持下,实现纹理编辑及所建真三维模型的漫游显示。
实现基于摄影测量计算视觉的三维城市模型纹理快速重建,包含如下关键技术环节:①通过相机检校参数纠正影像,利用纠正之后的多张相关影像信息进行空中三角测量恢复其影像的空中姿态[8-13];②经过密集匹配获取地物的三维坐标信息并建立地物模型;③利用共线方程计算物方与像方的几何投影关系,以获得地物的三维信息和纹理信息[13-19],通过一定的最优算法选择出地物面的最优纹理,实现考虑纹理遮挡的纹理自动映射及匀色;④在必要时,基于OSG技术实现纹理映射人机交互编辑;⑤使用OSG平台对所建真三维模型进行漫游显示。整个工作的主要技术流程如图1所示,即通过对获得的倾斜影像进行几何处理、多视匹配、三角网构建提取出典型地物纹理特征,并对该纹理进行可视化处理,最终得到三维模型。
图1 技术流程图Fig.1 Technology flow chart
基于倾斜影像的空中三角测量技术为通过多张影像获取建筑物准确的三维信息提供了必要条件。在已检校和纠正影像的前提下,结合投影关系确定物方与像方的几何关系,可以获得建筑物的三维信息和纹理信息,实现模型几何体构建和纹理自动映射,完成三维城市模型的构建。
建筑物纹理映射需要解决3个方面的问题:①获取影像的内、外方位元素,即恢复影像的空中姿态;②获得空间地物点到各影像的投影对应关系;③处理多影像、多纹理的问题以及稠密建筑物地区纹理的遮挡处理。
对相机进行检校,在解算出相机的内方位元素及镜头畸变参数的基础上,利用相机检校结果,进行空中三角测量解算得到精确的影像外方位元素。结合CMVS(cluster multi view stereo)方法,对同一物体不同角度的多幅图像进行密集匹配PMVS[20](patch-based multi-view stereo),获取地物的三维点云,通过优化构网算法构建地物DSM模型,即实现地物三维模型的建立(以TIN模型表示)。图2为利用Mesh Lab软件显示所建三维地物模型。
图2 地物三维模型Fig.2 Terrain 3Dmodel sketch
确定投影关系就是建立物方点到像方点的映射关系,这里采用摄影测量计算机视觉方法,物方及像点坐标都使用齐次坐标表达式[21],即设物方坐标为Q=[X,Y,Z,1]T,像点坐标为q=[x,y,1]T,两者间的投影矩阵为P。由于摄影姿态的不同,每一张影像理论上都对应一个不同的P矩阵,即
对P矩阵的求解是根据相机检校参数和影像的外方位元素得到
对纹理自动提取首先须对纹理进行初步筛选,初步筛选的原则为:使用P矩阵把地物三角面投影到每一张影像中,如果存在则必在此影像的像幅内,否则越界舍去。根据此范围原则遍历每一个地物模型的三角面(TIN模型),并为每一个三角面创建一个纹理链表,链表中的每一个节点保存着符合范围原则的纹理信息;其纹理信息包括隶属影像的索引值、面积以及对应影像中的像素坐标序列,这些信息可用于后续的纹理提取原则。后续的纹理提取原则包括:
(1)面积最大原则。遍历地物块的纹理链表计算像方面积,然后根据其面积的大小进行降序排列,链表前面的节点具有更高的优先级,即在后续的处理中链表前面的节点具有优先候选的资格。
(2)方向向量原则。每一个地物三角面按照一定的方向原则都有一个面向量,对应的每一张影像也仅有一个摄影主光轴向量,所以在选取的时候要顾及两个向量的方向问题,即当且仅当为钝角时,对应的纹理块才可以作为候选纹理块,否则将被剔除舍弃。如图3所示,建筑物nA和nB面与曝光光线的交角分别为α和β,但由于β为锐角,故只有nA面在影像中是有可利用纹理。
(3)遮挡剔除原则。经过方向向量和面积最大原则之后,反向的纹理块被剔除,但是还残留着一部分同向遮挡纹理块。由于本文使用的是高密度的地物模型,遮挡处理选择剔除舍去原则。利用一定优化的算法检测出被遮挡的纹理块。面积最大作为一个优先级的指标,遮挡处理从最高优先级的纹理三角面开始(具体见4.2节遮挡处理内容)。
图3 方向剔除原则Fig.3 Direction of eliminating principle diagram
(4)纹理自动最优裁剪原则。筛选得到最优纹理块后,使用最小的矩形对其进行裁剪存储,并且纹理的大小最好是2的指数倍,如2×2、4×4等。
(5)纹理自动纠正。由于影像存在畸变,所以纹理在映射到地物面块之前需要对其进行基于物方的影像灰度重采样,以实现最优的纹理映射。
在纹理重建区域内,不可避免地存在着城市建筑物密集的现象,建筑物表面往往表现为相互遮挡。显然,这种遮挡所导致的建筑物墙面纹理图像不完整必将影响到建筑物真三维模型的真实性和视觉效果。尽管在纹理自动提取过程中考虑到了发生纹理遮挡的可能性,并通过几何纠正以及影像互相关方法从众多的备选影像中选择遮挡最少、最清晰的作为纹理影像源,但仍然不能保证生成的墙面纹理具有理想的视觉效果。本文采用了基于像方的遮挡处理方法,即利用P矩阵把地物面块映射到影像中,结合摄影距离进行二维的处理,降低其复杂性,并建立稀疏网格加速纹理映射。具体的处理方法如下:
(1)如图4所示,在每一张影像上建立稀疏网格,网格间距为s_w×s_h(推荐使用10×10),这样每一张影像将建立(w/s_w)×(h/s_h)个内节点(其中w、h为影像的宽和高,单位为像素),这些内节点在每一张影像中形成纹理稀疏节点网。内节点将存储指向的也是一个节点链表,其链表中每一个节点指向每一个地物三角面所对应纹理链表中的一个纹理节点。初始状态下没有纹理节点,内节点指向的是NULL空间。
(2)遍历所有的地物面块计算出地物块的中心点(xcenter,ycenter,zcenter)。如式(3),(xi,yi,zi)为地物三角面的顶点坐标,即
(3)逐影像进行处理,即以一张影像对应的纹理稀疏网为处理单元,通过步骤(2)计算出的中心坐标,使用当前影像的P矩阵投影到影像中(如式(1)所示),根据投影后像距离最近原则把对应纹理节点加入最近内节点链表中。
(4)经过步骤(3)之后,每一张影像中的纹理稀疏网内节点都被填充了对应的纹理节点,此时每一个地物都被映射到2D维度中,因此判断纹理是否遮挡,只需判断某一个内节点及其一定范围内的邻域中节点内的纹理节点即可(如图4中红色内节点和邻域黄色内节点);这样判断遮挡就变成平面中判断两个三角形是否有交集的问题。这个问题在一定程度上可以简化为点是否在三角形内部的问题,即判断一个纹理三角形△ABC的顶点和与其他三角形△OPQ的交点(点M、N)是否在三角形△OPQ的内部即可。如图5所示,根据式(4)—(6)计算出交点的坐标;根据公式(7)—(9)判断是否为遮挡点(内点),设点M为待测点,如果{(u+v) <1|v>0,u>0},则待测点M在三角形△OPQ中,如果是内点,再根据其空间摄影距离,选择删除较远距离对应的纹理节点
式(4)—式(6)中,p1、p2与p3、p4分别为直线段的两端点;pa与pb分别为p1p2与p3p4上的点,如果相交则令pa=pb,即
式(7)—式(9)中,pi(i=1,2,3)为三角形的3个顶点;pcheck为待测点。
经过以上4步剔除处理,选择纹理链表中首链位置的节点作为最优纹理,进行下一步纹理映射处理。整个纹理映射过程中计算出的最佳纹理都以文件形式储存在磁盘中,需要显示加载的时候才加载,以减少纹理映射对内存的需求。
为了验证本文所给方法的有效性,对真实影像从影像匀色、纹理重建及遮挡处理3个方面进行试验分析。
如图6为某一建筑物不同时相影像,由于获取时间、光照条件、拍摄角度等因素的差异,使得影 像 在 亮 度、色 调 方 面 有 较 大 的 区 别[22-28]。图7(c)、(d)为基于 Mask原理的匀色处理结果,图7(e)、(f)为基于自适应模板的匀色处理结果,图7(g)、(h)为基于 Wallis的匀色处理结果。图8为待匀色处理全局影像,经过Wallis方法匀色处理之后的结果如图9所示。从视觉效果看,采用Wallis方法匀色的结果效果显著,而其他两种方法效果一般。因此本文推荐基于Wallis的匀色方法对影像进行匀色处理。
使用某地区真实倾斜影像作为试验数据进行城市三维模型纹理重建。图10为地物(建筑物)侧面纹理重建效果。
选择具有代表性的建筑物和街区数据,在生成三维点云及三维模型的基础上,采用本文所给纹理映射方法对其进行纹理重建,图11为所建街区原始影像。
图12(a)—(c)分别为在OSG平台下对街区原始影像部分区域(见图11红色多边形部分)重建三维模型的前视、右视、俯视效果图,12(d)为使用Photomodeler软件fast texture功能实现的效果图,处理结果与本文方法视觉效果相当,但采用Photomodeler软件处理存在不易扩展,处理时间比较慢的现象。
图13为采用基于像方的稀疏格网遮挡处理技术纹理遮挡处理效果对比,其中,图13(a)为未经过遮挡处理的纹理图,红色矩形部分为建筑物遮挡部分;图13(b)为经过遮挡处理之后的纹理重建效果,但未经过匀色处理,含有大量雾霭白色调;图13(c)为经过遮挡和匀色处理之后的纹理重建效果。由此可见,采用本文所给遮挡策略处理效果显著。
本文中遮挡处理过程选择最远面为被遮挡面,虽然其基本思路同Z-Buffer算法一致,但ZBuffer算法采用的是逐像素的方法,而文中采用稀疏网格方法计算,将不再逐像素刷新,因此效率上明显的优于Z-Buffer算法。可以推出Z-Buffer时间复杂度为O(nm),其中m为每一三角面对应的平均像素个数,n为三角面个数。本文算法时间复杂度为O(n)。同时,由于本文算法的是以地物三角面为研究对象,不存在锯齿现象,Z-Buffer算法会出现破环纹理边缘的锯齿现象[24]。
表1为采用本文所给算法与Z-Buffer算法对某街区建筑物(共约25 000个地物三角面)纹理重建遮挡处理效率对比,表中分别给出了影像个数为6、9、12张时,各自对应三角面个数分别为1万与1.5万、2万与2.5万、3万与3.5万时的情况对比,可以看出其效率有显著得提升。
表1 运行效率对比表Tab.1 Efficiency comparison table s
通过试验也发现,本文所用纹理映射方法也存在不足之处:①纹理重建的质量很大程度上取决于地物模型的精度和精细程度,即与三维点云精度和构网算法密切相关;②在进行遮挡处理时,依然存在极少部分遮挡面未剔除;③通过自动方法进行纹理重建,对于部分地物面还不可避免存在一些纹理重建漏洞和瑕疵,还需进一步人工参与编辑。
图4 影像稀疏网格Fig.4 Image sparse grid
图5 点到三角形的判断Fig.5 Point to the judgment of the triangle
图6 未经匀色处理的局部影像Fig.6 Local image without uniform color processing
图7 匀色处理后的局部影像Fig.7 Local image with uniform color processing
图8 未经匀色处理的全局影像Fig.8 Global image without uniform color processing
图10 地物侧面纹理重建Fig.10 Object single surface texture reconstruction
图11 街区原始影像(红色多边形部分)Fig.11 The block of the original image(red polygon section)
图12 纹理重建效果图Fig.12 Texture reconstruction
针对三维城市纹理重建问题,本文基于摄影测量计算机视觉方法,对纹理重建中映射关系计算、纹理提取、影像匀光、遮挡处理等关键问题进行了深入研究,给出了一种在OSG平台中,利用倾斜影像实现三维城市模型纹理快速重建的有效方法。为了实现重建纹理的一致性,采用影像匀光预处理方法,较好地处理了影像色彩的不一致性。对于纹理重建中建筑物遮挡问题,通过纹理优先选择机制,提出基于像方的稀疏网格方法,它不仅减少了遮挡处理中候选纹理的个数,而且使三维指数复杂度的计算转换为线性复杂度的平面计算,从而大大地提高了纹理映射的效率,并在整体上实现了影像纹理信息的有效利用,为实现大规模真三维城市模型纹理快速重建的自动化处理作了有益的尝试。
图13 遮挡处理效果对比图Fig.13 Occlude processing contrast effect
[1] WANG Yanmin,HU Chunmei.A Robust Registration Method for Terrestrial LiDAR Point Clouds and Texture Image[J].Acta Geodaetica et Cartographica Sinica,2012,41(2):266-272.(王晏民,胡春梅.一种地面激光雷达点云与纹理影像稳健配准方法[J].测绘学报,2012,41(2):266-272.)
[2] WU Jun.Research on Rapidly Reconstructing Texture for Facades in 3DCity Modeling[J].Acta Geodaetica et Cartographica Sinica,2005,34(4):317-322.(吴军.3维城市建模中的建筑墙面纹理快速重建研究[J].测绘学报,2005,34(4):317-322.)
[3] WU Jun.Research on Rapidly Reconstructing Texture for Facades in 3DCity Modeling[D].Wuhan:Wuhan University,2003.(吴军.三维城市建模中的建筑墙面纹理快速重建研究[D].武汉:武汉大学,2003.)
[4] LI Hui.Road Extraction and Modeling with LiDAR and RS Image in Urban Area[J].Acta Geodaetica et Cartographica Sinica,2011,40(1):133.(李卉.集成LiDAR和遥感影像城市道路提取与三维建模[J].测绘学报,2011,40(1):133.)
[5] FRUEH C,JAIN S,ZAKHOR A.Data Processing Algorithms for Generating Textured 3DBuilding Facade Meshes from Laser Scans and Camera Images[J].International Journal of Computer Vision,2005,61(2):159-184.
[6] FRUEH C,SAMMON R,ZAKHOR A.Automated Texture Mapping of 3DCity Models with Oblique Aerial Imagery[C]∥Proceedings of the 2nd International Symposium on 3DData Processing,Visualization,and Transmission.Thessaloniki,Greece:IEEE,2004:396-403.
[7] CUI Hongxia,LIN Zongjian,Sun Jie.Research on the 3-dimensional Modeling Method for Remote Sensing Images of Big Degree of Overlap Acquired by Unmaned Aerial Vehicle[J].Science of Surveying and Mapping,2005,30(2):36-38.(崔红霞,林宗坚,孙杰.大重叠度无人机遥感影像的三维建模方法研究[J].测绘科学,2005,30(2):36-38.)
[8] WANG Qingdong,AI Haibin,ZHANG Li.Rapid City Modeling Based on Oblique Photography and 3Ds Max Technique[J].Science of Surveying and Mapping,2013,39(6):10-12.(王庆栋,艾海滨,张力.利用倾斜摄影和3ds Max技术快速实现城市建模[J].测绘科学,2013,39(6):10-12.)
[9] ZHANG Zuxun,WU Jun,ZHANG Jianqing.A Method for Determining Orientation Parameters in Image Based Reconstruction of Architectural Scene[J].Geomatics and Informational Science of Wuhan University,2003,28(3):265-271.(张祖勋,吴军,张剑清.建筑场景三维重建中影像方位元素的获取方法[J].武汉大学学报:信息科学版,2003,28(3):265-271.)
[10] HUO Chunling,LIU Da.Study on Methods of Urban 3D Modeling Data Acquisition[J].Journal of Heilongjiang Institute of Technology,2007,21(4):21-23.(霍春玲,刘达.城市三维建模数据采集方法的研究[J].黑龙江工程学院学报,2007,21(4):21-23.)
[11] ZHANG Jianqing,PAN Li,WANG Shugen.Photogrammetry[M].Wuhan:Press of Wuhan University,2003.(张剑清,潘励,王树根.摄影测量学[M].武汉:武汉大学出版社,2003.)
[12] GUI Dezhu,LIN Zongjian,ZHANG Chengcheng.Research on Construction of 3DBuilding Based on Oblique Images from UAV[J].Science of Surveying and Mapping,2013,37(4):140-142.(桂德竹,林宗坚,张成成.倾斜航空影像的城市建筑物三维模型构建研究[J].测绘科学,2013,37(4):140-142.)
[13] YANG Ling,ZHANG Jianqing.Model-based Semi-automated Building Reconstruction from Aerial Images[J].Computer Engineering and Applications,2008,44(33):10-12.(杨玲,张剑清.基于模型的航空影像矩形建筑物半自动建模[J].计算机工程与应用,2008,44(33):10-12.)
[14] JIANG Wanshou.Multiple Aerial Image Matching and Automatic Building Detection[D].Wuhan: Wuhan University,2004.(江万寿.航空影像多视匹配与规则建筑物自动提取方法研究[D].武汉:武汉大学,2004.)
[15] GAO Rui,LIU Xiuguo,XIONG Wei.Research and Application of 3DVisualization of City[J].Application Research of Computers,2005,22(3):160-163.(高睿,刘修国,熊威.城市三维景观可视化研究与应用[J].计算机应用研究,2005,22(3):160-163.)
[16] HUANG Lei.Research on 3DReconstruction of Virtual City Based on Image Sequence[D].Qingdao:Ocean University of China,2008.(黄磊.基于图像序列的三维虚拟城市重建关键技术研究[D].青岛:中国海洋大学,2008.)
[17] XIE Yaohua.A Research on the Key Technology of Digital Photogrammetry and 3DReconstruction System[D].Changsha:National University of Defense Technology,2004.(谢耀华.数字摄影测量与三维重建系统关键技术研究[D].长沙:国防科学技术大学,2004.)
[18] WANG Yanxia.Research on Profile Extraction and Key Technologies for 3DReconstruction[D].Chongqing:Chongqing University,2010.(王艳霞.图像轮廓提取与三维重建关键技术研究[D].重庆:重庆大学,2010.)
[19] PENG Keju.3DReconstruction Using Image Sequences[D].Changsha:National University of Defense Technology,2012.(彭科举.基于序列图像的三维重建算法研究[D].长沙:国防科学技术大学,2012.)
[20] HE Yuhang,YUE Jun.Research and Implementation Based on Multi-view Dense Matching by Applying CMVS/PMVS[J].Journal of Geomatics,2013,38(4):20-23.(何豫航,岳俊.基于CMVS/PMVS多视角密集匹配方法的研究与实现[J].测绘地理信息,2013,38(4):20-23.)
[21] HARTLEY R,ZISSERMAN A.Multiple View Geometry in Computer Vision[M].2nd ed.London:Cambridge University Press,2003.
[22] ZHOU Yang,ZHENG Shunyi,HUANG Rongyong,et al.Face-wise Poisson Blending with Color Transfer in Seamless Texturing[J].Journal of Image and Graphics,2014,19(4):512-519.(周漾,郑顺义,黄荣永,等.面泊松融合结合色彩变换的无缝纹理辐射处理[J].中国图象图形学报,2014,19(4):512-519.)
[23] HU Qingwu,LI Qingquan.Image Restoration Based on Mask Technique[J].Geomatics and Informational Science of Wuhan University,2004,29(4):319-324.(胡庆武,李清泉.基于Mask原理的遥感影像恢复技术研究[J].武汉大学学报:信息科学版,2004,29(4):319-324.)
[24] HANUSCH T.Texture Mapping and True Orthophoto Generation of 3DObjects[M].Zürich:Eth Zürich.
[25] WANG Bangsong,AI Haibin,AN Hong,et al.Research on Color Consistency Processing of Aerial Images[J].Remote Sensing Information,2011(1):45-49.(王邦松,艾海滨,安宏,等.航空影像色彩一致性处理算法研究[J].遥感信息,2011(1):45-49.)
[26] ZHU Qiaoyun,DA Xing.Dodging Method for Multi-source Remote Sensing Images Based on Wallis Filter[J].Geomatics & Spatial Information Technology,2012,35(10):130-132.(朱巧云,答星.基于 Wallis滤波器的异源遥感影像匀光方法[J].测绘与空间地理信息,2012,35(10):130-132.)
[27] PHAM B,PRINGLE G.Color Correction for an Image Sequence[J].IEEE Transactions on Computer Graphics and Applications,1995,15(3):38-42.
[28] BORNIK A,KARNER K,BAUER J,et al.High Quality Texture Reconstruction from Multiple Views[J].The Visual Computer,2002,13:1-14.