单幅图像空间化研究

张兴国，刘学军

(1.南京师范大学虚拟地理环境教育部重点实验室，南京 210046;2.信阳师范学院城市与环境科学学院，信阳 464000)

0 引言

随着数码采集设备的日益普及，图像和视频数据得到了广泛应用。在公安、城市规划、文物保护、旅游、交通及林业等行业，基于图像或视频的需求旺盛。当前，核心需求主要集中于图像的三维重建、图像的量测及视频监控等方面。对于GIS行业而言，图像和视频数据已成了最重要的数据源，将其与传统的地形图、遥感影像及DEM等相结合，可形成从顶视到侧视全方位的空间表达方式。在GIS行业，应用图像和视频的方式正在发生变革，传统的方式仅仅将其作为重要的信息源，实现简单的查询和浏览功能，对其所含信息缺乏有效挖掘。近年来，基于图像和视频的分析及其GIS集成应用开始引起广泛重视[1－2]。对于传统的图形图像、计算机视觉等领域，基于图像和视频的三维重建已取得了一些重要的研究成果，如 Bundler，PMVS，Photosynth，PhotoPopup及Make3D等[3－6]。但将现有研究应用于GIS空间数据采集、空间分析方法、成果展示等方面尚存在许多问题，如何实现图像和视频在地理空间框架内的有机融合，是个急需解决的问题。

本文以单幅图像为研究对象，重点探讨了空间化方法及其应用技术。首先，从单幅图像本身的特点及研究现状出发，介绍了单幅图像空间化的概念;然后，提出了一种单幅图像空间化方法，主要包括分类器构建、灭线位置估计及地面三维坐标计算、图像与地图映射;最后，基于VC，MATLAB，ArcGIS Engine及PhotoPopup等工具，以大学校园为实验场，对该方法进行了验证，并对映射精度进行了探讨。

1 单幅图像空间化概念

单幅图像对于地理空间的表达是透视的方式，地理对象“远小近大”。这种表达方式符合人们日常观察习惯，易于理解和交流。对于丰富多彩的单幅图像，人们并不满足于单纯的可视化。对于工程技术人员而言，基于单幅图像的非接触式量测、三维重建及虚实融合等深层次应用更为重要，可大幅降低生产成本、提高工作效率和安全性。但是，单幅图像在成像过程中损失了深度信息，要满足这些应用需求是非常困难的。

目前，单幅图像的量测主要包括基于单应的量测和基于几何关系的量测[7]。前者可实现2个平面间的映射，根据图像坐标求取物方坐标，从而实现几何量测;后者通过中心投影的不变量并结合已知的几何结构信息进行空间对象的量测。单幅影像三维重建主要通过对单幅影像提取目标的颜色、形状、共面性等二维、三维几何信息，而利用少量已知条件获取该目标的空间三维信息。目前，单幅影像的三维重建主要包括基于特征统计学习方法、基于形状恢复技术和基于影像几何投影信息的方法[8]。各方法侧重点不同，前者更注重量测的可行性，但自动化程度较低;后者更注重三维外观，但量测无法保障。

单幅图像空间化不仅要确定拍摄点位在地理空间中的位置，而且要实现图像中地理对象与GIS中地理对象的映射，实现2种视图的有机融合，即互映射。单幅图像的空间化，首先需解决单幅图像的三维重建，然后结合拍摄点位坐标和方位角将图像与地图、遥感影像等关联起来。

本研究以平面地图为主，研究单幅图像空间化的方法。众所周知，平面地图采用正射投影的方式，将三维地理空间投影到平面上，其坐标系为平面直角坐标系统。而单幅图像在采集时，相机主光轴常以近似平行地面的方式进行采集，其中常含有地面，若这个地面为平面则易于转换到平面地图中。例如图1(a)为单幅图像，图1(b)为遥感影像，其中图1(b)路面上的小圆点即为图1(a)上路面边缘所对应的位置。同时，将平面地图中的地理对象放入图像的地面中，是个相反的过程。

图1 单幅图像空间化Fig.1 Single image geo－spatial mapping

2 单幅图像空间化方法

与立面和天空相比，地面，特别是路面，在颜色、纹理、位置等方面具有明显的特征，通过数字图像处理、统计学及机器学习等方法可以实现地面的自动提取。结合人们拍摄习惯和相机参数约束，可以恢复地面三维坐标。本文吸收PhotoPopup三维重建方法的优点[4]，考虑空间化的需求，设计了一种单幅图像空间化的方法。其基本过程包括:地面自动识别、灭线位置估计及地面三维坐标计算、图像与地图映射，如图2。

图2 单幅图像空间化方法流程图Fig.2 Flow chart of single image geo－ spatial mapping method

2.1 分类器的构建

1)样本采集及超像素分割。首先，收集大量的单幅图像，这些图像满足主光轴近似平行地面的约束。然后，对这些图像进行超像素分割[9]，如图3所示。

图3 图像超像素分割Fig.3 Suppixel segmentation

2)分类器构建。首先，通过交互界面，指定每一幅图像的每一超像素的类别(地面和非地面)，并计算其特征，包括颜色、纹理及位置等;然后，基于这些数据进行训练，并构建决策树。

3)分类器的使用。基于所构建的决策树，就可以对一幅图像的地面区域进行自动提取了。具体过程包括:单幅图像超像素分割，各个超像素特征计算，基于决策树类别判断。如图4。

图4 地面自动提取及灭线估计Fig.4 Automatic extraction of the ground and the location estimation of vanishing line

图中实线所含区域为基于分类器自动提取的路面区域;虚线为估计的灭线位置。三维空间中相互平行的一组平面必相交于同一条无穷远直线，这条无穷远直线在透视投影下的投影直线称为灭线[10]。

在工程实践中仅需进行一次分类器的构建，将相关模型保存起来，后期即可长期使用。当模型无法满足某工程需求时，可再次训练。

2.2 灭线位置估计及地面三维坐标计算

在摄像机约束方面，可以基于场景中的平行线、道路区域等估计灭线的位置，如图4中虚线为估计的灭线位置。若计算失败，默认设置为0.5，即单幅图像的中心。然后，根据拍摄者高度、视角及灭线位置，求解图像中地面区域对应的三维坐标，从而恢复地面的三维姿态。如图5，可得出水平视角、垂直视角、主光轴倾角、拍摄者高度与局部地面坐标的关系。该坐标系以拍摄者所在位置为原点，以视平线方向为Y轴，X轴与Y轴垂直，并以拍摄者右手方向为正向。

图5 局部地平面坐标计算示意图Fig.5 Coordinate calculation of the local ground

其计算公式为

式中:α为垂直视角;β为水平视角;h0为摄影中心至地平面的高度;θ和φ夹角依据图像坐标近似估计。

2.3 图像与地图映射

通过对单幅图像中地面的自动提取及局部坐标计算，就可以将地面区域转换到2D地图中，主要包括:摄像机拍摄点位和主光轴的方位角的确定、实现局部坐标系至投影坐标系的转换，即

式中:X，Y为地图平面直角坐标;x0，y0为拍摄点位的地图平面直角坐标;x，y为单幅影像三维重建后的局部地面坐标;∂为主光轴与北方向的夹角，即方位角。

3 实验分析

本文选取大学校园为实验场，相关数据包括近似水平拍摄的单幅图像60幅、QuickBird高清遥感影像及分层矢量化地图(WGS84 UTM 50N投影坐标系统);实验环境包括MATLAB，VC，ArcGIS Engine和 PhotoPopup。

3.1 地面区域提取分析

对所采集的60幅图像中的20幅进行超像素分割，基于所选择的特征(颜色、纹理及位置系列参数)进行训练，获取决策树。对剩下的40幅进行地面自动提取实验，其中有2幅因墙壁与地面的颜色和纹理近似造成识别错误，有3幅因阴影问题造成地面区域边缘处错误，其余图像均能较好提取出地面区域。

3.2 单幅图像地面区域空间化精度分析

灭线位置的求取主要依据PhotoPopup中的方法，基于图像中的平行线的信息估计灭点位置，如果失败可将所识别出的地面区域的图像坐标J的最小值作为其位置。为了分析单幅图像空间化精度，选取5幅图像，对其灭线位置，选取图像中特定点位(设定 5个点，图像坐标为:A(400，500)，B(400，400)，C(400，280)，D(600，280)，E(600，400))的映射误差进行对比，采用点位位置偏差距离分析本实验中映射误差。图像采集相关参数设定为:拍摄高度为1.70 m，垂直视角40°，图像大小均为800像素×600像素，均采用近似平行地面的方式拍摄。表1为实验结果，其中灭线坐标为归一化值，A到E点的位置偏差为根据某点灭线估计值和真实值所计算的相同点位的距离。

表1 单幅图像空间化精度分析Tab.1 Accuracy analysis of the single image mapping

分析表1可知:

1)灭线的估计值与真实值(手工获取)相差最大是4点，为0.142，转换为像素值为85个像素;最小点为5点，仅仅为4个像素。

2)灭线位置差值对点位偏差影响较大，最大偏差处于C和D点位，距离达121 m，灭线提取依赖于场景本身。

3)A至C点位从近到远，位置偏差也从小到大。

4 结论与讨论

单幅图像空间化使得图像中的地面具备了地理参考，对于其深入应用具有重要意义。如基于图像可实现简单的地面量测，采集一些地理对象的数据，如路面及其附近的特征点、线和面等;如地图中地理对象到图像中的映射，将虚拟对象放入图像中，对于GIS可视化、规划、虚拟仿真、商业、娱乐等具有重要意义;如视频监控领域，基于图像的GIS空间化，可实现图像中动态目标在地图中的映射，在地理空间中进行可视化、行为特征量化表达等。本研究重点就地面的空间化进行了探讨，所映射的地图为平面地图。当前研究尚存在如下问题:

1)因超像素聚类算法的初始化参数的选取是随机的，致使图像类别划分具有不确定性，从而影响基于模式识别的类别决策。在后续的工作中，需加强面向图像空间化的稳定的图像分类方法研究。

2)灭线位置的精确估计对于其空间化至关重要，细微的差异对所计算的坐标都会产生较大的影响。在以后研究中，需进一步加强单幅影像精确、稳定灭线位置估计算法的研究。同时，结合拍摄习惯，在工程应用中亦可尝试灭线位置的统计分析，获取平均灭线位置，满足一定的需求。

3)对于单幅图像整体三维精细恢复及其三维空间化的研究尚未开展。实现三维空间中单幅影像、影像序列及视频等的空间化，并达到GIS行业应用需求，是后续研究急需开展的工作。

[1]闾国年，刘学军，吴 勇.发展影视 GIS，推进 GIS社会化进程——兼论GIS中的“世界”观察与表达方式[C]//《测绘通报》测绘科学前沿技术论坛论文集.北京:《测绘通报》编辑部，2008.Lv G N，Liu X J，Wu Y.Develop image－ video GIS，promote the socialization process:Discuss the style of viewing and expressing the world[C]//Bulletin of Surveying and Mapping，Proceedings of Surveying Science Frontier.Beijing:Bulktin of Surveying and Mapping，2008.

[2]孔云峰.地理视频数据模型及其应用开发研究[J].地理与地理信息科学，2009，25(5):12－16.Kong Y F.Research on the geoVideo data model and its application development[J].Geography and Geo－ Information Science，2009，25(5):12－16.

[3]Hoiem D，Efros A A，Hebert M.Automatic photo pop－ up[C]//Proceedings of the ACM SIGGRAPH.New York:ACM，2005:577－584.

[4]Saxena A，Chung S，Ng Y A.Learning depth from single monocular images[C]//NIPS 18，2005.

[5]Snavely N，Seitz S M，Szeliski R.Photo tourism:Exploring photo collections in 3D[C]//Proceedings of the ACM SIGGRAPH.New York:ACM，2006:835－846.

[6]Yasutaka Furukawa，Jean Ponce.Accurate，dense，and robust multi－ view stereopsis[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Minneapolics:IEEE，2007:1－8.

[7]刘学军，王美珍，甄 艳，等.单幅图像几何量测研究进展[J].武汉大学:信息科学版，2011，36(8):941－947.Liu X J，Wang M Z，Zhen Y，et al.Geometric measurement based on single image:A survey[J].Geomatics and Information Science of Wuhan University，2011，36(8):941－947.

[8]孙宇阳.基于单幅图像的三维重建技术综述[J].北方工业大学学报，2011，23(1):9－13.Sun Y Y.A survey of 3D reconstruction based on single image[J].Journal of North China University of Technology，2011，23(1):9－13.

[9]Felzenszwalb P，Huttenlocher D.Efficient graph－ based image segmentation[J].Intemational Journal of Computer Vision，2004，59(2):167－181.

[10]韩艳丽.单目视觉建筑物三维建模方法的研究[D].上海:同济大学，2006.Han Y L.Researching on approaches of architecture’s 3D reconstruction based on a single vision[D].Shanghai:Tongji University，2006.