车载激光点云和光学影像的配准方法研究

宋恒嘉

(浙江省第二测绘院，浙江杭州310012)

一、引 言

随着三维城市建模向精细化、多尺度方向的发展，人们对街道立面的三维空间数据的需求也越来越大，现有的近景摄影测量系统由于自身的局限性，已经越来越无法满足当前三维数字城市的发展需求。而集成激光和相机的车载移动测量系统，为三维城市建模提供了一种新的解决方案。在实际测量中，激光扫描仪可以快速、准确地获取目标表面密集的三维空间坐标，而光学影像则包含了丰富的语义信息，激光点云和光学影像对目标的描述有诸多的互补性。因此，融合车载激光点云和光学影像对于城市建模、目标识别、虚拟现实等领域的应用大有裨益，而配准是车载激光点云与光学影像融合需要解决的一个基本问题。

目前，国内外已有一些学者对激光点云和影像的配准进行了研究。2000年，M.LEVOY等在大型雕塑三维重建中，将相机和激光扫描仪固定在一起，对激光点云和影像的配准进行了研究，但是在光线不好或者存在死角时需要重新拍照［1］。2005年，A.HABIB等基于直线特征对激光点云和光学影像的配准进行了研究，但配准过程中直线特征的提取、相关特征的定义是通过手动完成的，自动化程度不高［2］。2011年，LIU Lingyun等针对城市环境对激光点云和影像的配准进行了研究［3］。由于城市中的建筑物存在大量的线性特征，他们提出了一种基于二维和三维线性信息的配准算法，但是在配准之前需要将点云旋转一定的角度以和光学影像大致相似。国内研究相对来说起步较晚一些，但也已经取得了一些令人欣慰的成果:2007年，邓非等提出了一种结合激光扫描仪和数码相机的古建筑三维重建方案，但该方法计算量大，并且需要大量的人工干预［4］;2008年，张爱武等研究了基于激光和光学影像的室外场景三维重建，但是在试验中，通过硬标定的方式，将相机固定在扫描仪的正上方，限制了使用的灵活性［5］。

虽然激光点云和光学影像配准的研究已经取得了一定的进展，但其主要集中在地面固定站和航空机载领域，其方法在车载激光点云和影像的配准领域并不完全适用。

二、基于直接线性变换的车载激光点云和影像配准

车载移动测量系统采集数据之后，即可以获取一系列影像数据，这些影像是没有经过纠正的序列影像，因此在试验前需要通过双线性插值进行影像重采样。

直接线性变换解法是建立像点坐标仪坐标和相应物点物方空间坐标之间直接线性关系的一种算法［6］。它是从共线方程演绎出来的，通过对共线方程进行等价变换，可得到下面的表达式

对式(1)分子分母同时乘以l9X+l10Y+l11Z+1，得

式(2)是关于未知数的线性关系式，有11个未知数，通过人机交互的方式选择至少6对控制点，并列出至少11个方程进行最小二乘平差求解，求得各参数li，方程如下

求得各未知数后，将其代入直接线性变换的基本公式中，确定三维激光点云与光学图像之间的映射关系，并生成对应的三维彩色激光点云。

三、车载激光点云和序列影像的配准

1.基于SIFT算子的图像角点提取

SIFT算子是一种基于尺度空间的，对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子［7-8］。对每个关键点使用16个种子点来描述，最终可以形成128维的SIFT特征向量。当影像的SIFT特征向量生成后，采用关键点特征向量的欧氏距离作为影像中关键点相似性判定的度量方法。

2.基于RANSAC的粗差点剔除

RANSAC是一种根据一组包含异常数据的样本数据集，计算出数据的数学模型参数并得到有效样本数据的算法［9］。基于RANSAC算法，可以得到经过粗差剔除后的同名点。遍历所有剩余的影像，寻找对应的同名点，并将其结果作为车载序列影像光束法平差的初值。

3.车载序列影像光束法平差

在车载序列影像光束法平差中，首先采用基于逐点消元、法化的方法建立法方程，然后采用共轭梯度法计算大型稀疏矩阵。以POS提供的外方位元素和相片经SIFT算子提取的同名点作为光束法平差的初值，经光束法平差求出影像之间的相对模型。由于GPS提供了摄影瞬间摄影中心的大地坐标，可以求出不同相片对应的摄影中心准确的相对位置，因此可以求出一个比例因子，从而消除影像之间相对模型的尺度影响。

4.生成密集点云

本文基于Y.FURUKAWA等提出的PMVS算法将序列影像生成密集点云［10］。其基本思路是:首先在所有影像上提取Harris和DOG特征点;然后利用特征匹配进行重建，得到种子点;最后利用种子点向周围扩散得到稠密的空间有向点云或面片。PMVS算法主要分为3步:特征点匹配、扩散、过滤，其中扩散是其核心。以光束法平差得到的相片外方位元素作为PMVS算法的初值，经过特征点匹配、扩散和过滤，生成整个场景的密集点云。由于外方位元素消除了尺度因素，因此得到的密集点云也消除了尺度因素的影响，密集点云和激光点云之间只存在旋转和平移的转换关系。

5.密集点云和激光点云的匹配

密集点云和激光点云匹配采用了经典的ICP算法［11］。首先通过人机交互的方式获得一定的初值，然后借助于最邻近迭代算法，将密集点云和激光点云进行精确配准，并求出平移和旋转参数。

6.生成三维彩色点云

通过将密集点云和激光点云进行ICP配准，可以得到两份点云之间的平移和旋转参数，并由此可以得到每张相片精确的外方位元素。

因为一张影像不可能对应所有的激光点云数据，因此需要对激光点云进行分块处理。分块原则是根据点云距离相片摄影中心的远近程度。求得每块点云和影像之间的对应关系，依据共线方程将影像上的颜色信息赋给点云，并生成一系列分段的彩色点云，最后对点云进行合成，即可生成对应的彩色点云。

四、配准方法实现

本文试验是在Windows 7操作系统上开发的，选用 Microsoft VC++6.0作为开发平台，以OpenCV和OpenGL作为开发工具。采用的试验数据由Optech公司提供，数据采集地区为意大利的一个小镇，如图1、图2所示。

图1 原始序列影像数据

图2 附有强度信息的原始激光点云数据

程序包括了“文件”、“基于单张影像的DLT配准”、“基于序列影像的配准”、“图像操作”、“点云操作”、“查看”、“帮助”7个菜单。

交互式选择点云和影像中对应的同名点，建立直线线性变换方程，解算出11个参数，并得到对应的三维彩色点云，如图3、图4所示。

图3 交互式选择同名点

图4 生成彩色点云

为了检验直接线性变换算法的有效性，从点云中人工提取部分特征，将附有强度信息的激光点云投影到光学影像上。从点云投影后的叠加显示结果可以看出直接线性变换方法的有效性和可取性，如图5所示。

图5 附有强度信息的激光点云投影到光学影像上

对影像序列进行SIFT角点提取、影像匹配、光束法平差、密集点云生成、密集点云和激光点云配准等一系列试验操作，最终得到了试验区域的彩色点云。从图6可以看出该算法的有效性。

图6 试验场景地区生成的彩色点云

五、结束语

本文针对车载激光点云和影像配准的问题提出了解决方法，基于单张影像设计了利用直接线性变换的算法，基于序列影像设计了利用SIFT角点提取、影像匹配、光束法平差、密集点云生成、ICP配准的算法;以VC++6.0、OpenGL库函数、OpenCV 库函数为工具，实现了基于单张影像和序列影像的点云和影像配准算法;利用Optech公司提供的车载激光点云和车载序列影像数据进行了试验，验证了算法的有效性。

［1］LEVOY M，PULLI K，CURLESS B，et al.The Digital Michelangelo Project:3D Scanning of Large Statues［C］∥Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques.New York:ACM，2000:131-144.

［2］HABIB A，GHANMA M，MORGAN M，et al.Photogrammetric and LiDAR Data Registration Using Linear Features［J］.Photogrammetric Engineer and Remote Sensing，2005，71(6):699-707.

［3］LIU Lingyun，STAMOSL.A Systematic Approach for 2D-image to 3D-range Registration in Urban Environments［J］.Computer Vision and Image Understanding，2012，116(1):25-37.

［4］邓非，张祖勋，张剑清.利用激光扫描和数码相机进行古建筑三维重建［J］.测绘科学，2007，32(2):29-30.

［5］刘江涛，张爱武，臧克.三维数字化技术在考古中的应用［J］.中国图象图形学报，2008，13(4):654-657.

［6］冯文灏.近景摄影测量——物体外形与运动状态的摄影法测定［M］.武汉:武汉大学出版社，2002:124-125.

［7］LOWE D G.Object Recognition from Local Scale-invariant Features［C］∥Proceedings of the ICCV'qq.Washington DC:IEEE，1999:1150-1157.

［8］LOWE D G.Distinctive Image Features from Scale-invariant Keypoints［J］.International Journal of Computer Vision，2004，60(2):91-110.

［9］FISCHLER M A，BOLLESR C.Random Sample Consensus:a Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography［J］.Communications of the ACM，1981，24(6):381-395.

［10］FURUKAWA Y，PONCE J.Accurate，Dense，and Robust Multi-View Stereopsis［C］∥Proceedings of CVPR'07.Minneapolis:［s.n.］，2007.

［11］BESL PJ，MCKAY N D.A Method for Registration of 3-D Shapes［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1992，14(2):239-256.