车载激光点云与全景影像的配准研究

聂倩，蔡元波，林昀，陈长军

(1.宁波市测绘设计研究院，浙江 宁波 315042；2.武汉大学 测绘学院，武汉 430079)

1 引 言

地面三维激光扫描技术采用非接触主动测量方式直接高速获取高精度、高密度、超高分辨率的三维空间信息，已成为快速获取城市空间信息的全新技术手段[1-3]。虽然很多地面激光扫描仪可通过内置相机同步获取扫描点的纹理，但是其分辨率、摄影方式、精准度等均不能满足应用的需要。而全景成像技术是一种超广角视野表达方式，它包含了比图像序列更直观、更完整的场景信息，同时可供用户自由转换视角。因此，目前以高速地面三维激光扫描仪和全景相机为核心传感器，并辅以GPS、IMU进行激光扫描传感器定位定姿的移动测量系统正在兴起[4-9]，例如Topcon的IP-S2系统、宁波测绘院的移动测量系统等。

基于激光扫描仪和全景相机的移动测量系统用于城市快速三维测量与重建的一个关键步骤就是点云与全景影像的高精度配准[10]。目前，关于点云与普通CCD影像的配准已经有很多研究成果：共线方程解法、直接线性变换法、角锥体法等[11-12]，而对于车载点云与全景影像的配准研究则鲜有进展。由于激光点云和全景影像在数据表现形式和属性上均有很大差异，因此传统的遥感配准方法不能完全适用于这两类数据的配准。针对上述问题，本文提出一种车载激光点云与全景影像配准方法，该方法利用POS数据和各个传感器间的相对空间位置关系建立点云与单张面阵CCD影像间的对应关系，然后根据全景影像与单张面阵CCD影像间的映射关系，从而实现车载激光点云与全景影像的高精度配准。

2 移动测量系统的组成及工作原理

本文的移动测量系统是由宁波市测绘设计研究院和武汉大学共同开发研制，它以帕拉丁汽车为移动平台，集成安装了1部高精度惯性导航设备(GPS/IMU)、1台高分辨率全景相机、2台RIEGL公司不同型号激光扫描仪VZ-400和LMS-120i、1台同步控制单元以及4台工控计算机。

本文的移动测量系统所有传感器被固定在移动平台上，采用系统标定建立其严格几何关系，并通过同步控制系统触发脉冲来实现各传感器数据的同步采集。当车辆以一定速度匀速行驶时，GPS和IMU同时观测记录各传感器的位置和姿态数据，VZ-400和LMS-120i扫描仪分别获取车辆两侧和地表面的点云信息，全景相机采集城市街景影像，从而实现全方位场景下的三维空间信息和纹理信息获取。

3 车载激光点云与全景影像的配准

如图1所示，本文移动测量系统的全景相机由8个面阵CCD镜头构成，面阵CCD相机采用框幅式成像方式仍满足中心投影构像方程，在每个采样时刻获取8张面阵CCD影像，然后将8张影像进行球面投影和拼接处理，从而形成全景影像。由于全景成像系统的8台CCD相机为非量测工业相机，其成像存在较大的畸变，因此本文首先对单台面阵CCD相机进行标定以获取其内方位元素和畸变参数，然后利用VZ-400扫描仪可以静态扫描特性，建立单台CCD相机的像空辅坐标和VZ-400扫描仪坐标系间的平移和旋转关系，并基于POS数据和各个传感器间的相对空间位置信息实现激光点云和单张面阵CCD影像间的配准，最后利用全景影像与单张CCD影像间的映射关系实现点云与全景影像的配准。图1给出了车载点云与全景影像的配准流程。

图1 车载点云与全景影像配准的原理

3.1 单台面阵CCD相机的标定

为了消除畸变对配准精度的影响，本文采用张正友提出的平面标定法进行单台面阵CCD相机的标定试验，以确定单镜头的内参数和畸变系统，从而消除相机畸变对配准精度的影响。具体实施步骤如下：

(1)对全景相机的每一个镜头，采用平面棋盘格作为标定物，获取不同视角下的多张图像。

(2)利用Harris算子进行影像特征点的提取。

(3)在不考虑径向及切向畸变的情况下，利用旋转矩阵的正交性，求解相机的内参数(f,x0,y0)。

(4)利用最小二乘法估算相机的径向和切向畸变系统(k1,k2,p1,p2)，并利用最大似然估计原则整体优化所有参数。

3.2 车载激光点云与单张面阵CCD影像间的配准

由于全景成像系统在每一个采样瞬间获得8张面阵CCD影像，以面阵CCD相机m为例详细介绍其与车载点云间的配准。对于某一个地面目标点，其所对应像点的像空辅坐标与同名点云的扫描仪坐标间存在如下对应关系：

(1)

由于移动测量系统各传感器间进行了严格标定，即扫描仪坐标系L、惯导坐标系G和WGS-84系W间的转换关系在系统标定时已确定，如式(2)和式(3)所示。

(2)

(3)

其中，RLG和TLG分别表示扫描仪坐标系和惯导坐标系间的旋转矩阵和平移量；RGW和TGW表示惯导系和WGS-84系间的旋转矩阵和平移量。

综合式(1)～式(3)，可建立单张面阵CCD影像的像点像空辅坐标与其WGS-84坐标间的转换关系：

(4)

(5)

CPW=TGW+RGWTLG+RGWRLGCPL

(6)

由于车载系统经过严格标定，即RLG、RGW、TLG和TGW已知，故RPW和CPW的解算可以转换为RPL和CPL的求解问题。因此，本文将移动测量系统进行静态扫描和拍照，利用单张CCD影像的n个像点和同名点云的扫描坐标，由式(1)列出误差方程，并根据最小二乘平差原理进行旋转矩阵RPL和平移向量CPL的解算，最后基于POS数据和各传感器间的相对空间位置信息实现车载激光点云与单张CCD影像间的配准。注意：由于全景成像系统与激光扫描仪在车辆平台上的位置是固定的，即相机m和扫描仪间的转换参数RPL和CPL一旦确定，则车载系统在采集数据中可实现点云与影像的实时配准。

3.3 全景影像与单张CCD影像间的映射

假设面阵CCD影像m(m=1,2,…,8)上任意像点A的像素坐标为(i,j)，则对应全景球的三维点坐标为(xS,yS,zS)，将影像投影到球面生成球面坐标系以(θ,φ,r)表示，其中θ为水平旋转角，φ为俯仰角，r为球体半径，根据空间直角坐标与球面坐标的转换关系，可得：

(7)

(8)

其中，β为相机光轴绕垂直轴Y轴的旋转角度，对于相机m而言，β=45×(m-1)；W和H分别为面阵CCD影像m的长度和宽度。

根据全景影像上任意一点的三维坐标(xS,yS,zS)可由式(7)和式(8)确定它所对应的单张面阵CCD影像上的像点行列号，进而依据式(4)实现全景影像与车载激光点云间的配准。

4 试验及分析

为了验证本文配准方法的正确性和可靠性，首先对全景成像系统的8个面阵CCD镜头进行平面板标定试验，以确定其内方位元素和畸变系数，然后利用车载系统进行静态扫描和拍照，解算单台CCD相机与扫描仪坐标系间的旋转平移关系。最后采用车载移动测量系统对宁波市聚贤路周边区域进行了激光点云和全景影像采集试验。表1为单台面阵CCD相机的标定结果；表2为面阵CCD相机与激光扫描仪间的转换关系；图2和图3为车载点云与全景影像的配准结果。

本文通过由配准后全景影像的像点反算其对应点云的物方坐标，并与检查点的实测物方坐标进行对比分析，从而定量评价车载点云与全景影像的配准精度。本文选取了13个检查点进行实验分析，其中X、Y是利用全站仪获取的检查点在WGS-84高斯投影坐标系下的平面坐标；X′、Y′是全景影像像点所对应的同名点云的物方坐标。由表3可以看出，通过13个检查点的全景像点坐标反算点云物方坐标与实测坐标的比对，可以看出车载点云与全景影像整体可达到0.1的平面中误差。因此，利用本文方法进行车载点云与全景影像的配准后，由全景影像实现地物量测可以满足城市大比例尺测图的精度要求。

表1 单台面阵CCD相机的标定结果

表2 单台面阵CCD相机与VZ-400扫描仪间的转换关系

图2 车载点云与全景影像绝对配准后的结果

图3 车载点云与全景影像绝对配准后的局部效果

表3 配准结果精度(m)

5 结束语

本文对车载三维激光点云与全景影像的配准进行研究，首先利用POS数据和各个传感器间的相对空间位置关系建立点云与单张面阵CCD影像间的对应关系，然后根据全景影像与单张面阵CCD影像间的映射关系，从而实现车载点云与全景影像的高精度配准。试验结果表明，本文配准方法简单，可以达到0.1m的平面精度，基于配准后的全景影像进行地物量测可满足城市大比例尺测图的精度要求。

参考文献：

[1] 张毅.地面三维激光扫描点云数据处理方法研究[D].武汉大学，2008.

[2] 马洪超，姚春静，邬建伟.利用线特征进行高分辨率影像与LiDAR点云的配准[J].武汉大学学报(信息科学版)，2012，37(2)：136-140.

[3] 杨勇，钟若飞，康永伟，等.车载激光与单目线阵相机的数据融合[J].首都师范大学学报，2010，31(2)：82-87.

[4] 张卡，盛业华，叶春，等.车载三维数据采集系统的绝对标定及精度分析[J].武汉大学学报(信息科学版)，2008，33(1)：55-59.

[5] 陈允芳，叶泽田.IMU/DGPS辅助车载CCD及激光扫描仪三维数据采集与建模[J].测绘科学，2006，31(5)：91-92.

[6] HAALA N，PETER M，KREMER J.Mobile LiDAR mapping for 3D point cloud collection in urban areas：A performance test[J].In：ISPRS，2008(37)：1119-1124.

[7] RIEGER P，STUDNICKA N，PFENNINGBAUER M.Boresight alignment method for mobile laser scanning systems[EB/OL].http：//www.geomatik-hanmburg.de/tls/tls2.

[8] HAMMOUDI K，DORNAIKA F，PAPARODITIS N.Extracting building footprints from 3d point clouds using terrestrial laser scanning at street level[C].2009 International Conference on CMRT09 IAPRS，Paris，2009.

[9] HAN Y M，WANG L.A novel approach to calibrating the line scan camera of Vehicle-borne 3D data acquisition system[C].2010 International Colloquium on Computing，Communication，Control，and Management，2010.

[10] 陈为民.基于全景成像与激光扫描的城市快速三维测量与重建技术研究[D].武汉大学，2012.

[11] 王国利，王晏民.地面激光点云多源约束的稳健整体配准[J].测绘通报，2012，(1)：20-21.

[12] 王宴民，胡春梅.一种地面激光雷达点云与纹理影像稳健配准方法[J].测绘学报，2012，41(2)：266-272.