车载全景影像与激光点云数据配准方法研究

闫　利，曹　亮，陈长军，黄　亮

(武汉大学测绘学院，湖北 武汉 430079)

Registration of Vehicle-borne Panoramic Image and LiDAR Point Cloud

YAN Li，CAO Liang，CHEN Changjun，HUANG Liang



车载全景影像与激光点云数据配准方法研究

闫利，曹亮，陈长军，黄亮

(武汉大学测绘学院，湖北 武汉 430079)

Registration of Vehicle-borne Panoramic Image and LiDAR Point Cloud

YAN Li，CAO Liang，CHEN Changjun，HUANG Liang

摘要：全景影像与激光点云的高精度配准是车载移动测量系统中多传感器数据集成处理的关键环节。本文针对车载多面阵拼接全景影像与激光点云的配准问题，提出了一套高精度的数据配准方法。通过高密度的静态激光点云解算每个面阵CCD在激光扫描仪坐标系下的外标定参数，以实现单张CCD影像与激光点云在扫描仪坐标系下的配准，在全景拼接过程中全景影像与单张CCD影像精确的映射关系已知，利用扫描仪坐标系、POS坐标系及WGS-84坐标系间的转换关系即可获得全景影像与激光点云在物方坐标系下的动态、高精度的配准参数。试验表明该数据配准方法精确可靠、适用性强，能满足基于全景影像与激光点云数据融合的城市道路竣工、部件采集、目标提取、三维重建等高精度量测应用需求。

关键词：车载移动测量；全景；激光扫描仪；配准

一、引言

近年来，高效、高精度的城市信息采集技术的发展与应用使测绘领域发生了巨大的变革。车载移动测量系统(mobile mapping system，MMS)结合激光扫描仪、CCD相机、高精度定位定姿系统(position and orientation system，POS)、车程编码器等多种优异的传感器，是近年来快速发展的一种新型集成高效的测量系统，广泛应用于地理空间数据采集与更新，并逐渐成为三维城市数据获取的重要方法[1]。车载移动测量系统的最大优势是多传感器数据的集成采集与处理，而多传感器数据的高精度配准是数据集成处理的前提。本文重点解决车载移动测量系统中全景影像与激光点云的数据配准问题[2]。

国内外学者对CCD影像与激光点云数据配准问题进行了广泛的研究。文献[3]用扫描仪和相机对平面棋盘格标定板进行同步测量，以求解二维激光扫描数据与框幅式影像的配准参数；受文献[3]方法的启发，文献[4]实现了对三维激光扫描数据与框幅式影像的外配准；文献[5]使用特殊的标定杆对二维激光扫描数据与CCD影像进行数据配准；文献[6]同样使用平面棋盘格来对三维激光扫描数据与CCD影像进行数据配准；文献[7]给出了一种配准二维激光扫描数据与全向相机影像的方法。以上这几种影像—点云配准方法均需借助特殊的标定合作目标，而且由于激光扫描数据分辨率低且不一致，使激光点云与影像间高精度的点、线特征对应的获取非常困难[8]，因此在实际应用过程中有一定的局限性。为了克服光学影像与激光点云在成像特性上的差异所带来的问题，基于统计和信息论的方法在二者的标定问题上得到了应用。文献[9]使用互信息对影像与点云之间的强度与反射信息进行配准；文献[10]使用互信息对城市街区的光学影像与激光点云进行配准。然而，这些基于互信息的影像与激光点云配准方法仅在城市场景中具有非常好的适应性，其在自然场景中的应用有非常大的局限性[11]。

已有的方法大多集中在解决普通框幅式影像与2D/3D激光点云的数据配准问题，且局限于解决单测站、静态数据的配准问题。

本文针对车载移动测量系统中多面阵拼接全景影像与激光点云的数据配准问题，提出了一套适应性强、精度高的标定方法。该标定方法在全景拼接过程中获得全景影像与单张CCD影像精确的映射关系，通过分别对组成全景相机的单个CCD相机进行内标定及在激光扫描仪坐标系下的相对外标定，并结合扫描仪坐标系、POS坐标系、WGS-84坐标系间的转换关系，即可实现全景影像与激光点云在物方坐标系下的高精度配准，为后续全景影像与激光点云的集成处理奠定基础。

二、车载移动测量系统集成

车载移动测量系统是一个多传感器集成的自动化数据采集系统，可实时完成载体的GPS定位、姿态解算、城市三维空间信息的激光扫描数据及全景影像数据的采集。系统搭载的传感器主要有两类：一类是位姿传感器，包括GPS、惯性测量单元(IMU)及车轮编码器，用于获取车载系统的位置和姿态；另一类是数据采集传感器，包括激光扫描仪和全景相机，其中三维激光扫描仪用于获取目标的三维几何信息，而全景相机则用于获取目标的纹理特征，如图1所示。

图1　车载移动测量系统结构图

本文主要讨论车载移动测量系统中全景相机与激光扫描仪的集成标定问题，因此对车载移动测量系统中使用的全景相机和激光扫描仪进行简单的介绍。

1. 多面阵拼接全景相机

目前国内外已经有多家厂商推出了成熟的全景相机，如PointGrey、CycloMedia、EyeScan、Fodis等。但现有的全景相机存在分辨率不高、价格昂贵，以及全景映射过程未知，无法自主控制等缺点，因此课题组自主研发了基于面阵CCD拼接的高分辨率全景相机。该全景相机由8个分辨率为2058像素×2456像素的工业CCD镜头沿水平方向均匀排列而成，如图2所示。全景影像采集时，由时间同步系统控制8个CCD镜头同时曝光，通过全景拼接获得分辨率为9173像素×2294像素的全景影像。拼接过程中保证像点摄影光束的方向不变，且记录拼接全景与原始单片的像素对应关系。

2. 激光扫描仪

车载移动测量系统集成了Riegl公司两种不同型号的激光扫描仪：2D/3D一体化扫描仪VZ-400和路面2D扫描仪LMS-Q120i，其中VZ-400扫描仪安装在车体的右后侧，用于获取车辆两侧的目标点云信息，LMS-Q120i扫描仪安装在车体的后部，主要用于获取地表面点云，从而实现场景三维空间信息和反射强度信息的全方位获取。

图2　全景相机内部示意图

三、车载全景影像与激光点云数据配准

全景影像与激光点云的数据配准是使全景影像能与物方坐标系下同一场景的激光点云进行“套合”，即需要恢复全景影像拍摄瞬间相机在物方坐标系下的位置与姿态，并使全景影像中每个像素构成的摄影光束与物方点云形成对应。

图3　全景影像与激光点云数据配准法

在全景拼接时，全景影像与单张面阵CCD影像间的映射关系可精确得到；激光扫描仪坐标系与POS坐标系之间的转换关系可通过建立高精度标定控制场解算获得，该过程在本文中不作详细介绍；而POS坐标系与WGS-84坐标系间的转换关系可由POS数据插值获取。因此，若能得到单张面阵CCD影像与激光点云在激光扫描仪坐标系下的配准参数，则可实现车载全景影像在物方坐标系下与激光点云的高精度配准。另外，由于全景成像系统的8个CCD镜头为非量测工业镜头，成像畸变大，内方位元素未知，故需要首先对CCD镜头进行内标定。车载移动测量系统中的主要传感器——激光扫描仪、全景相机、POS系统被固定在刚性平台，其相对位姿关系稳定不变，本文全景影像与激光点云数据配准方法描述如图3所示。

1. 单片影像与点云的相对配准

依据本文车载全景影像与激光点云的数据配准方法，其核心步骤在于将8个CCD镜头与激光点云在激光扫描仪坐标系下进行配准，即获取CCD镜头在扫描仪坐标系下的外方位元素。由于课题组车载系统所采用的VZ-400扫描仪能够支持在同一扫描坐标系下的移动二维线扫描及静态三维全景扫描两种工作模式，因此可利用VZ-400扫描仪在车载系统保持静止状态下的三维全景高密度扫描数据为CCD镜头的标定提供控制点。

在合适的标定场景中布设靶标，靶标需分布均匀，且要在深度方向上有丰富的变化。调整车载系统至合适位置及方向，并在车载系统静止条件下依次利用8个CCD镜头获取标定场景影像，且使用VZ-400扫描仪获得标定场景的激光点云数据。标定数据获取后，在每张影像和其对应的激光点云数据中选取4个以上的靶标控制点，得到其对应的图像坐标(x,y)及激光扫描坐标系下的激光点坐标(X,Y,Z)，结合内标定所获取的相机内方位元素(x0,y0,f)和畸变参数，得出共线方程

(1)

式中，dx、dy分别为像点在x、y方向的畸变改正量；XS、YS、ZS分别为CCD相机在扫描仪坐标系下的位置TCL的3个分量；而ai、bi、ci(i=1,2,3)则构成旋转矩阵RCL的9个元素。

由共线方程列出对应的误差方程并迭代优化，即可求得CCD镜头与激光点云的在扫描仪坐标系下的相对配准参数。

2. 全景影像与点云的绝对配准

设某物方点P在全景影像上成像并同时获得其激光点数据，将全景影像与点云在物方坐标系下的配准即是求得全景成像坐标系与物方坐标系下点P的转换关系，其中涉及全景成像坐标系、单片坐标系、扫描仪坐标系、POS坐标系和物方WGS-84坐标系，其转换关系描述如图4所示。

由全景与单片的映射关系，可以获取该点在对应单片影像的像空间坐标系下的坐标(XC，YC，ZC)。利用上节中求得的8个CCD镜头在激光扫描仪坐标系下的外方位元素TCL、RCL，则该点在单片像空间坐标系与激光扫描仪坐标系的转换关系描述为

图4　坐标系统关系转换示意图

(2)

式中，(XL，YL，ZL)为该点在扫描仪坐标系下的坐标。通过系统标定，扫描仪坐标系与POS坐标系的转换关系TLP、RLP已知，若记POS坐标系下点的坐标为(XP，YP，ZP)，则由扫描仪坐标系到POS坐标系转换关系为

(3)

(4)

式(2)—式(4)分别描述了扫描仪坐标系、POS坐标系、WGS-84坐标系之间的转换关系。将全景影像与激光点云进行配准就是要获得二者在WGS-84坐标系下的转换关系。若设单片的像空间坐标系与WGS-84坐标系的转换矩阵为RCW、TCW，则两坐标系下的点满足

(5)

根据矩阵推导可求得

(6)

TCW=TLW+RLWTCL

(7)

其中

(8)

(9)

将式(8)、式(9)代入式(6)、式(7)，即可计算出RCW和TCW。

四、试验与分析

1. 全景影像与点云数据融合精度

由上述车载影像与点云数据配准方法可知，全景影像与激光点云在WGS-84坐标系下的配准其最核心的环节是求得单个CCD镜头在扫描仪坐标系下的相对配准参数。以某会展中心的选定建筑区域作为标定场景，采用上一节中描述的方法获取标定数据。以3号相机为例，在影像和激光点云中提取了对应的10个靶标点，其中7个靶标点作为控制点平差解算标定参数，另外3个靶标点作为检核点检验标定精度，坐标残差统计见表1。

表1　影像与激光点云相对配准残差　像素

由表1可知，平差解算后控制点的点位均方差为1.48像素，检核点的点位残差也在1.6个像素以内，标定精度满足相关应用的要求。

获得每个CCD相机在扫描仪坐标系下的标定参数后，在已知全景影像与单片的映射关系及扫描仪坐标系与POS坐标系转换关系的情况下，经过POS数据插值，即可实现全景影像与激光点云在WGS-84坐标系的配准，配准效果如图5所示。通过实地布设地物标志点对本文的数据配准精度进行验证，测得在平均距离为30 m时影像的量测精度为9.907 cm。

图5　车载全景影像与激光点云配准效果图

2. 全景影像与点云数据融合效果

获得车载全景影像与激光点云在物方坐标系下的配准参数后，通过数据融合的方式可以得到赋有地表真实颜色信息的彩色点云数据，如图6所示。另外，将激光点云数据反投影到对应的全景影像上(如图7所示)，也能进一步反映出点云与全景影像实现了很好的吻合。由以上融合效果可以看出影像数据与点云数据形成了较为精确的套合，也进一步验证了本文车载全景影像与激光点云的数据配准精度。

图6　融合后的激光点云

图7　点云反投影到全景影像上的效果图

五、结束语

本文给出了一种车载移动测量系统中精确可靠、适用性强的全景影像与激光点云数据配准方法，该方法通过对全景相机的各个CCD镜头进行内标定及在激光扫描仪坐标系下的相对标定，使单个CCD影像与激光点云在扫描仪局部坐标系下得到配准。结合全景拼接过程中全景影像与各个单片之间的映射关系及扫描仪与POS系统之间的标定参数，即可实现车载全景影像与激光点云动态、高精度的配准。通过实测数据验证，本文的标定方法能满足城市测量中多传感器数据集成与处理的需求。

参考文献：

[1]陈允芳，叶泽田.基于多传感器融合的车载移动测图系统研究[J].测绘通报,2007(1)：5-7.

[2]张帆，黄先锋，李德仁.激光扫描与光学影像数据配准的研究进展[J].测绘通报,2008(2)：7-10.

[3]ZHANG Q, PLESS R. Extrinsic Calibration of a Camera and Laser Range Finder(Improves Camera Calibration)[C]∥Intelligent Robots and Systems.New York: IEEE, 2004.

[4]UNNIKRISHNANN R, HEBERT M. Fast Extrinsic Calibration of a Laser Rangefinder to a Camera[R].[S.l.]：Carnegie Mellon University,2005.

[5]WASIELEWSKI S, STRAUSS O. Calibration of a Multi-sensor System Laser Rangefinder/Camera[C]∥ Intelligent Vehicles’ 95 Symposium. New York: IEEE, 1995.

[6]GAURAV P.Extrinsic Calibration of a 3D Laser Scanner and an Omnidirectional Camera[C]∥7th IFAC Symposium on Intelligent Autonomous Vehicles. Lecce: International Federation of Automatic Control, 2010.

[7]MEI C, RIVES P. Calibration between a Central Catadioptric Camera and a Laser Range Finder for Robotic Applications[C]∥Proceedings 2006 IEEE International Conference on. New York:IEEE, 2006.

[8]GONG X J, LIN Y, LIU J. 3D LiDAR-Camera Extrinsic Calibration Using an Arbitrary Trihedron[J]. Sensors,2013,13(2):1902-1918.

[9]GAURAV P. Automatic Targetless Extrinsic Calibration of a 3D LiDAR and Camera by Maximizing Mutual Information[C]∥Proceedings of the AAAI National Conference on Artificial Intelligence. Toronto:AAAI,2012.

[10]MASTIN A, KEPNER J, FISHER J. Automatic Registration of LiDAR and Optical Images of Urban Scenes[C]∥Computer Vision and Pattern Recognition. New York: IEEE, 2009.

[11]MISHRA R, ZHANG Y. A Review of Optical Imagery and Airborne LiDAR Data Registration Methods[J]. The Open Remote Sensing Journal，2012,5(1):54-63.

引文格式： 闫利，曹亮，陈长军，等. 车载全景影像与激光点云数据配准方法研究[J].测绘通报，2015(3)：32-36.DOI:10.13474/j.cnki.11-2246.2015.0069

通信作者：曹亮

作者简介：闫利(1966—)，男，教授，研究方向为摄影测量、遥感图像处理和车载移动测量技术。E-mail:lyan@sgg.whu.edu.cn

收稿日期：2014-01-15

中图分类号：P234.5

文献标识码：B

文章编号：0494-0911(2015)03-0032-05