单光子探测三维点云与可见光图像融合处理算法研究

张飞飞，彭 雷，袁 韬

（1.中国航空无线电电子研究所,上海 200233；2.中国人民解放军92697 部队,河北 唐山 063000）

引言

单光子探测技术是一种新型的光电探测技术，具有灵敏度高、成像精度高、作用距离远、体积功耗小等优点，主要应用于激光雷达等主动三维成像系统，通过二维扫描可实现对目标表面三维成像探测，在无人驾驶辅助导航、对地测绘、远距离目标成像等领域获得了广泛的应用[1]。基于以上技术优势，将单光子探测获取到的三维点云数据同传统光电系统中的可见光、红外图像进行融合处理，能够在二维灰度图像上增加目标的距离、深度、位置等信息，有效提升了成像系统对于目标的探测识别能力[2-5]。本文主要针对以上两种数据的不同特征，提出了一种面向单光子探测成像系统的主被动图像融合处理算法，实现了单光子三维点云和可见光图像的融合处理。

1 单光子探测三维点云与二维图像融合处理原理

1.1 系统融合处理流程

单光子探测成像系统主要由单光子探测激光雷达、可见光相机两个传感器组成，分别获取目标场景的三维点云数据和可见光图像，通过融合处理可实现激光主动探测和可见光被动探测数据的叠加显示。系统融合处理流程如图1所示，融合处理的输入数据分别为单光子探测三维点云数据以及可见光相机图像，进行融合处理的主要流程[6-7]如下：

图1 单光子探测三维点云数据与可见光相机图像融合处理流程Fig.1 Fusion processing of single-photon detection for 3D point cloud data and visible camera image

1）对三维点云和二维图像分别进行预处理，提取相应的特征点。对于论文中采用的单光子探测系统，由于灵敏度极高，获取的点云数据中包含了大量的单光子噪声，需要采用相应的距离相关检测和泊松滤波算法将无效的噪声信号进行滤除，实现真实目标三维信息的提取[8-9]。

2）三维坐标系与二维坐标系下的特征点匹配处理与转换参数求解。将所提取的同名特征点进行坐标匹配，带入融合算法模型中，求解融合的坐标系转换参数。

3）三维点云与二维影像融合处理。将二维图像中的每一个像素转换为三维坐标系下，将其强度信息叠加至相应的三维点云数据上。

4）完成融合处理，输出叠加可见光灰度信息的三维融合影像数据。

1.2 融合处理算法原理

单光子探测成像系统融合处理算法的基本原理如图2所示，即：将像空间坐标系下的灰度图像转换到物空间，进而同经过预处理的三维点云信息叠加处理，在物空间坐标系下生成叠加灰度图像纹理的三维模型。在投影变换过程中，主要利用了直接线性变换方法，基于像点像平面坐标和相应物点物方空间坐标之间的直接线性关系，对单张影像与3D 模型进行配准并进行计算[10-12]。

图2 融合处理算法的基本原理Fig.2 Principle of fusion processing algorithm

单光子探测成像系统中，可见光相机的影像在像空间坐标系下，单光子探测得到的三维点云数据在物空间坐标系下。在成像过程中，2 个不同空间的对应像素点遵循共线方程[13-16]：

其中：(x,y)是可见光相机各个像元在像方坐标系下的坐标；(x0,y0)是可见光相机的像主点坐标；f是可见光相机的焦距；(X,Y,Z)是三维点云数据的坐标；(XS,YS,ZS)是可见光相机摄影中心在物空间坐标系下的坐标；是空间变化旋转矩阵中的方向余弦。

对（1）式进行直接线性变换，可以得到可见光相机二维影像和物空间对应像点坐标转换的基本公式：

考虑到影像畸变等非线性因素，可将像点坐标表达为（3）式：

当有n个观测值时，对（2）式同乘分母，并将其线性展开得观测方程（4）式：

根据（4）式中的直接线性变换模型，整个系统在进行投影变换的过程中，一共有11 个位置参数需要解算，这11 个参数中，包含了成像系统的3 个内方位元素、6 个外方位元素、1 个坐标轴不正交系数、1 个坐标轴比例不一系数。因此，在成像系统中将11 个位置参数求解出来，即可以完整描述该系统的二维影像和三维点云的投影叠加关系。本文中，采用了间接平差法，选取多组特征点，设置迭代阈值ε，通过数值迭代解算求解系统的变换参数矩阵L。系统的误差方程和法方程为

式中：

1.3 融合处理软件方案设计

为了对单光子探测成像系统获取的三维点云数据进行解算，并将其同可见光相机获取的相应视场范围内的二维图像进行融合处理，生成叠加三维信息的融合图像，论文基于直接线性变换原理设计了融合处理软件。在获取单光子探测成像系统的二维图像和三维点云后，将选择的同名特征点采用最小二乘的方法计算二维图像与三维点云间的变换参数，然后根据计算出的转换参数将相应视场范围内的三维点云进行赋色。融合处理软件的总体方案如图3所示。

图3 融合处理软件总体方案Fig.3 Overall scheme of fusion processing software

2 融合成像实验验证

2.1 单光子探测成像系统

单光子探测成像系统的构成如图4所示，分为单光子探测激光雷达、可见光相机2 个独立的工作模块，可实现单光子三维成像探测，并对二维被动图像数据进行融合处理。系统采用了高灵敏度单光子探测器，由于探测灵敏度的提高，系统对于望远镜口径、激光功率等要求不高，使得远距离多元并行探测成为可能，这一方面充分利用了单光子探测体制的技术优势，另一方面提高了成像速度和目标表面的数据采样率。单光子探测激光雷达的激光脉冲重复频率10 kHz，单脉冲能量1 μJ，脉宽400 ps，激光束散角100 μrad，激光发射时将激光波束排成线列，对应焦面上的9 元阵列探测器，通过记录激光的发射时间与回波接收时间，实现针对目标的距离测量，最终反演出目标的表面三维形貌。单光子探测激光雷达收发共用一个直径30 mm 的望远镜，利用二维扫描镜作为扫描机构，实现23.5°×17.7°的扫描视场，系统成像的角分辨率0.4 mrad，测距精度优于0.07 m。可见光相机采用高灵敏度的CMOS 传感器，工作在可见光波段，成像视场20°×15°，分辨率1 024×768 像素，帧率25 Hz，通过安装接口配准安装在单光子探测激光雷达上部。

图4 单光子探测成像系统组成结构Fig.4 Structure of single-photon detection imaging system

2.2 融合处理变换参数的确定

为验证融合处理方法的合理性，论文利用单光子探测成像系统对目标进行了成像探测，对获取到的单光子探测三维点云和可见光二维图像进行处理验证。在数据处理过程中，同名特征点的选取采用人工标定方式，由于成像系统的视场较大，可选取单光子探测三维点云数据和可见光二维图像数据中楼宇的显著边界点，选取的特征点坐标如表1所示。经过平差迭代后，解算完成的直接线性变换参数如表2所示。

表1 选取的同名特征点坐标Table 1 Coordinates of selected homonymous feature points

表2 融合处理的直接线性变换参数解算结果Table 2 Calculated results of direct linear transformation parameters by fusion processing

2.3 融合处理结果

在确定融合处理变换参数后，利用融合处理软件对整个场景的三维点云、二维图像进行坐标变换处理，将所有数据统一变换至三维点云坐标系下，利用融合显示模块将二维灰度图像叠加至三维数据上，输出融合处理后的三维数据。图5 是单光子探测成像系统获取到的原始三维点云和可见光二维图像，图6 是经过融合处理叠加灰度信息的三维数据。

图5 原始三维点云与可见光二维图像Fig.5 Original 3D point cloud and visible light 2D image

图6 融合处理后叠加灰度信息的三维数据Fig.6 Three dimensional data with gray information after fusion processing

3 结论

本文分析了单光子探测成像系统的数据融合处理算法原理，设计了单光子探测三维点云和二维图像融合处理软件，采用直接线性变换、最小二乘间接平差方法确定了二维图像到三维空间的映射变换参数，从而将二维图像整体转换到三维点云空间，实现融合叠加处理和显示。利用系统获取的数据进行处理分析，实验结果表明，本文提出的融合处理算法能够有效实现三维点云和二维图像的融合处理，生成了具有目标灰度图像信息的三维模型。