基于空间投影点云分割的序列图像三维重建

陈瑞林，郑 宇，张晓燕（通信作者），廖加铭

（厦门大学嘉庚学院信息科学与技术学院 福建 漳州 363105）

0 引言

随着科技发展，基于序列图像的三维重建技术是计算机视觉和计算机图形学技术相结合产生的一门新技术。本文基于序列图像进行三维重建，首先采用空间投影的点云分割方法，利用靶标世界坐标系实现空间投影的点云分割方法得到相关点云数据。再利用光线投射算法将深度图像中的每个2D点反向投影到三维空间中，之后再将3D点投影到RGB图像中创建点云完成深度数据融合。最后使用改进的ICP获得被测物体的完整几何信息，将不同视角即不同参考坐标下的两组或者多组点云统一到同一坐标系下，进行点云的配准，完成三维重建。

1 研究背景

序列图像进行三维重建是计算机视觉技术领域的一大研究热点。目前算法大多是依次进行初配准和精确配准来有效提高重建精度。郭清达等[1]提出了一种基于摄像机位姿估计的目标图像特征点方法，能够较好地获得点云初配准值。孙殿柱等[2]提出一种结合二维序列图像的点云初始配准法，大大提高配准重叠区域较小的点云的准确率，同时稳健性和配准效率也明显提高。点云精确配准是通过迭代的方法，近年来最为主要的算法就是ICP（Iterative Closest Point）算法及其相关改进[3]。李艳芳[4]提出一种基于从点到面的距离误差测度函数结合特征的点云配准思想方法，这种方法相较于传统ICP算法能够展现出更高的配准精度和运行效率。李聪波等[5]提出一种对ICP算法的改进算法。该算法设定曲率和距离阈值，剔除其中的损伤点云，配准点云对应点的准确性和精确配准运行的快速性也能够在一定程度上得到保证。

2 序列图像三维重建

本文采用了一种基于空间投影的点云拼接算法[6]，通过建立靶标坐标系与点云区域的模型获得所对应的点云区域。再利用光线投射算法重建目标的色彩和纹理信息，然后将3D点投影到RGB图像中创建点云。最后使用改进的ICP算法得到重建物体的完整几何信息，流程如图1所示。

图1 本文算法流程图

2.1 数据处理

本文通过棋盘格来建立世界坐标系，确定重建目标对象在世界坐标系中的位置，将深度相机扫描生成的点云数据转换到相机坐标系中，利用靶标世界坐标系实现点云分割。如图2（a）所示，左上角的pc（xc，yc，zc）是相机坐标系中的点云，pw（xw，yw，zw）是世界坐标系中的点云。根据图2（b）的靶标板坐标系所示，两个坐标（对应红色和蓝色坐标系）对应位置存在一定的偏移。为了进行校正，本文使用补偿的方式。设图中靶标的厚度为Δz，世界坐标系的原点在待测区域X、Y轴对应的偏移量分别为Δx和Δy。图2（c）中的Pwl（Xwl，Ywl，Zwl）就是经过偏移补偿后的点云坐标，可通过手动测量或参考目标物模型：

图2 靶标世界坐标系

在得到旋转投影后场景的二维图像后,采用图像阈值分割快速地得到目标阈值范围，还原后得到场景分割的目标点云。世界坐标系中的点云Pwl（Xwl，Ywl，Zwl）,将其变换到场景点云的俯视角时，有：

其中，p（xu，yu，zu）是通过视角转换后的点云，对应转换视角的旋转矩阵，为转换视角的平移矩阵，t3×1为摄像机外参数的位移矩阵。公式中的[xuyuzu1]是由于该矩阵是由视角转换矩阵和平移矩阵组成，构成的是四维空间，因此两个坐标作为点乘运算，还需在原点云坐标P中加一个分量，即1。

通过基于空间投影的点云分割进行转换与计算得到如图3的序列图像点云数据。不同的点云颜色则代表目标区域对应的坐标值。

图3 序列图像对应点云分割结果图

2.2 获取图像色彩并拼接点云

本文基于RGB-D通过两个摄像头扫描彩色RGB图像以及深度图像。为了使重建出来的结果既有色彩和纹理信息，又能提高重建精确度，首先通过光线投射法获取重建对象的色彩和纹理信息，再进行彩色点云拼接[7]。主要步骤：

第一步，获取有重叠区域的三维点云。

第二步，确定相机内参矩阵，对三维点云进行两次投影得到RGB图像。

第三步，对2D图像进行预处理，利用SIFT算法得到两次投影的二维图像对应点，并利用RANSAC算法剔除点云中的错误点。

第四步，用二维图像对应信息返回投影之前三维点的对应信息，为后续使用ICP算法提供良好初始值。

通过上述方法得到如图4所示既有颜色信息，又有深度信息的点云拼接结果。

图4 本文序列图像的深度图像投影融合结果

2.3 ICP算法点云拼接

传统的ICP算法为使误差函数能够尽可能地小，按照一定的条件约束，分别在待匹配的目标点云P和源点云Q中，找到最邻近点（pi，qi），然后计算出最优匹配参数R和t。误差函数为E（R，t）为：

传统ICP算法虽然计算相对简单且直观，但容易产生大量错误点对，影响最终结果。因此本文使用改进的ICP算法求解点云拼接矩阵，算法思路是：假设有两片点云P=｛pi∈R3，1≤i≤m｝和Q=｛qi∈R3，1≤i≤n｝，且两种之间存在相似重叠部分，二维像素与三维点之间存在对应的关系，所以P中特征点pi可以直接对应到qi，则m=n。式子如（6）所示：

本文具体步骤是：首先，求出P、Q质心以及质心平移量，得到新点集，并计算出协方差矩阵，然后对求出的协方差矩阵进行奇异值分解，不断进行迭代，直至误差E（R，t）小于一定阈值后结束迭代。

3 实验结果分析

采用本文算法对图5的序列图像进行了重建，结果如图6所示；把特征筛选和提取方面改成SURF算法进行重建，结果如图7所示。

图5 初始序列图像

图6 本文重建结果

图7 使用SURF提取特征点的重建结果

比较本文与SURF算法这两种不同方法重建的结果，可以明显看出，本文结果能够重建出完整的人体和人脸，且不受背景影响，具有丰富的色彩信息与纹理。两种算法的运行时间和特征点数量如表1所示，也可以看出本文算法的优势。

表1 两种算法运行时间和特征点数量比较

可以看出本文的方法在重建精度、纹理信息、运行速度等方面有了一定的提升。

4 总结

本文通过光线投影算法以及深度图像与RGB图像融合、点云配准改进的ICP算法，提高了序列图像三维重建的精度。通过对实验的结果对比分析，本文方法能够在一定程度上提高三维重建准确度和完整度。