三维激光扫描系统中目标点云的颜色复原

沙 欧， 吕源治， 凌剑勇， 张尧禹，付瀚毅

(1.中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033；2.中国科学院大学，北京 100049)

1 引 言

三维重建是实现非接触测量、虚拟现实和逆向设计的重要方法，重建结果的精度、效率和完整性是重要指标[1]。单目及双目三维重建大多采用单一波长的结构光投影，或采用多波段结构光，但未采集目标的颜色信息，其建立的三维点云模型也是伪彩色的。颜色信息的丢失，不利于在后处理中识别目标丰富的表面特征[2]，因此关于目标的彩色三维重建研究很重要[3]。目前，目标的彩色三维重建方式主要有三种，一是通过深度相机(如Kinect、RealSense)重建。有学者利用深度相机构建了大豆冠层[4]、果树[5]等农作物的彩色三维点云，或通过多点联网实现了大规模环境重建[6]；但深度相机的测量精度在厘米级，且测量时对光照、温度和表面特性十分敏感，一般用于场景或大尺度目标重建[7]。二是结构光扫描重建，研究人员使用结构光扫描法实现了目标的真彩色三维重建[8]。文献[9]使用红、绿、蓝激光扫描并分通道获取目标彩色图像进行水下目标重建，精度达到了毫米级。文献[10]通过调整结构并测量彩色相机与目标位置关系的方法，研制出舌型彩色三维测量系统，重建精度为0.1 mm。但是结构光重建方法对测量系统结构的设计与装调要求较高，计算过程复杂，不便于广泛应用，且容易受到结构限制而无法重建完整表面的点云。三是基于特征的重建方法，一般用于三维测绘[11]、人脸或雕塑重建等[12]，适用于具有丰富表面特征的目标重建，而对于简单纹理的扫描目标则存在技术瓶颈。

本文利用编码标志点具有旋转不变性和唯一性的特性[13]，提出了三维激光扫描系统与彩色相机相结合的便携性、高精度、全彩色模型颜色复原方法。该方法根据编码标志点空间坐标变换求解目标无色点云与彩色图像间的旋转矩阵和平移矩阵，并根据相机成像数学模型建立彩色图像像元与无色点云的映射关系，再利用二维插值法将单幅彩色图像的颜色信息复原到点云中，最后通过颜色融合算法完成整个点云颜色的匹配融合，从而实现了目标表面三维点云的颜色复原。

2 颜色复原的原理及关键算法

图1为颜色复原的原理示意图，图2为复原流程。本文所用编码标志点为带中心圆的环形编码标志点，如图3所示。首先，使用三维激光扫描设备(如图4所示)对目标及周围编码标志点进行扫描，获取世界坐标系下目标表面的三维点云和编码标志点的编码值及空间坐标值。由于采用编码标志点作为求解彩色相机位姿的参照物，因此目标和编码标志点要相对固定。然后，使用彩色相机从空间中多个视角拍摄目标的彩色图像，彩色图像中同时包含目标和编码标志点。

图1 颜色复原原理示意图Fig.1 Principle diagram for color restoration

图2 点云颜色复原流程Fig.2 Flow chart of point-cloud color restoration process

图3 编码标志点Fig.3 Code points

图4 手持式三维激光扫描设备Fig.4 Photo of handheld 3-D scanning device

由于编码标志点的编码值是确定且唯一的，因此采集到的彩色图像中编码标志点与世界坐标系中的编码标志点是一一对应的关系。根据编码标志点的图像坐标值与其世界坐标值，通过单目相机位姿求解算法计算出世界坐标系到相机坐标系的旋转矩阵和平移矩阵。这里将目标的三维点云按照旋转矩阵和平移矩阵进行空间坐标变换，得到了目标在相机坐标系下的点云。由相机成像原理可知，此时点云与图像之间符合“物与像”的关系，在相机坐标系中根据相机成像模型建立点云和图像的映射关系，那么图像传感器表面每个像元的RGB颜色值即是对应点所在目标表面位置的颜色。如图1所示，在世界坐标系下的点P，根据旋转、平移矩阵和相机成像模型求出在图像中的对应点P′，点P′的颜色即为点P的颜色。如此将图像中每个像元的RGB颜色值赋给对应的点，即可在三维点云上复原出相机在该视角拍摄到的目标表面的颜色信息。依据目标的几何特征，从足够多的视角采集目标及编码标志点的彩色图像，并依次进行颜色复原，即可得到具有目标真实颜色信息的彩色三维点云。

为提高颜色复原的准确度和计算效率，彩色图像中的编码标志点需要进行亚像素计算和定位，在颜色复原时需要通过插值算法降低颜色偏差，在图像重叠部位颜色计算时需要进行颜色融合[14]。

2.1 二维彩色图像预处理

为了提高颜色复原的精度，应对原始彩色图像进行滤波去噪处理[15]。本文使用双边滤波算法进行去噪，输出图像的计算公式如下：

(1)

(2)

式中：σd为空域高斯函数标准差，σr为值域高斯函数标准差，(k,l)为模板中心的坐标，(i,j)为邻域点的坐标，f(i,j)为输入图像的灰度函数，加权系数w(i,j,k,l)为空域核与值域核的乘积，g(i,j)为输出图像的灰度函数。

2.2 亚像素边缘提取

在计算编码标志点坐标时，本文使用亚像素级边缘提取和椭圆拟合算法，该方法的计算效率和精度均较高，计算步骤包括像素级椭圆边缘提取、亚像素级边缘提取和椭圆中心计算。

(1)像素级提取椭圆边缘。首先，采用Canny算子进行椭圆边缘提取得到边缘数据，包括边缘点与非边缘点；然后，使用约束条件剔除其中部分非边缘点；再通过由形态学方法提取椭圆边缘建立的第一约束和由闭运算与边缘属性相结合建立的第二约束得到较精确的边缘信息；最后，采用形态学细化剔除其中非边缘点，获得像素级椭圆边缘。

(2)亚像素级提取边缘坐标。空间矩边缘检测算法是根据单位圆内的平面阶跃边缘模型，使用边缘灰度的空间矩进行边缘的亚像素计算得到6阶次空间矩，再结合理想阶跃边缘模型函数，计算得到亚像素边缘。当空间矩模型为M×N时，得到亚像素边缘坐标如下：

(3)

式中:l为模型中心到直线的距离，φ为l与x轴夹角。

(3)椭圆曲线拟合。使用最小二乘法拟合得到的亚像素边缘，平面椭圆的目标函数为：

(4)

式中:A，B，C，D，E为椭圆参数，x,y为待拟合椭圆亚像素边缘坐标。

通过对式(4)中的椭圆参数求一阶偏导数并令偏导数为0，即可求得5个参数值。

2.3 相机的位姿计算

根据编码标志点的世界坐标值与图像坐标值求解相机空间方位属于PnP(Perspective-n-Point)问题，也叫位姿求解，其中n表示点对的数目。点的世界坐标值与其图像坐标值的关系为:

(5)

式中R3×3=[r1r2r3]，包含9个未知量，实质可用3个表示绕坐标轴转动的独立变量来表示；t3×1同样可用3个表示沿坐标轴平移的独立变量表示。直接线性变换法(DLT)的思想是将位姿矩阵[R][t]看作12个未知数，通过6对点的坐标进行线性求解。但由于没有考虑旋转矩阵的固有约束条件，且在输入噪声的影响下，通过直接线性变换求出的解未必满足约束条件，得到的姿态矩阵误差较大。旋转矩阵的固有约束条件为：

(6)

式中ir,jr=1,2,3。

通过加入固有约束的办法对算法进行改进，充分利用了旋转矩阵R3×3参数间的内在联系，求解只需要4对点，再利用多对点建立超静定方程，可以降低噪声对结果精度的影响。先将点对坐标进行归一化，利用归一化点对坐标计算位姿矩阵；然后将位姿矩阵逆归一化得到原位姿矩阵，消去比例系数后可得到位姿矩阵的粗略解R；最后对粗略解R进行奇异值分解，可得到精确的位姿矩阵R′。

(7)

R=UDVT,R′=UVT，

(8)

式中R′为最后得到的姿态矩阵。

2.4 颜色复原

利用得到的相机位姿矩阵，将目标的三维点云变换到对应的相机坐标系中，此时点云与相机传感器的图像是“物与像”的关系。然后，通过相机成像模型计算点云中的点在相机传感器表面的投影位置坐标，将坐标换算为像素坐标值，建立了点到彩色图像像元的映射关系，该点的颜色即是相应像元的RGB颜色值。

为提高颜色复原精度，本文根据坐标值对每一点的RGB值进行双三次插值计算，即选取该点投影位置及相邻位置4×4个像元的RGB值，依据投影位置坐标与各个像元的位置关系确定该点的RGB值，每个点的颜色计算公式如下：

q(x,y)=q(i+ix,j+jy)=W1C4×4W2，

(9)

式中：W1,W2表示权值，C4×4表示各像素的颜色矩阵。

在建立点与像元的对应关系时，常出现多个点对应同一像元的情况，本文将同一像元所有对应点到相机坐标系XcOcYc面的距离zc进行比较，选择最小值及阈值范围内的值，相应的点即为有效点。

由于图像采集视角、距离和环境光的影响，目标表面的同一区域在不同彩色图像中的成像颜色存在差异，影响重建质量和视觉效果。为此，本文基于多视图拼接技术提出了三维点云颜色融合算法。如图5(a)所示，两幅彩色图像分别进行颜色复原得到目标点云中两个局部点云的颜色：局部点云Ⅰ和局部点云Ⅱ。Ⅰ与Ⅱ存在重叠区域，重叠区域的点在两次颜色复原中得到的颜色有差异，本文在重叠区域局部点云Ⅰ的颜色按照融合曲线进行增强，局部点云Ⅱ的颜色则按照融合曲线进行衰减。

图5 点云颜色融合示意图Fig.5 Schemes of point-cloud color fusion

点云颜色融合包含三个步骤：确定点云重叠范围、计算颜色融合因子和点云颜色融合计算。首先，由两个局部点云求交集，获得重叠区域范围；然后根据重叠范围的空间尺寸计算颜色融合因子；最后对点云进行融合计算。融合因子函数为：

p(x)=

(10)

经过试验，q=2时融合效果最佳。

3 实验与数据处理

3.1 实验系统搭建

实验搭建的三维点云颜色复原系统如图6所示。大恒彩色相机(型号DH-SV401FC，分辨率为780×582，传感器尺寸为1.27 cm(1/2 inch)用于采集目标的彩色图像。由6只白色LED灯(色温约为6 000 K)组成的照明光源均匀分布于相机周围并通过结构件与相机固定，为彩色图像拍摄提供均匀的环境光，作为空间定位介质的圆形编码标志点和计算机(图中未画出)。此外，还包括自主研发的手持式三维激光扫描设备(见图4)。

图6 颜色复原系统的硬件组成Fig.6 Hardware of color restoration system

测量时，编码标志点需要均匀固定于目标周围，根据目标的几何尺寸合理确定编码标志点的数目，保证三维激光扫描设备和彩色相机在任意位置均能捕获4个以上的编码标志点。若编码标志点数目过少，则扫描失败；若编码标志点数目过多，计算效率会下降。选择不同形式的编码标志点或采用不同的布局形式对颜色映射的影响较小，只需使得三维激光扫描设备和彩色相机在任意位置能够捕获4个以上的编码标志点即可进行颜色映射。实际测量时应选用几何尺寸合适的编码标志点，均匀分布于目标周围即可。

3.2 实验数据采集

本文采用张正友标定算法进行彩色相机标定，等效焦距为1 012.745，镜头光轴的像素坐标为(410.181，284.301)，径向与切向畸变系数分别为-0.0104 23和0.037 222。

如图7所示，本文实验对象为立体数字和花盆。立体数字由蓝色立体数字“3”、底座和底板组成，包含蓝、绿、黑、土黄4种颜色，花盆为八角形状，底色为白色，侧面有红花绿叶等图案(彩图见期刊电子版)。数据采集全过程中需保持目标与编码标志点的相对位置固定。

图7 实验对象Fig.7 Experimental objects

首先，用三维激光扫描设备分别扫描两个目标，得到编码标志点信息(立体数字的编码标志点信息如表1所示)和三维点云(如图8所示)。然后，采集彩色图像，打开光源待亮度稳定后进行图像采集；采集时根据实验对象选择合适的视角，本实验在立体数字和花盆的多个视角采集了彩色图像，如图9所示(彩图见期刊电子版)。

表1 立体数字的编码标志点编码值及世界坐标值

图8 实验目标的三维点云Fig.8 Three-dimensonal point cloud of experimental objects

图9 实验目标的原始彩色图像Fig.9 Original color images of experimental objects

3.3 实验结果

将图9(a)中立体数字4幅彩色图像的颜色信息复原到三维点云中，分别得到了如图10(a)所示4个视角的局部具有颜色的三维点云。

图10 实验目标的彩色三维点云

同样，由图9(b)中花盆的2幅彩色图像分别得到如图10(c)所示2个视角的局部具有颜色的三维点云。最后，将各个视角彩色图像复原到点云中，通过颜色融合计算即得到了具有目标表面真实颜色的三维点云，如图10(b)和10(d)所示。

3.4 实验结果分析

从图9和图10可以看出，本文所提方法能够将实验对象彩色图像中的颜色复原到其三维点云中，达到了建立目标彩色三维点云的目的。将图10(a)、10(b)与图9(a)对比，可以看出立体数字彩色点云与原图的颜色一致，从图10(d)可以看到花盆图案中的花心、绿叶、叶脉和花苞等细节部分，与原图9(b)的颜色一致，从放大图11(b)也可以分辨出以上细节，说明使用本文方法进行颜色复原时颜色真实度高。将立体数字的彩色三维点云中4个颜色交界处局部放大，由图11(b)可以看出各放大图中颜色交界处有清晰的分界线(各图中红色椭圆位置)。左上图和右上图为蓝色数字与绿色底座的连接处放大图，测得颜色过渡区域的最大空间尺寸分别为0.6 mm和0.3 mm。左下图为底座上绿色与黑色交界，测得颜色过渡区域的最大空间尺寸为0.5 mm。右下图为底座与底板连接处放大图，测得颜色过渡区域的最大空间尺寸为0.4 mm。在图11(b)中选择花瓣与绿叶交界处，测得颜色过渡区域宽度为0.6 mm，在叶脉边缘测得过渡宽度为0.5 mm(彩图见期刊电子版)。以上数据表明，使用该方法进行颜色复原的结果具有较高的空间位置精度，颜色的最大空间位置误差不超过0.6 mm。立体数字点云的点数为6.23万点，4幅图像的处理时间为3.6 s，计算效率为6.9万点/秒。花盆点云的点数为14.66万点，2幅图像的处理时间为4 s，计算效率为7.33万点/秒。本文实验所用的三维激光扫描设备经过国家质检中心的精度检测，测量精度为0.03 mm。文献[4]和[5]中利用深度相机分别实现的大豆冠层和果树重建精度均为厘米级，对比表明本文方法具有更高的测量精度。文献[9]使用结构光进行目标的三维彩色重建，精度达到了毫米级，但所用实验设备需要具备高精度且结构复杂，在测量时需要精确调整，不便于现场应用。对比表明本文方法测量精度高，测量简单、效率高，相对三维重建仅增加了一台彩色相机，测量设备简单，便于现场应用。对比文献[12]基于特征的重建方法需要被测物具有丰富的表面特征，而本文方法不依赖于特征，可以实现各类目标的三维彩色重建，并且目标的几何尺寸、形状和表面特性等对测量结果的影响小，测量结果稳定。

图11 彩色点云局部放大Fig.11 Partial enlargement of colorful 3D point cloud

4 结 论

本文以编码标志点作为定位介质，将目标彩色图像映射到三维点云中，进而建立目标彩色三维点云的方法。传统结构光三维重建方法的重建精度高，但不包含颜色信息，而利用深度相机虽然能够进行彩色三维重建，但精度仅为厘米级，本文方法兼具上述两类方法的优势，既具有高的重建精度又再现了目标的真实颜色。与同类方法相比，本文方法具有更高的测量精度和测量效率，实验设备简单、操作便捷，适用于各类目标的彩色重建和现场应用，而且所需硬件投入小，易于推广应用。同时，改进了相机位姿求解算法，在原有直接线性变化法的基础上，加入了旋转矩阵中固有约束条件，降低了输入噪声的影响，提高了位姿求解精度；而且，原有DLT方法求解至少需要6对点，改进后仅需要4对点即可求解位姿矩阵。使用三维激光扫描设备对两个目标进行三维重建，三维重建精度为0.03 mm，进而完成了两个目标的彩色三维点云，颜色的空间误差小于0.6 mm。通过视觉观察，颜色真实程度良好，计算效率达到7.3万点/秒。

本文颜色复原方法实现了目标的三维彩色重建，在原有三维重建基础上增加了颜色信息，提高了重建完整性，适用于生物医学研究、工业检测、刑侦及文物保护等多个技术领域。例如在静脉血栓栓塞症(VTE)检测中，不仅可以根据三维点云获得体表形变数据，还可以通过皮肤颜色变化辅助医生评估患者的栓塞风险；在刑侦现场的三维足迹提取中，足迹表面常常伴随着血迹等色彩信息，这些都是破案的重要线索，通过颜色复原可以完整保留证据信息，提高破案效率。

基于以上研究，本文计划通过合理选择颜色空间，并在标准条件下，实现相机颜色标定，将得到的彩色点云与实验对象相比对，以获得环境光、采集视角和距离对颜色复原结果的影响程度。

致 谢：感谢季华实验室"鞋服智能柔性制造技术与装备"项目给予本文的支持。