多维点云结构相似性定量化评价

杨紫骞， 王艳秋， 郑 福， 孙志斌*

（1.中国科学院国家空间科学中心，北京 100190；2.中国科学院大学，北京 100049）

1 引言

三维数据作为一种不同于二维数据的新的多媒体数据，目前备受人们的关注。多维点云数据，是除了三维信息，又增加了深度信息、色彩信息、反射率和法向量信息等综合的一种新的数据结构［1］，常用在建筑物三维建模等领域。作为一种常用格式，点云表示将原始几何信息保留在三维空间中，因此三维点云数据格式就成了自动驾驶和机器人技术此类场景理解相关应用程序的首选表示法［2］。虽然三维点云具有较高的精度，可以满足导航和避障需求，但是三维点云不容易闭环表示，使得导航存在轨迹偏移，从而影响精准度，而且目前点云获取方式通常是由三维成像传感器获得的，这种方式通常会有噪声点的存在［3］，特别是在物体的边缘或角落位置［4］，这是由于测量仪器或者多路径干扰等因素造成的。由于噪声的存在影响了物体表面的细节信息，就会给后续点云配准、点云分割及表面重建等工作带来困难，所以点云质量的优劣就变的至关重要。而且对于多幅点云配准和即时定位与地图构建（Simultaneous Localization and Mapping， SLAM）提供了参考，由于在多幅点云配准中，可能因为单幅点云质量不好导致整体配准效果很差，因此需要一种可以直观显示出点云模型质量的评价方法。

尽管目前有很多点云预处理的方法，但是大多都是依靠主观评价来对点云质量进行判断，还没有一种较好的客观评价方法，用于评价经过预处理后点云质量。有些实验会利用均方误差法（Mean Square Error，MSE）［5］和 峰 值 信 噪 比（Peak Signal to Noise Ratio，PSNR）［6］的 方 法 来进行点云质量评价，这两种评价方法虽然计算较为简单，但是并不符合人的主观感知［7-8］，即对结构的识别能力较弱，而本文提出的多维结构相似性 理 论（Multi-Dimension Structure Similarity， MDSS）定义明确、准确性好，更贴近人眼效果。

鉴于以上论述，本文提出了一种多维点云结构相似性定量化评价方法，用于评价多维点云质量，并用三维点云数据进行分析验证。结果表明，高维结构相似性评价方法的曲线与置信度曲线走势基本相符，验证了该方法的可靠性。该方法实现了对点云质量的客观评价，为点云质量评价提供了一种新思路，同时该方法能够评价不同噪声类型以及处理方法下获得的点云质量，为点云配准提供了参考，提升了配准精度。因此该方法不仅对点云预处理和点云质量进行了高效、客观地评价，还提供了一种提高点云配准精度和效率的方法。

2 结构相似性算法

2.1 单一轴向的结构相似性算法SSIM

Wang等提出的结构相似性指标（Structural Similarity， SSIM）［9］通常用于衡量图片的失真程度，也可以用于衡量两张图片的相似程度。结构相似性主要考量三个关键特征［10］，即深度（Depth）、深度对比度（Contrast of Depth）、结构（Structure）。假设一幅点云中的点云数为N，其中的像素记为Ipi，则该副点云的均值、标准差、协方差分别为：

由于本文是将两幅点云数据进行对比，所以假设另一幅点云中的点记为Ipi2，则两幅点云分别减去它们的均值后的余弦相似度为：

由基本不等式：

当且仅当a=b时，公式（5）的等号成立，所以将a2+b2当作分母，将点云数据相同轴向坐标的均值、标准差和协方差对比度代入，可以得到深度相似度指标、深度对比度相似度指标和结构相似度指标：

其中：C1，C2，C3为常数，保证分母为0时的稳定性，C1，C2，C3这样给出：

在实际计算中，通常取K1=0.01，K2=0.03。L为点云像素数。

由于结构相似性算法是将深度值、深度对比度值、结构值来度量单一轴向的相似性，所以单一轴向的结构相似性公式如式（12）所示［11］：

其中，α，β，γ为调节三个值的权重。通常在计算中将其设定为α=β=γ=1，但有时也要根据不同场景进行一定地调节。此时将公式（6）～公式（8）代入公式（12）可以得到SSIM公式：

单一轴向结构相似性算法所给出的评价方法，其取值范围在0～1之间，值越接近于1，说明图像质量越好。当SSIM=1时，说明两幅点云数据一模一样；且单一轴向结构相似性算法还具有对称性，即优先对比两幅点云中任意一幅，其SSIM值均相等：SSIM(1，2)=SSIM(2，1)。

2.2 三维轴向的结构相似性算法3D-SSIM

单一轴向结构相似性算法主要考量3个关键特征，在上升到三维结构相似性算法（3D-Structural Similarity， 3D-SSIM）时，将三维坐标中3个单独轴向的结构相似性算法根据权重累乘一起，从而得到三维结构相似性算法公式：

其中，ρ，σ，ω为调节3个值的权重。通常在计算中，由于z轴方向上的时间噪声要小于x，y轴上的，所以通常设定ρ=1，而对于x，y轴，由于存在镜头畸变，会导致点云数据x，y轴上边缘点的数据会有一定的扰动，所以σ，ω值需根据实际情况进行调整。

3D-SSIM算法评价过程如下：

Step（1）：获取A，B两幅三维点云中所有的点，按x，y，z轴获取目标物体三维点云坐标信息；

Step（2）：将A，B两幅点云数据的x，y，z轴三个数据分别计算单一轴向坐标的均值、标准差、协方差；

Step（3）：将单幅点云数据相同轴向的均值、标准差、协方差值进行计算，得到单一轴向的深度相似度值、深度对比度相似度值和结构相似度值；

Step（4）：将单一轴向的深度相似度值、深度对比度相似度值、结构相似度值根据权重相乘到一起，得到单一轴向的结构相似性值；

Step（5）：联合x，y，z轴的单一轴向结构相似性值加权相乘，得到点云去噪质量描述符，即三维结构相似性值。

三维结构相似性算法系统结构图如图1所示。

图1 三维结构相似性算法系统结构图Fig.1 System structure diagram of 3D-SSIM

三维结构相似性评价方法所提供的预测值同单一轴向结构相似性评价方法给出的预测值相同，取值范围也在0～1之间，其值越接近于1，说明三维结构相似性越好，两幅点云数据集的结构越接近，若值为1，则说明两幅点云数据相同；并且三维结构相似性评价算法也满足对称性。

3 实验与结果

3.1 测试数据库与滤波方法

为验证本文评价方法的是否有效，本文采用斯坦福大学的标准数据库和LUCID相机采集的点云数据进行仿真实验。其中斯坦福大学标准数据库采用bunny，dragon和buddha三组数据，用于验证三维结构相似性评价方法的有效性，LUCID相机采集的点云数据集用于评价3D-SSIM方法的效果，并分别用半径滤波、统计滤波、低通滤波这三种常见滤波器进行测试评价。其中半径滤波的参数为：滤波半径设置为8，半径内部邻居数设置为15。

统计滤波的参数为：用于平均距离估计的点数设置为6，标准偏差乘数阈值（nSigma）设置为1，根据公式（16），可以计算出统计滤波的最大距离。

低通滤波的参数为：设置sigma=2，根据公式（15），可以计算出高斯滤波的关联作用域。

3.2 三维结构相似性评价的有效性

为验证本文评价方法是否有效，本文对斯坦福大学标准数据库中的bunny，dragon和buddha3种模型分别进行添加高斯噪声处理，并对未加高斯噪声和添加高斯噪声后的两幅点云数据集与标准点云数据集进行三维结构相似性评价，标准点云数据集即为未添加高斯噪声的点云数据集，其中对比的内容包括x轴、y轴、z轴三轴方向上的结构相似性和三维结构相似性。图2为bunny，dragon和buddha添加高斯噪声前后的点云数据图像。

图2可以看出bunny，dragon和buddha模型在添加高斯噪声后，即使依然可以看出其形状，但已经很大程度上更改了其原本的特征点。分别利用结构相似性评价方法和三维结构相似性评价方法对x轴、y轴、z轴3个维度的坐标轴和三维坐标进行综合评价。

图2 Bunny，dragon和buddha添加高斯噪声前后点云Fig.2 Bunny， dragon and buddha models’ point clouds before add and remove Gaussian noise

由表1可以看出bunny，dragon和buddha 3幅点云数据原数据集与原数据集进行x轴、y轴、z轴的结构相似性对比，得到3种模型点云数据的单一轴向的结构相似性值均为1，即证明两幅数据集的单一轴向的结构相似性相同，根据公式（14）可以求得，每种点云数据集三维结构相似性的数值也为1，由此可以知道3种模型点云数据的三维结构相似性也相同。在3幅标准点云数据集的基础上分别添加高斯噪声后，x轴、y轴、z轴3个单一轴向的结构相似性评价值均有所下降，因此添加高斯噪声后三维结构相似性的数值也都由原来的数值1分别下降到了0.880 56，0.956 76和0.971 52，即单一轴向和三维结构的点云质量都有所下降。由此可以证明将二维的结构相似性评价指标根据权重分配后应用于三维，不仅可以满足3个坐标轴各自的结构相似性评价需求，也满足三维结构相似性评价需求。也证明了三维结构相似性能够用于评价点云的质量。

表1 Bunny，dragon和buddha添加高斯噪声前后的结构相似性Tab.1 SSIM of bunny， dragon and Buddha before and after adding Gaussian noise

3.3 基于置信度方法验证三维结构相似性

本文还利用基于置信度的方法验证本文评价方法是否有效。基于置信度的点云预处理方法是将十幅点云图进行对应位置叠加，并将10幅点云图中全包含的点作为100%置信度的点云集，9幅点云图中都包含的点作为90%置信度的点云集，随着相同点云集的图像数减少，置信度逐渐减少，直到置信度降至10%。

本文方法对室内环境下拍摄的cat，car，tank模型和室外环境下拍摄的真实卫星模型的点云数据进行基于置信度的点云预处理方法，获得从置信度10%到100%的10幅点云数据集。通过手动标定，获取各模型的标准三维点云数据集。由于置信度较低的点云数据集多为远离模型的点云，其形态是随机的，不能和标准点云数据集进行对比，因此选择了各模型中置信度40%到100%，7幅点云数据集与标准点云数据集进行三维结构相似性和x，y，z轴的结构相似性评价。从而验证本文方法有效性。根据图3可以得知，随着置信度值增加，x，y，z轴和三维结构相似性值均大致成上升趋势，证明随着置信度提升，其结构越接近标准点云数据，这与基于置信度的处理方法相对应，即置信度越高点云图像越接近于标准目标模型。

图3 不同置信度下x轴、y轴、z轴结构相似性和三维结构相似性曲线Fig.3 X-axis， y-axis， and z-axis structural similarity curves with different confidence levels and three-dimensional structural similarity curves：

图4为cat模型不同置信度点云数据z轴相似性曲线和不同置信度点云数据z轴长度曲线。根据结构相似性评价方法定义，若z轴相似性值越大，则z轴的长度越小。

根据图4可以明显看出，猫模型z轴相似性符合结构相似性评价定义，但是根据图3和图4可以看出，在随着置信度值增加，x轴、y轴、z轴和三维结构相似性值曲线并不是绝对增加。其原因在于，在不同置信度情况下，点云数据的z轴长度不同，如图5为猫模型在置信度分别为70%，80%，90%，100%下的点云俯视图，可以看出四个不同置信度下，点云数据的z轴长度分别为9 430.19，7 354.06，4 749.5，5 365.75，z轴的长度有一定的变化，因此导致结构相似性有一定的变化，这就解释了为何随着置信度的提升，点云结构相似性曲线并不是绝对上升，而是会有浮动地上升，这是因为在其他轴向的结构相似性在随着上升的同时，由于z轴结构相似性值的浮动，才造成这种变化。

图4 Cat 置信度z轴相似性曲线Fig.4 Similarity curves for cat models with different confidence levels regarding the z-axis

图5 Cat不同置信度点云俯视图Fig.5 Cat model of Top view of the point cloud with different confidence levels：

3.4 三维结构相似性评价方法

为全面评估三维结构相似性评价方法的能力，本文对实验室采集到的点云数据集进行三维结构相似性评价方法的验证。先将实验室采集到的点云数据集进行置信度提取，即将同一位置、同一目标不同时间采集到的点云数据中相同的点云数据进行提取，得到置信度为100%的点云数据集，再经过手动标定，剔除噪声点，得到本次评价中的标准点云数据集，之后对采集到的点云数据集进行目标提取，并对其进行不同的滤波算法处理，再将处理后的点云数据集与标准点云数据集进行x，y，z三轴结构相似性评价和三维结构相似性评价。

图6为利用TOF相机在实验室环境下采集的cat，car，man，head，aircraft carrier，plane 6种点云数据集，从上至下分别为标准点云数据集、目标提取后的点云数据集、R半径滤波后的点云数据集、统计滤波后的点云数据集和低通滤波后的点云数据集。

图6 Cat，car，man，head，plane，aircraft carrier点云数据集Fig.6 Cat， car， man， head， aircraft carrier， plane point cloud datasets the pictures from top to bottom are：respectively， standard dataset， target extraction dataset， radius filtering， statistical filtering， low-pass filtering

根据表2可以看出，经过三种滤波方法后，三轴的结构相似性中，z轴结构相似性的值较其他两坐标轴的结构相似性值大，说明噪声在z轴（深度）上的影响较小，而在x轴和y轴的影响较大，因为实际相机采集点云数据时，z轴精度较高，而x轴和y轴由于相机镜头畸变，导致噪声点对点云的特征点影响较大，符合实际规律。根据x，y，z三轴的SSIM评价方法和3D-SSIM评价方法综合评价可以看出，用同等的参数条件下，对三组不同点云数据进行去噪预处理，统计滤波器较R-半径滤波器和低通滤波器更有效，滤波后的点云数据集的结构相似性更符合标准点云数据集。

表2 Cat，car，man，head，aircraft carrier，plane点云数据集3D-SSIM评价方法Tab.2 3D-SSIM evaluation method of point cloud dataset based on cat， car， man， head， aircraft carrier and plane models

3.5 三维结构相似性对配准的参考

本文还对配准时点云质量提供了参考。先将斯坦福点云数据中bunny，dragon，armadillo三种点云数据集的0°点云添加噪声，并对添加噪声后的点云数据进行不同的去噪处理，再利用三维结构相似性方法得到不同去噪方法下的三维结构相似性值，分别挑取不同类型点云数据中三维结构相似性值最大值和最小值的点云数据，将其与旋转45°的点云数据进行配准，并利用均方根误差（MSE）对点云配准精度进行评价。

表3中对照内容一栏为斯坦福数据bunny，dragon，armadillo模型三幅数据对其添加高斯噪声和随机噪声后、对添加噪声后进行K近邻中值滤波（KNN）、对添加噪声后进行去离群点噪声滤波（SOR）和未添加噪声的四组数据，分别和斯坦福角度为45°的标准点云数据进行配准。其中，均方根误差作为点云配准精度的评价算法，其值越大则说明点云配准效果越差。

表3 Bunny，dragon，armadillo不同三维结构相似性值的点云配准Tab.3 Point cloud registration of different 3D structure similarity values of bunny，dragon and armadillo

表4为本文对上述4幅经过处理和未经处理的点云数据分别和同角度未经处理的点云数据进行了三维结构相似性算法处理。由三维结构相似性定义可以知道三维结构相似性值高即说明该幅点云图像质量好，更接近真实模型，三维结构相似性值低则相反。图7描述了三维结构相似性值和配准的均方根误差之间的关系。

表4 Bunny，dragon，armadillo不同三维结构相似性值Tab.4 similarity values of different 3D structures of bunny，dragon and armadillo

图7 Bunny，dragon and armadillo的三维结构相似性值和配准的均方根误差对应关系Fig.7 Correspondence between three-dimensional structure similarity values of bunny， dragon and armadillo and root mean square error of registration

由图7可以看出，三维结构相似性值较大的点云数据，配准后的均方根误差更小，因此说明，三维结构相似性好的点云数据，在配准过程中，更能得到较为理想的配准结果。因此本方法可以为点云配准提供参考，筛选出三维结构相似性值较高的点云，为之后的点云配准增加了效率。

4 结论

本文提出了适用于三维点云和高维信息点云数据的多维结构相似性定量化评价方法，通过对斯坦福大学点云数据库中的bunny，dragon和buddha进行评价方法验证，验证了本文方法的可行性；又对采集的点云数据集进行置信度处理，并对不同置信度的点云数据集进行三维结构相似性评价，验证本文方法的可行性；对实验室实际采集到的点云数据进行不同滤波方法的预处理，利用本文方法对不同滤波方法进行滤波效果的评价，得出滤波效果的客观评价；最后对配准时的点云质量进行了评价，提高了配准的效率。该方法解决了点云质量评价界定的困难，并且解决了以前评价滤波方法只能依靠主观评价没有客观评价的问题，为点云预处理的客观评价方法做了一定贡献和参考；同时为点云的配准中点云质量直观分析提供了参考，提升了点云配准的效率。