虚拟现实技术的三维图像重建系统

孙嘉徽

摘  要： 为了提高三维图像质量，设计基于虚拟现实技术的三维图像重建系统。首先，提取三维图像点云信息，通过虚拟现实和帧同步技术融合点云数据，利用中值滤波技术去除图像噪声;然后，采用虚拟现实技术对降噪后图像开展点云优化，自动检测图像点云的特点，过滤掉噪声点，有效覆盖图像表面微小矩形面片集，提升图像三维重建完整度，通过匹配前景得到点云位置;最后，重建过程中调整点云数据为高斯正太分布项目，有效缩短图像前景和背景间重建差异，实现三维图像重建。实验结果表明，该系统的帧跟踪能力强，重建三维图像清晰、分辨率高。

关键词： 三维图像重建; 虚拟现实技术; 图像预处理; 点云优化; 点云特点检测; 噪声点过滤

中图分类号： TN911.73?34; TP391                   文献标识码： A                  文章编号： 1004?373X（2020）09?0067?04

3D image reconstruction system based on virtual reality technology

SUN Jiahui

（Jackie Chan Film and Media School， Wuhan Institute of Design and Sciences， Wuhan 430000， China）

Abstract： A 3D image reconstruction system based on virtual reality technology is designed to improve the quality of 3D image. Firstly， the point cloud information of 3D image is extracted， the point cloud data is fused with virtual reality and frame synchronization technologies， and the image noise is removed with median filtering technology. And then， the point cloud of the denoised image is optimized with the virtual reality technology to automatically detect the point cloud characteristics of the image， filter out noise points， effectively cover the tiny rectangular patch sets on the image surface， improve the integrity of 3D image reconstruction and obtain the point cloud position by matching the foreground. Finally， the point cloud data is adjusted to be Gauss distribution in the reconstruction process， which effectively reduces the reconstruction difference between the foreground and background of the image， and the 3D image reconstruction is realized. The results of experiments show that the system has strong frame tracking ability， and is of clear reconstructed 3D image and high resolution.

Keywords： 3D image reconstruction; virtual reality technology; image pre?processing; point cloud optimization; point cloud characteristic detection; noise point filtering

0  引  言

随着人们需求的提高，二维图像已无法满足人们视觉上的感受，三维图像的出现可以更加清晰地展现图像内部信息，为使用者提供极大便利。三维图像重建在医疗、探测、军事等领域中具有重要的应用价值[1?2]。

虚拟现实技术是20世纪新兴起的一项全新技术，通过计算机三维仿真系统模拟出一种虚拟环境，实现虚拟与现实相结合，令人沉浸其中，在虚拟世界体验真实感受。虚拟现实技术集计算机技术、电子信息技术以及仿真技术于一身，将现实生活中的数据转化成真实物体或者肉眼看不到的物质，并通过三维图形展现出来。虚拟现实技术可以为人们提供视觉、听觉、运动等多方面感知，已在众多领域得到广泛应用，并成为了一个全新技术领域[3?4]。

为此，本文设计了基于虚拟现实技术的三维图像重建系统，将虚拟现实技术充分融入三维图像重建过程中，以一种更加直观、具体、清晰的方式展现图像，有效促进了三维图像重建工作的飞速发展，并为古建筑修复、场景测绘等领域提供了理论依据。

1  三维图像重建系统实现

1.1  系统整体框架

基于虚拟现实技术的三维图像重建系统功能框架如图1所示，系统功能框架由图像提取、图像预处理和图像三维重建三部分构成。通过3D激光扫描仪定义图像场景，获取原始点云图像[5]，3D激光扫描仪针对不同角度的场景信息实施图像点云信息全方位采集，获取图像原始点云信息，整个图像采集过程采取全封闭模式。采用中值滤波技术对所采集的原始点云数据展开数据预处理，将原始点云数据转换成一个三维点云数据场，利用虚拟现实技术优化三维点云数据场的点云分布密集度，获取三维图像重建结果[6]。根据三维图像重建结果实现三维控制和距离测量，并将最终结果通过三维显示界面呈现出来。显示过程中可以通过移动、旋转等操作实现三维图像的多角度分析，通过对三维图像的局部放大和缩小，实现对三维图像细节的深入研究[7]。

1.2  图像预处理

采用虚拟现实技术、帧同步并整合原始点云数据，实现原始点云图像的点云信息融合[8]，采用中值滤波技术预处理融合完成的原始点云图像中点云数据。中值滤波技术的工作原理是：用数字点云图像中某点云周围一定范围内其他点值的中值代替某点，实现该点周围的像素值接近该点真实值，用来消除个体噪声点云，达到图像预处理的目的[9]。采用中值滤波预处理原始点云图像中的点云数据，预处理完成输出值为：

[Ψi，j=median Λin=median[Λi+m，j=n;（m，n）∈w]Λij;（i，j）∈Z2] （1）

式中：[m]，[n]分别表示窗口水平、垂直方向的大小;[w]，[Z2]分别表示平面窗口规格、二维数据串序号;[Λij]，[Ψi，j]分别表示图像上点云坐标是[（i，j）]，经过中值滤波处理的输出值。

图像预处理将原始点云数据转换成一个三维点云数据场，为后续图像点云优化提供基础。

1.3  图像点云优化

利用虚拟现实技术优化三维点云数据场的点云分布密集度，实时调整各光束和3D激光扫描仪位置，依照3D激光扫描仪光心同空间点连接形成的光束，塑造光束平差模型。采用非线性改进法计算3D激光掃描仪相关参数和空间坐标点，使二者间误差均匀分布，实现误差最小的过程为图像点云优化过程[10]。三维空间中，第[a]幅图像上，空间点[g]点的纵投影点和像素点[ω]之间距离平方和的最小值计算方法为：

[min=g=1ga=1Avgad（EaSg，ω）2] （2）

为了消除图像中的配准噪声，通过随机选取初始值方式，线性转换式（2），分别采用局部线性逼近方式和非线性最小平方法实现图像迭代至收敛和求取最大似然估计。为确保优化图像点云后，获取精确的三维图像重建结果，可以通过扩大图像迭代收敛范围实现[11]。3D激光扫描仪的参数均为12项，空间点的参数均为4项，假设有[A]幅图像，需要对图像上[G]个空间点实施三维重建，则对参数实施最小化变换的数量为12[A]+4[G]。伴随空间点个数[G]和图像幅数[A]的增加，参数最小化处理的计算量也随之增加，将导致图像三维重建效率低。为有效避免这一现象，可通过降低[G]和[A]的数量或采取稀疏矩阵方法来实现。

采用虚拟现实技术调整三维数据点云，汇集成分布较为密集的三维点云，有效解决三维点云数据分配不均匀产生的数据重叠情况，提升三维图像重建精准度[12]。虚拟现实技术能够自动检测图像点云，并有效过滤噪声点和障碍物，对目标图像表面的微小矩形面片集具备良好的覆盖效果，使得图像的三维重建完整度得到很大程度提升[13]。已经确定的[A]幅图像序列集为[I=Iii=1，2，…，A]，将全部图像划分成单元模块[Di（x，y）]，大小为[r×r]，确保每个单元模块均存在矩形面片[λ]，并将此作为图像三维重建目标，[d（λ）]表示矩形面片[λ]的中心，[n（λ）]表示单位法向量。依照Harris和DoG算子获取图像对角点和特征块，展开[Di（x，y）]的响应值求取，在得到的求取结果中选择极大值，数量为[η]，为取得稀疏重构矩形面片[λ]的初始值，对极大值实施图像间匹配及三角化。若[R（λ）=1]，采用光度一致性估计[H（λ）]初始值，优化[d（λ）]，[n（λ）]，重新计算[H（λ）]值。重复上述过程，直至[H（λ）≥β]时结束。

由于相邻矩形面片间法向量相近，所以始于矩形面片[λ]，采用迭代法寻找已有矩形面片[Di（x，y）]和[D′i][（x，y）]，判断二者是否相邻的方式为：

[（d（λ）-d（λ））?n（λ）+（d（λ）-d（λ））?n（λ）<2ρ1] （3）

式中：[ρ1]为所对应[r]像素的图像处于[d（λ）]和[d（λ）]中心的深度;[λ]为[R（λ）]，[H（λ）]，[d（λ）]，[n（λ）]赋予新数初始化后的[λ]。利用局部光度一致性约束优化[d（λ）]，[n（λ）]，利用全局可视化约束优化[H（λ）]，假如[H（λ）≥β]，改变[S（λ）]中的深度图。过滤扩展后的重建面片，发现并滤除错误匹配点。若矩形面片[λ0]在图像集[U]的外表面，符合式（4）关系：

[H（λ）1-v*（λ）

则过滤[λ0]点;若矩形面片[λ0]在图像集[U]内部，重新计算全部点的[S（λ0）]和[H（λ0）]，如果[H（λ0）<β]，则过滤[λ0]点。

1.4  图像三维重建

为更好地体现图像中帧点像素的分布状况，将采用虚拟现实技术优化的点云数据的高斯正太分布项目，组成重建模型[14]，每个高斯正太分布项目的权重比例可看成是重建模型中用于表示图像前景、背景的比例。图像中帧点像素在时间域[O]中的变化情况用[{X1，X2，…，Xo}]表示，帧点像素时间[Xi]的选择采用随机方式，则[Xi]是重建图像背景的比例为：