基于虚拟现实技术的三维图像重构研究

摘" 要： 针对传统基于主动偏振成像的三维图像重构方法重构过程中图像统计信息表达能力较差，导致重构后三维图像精度低，研究一种基于虚拟现实技术的三维图像重构方法。选取Visual C++可视化软件开发平台和VTK三维图像处理软件作为三维图像重构实现平台，将原始图像通过数据输入以及文件解析等步骤导入计算机后，对原始图像进行图像滤波、图像分割以及图像插值等预处理，处理后的图像在VTK软件中利用包围盒法先构建图像重构的三维数据场，依据图像重构三维数据场绘制图像三维直接体，通过图像三维直接体获取三维图像重构输出公式，实现基于虚拟现实技术的三维图像重构。仿真结果表明，采用该方法对10幅图像进行三维图像重构，重构图像平均遍历覆盖度高达97.99%，重构精度均高于97%。

关键词： 技术研究; 虚拟现实技术; 三维图像; 文件解析; 图像重构; 图像预处理

中图分类号： TN911.73⁃34" " " " " " " " " " " " 文献标识码： A" " " " " " " " " " " " 文章编号： 1004⁃373X（2019）21⁃0063⁃05

Abstract： Traditional methods of three⁃dimensional image reconstruction based on active polarization imaging have poor ability to express statistical information in the process of reconstruction， which leads to low accuracy of reconstructed three⁃dimensional images. Therefore， a method of three⁃dimensional image reconstruction based on virtual reality technology is studied. Visual C++ visualization software development platform and VTK three⁃dimensional image processing software are selected as the realization platform of three⁃dimensional image reconstruction. After entering the original image in a computer in terms of data input and files parsing steps， the image pre⁃processing， such as image filtering， image segmentation and image interpolation is carried out for the original image. In VTK software， the bounding box method is used to construct the three⁃dimensional data field of image reconstruction for the processed image. The three⁃dimensional direct volume of image is drawn according to the three⁃dimensional data field of image reconstruction. The output formula of three⁃dimensional image reconstruction is obtained with the three⁃dimensional direct volume of image， and the three⁃dimensional image reconstruction based on virtual reality technology is realized. The simulation results show that the average traversal coverage of the reconstructed images reaches 97.99% and the reconstruction accuracy is higher than 97% in the simulation experiment of 3D image reconstruction of 10 images reconstructed with this method.

Keywords： technology research; virtual reality technology; three⁃dimensional image; file parsing; image reconstruction; image pre⁃processing

0" 引" 言

虚拟现实技术是随着科技发展而诞生的高科技技术，指通过计算机形成模拟真实环境的交互性三维动态仿真，使用户通过计算机实现身临其境的虚拟现实效果。虚拟现实技术不仅为人类带来三维仿真的视觉感知，在听觉、触觉、嗅觉等方面也可带来仿真感受。虚拟现实技术推动了科技发展，目前已应用于医学、军事、工业等众多行业中。

三维图像重构属于计算机视觉领域，图像具有不规则性，且在重构过程中容易受到噪声干扰，因此三维图像重构具有较大难度[1]。以往应用于三维图像重构的数字全息方法，利用图形特征体的绘制方法获取数字全息图像中的系数点云，实现图像三维重构。重构后的三维图像虽平滑性较好，但是计算过程复杂，且容易受到外界干扰，鲁棒性差;Chen等人提出一种主动偏振成像的三维图像重构方法，通过构建重构模板形状提取与目标形状相似程度较高的图像特征，利用形变位移向量补偿方法实现三维图像重构，采用该方法进行三维重构图像用时较短，但重构后图像统计信息表达能力较差，清晰度较低。

为解决以上三维图像重构方法的缺陷，本文提出一种基于虚拟现实技术的三维图像重构方法，该方法采用包围盒法在Visual C++可视化软件开发平台和VTK三维图像处理软件中对预处理后的图像进行三维重构。图像利用虚拟现实技术进行可视化重构相比于传统三维图像重构，可更清晰显示图像内部信息[2]，提升图像统计信息表达能力。

1" 将虚拟现实技术应用于三维图像重构

1.1" 三维图像重构方法总体结构图

在计算机中利用虚拟现实技术实现三维图像重构。先将原始图像导入计算机中，利用图像预处理技术对导入的原始图像进行图像滤波、图像分割以及图像插值等预处理，将预处理后的图像在VTK软件中进行三维图像重构，实现图像的三维空间可视化。图1为基于虚拟现实技术的三维图像重构结构图。

通过图1可知，基于虚拟现实技术的三维图像重构方法主要分为图像导入、图像预处理以及图像三维可视化三部分。

1.2" 虚拟现实技术开发工具及开发原理

采用Visual C++和VTK软件实现虚拟现实技术的三维图像重构。其中，Visual C++软件负责三维图像重构的界面设计、数据集成以及算法编程;VTK软件实现三维图像重构处理以及三维图像可视化，是基于虚拟现实技术的三维图像重构实现的重要工具[3]。

VTK软件中具有视觉化工具函式库，将该函式库应用于图像处理中，可实现开放源码、支持并行操作以及跨平台操作等功能。VTK软件主要包括计算机图像处理、可视化三维图像处理以及可视化三维图像显示三部分。VTK函式库可实现众多图像处理以及图像生成算法，通过C++语言在三维可视化VTK函式库中编写算法，利用虚拟现实技术实现三维图像重构。

VTK软件利用管道机制可视化处理数据以及图像，依据原始数据以及图像类型和最终显示结果，通过滤波器滤波处理管道内数据以及图像，寻找最优算法获取可视化进程[4]。本文选取包围盒法作为基于虚拟现实技术的三维图像重构算法。VTK软件管道机制的图像处理形式包括图形形式以及可视化形式。

VTK软件管道机制的图形形式为将处理后的数据集以三维图形形式展示。通过照相设备、绘制窗口以及实体等类库属性对数据集进行处理[5]，使用户通过虚拟现实技术在三维图像重构过程中有效交互，利用图形形式实现转动图像以及调节角度、方向和位置等多种功能。

VTK软件中可视化形式通过VTK数据流将图像信息转换为图形数据，通过图形数据对图像中点阵数据进行调整[6]。VTK软件通过映射器连接可视化模型以及图像模型，原始数据对象经滤波器过滤后转换至图像数据，同时将图像数据发送至绘制器中，选取包围盒法对图像进行三维重构，在计算机显示器显示图形数据重构过程，实现用户与图像的三维交互[7]。

1.3" 三维图像重构算法

选取包围盒法在VTK软件中对图像进行三维绘制，图像三维绘制过程即三维图像重构实现过程。

1.3.1" 构建图像重构的三维数据场

利用局部图像梯度信息获取图像数据体的三维坐标，设原始图像坐标为[x，y]，三维图像重构的轮廓长度公式如下：

式中：[γ]与[Lφ]分别表示局部图像中各像素邻域的灰度权重系数以及边缘轮廓长度约束项;[Pφ]表示稀疏正则项;[ELBF]与[ELGF]分别表示局部灰度信息以及局部梯度能量项;[v]与[μ]均为大于0的常数，表示各局部图像空间扫描约束向量的权重系数。

通过对图像目标区域以及背景区域实施平滑度演化博弈[8]，获取盒子模型为：

式中：[δφ]与[∇φ]分别表示图像目标区域以及背景区域的像素稀疏度正则项;[dx]表示原始图像目标点横坐标位置。

图像边缘像素点的局部高斯概率分布通过包围盒法获取，公式为：

通过式（3）获取图像数据体的三维坐标公式如下：

式中：[IG]，[fG1]，[fG2]分别表示重构表面的梯度模、三维图像重构网格表面弯曲部分的梯度模以及三维图像重构网格表面直线部分的梯度模;[λ1]与[λ2]均为大于0的常数，表示各局部图像空间扫描约束向量的权重系数;[Bσ]与[Hφ]分别表示Heaviside函数的标准差以及三维非线性空间映射;[f1x]与[f2x]为三维图像重构灰度值;[dy]表示原始图像目标点纵坐标位置。

通过以上公式利用Euler⁃Lagrange方程构建图像重构的三维数据场公式如下：

依据图像重构的三维数据场绘制图像的三维直接体[9]，利用三维数据场中图像重构3D纹理贴图以及3D阵列坐标参量，将图像分布中的像素视作模板并对其进行匹配，匹配公式如下：

式中[Hεz]与[δεz]分别为重构后的3D纹理贴图以及3D阵列坐标参量。固定图像模板中的射线方向[ε]，通过对[f1]，[f2]，[fG1]，[fG2]分别进行极小化运算[10]，利用图像的三维直接体获取三维图像重构输出公式为：

采用该方法在VTK软件中对图像进行三维重构，可有效提高三维图像重构精准度以及统计信息表达能力。

2" 实验分析

为检测本文基于虚拟现实技术的三维图像重构方法的有效性，在Matlab仿真平台中进行仿真实验，实验选取10幅具有代表性的图像进行三维重构，并将本文方法与光子方法以及数字全息方法进行对比，10幅图像样本基本信息如表1所示。

通过图2三种方法重构结果对比可以看出，采用本文方法对图像进行三维重构，重构后的三维图像平滑性较优，图像清晰，视觉表达力较好;而光子方法重构后的三维图像清晰度较低;数字全息方法重构后的三维图像不仅清晰度较低且丢失部分图像信息，重构结果说明本文方法具有较好的三维图像重构性能。

通过三种方法对10幅图像进行三维重构，统计三种方法重构后输出三维图像信噪比结果如表2所示。

输出图像信噪比可直接体现图像中含有的噪声大小，输出图像的信噪比越大，说明图像中含有的噪声越小，图像质量越高;否则相反。通过表2实验结果可以看出，采用本文方法对10幅图像进行三维重构，输出三维图像结果信噪比均为最高，说明通过本文方法进行三维图像重构的图像质量明显高于另外两种方法。

统计通过三种方法对10幅图像进行三维重构后输出图像的遍历覆盖度，结果如表3所示。

通过表3实验结果可以看出，通过本文方法对10幅图像进行三维图像重构，输出图像遍历覆盖区域更全面，重构后10幅三维图像的平均遍历覆盖度高达97.99%;而采用光子方法以及数字全息方法对10幅图像进行三维图像重构，重构后10幅图像的平均遍历覆盖度仅为84.58%以及87.34%。采用本文方法重构图像的遍历覆盖度明显高于另外两种方法，说明本文方法具有更高的重构性能。

三维图像重构时间以及加速比是重构性能的重要体现，表4为采用三种方法对10幅图像进行重构的重构时间以及重构加速比。

分析表4实验结果可以看出，通过本文方法对10幅图像进行三维重构，重构时间以及加速比明显优于光子方法以及数字全息方法，说明本文方法具有更高的重构效率，实时性较好。

三维图像重构方法不仅需要具有较高的重构效率，重构精度以及图像清晰度是重构性能优劣的重要体现。将本文方法与光子方法以及数字全息方法三维重构图像的重构精度以及图像清晰度进行对比，对比结果如图3，图4所示。

通过图3以及图4实验对比结果可以看出，针对10幅图像，本文方法重构精度以及图像清晰度明显优于光子方法以及数字全息方法，采用本文方法进行重构精度均高于97%，输出图像清晰度均高于95%，进一步验证了本文方法的有效性。

3" 结" 论

本文研究了一种基于虚拟现实技术的三维图像重构方法，采用Visual C++和VTK两种软件作为该方法的实现平台，通过VTK软件的可视化技术利用包围盒法实现基于虚拟现实技术的图像三维重构。对该方法进行仿真实验，通过实验结果验证了本文方法具有较高的重构性能以及重构图像精度。

参考文献

[1] 叶新东，仇星月，封文静.基于虚拟现实技术的语言学习生态模型研究[J].电化教育研究，2019，40（2）：107⁃114.

YE Xindong， QIU Xingyue， FENG Wenjing. Research on an ecological model of language learning based on virtual reality technology [J]. E⁃education research， 2019， 40（2）： 107⁃114.

[2] 夏振平，胡伏原，程成，等.基于视觉空间定向理论的虚拟现实空间重构[J].液晶与显示，2019，34（2）：215⁃219.

XIA Zhenping， HU Fuyuan， CHENG Cheng， et al. Virtual reality space reconstruction based on visual space orientation theory [J]. Chinese journal of liquid crystals and displays， 2019， 34（2）： 215⁃219.

[3] 邓磊，陈宝华，黄思远，等.一种基于射线模型的图像定位系统[J].电子学报，2017，45（1）：1⁃7.

DENG Lei， CHEN Baohua， HUANG Siyuan， et al. A ray⁃based image localization system [J]. Acta electronica sinica， 2017， 45（1）： 1⁃7.

[4] 汤杨，吴慧中，肖甫，等.基于等密度映射和纹理重构的分层图像变换[J].中国图象图形学报，2018，11（4）：555⁃562.

TANG Yang， WU Huizhong， XIAO Fu， et al. Layered image warping based on equal⁃density mapping and texture⁃reconstruction [J]. Journal of image and graphics， 2018， 11（4）： 555⁃562.

[5] 姬莉霞，刘成明.基于虚拟现实技术的模糊静态图像目标重现方法[J].计算机科学，2018，45（7）：248⁃251.

JI Lixia， LIU Chengming. Fuzzy static image target reproduction method based on virtual reality technology [J]. Computer science， 2018， 45（7）： 248⁃251.

[6] 茹金平.多深度相机标定下稀疏纹理图像三维超分辨率重构[J].微电子学与计算机，2017，34（8）：109⁃112.

RU Jinping. Three dimensional super resolution reconstruction of sparse texture image with multi depth camera calibration [J]. Microelectronics amp; computer， 2017， 34（8）： 109⁃112.

[7] 赵晓亮，王艳阁.虚拟现实的图像复原真实性优化仿真研究[J].计算机仿真，2017，34（4）：440⁃443.

ZHAO Xiaoliang， WANG Yange. Optimization and simulation of image restoration in virtual reality [J]. Computer simulation， 2017， 34（4）： 440⁃443.

[8] 肖翱，徐枫，雍俊海，等.针对虚拟现实眼镜的近/远视反卷积矫正算法[J].计算机辅助设计与图形学学报，2017，29（7）：1169⁃1176.

XIAO Ao， XU Feng， YONG Junhai， et al. A fast deconvolution algorithm for correcting myopia/hyperopia in head mounted display [J]. Journal of computer⁃aided design amp; computer graphics， 2017， 29（7）： 1169⁃1176.

[9] 邓磊，陈宝华，赖伟良，等.三维监控系统中基于三维重构的交互式标定[J].电子学报，2017，45（3）：527⁃533.

DENG Lei， CHEN Baohua， LAI Weiliang， et al. Interactive calibrating 3D surveillance system based on 3D reconstruction [J]. Acta electronica sinica， 2017， 45（3）： 527⁃533.

[10] 丁汛，赵跃进，丁玉奎.基于多图像融合的MEMS显微三维形貌重构[J].光学精密工程，2018，26（5）：277⁃287.

DING Xun， ZHAO Yuejin， DING Yukui. Three⁃dimensional microscopic reconstruction of MEMS based on multi image fusion [J]. Optics and precision engineering， 2018， 26（5）： 277⁃287.