基于虚拟现实的数字三维全景超分辨重建系统设计

杨开富

摘  要： 针对传统的三维全景光学成像重建系统交互能力差的问题，设计基于虚拟现实的数字三维全景超分辨重建系统。在硬件设施上保留固有硬件，添加头戴显示器、操纵杆等虚拟设备。在该系统的软件设计上，利用高斯描述模型定义尺度空间提取二维图像特征，建立超分辨率网格配准图像。根据平移理念校正光心位置，拼接全景图像获取匹配关系。渲染并覆盖虚拟模型纹路，建立虚拟的三维全景环境模型，至此该重建系统设计完毕。实验结果表明，所设计系统的交互性更强，最终生成的数字三维全景效果更逼真。由此可见，所设计基于虚拟现实的重建系统更适合用于图像的重建。

关键词： 三维全景; 超分辨率重建; 系统设计; 虚拟现实; 图像特征; 匹配关系

中图分类号： TN911.73?34; TP391.4              文献标识码： A                    文章编号： 1004?373X（2020）10?0145?03

Design of digital 3D panoramic super?resolution reconstruction system

based on virtual reality

YANG Kaifu

（Chongqing Technology and Business University， Chongqing 400067， China）

Abstract： As the traditional 3D panoramic optical imaging reconstruction system has poor interactive ability， a virtual reality based digital 3D panoramic super?resolution reconstruction system is designed. In the hardware facilities， the inherent hardware is reserved， and the head?mounted display， joystick and other virtual devices are added. In the software design of the system， the scale space is defined by the Gaussian description model to extract the two?dimensional image features and establish the super?resolution grid registration image. The position of optical center is corrected on the basis of the translation idea， by which the panoramic image is spliced to obtain the matching relations. The virtual model grain is rendered and covered to establish the virtual 3D panoramic environment model， thus the reconstruction system design is completed. The experimental results show that the interaction of the designed system is stronger， and the effect of the final generated digital 3D panorama is more realistic. It can be seen that the designed reconstruction system based on virtual reality is more suitable for the image reconstruction.

Keywords： 3D panorama; super resolution reconstruction; system design; virtual reality; image features; matching relationship

0  引  言

虛拟现实是一种可以创建虚拟场景、体验虚拟世界的计算机仿真技术。当前的虚拟现实技术试图将人与虚拟世界直接连接，令使用者获得与真实世界相同的认知和感受[1]。而数字三维全景的超分辨率重建系统为了提升人机的交互程度，将虚拟现实融入到该系统中，改进了传统光学成像系统生成的三维立体效果图像，以超分辨率的方法提升图像的分辨率，从而构建更加真实的虚拟场景，提升人机交互程度[2]。

1  基于虚拟现实的三维全景超分辨重建系统硬件设计

本文设计的重建系统硬件主要包括专用图形处理计算机和输入输出设备[3]，硬件架构如图1所示。

输入设备将用户指令输入计算机，并将模拟后的图形影像反馈给用户，而输出设备则将输入信息的反馈结果提供给使用者。为了保证最终的三维全景效果图的分辨率，在基本的重建系统硬件基础上，添加可移动的穿戴式头戴显示器、操纵杆等虚拟设备，来感知全方位的场景[4]。将上述系统硬件设备与重建系统的基本设备连接，通过增强虚拟影像的转置能力，提升全景图像的分辨率，改善人机交互效果[5]。

2  基于虚拟现实的三维全景超分辨重建系统软件设计

在系统硬件设计完毕的基础上，设计基于虚拟现实技术的超分辨重建系统软件。

2.1  提取图像二维特征配准图像

试运行连接完毕的系统硬件，在测试结果正常的情况下，设置扫描仪参数。依据高斯描述模型，定位扫描仪参数的扫描尺度空间[6]，具体计算结果为：

[Ga，b，λ=12πλexp-a2+b22λ2La，b，λ=Ga，b，λ?Ia，b] （1）

式中：[a]表示每一图像数据点的横坐标;[b]表示每一数据点的纵坐标;[λ]表示高斯函数的标准差值，根据此差值控制图像的模糊程度。设置完毕二维图像的扫描尺度空间后，根据该空间中的极值点，提取其中的关键特征点，根据关键点对图像配准，该过程如图2所示[7]。

根据上述过程示意图，先预处理原始图像和待配准图像，利用SIFT算法对图像初步配准，初始估计低精度像素位置，将原始图像坐标映射到待配准图像坐标系中。依据光线追迹数据置换物象空间，输出两组图像的重叠区域。建立重叠区域子窗，使用标准化互相关法配准图像，建立仿射变换模型。将各区域子窗置换到原始图像坐标系中，建立超分辨率网格，以非均匀插值的方法重新排列子窗灰度值，实现对图像的配准[8]。

2.2  拼接全景图像获取匹配关系

拼接配准好的图像，以此得到三维全景效果图。考虑物件的点位置与全景图像点位置的投影关系，校正视点，投影平面图像生成球面三维全景图。由于多角度的拍摄会导致拍摄光心不在统一的位置上，导致全景图像信息被压缩后产生畸变。因此保证参数不变的前提下，利用平移理念校正图像视点[9]。校正视点后，计算图像平面向球面的映射。假设图像上任意一点[c]的坐标为[x，y，z]，映射点[c′]其坐标为[x′，y′，z′] ，根据球面三维欧氏坐标的转换性，得到全景图的拼接函数：

[x′=γsin β?yγcos β?xγy′=-γsin β?yγsin β?xγz′=γcos β?xγ] （2）

根据上述公式实现对全景图像的超分辨拼接，得到图像的点云数据[12]。

2.3  实现虚拟三维全景效果图的重建

根据得到的匹配关系，建立虚拟的三维全景环境框架模型，利用图像仿真渲染技术填充框架组件。但渲染后的三维模型并不具备虚拟实物的特征点，因此设计模型表面的覆盖纹理，如图3所示。

由图3可以看出，该过程一共分为4个阶段，先填充并渲染搭建的虚拟物体框架，再利用算法绘制物体表面的覆盖纹路，然后填充其他结构单一的组件，最后根据框架结构丰满整体虚拟物体。为了保证该系统的交互能力，设置人机交互程序，此操作中的部分代码如下：

{

Private enum WavePosition/（Left=1，Right=2，Neutral=3）/

Private enum WaveGestureState/（Left=1，Right=2，Neutral=3）

Private struct WaveGestureTracker/

Public int IterationCount;

Public WaveGestureState State/

Public Long Timestamp;

Public WavePosition StartPosition;

Public WavePosition CurrentPosition;

}

至此基于虚拟现实的数字三维全景超分辨重建系统设计完毕。

3  系统运行测试

设计该重建系统的目的是以超分辨的技术手段提升三维全景图像的分辨率，基于虚拟现实技术捕捉图像之间的匹配关系，建立尺寸真实的环境模型，搭建沉浸式的虚拟现实场景。为了更加直观地感受该重建系统的交互性，同样运行传统的三维全景光学成像重建系统，比较两个系统的交互能力。

3.1  实验准备

系统硬件方面选用2台型号同为Oculus DK2的计算机，该计算机的操作系统为Windows XP，处理器为Intel i7?7700K，16 GB运行内存，兼容HDMI 1.4b视频输出，同时存在双接头USB 3.1端口。软件方面，使用环境为Unity3D 5.6（64 bit），Oculus DK2驱动。分别将所设计的系统与传统重建系统装入2台计算机中，重建如图4所示的环境实景图。

3.2  结果分析

用符号A表示所设计系统下的实验结果，用符号B表示传统重建系统的实验结果。选择2名实验人员，分别利用两种系统重建图4中的实景图像，得到的系统交互性实验结果，如图5所示。

根据图5可知，实验人员分别向两个重建系统提交5次数据量大小不一的信息，所设计的系统处理每条信息内容后逐一对问题反馈，交互性较强;根据传统重建系统的交互程度曲线图，可以看出在同等实验条件下，该系统对于信息的接收能力均不同，反馈程度也与所提交的信息不吻合。

综上可知，所设计的重建系统能够准确接收操作人员提交的数据信息，并根据提交内容作出反馈;而传统的重建系统在信息接收环节就已经出现能力不足的现象，并且在反馈阶段同样不能作出有效回应，由此可见该系统交互性较差。

4  结  语

此次针对虚拟现实而设计的重建系统，充分发挥了虚拟现实技术生成三维全景图像时的交互能力。该系统能及时接收操作人员提交的数据信息，做出相应调整后快速反馈，实现了设计该系统高效交互能力的这一目的，解决了傳统重建系统由于交互性不高导致图像效果不佳的问题。

参考文献

[1] 王刚.基于虚拟现实的室内景观重建技术[J].现代电子技术，2018，41（4）：147?149.

[2] 刘卜水.数字艺术人机交互控制系统设计研究[J].电视技术，2018，42（10）：144?148.

[3] 陈琳，李洁.基于虚拟现实技术的三维影像智能显示系统嵌入式设计[J].现代电子技术，2017，40（8）：108?110.

[4] 吴才唤.真人图书馆：现实瓶颈与虚拟现实技术应用研究[J].图书馆建设，2017（4）：328?332.

[5] 蔡艳，林迅.基于虚拟现实技术的激光多普勒图像三维重建系统设计[J].激光杂志，2017（8）：241?244.

[6] 王卓.基于视觉传达效果的三维图像虚拟重建[J].现代电子技术，2019，42（1）：70?72.

[7] 刘冬，秦瑞，陈曦，等.3D车载环视全景生成方法[J].计算机科学，2017（4）：104?107.

[8] 韩媞.低对比度全景球面图像目标分割方法[J].科学技术与工程，2017（14）：239?243.

[9] 吴丽萍，胡郁.柱面全景图图像拼接中图像平滑的虚拟现实技术[J].科学技术与工程，2017（31）：277?282.

[10] 刘斌，鹿玮，王金波，等.一种旋转扫描的可见光全景成像系统及实现[J].激光与红外，2017（9）：85?88.

[11] 程德强，陈亮亮，蔡迎春，等.边缘融合的多字典超分辨率图像重建算法[J].煤炭学报，2018（7）：2084?2090.

[12] 胡长胜，詹曙，吴从中.基于深度特征学习的图像超分辨率重建[J].自动化学报，2017，37（5）：113?116.